跳转至

文档主题索引

这份知识图谱用于 AI 工程面试准备,按技术层次而非产品清单组织。九个主题覆盖模型原理、多模态能力、协议接口、应用架构、框架实现、生产工程、安全治理与现场交付;复习时既要能解释机制,也要能说明方案的限制。

目录采用三级结构:主题 → 子模块 → 章节。主题 README 负责展示模块关系,子模块 README 负责维护具体章节顺序,章节之间通过相对链接形成跨主题知识图谱。英文是主稿,每个读者页面都有完整的简体中文对应版本。

如果希望像读一本书一样从头学习,请从中文书稿目录开始。书稿按九篇连续编排,篇内沿用原有章号;扉页、前言、阅读说明和致谢单独安排,不打断技术正文。网站可以切换同章语言,EPUB 可按语言下载;网页和电子书不另存两套需要分别维护的正文。

集中参考资料章节收录正文上标所指向的编号来源,并保留各章的阅读建议和来源限定。

总体分层

flowchart TB
    subgraph L1["第一层 · 模型与多模态能力"]
        LLM["LLM<br/>Transformer / 训练 / 推理 / 部署"]
        MM["多模态 AI<br/>视觉 / 语音 / 图像与视频生成"]
    end

    subgraph L2["第二层 · 协议与接口"]
        TOOLS["Tools<br/>Function Calling / MCP / Skill / A2A"]
    end

    subgraph L3["第三层 · 应用架构"]
        AGENT["Agent<br/>Harness / 规划 / 记忆 / 多智能体"]
        RAG["RAG<br/>索引 / 检索 / 重排 / 生成"]
    end

    subgraph L4["第四层 · 框架实现"]
        FW["框架与编排<br/>LangChain / LlamaIndex / DSPy / Semantic Kernel"]
    end

    subgraph L5["第五层 · 生产与治理"]
        ENG["AI Engineering / LLMOps<br/>评测 / 观测 / 发布 / 可靠性"]
        SAFE["AI 安全与治理<br/>威胁 / 隔离 / 红队 / 审计"]
    end

    subgraph L6["第六层 · 现场交付"]
        FDE["FDE<br/>发现 / 验收 / 集成 / 交付 / 复用"]
    end

    LLM --> MM
    LLM --> TOOLS
    TOOLS --> AGENT
    LLM --> RAG
    MM --> AGENT
    MM --> RAG
    AGENT --> FW
    RAG --> FW
    FW --> ENG
    ENG --> SAFE
    ENG --> FDE
    SAFE --> FDE
    FDE -.现场反馈.-> FW
    AGENT -.风险输入.-> SAFE
    RAG -.风险输入.-> SAFE
    RAG -.知识增强.-> AGENT

图中的层次用于组织知识,不代表项目必须采用全部组件。评测、安全和客户验收贯穿设计与交付;简单任务可以直接使用模型 API,不必先搭建 Agent 或引入编排框架。

主题目录

层次 主题 内容范围 章数 入口
底层原理 LLM Transformer、训练与对齐、解码、量化、MoE、部署与评测选型 23 进入 LLM
模型能力 多模态 AI 融合架构、VLM、Document AI、语音、图像与视频生成、评测与服务 10 进入多模态 AI
协议接口 Tools Function Calling、工具学习、MCP、Skill、A2A、传输协议、安全与 LLM 网关 15 进入 Tools
应用架构 Agent 架构、Harness、记忆、规划、多 Agent、评估与安全,以及代码编辑和后训练工程 25 进入 Agent
应用架构 RAG 文档处理、索引、检索重排、多模态、生成评估、更新与安全,以及 Text-to-SQL 22 进入 RAG
框架实现 框架与编排 LangChain、LangGraph、LlamaIndex、DSPy、Semantic Kernel、轻量 Agent 框架与迁移 23 进入框架与编排
生产工程 AI Engineering LLMOps、网关与回退、评测、可观测性、CI/CD、SLO、成本与数据飞轮 13 进入 AI Engineering
安全治理 AI 安全与治理 威胁建模、Prompt 攻击、供应链、隐私、执行隔离、红队、治理与审计 10 进入 AI 安全与治理
现场交付 FDE 需求发现、产品协作、评测验收、系统集成与交付,以及范围变更、PoC、项目记忆与交接经验 2 进入 FDE

主题之间的关系

同一个概念在不同层次会被反复提到,但视角不同。仓库通过「详解归属地」避免重复维护:

概念 详解归属 引用方 视角差异
CoT 思维链 LLM Agent 规划章、RAG 生成章 LLM 讲机制,Agent 讲如何转化为规划能力
幻觉 LLM RAG 生成章、Agent 安全章 LLM 讲根因,RAG 讲如何通过知识约束生成
KV Cache / Prompt Caching LLM Agent 上下文、AI Engineering LLM 讲缓存机制,应用与工程层讲使用策略
VLM / 语音 / 生成模型 多模态 AI Agent Computer Use、RAG 多模态章 多模态讲模型能力,应用层讲如何进入任务链路
Function Calling / MCP Tools Agent Harness、框架与编排 Tools 讲调用接口与协议,Agent 讲运行时,框架讲具体封装
Runtime / Harness Agent 框架与编排、AI Engineering Agent 讲通用运行时,框架讲实现,工程层讲生产运营
记忆 Agent 框架与编排的 LangChain 模块 Agent 讲分层与取舍,框架主题讲具体实现
向量检索 RAG 框架与编排 RAG 讲索引与召回原理,框架主题讲组件封装
可观测性与发布 AI Engineering 各应用主题 工程层讲跨应用生产闭环,应用主题定义领域信号
跨层安全治理 AI 安全与治理 LLM、Tools、Agent、RAG 各层讲局部控制,治理主题统一威胁模型、红队和审计
客户现场交付 FDE 全部技术主题 技术主题讲能力,FDE 讲如何组合能力并交付可衡量结果
Agent 后训练 Agent 第 25 章 LLM、Tools、AI Engineering LLM 讲优化算法,Tools 讲调用数据,Agent 串起失败归因、训练样本与任务验收
结构化数据问答 RAG 第 22 章 Tools、FDE 需要全量统计时改用受限 SQL 查询,不靠检索几个片段估算总数

阅读建议

  • 零基础入门:LLM 第 1–5 章 → Tools 第 1、4 章 → Agent 第 1–2 章 → RAG 第 1 章;
  • Agent / Harness 工程:Agent 全部 → Tools 全部 → 框架与编排 → AI Engineering;
  • RAG / 知识系统:RAG 全部 → LLM 第 5、18、21、23 章 → 框架与编排第 14–15 章;
  • 多模态应用:多模态 AI → Agent 第 16–23 章或 RAG 第 21 章 → AI Engineering;
  • 生产平台与 SRE:AI Engineering → LLM 推理部署 → Tools 网关 → AI 安全与治理;
  • 安全与治理:AI 安全与治理 → Agent、Tools、RAG 各自的安全章节。
  • 客户交付与解决方案:FDE → AI Engineering → 按项目需要回查 Agent、RAG、Harness 与安全治理。

按面试题型串联知识

基础题先把概念解释准确,系统设计题再把数据从哪里来、谁能执行动作、出错后怎么办讲清楚。下面几条路径适合练习跨章节的问题。

练习题 建议串联的章节 需要说清楚的取舍
如何给企业内部知识助手选方案? RAG、微调与长上下文 → RAG 评测 → 离线 Eval 知识缺失和行为问题如何区分,如何用业务查询集证明改动有效
如何让 Agent 在工具超时后继续执行? Harness 边界 → Checkpoint 与恢复 → 重试与幂等 恢复计算状态与避免重复业务写入不是同一个问题
MCP 接入后,权限由谁负责? MCP 与 Function Calling → Tool Protocol 安全 → 最小权限与身份 协议能力、模型调用意图与服务端授权的边界
模型效果不错,为什么线上还是不能用? 模型评测 → 输出契约 → SLO 与故障响应 榜单成绩、结构合法、业务正确和服务可靠分别如何衡量
如何把客户的模糊需求变成可交付项目? FDE 基础 → 现场经验与踩坑 → 版本管理 需求调整由谁确认,PoC 结论怎样保留,客户如何验收和接手
Agent 改了代码,为什么问题还没解决? 代码搜索、编辑与验证 → Agent 后训练 区分搜索遗漏、编辑失败、验证不足和模型错误,再决定是否值得训练
怎样让助手准确统计订单,而不是猜一个总数? Text-to-SQL → 工具 Schema → 离线评测 业务口径、表关联、查询权限和独立结果验收

准备项目题时,可以挑一次具体改动来讲:原来哪里不好用,试过哪些办法,最后为什么这样改。把相关代码、失败样本和前后结果一起看,比背一遍架构图更容易发现自己没想清楚的地方。

常见问题

这份路线图适合什么读者?

它主要面向准备 AI 应用开发、Agent/RAG、模型工程和 FDE 等岗位面试的读者。初学者可以按推荐路径理解原理;有项目经验的读者可以从实际问题出发,沿交叉链接补齐评测、可靠性和权限等容易漏掉的环节。

应该从 LLM、Agent 还是 RAG 开始?

想理解模型能力边界,应先读 LLM;想构建能调用工具并持续执行任务的系统,从 Agent 和 Tools 开始;想让模型使用私有或持续更新的知识,从 RAG 开始。设计方案时就应结合 AI Engineering 和安全治理确定评测、权限与可靠性要求。

内容多久更新一次?

项目不采用固定发布周期。协议、框架或模型能力出现重要变化时更新对应章节,页面日期来自当前文件路径的 Git 历史,不一定对应内容最初公开的日期。高时效性结论仍应结合正文标注的版本与官方链接核验。