AI 应用开发
大模型应用工程一线:提示与上下文工程、结构化输出与工具调用、RAG 与 Agent、MCP 协议、评估、微调、本地推理、成本与安全
- 001入门LLM 是什么:下一个词预测器、token 与上下文窗口用「下一个词预测器」这一个模型解释大模型的全部行为:token 分词为何让数字母翻车、上下文窗口为何等于工作记忆、训练三阶段如何造就「说错话还理直气壮」,以及幻觉的机制根源与缓解思路总览;附两个网页端动手实验。
- 002入门模型版图与选型:两条大陆、三种形态与四个决策维度建立大模型版图的选型心智模型:闭源 API 系与开放权重系的分野、调 API 与本地部署与微调三种获取形态的取舍、旗舰中档小模型的分工,以及如何穿透基准饱和与数据污染去读评测榜,用任务复杂度、数据隐私、成本预算、延迟四维完成决策;含同任务双模型对比实验。
- 003入门第一次调用 LLM API:key、messages、采样参数与流式输出把网页聊天变成生产线调用:API key 的保管纪律、messages 数组与三角色的剧本心智模型、temperature 与 top_p 的概率直觉、max_tokens 与 stop、流式输出的首字延迟原理,以及 429 限流等常见报错与 token 计费意识;含一个约 20 行的非流式加流式实验脚本。
- 004入门提示工程:从许愿到规格说明应用视角的提示设计:把提示从许愿升级为规格说明,掌握角色、任务、约束、输出格式四件套的反例与正例,理解 few-shot 例子的信息密度优势、思维链的适用边界、分隔符隔离与负面提示的局限,并建立模板化、版本记录、对照实验的迭代方法论;含提示改造前后对比实验。
- 005中级上下文工程:窗口里放什么、不放什么把上下文窗口当作三重稀缺资源来经营:注意力带宽、token 费用与有效边界;建立系统提示、对话历史、检索资料、工具结果、长期记忆五类内容的配比框架,理解 lost-in-the-middle 与上下文腐烂的机制,掌握压缩、裁剪、状态外部化三副药剂,以及每次重发全部历史的成本数学。
- 006中级结构化输出:让不可靠的模型产出可靠的 JSON建立「LLM 是不可靠函数」的心智模型:理解 JSON mode 与结构化输出(约束解码)的机制差异,用 Pydantic 与 Zod 定义并校验输出,搭建校验失败重试回路,识别围栏、说明文字、格式漂移与深嵌套等常见坑,含完整动手实验。
- 007中级嵌入与向量检索:语义的几何建立「语义的几何」心智模型:embedding 把文本映射为高维向量、方向相近即含义相近,理解余弦相似度为何看夹角不看距离,分清嵌入模型与生成模型的分工,掌握 HNSW 与 IVF 两种 ANN 索引的取舍直觉,认识向量数据库的本质与 BM25 的守区,含相似度排序动手实验。
- 008中级RAG 基础:给模型一场开卷考试建立「RAG 是开卷考试」的心智模型:从「模型不知道你的私有文档」出发,走通检索、增强、生成三步,掌握加载、切块、嵌入、存储的入库管线与切块的艺术,理解查询管线、引用来源、RAG 与长上下文及微调的决策表,以及朴素 RAG 的三大失败模式,含三十行最小 RAG 动手实验。
- 009进阶进阶 RAG:2026 年的生产级实践建立生产级 RAG 的完整心智模型:混合检索加 RRF 融合作为基线、两阶段重排序(cross-encoder 与 LLM rerank)、查询侧四类优化(改写、多查询、HyDE、分解)、agentic RAG 的检索决策循环、忠实度与相关性与上下文精度的评估三维度,以及必须发生在检索层的权限过滤,含 RRF 动手实现与 2026 生产架构图。
- 010中级AI Agent 基础:LLM、工具与循环建立「agent = LLM + 工具 + 循环」的心智模型:普通调用是一问一答,agent 是模型在循环里自己决定下一步干什么,直到任务完成;理解 ReAct 思考、行动、观察循环,亲手读懂 30 行级最小 agent 循环,划清工作流与 agent 的工程分界线,掌握最大循环次数、费用熔断、人工确认三件护栏,并对 2025 到 2026 年的 agent 热潮建立「演示顺利不等于生产可靠」的冷静判断。
- 011中级工具调用设计:描述即提示词建立「模型点单、应用执行」的工具调用心智模型:模型完全靠名称、描述、参数 schema 三要素决定选不选和怎么选一个工具,描述写得含糊工具就废;掌握类型收敛、必填最少化、一个工具干一件事的参数纪律,设计结构化、错误也回传的返回值,正确处理并行调用的 id 对应,为危险操作搭人工确认流,并用两层策略治理工具过多。
- 012进阶MCP 协议:AI 应用的 USB-C建立「MCP 把 N 乘 M 的集成地狱变成 N 加 M」的心智模型:理解 USB-C 类比的准确与局限,分清 Host、Client、Server 三角色与 tools、resources、prompts 三原语,为本地与远程场景选对 stdio 与 Streamable HTTP 两种传输,掌握 2026-07-28 规范的关键变化(传输无状态化、OAuth 2.1 授权、网关路由头、Tasks 等新能力),亲手写一个 20 行级 MCP server,并能判断工具该上 MCP 还是留在函数表。
- 013中级Agent 记忆与状态:短期窗口与长期留存把「记忆」拆成两层建立心智模型:短期记忆就是本会话的上下文窗口,长期记忆是跨会话留存的外部存储与注入机制;掌握短期管理三板斧(滑动窗口、历史摘要、结构化状态提取),在向量库、文件、结构化记录三种长期形态间选型并理解 2026 年「文件系统即记忆」的主流选择,建立记什么的写入判据与任务开始时的检索时机,处理过时、自相矛盾、隐私与删除权等记忆的脏问题。
- 014进阶多智能体系统:隔离、并行与分工的代价建立「多 agent 是组织方式不是智力加成」的心智模型:识别需要多个 agent 的三个真实动机(上下文隔离、并行、分工),掌握 orchestrator-worker 与流水线两种编排模式,比较共享消息历史、结构化消息与 A2A 类协议三种通信形态,为共享状态设计所有权与冲突裁决规则,理解 2026 年「单 agent 加一组好工具解决大多数问题」的工程共识,并用每步落盘的轨迹文件调试多 agent 系统。
- 015中级LangChain 与 LangGraph:框架层的 Agent 开发把「agent 等于 LLM 加工具加循环」的样板代码交给框架:LangChain 五个分层组件的心智模型、LangGraph 用状态图表达循环与分支的理由、30 行最小图 agent、框架与裸写循环的选型判据,以及抽象泄漏与版本漂移的真实代价。
- 016中级LLM 评估与 Evals:从「感觉变好」到工程结论建立 LLM 应用评估的工程心智模型:vibes 评估为什么不可用、评估集(golden set)怎么从真实失败案例攒出来、硬断言加 LLM-as-judge 加人工抽检的三层评估、像 CI 一样的回归门禁、线上反馈回流与 A/B 测试的统计直觉,含迷你评估器动手实现。
- 017进阶微调:要不要做、何时做、怎么做建立微调决策与执行的完整心智模型:提示工程、RAG、微调的能力阶梯与停止点,微调擅长改变什么与不擅长注入什么事实,LoRA 与 QLoRA 的「小补丁」直觉,数据准备的质量纪律,训练与验证损失曲线的过拟合信号,LoRA 权重的部署方式,以及基模升级带来的持续维护账。
- 018中级本地推理与 Ollama:量化、GGUF 与一行切换云端本地建立本地推理的完整心智模型:为什么把模型搬到自己机器上、量化把权重从 FP16 压到 Q4 的直觉与代价、Q4_K_M 命名与 GGUF 格式怎么读、Ollama 与 LM Studio 与 vLLM 的分工、参数量加 KV cache 的显存估算表、OpenAI 兼容端点让应用一行 base_url 切换云端本地,含 Ollama 跑通动手实验。
- 019中级token、成本与延迟:LLM 应用的经济学建立 LLM 应用成本与延迟的工程心智模型:输入输出分开计价与输出贵三到八倍的定价结构、prompt caching 的静态前缀命中机制、batch API 半价换等待、模型路由把简单请求分流给小模型、TTFT 与流式的体感原理、网络排队生成三段延迟,以及记账告警熔断三件预算护栏,含成本核算动手实验。
- 020进阶提示注入与 AI 应用安全建立提示注入威胁与防御的分层心智模型:指令与数据没有硬边界的根因、直接注入与越狱的概率本质、更危险的间接注入(恶意指令藏在模型要读的数据里)、agent 工具与权限带来的攻击放大效应与经典数据外泄链、OWASP LLM Top 10 风险面、从输入过滤到权限最小化、沙箱、DLP、人工确认与来源标记的纵深防御,含注入实验与攻击链分析。
- 021进阶文档问答助手实战:把 010-190 总装成一台产品以团队文档问答助手为综合实战,把本模块 010-190 全部零件总装成完整应用:忠实性优先于覆盖性的产品边界、入库与查询双管线架构、数据层选型、结构化切块、混合检索加重排、带引用的结构化生成、十条 golden set 评估、系统提示缓存与小模型路由、权限过滤与来源隔离的安全层,以及失败案例回流的运维飞轮与扩展方向。