大语言模型 知识地图
模块知识结构与学习路径 | 41 篇文档
该模块暂无知识地图
文档索引
Agent框架权衡 深入分析不同 Agent 框架的设计权衡，选择适合你场景的框架
Constitutional AI与自我改进 理解 Constitutional AI 方法，让 AI 通过自我批评和修正实现安全对齐
DPO直接偏好优化 理解 DPO 算法如何绕过奖励模型，直接从人类偏好数据优化语言模型
DeepSeek-V3架构详解 深入分析 DeepSeek-V3 的架构创新，包括 MLA、DeepSeekMoE、MTP 和 DualPipe
DualPipe并行 理解 DualPipe 双向流水线并行策略，减少流水线气泡提高训练效率
Jamba混合SSM-Transformer 理解 Jamba 模型如何结合 SSM（状态空间模型）和 Transformer 实现高效长序列处理
LLM工程评估 理解 LLM 应用的评估框架，包括 LLM-as-Judge、评估流水线和回归测试
LLM评估 理解 LLM 评估的完整框架，包括基准测试、人工评估和自动化评估方法
LangGraph状态机 理解 LangGraph 的状态机设计，构建可控的多步骤 LLM 工作流
RAG检索增强生成 理解 RAG 的完整架构，包括文档索引、向量检索、上下文注入和生成
RLHF人类反馈强化学习 理解 RLHF 的完整流程：奖励模型训练和 PPO 强化学习对齐
上下文工程 理解上下文工程的核心原则，包括上下文窗口管理、信息排序和检索策略
函数调用 理解 LLM 函数调用机制，让模型与外部工具和 API 交互
分词器 深入理解 LLM 分词器的工作原理，包括 BPE、WordPiece 和 Unigram 算法，以及特殊 token 的处理
原生稀疏注意力 理解 Native Sparse Attention，通过混合注意力模式实现长序列高效推理
多Token预测 理解多 Token 预测（Multi-Token Prediction），让模型一次预测多个 token 提升训练效率
安全护栏 理解 LLM 应用的安全防护体系，包括输入输出过滤、攻击防御和内容审核
少样本与思维链 掌握 Few-Shot、Chain-of-Thought、Tree-of-Thought 等高级提示技术
嵌入 理解嵌入和向量表示，包括 Word2Vec、句子嵌入、相似度计算和向量索引
差分注意力V2 理解差分注意力机制，通过减去注意力噪声提升模型性能
异步Hogwild推理 理解异步 Hogwild 推理策略，通过无锁并行提升 LLM 服务吞吐量
开源模型架构详解 深入分析主流开源 LLM 的架构设计，包括 LLaMA、Mistral、Mixtral 和 Qwen
微调与LoRA 理解 LoRA 和 QLoRA 微调技术，用极少参数高效适配 LLM
扩展与分布式训练 理解 LLM 训练的分布式策略，包括数据并行、模型并行、流水线并行和 ZeRO 优化
指令微调SFT 理解监督微调（SFT）的原理和实现，将预训练模型转化为指令遵循模型
推测解码EAGLE3 理解 EAGLE3 推测解码算法，通过特征级预测实现高效推理加速
提示工程 掌握 LLM 提示工程的核心技术，包括系统提示、角色设定、约束条件和输出格式控制
推理优化 理解 LLM 推理优化技术，包括 KV Cache、Flash Attention、推测解码和连续批处理
提示缓存 理解各 LLM 提供商的提示缓存机制，优化长上下文场景的成本和延迟
推测解码 理解推测解码的原理和实现，通过小模型辅助加速大模型推理
数据流水线 构建 LLM 训练数据流水线，包括数据采集、清洗、去重、质量过滤和格式化
构建分词器 从零构建一个完整的 BPE 分词器，包括训练、编码、解码和特殊 token 处理
构建完整LLM流水线 将分词、预训练、SFT、对齐和评估整合为完整的 LLM 训练流水线
梯度检查点 理解梯度检查点技术，通过重计算代替存储激活值来减少训练内存
模型上下文协议 理解 MCP（Model Context Protocol）协议的设计和实现，标准化 LLM 与工具的交互
生产应用 构建生产级 LLM 应用的完整指南，包括流式输出、错误处理、可观测性和部署
结构化输出 理解如何让 LLM 生成可靠的结构化输出，包括 JSON Schema、函数调用和约束解码
缓存与成本 理解 LLM 应用的成本优化策略，包括语义缓存、精确缓存、速率限制和模型路由
量化 理解 LLM 量化的原理和方法，包括 INT8、INT4、GPTQ、AWQ 和 GGUF 格式
预训练Mini-GPT 从零构建和训练一个小型 GPT 模型，理解预训练的完整流程
高级RAG 掌握高级 RAG 技术，包括混合搜索、重排序、HyDE 和父子文档检索