大语言模型
Tokenizer·训练·微调·RLHF
- 001进阶Agent框架权衡深入分析不同 Agent 框架的设计权衡，选择适合你场景的框架
- 002进阶Constitutional AI与自我改进理解 Constitutional AI 方法，让 AI 通过自我批评和修正实现安全对齐
- 003进阶DeepSeek-V3架构详解深入分析 DeepSeek-V3 的架构创新，包括 MLA、DeepSeekMoE、MTP 和 DualPipe
- 004进阶DPO直接偏好优化理解 DPO 算法如何绕过奖励模型，直接从人类偏好数据优化语言模型
- 005进阶DualPipe并行理解 DualPipe 双向流水线并行策略，减少流水线气泡提高训练效率
- 006进阶Jamba混合SSM-Transformer理解 Jamba 模型如何结合 SSM（状态空间模型）和 Transformer 实现高效长序列处理
- 007进阶LangGraph状态机理解 LangGraph 的状态机设计，构建可控的多步骤 LLM 工作流
- 008中级LLM工程评估理解 LLM 应用的评估框架，包括 LLM-as-Judge、评估流水线和回归测试
- 009中级LLM评估理解 LLM 评估的完整框架，包括基准测试、人工评估和自动化评估方法
- 010中级RAG检索增强生成理解 RAG 的完整架构，包括文档索引、向量检索、上下文注入和生成
- 011进阶RLHF人类反馈强化学习理解 RLHF 的完整流程：奖励模型训练和 PPO 强化学习对齐
- 012中级上下文工程理解上下文工程的核心原则，包括上下文窗口管理、信息排序和检索策略
- 013中级函数调用理解 LLM 函数调用机制，让模型与外部工具和 API 交互
- 014中级分词器深入理解 LLM 分词器的工作原理，包括 BPE、WordPiece 和 Unigram 算法，以及特殊 token 的处理
- 015进阶原生稀疏注意力理解 Native Sparse Attention，通过混合注意力模式实现长序列高效推理
- 016进阶多Token预测理解多 Token 预测（Multi-Token Prediction），让模型一次预测多个 token 提升训练效率
- 017中级安全护栏理解 LLM 应用的安全防护体系，包括输入输出过滤、攻击防御和内容审核
- 018中级少样本与思维链掌握 Few-Shot、Chain-of-Thought、Tree-of-Thought 等高级提示技术
- 019中级嵌入理解嵌入和向量表示，包括 Word2Vec、句子嵌入、相似度计算和向量索引
- 020进阶差分注意力V2理解差分注意力机制，通过减去注意力噪声提升模型性能
- 021中级开源模型架构详解深入分析主流开源 LLM 的架构设计，包括 LLaMA、Mistral、Mixtral 和 Qwen
- 022进阶异步Hogwild推理理解异步 Hogwild 推理策略，通过无锁并行提升 LLM 服务吞吐量
- 023进阶微调与LoRA理解 LoRA 和 QLoRA 微调技术，用极少参数高效适配 LLM
- 024进阶扩展与分布式训练理解 LLM 训练的分布式策略，包括数据并行、模型并行、流水线并行和 ZeRO 优化
- 025中级指令微调SFT理解监督微调（SFT）的原理和实现，将预训练模型转化为指令遵循模型
- 026中级推测解码理解推测解码的原理和实现，通过小模型辅助加速大模型推理
- 027进阶推测解码EAGLE3理解 EAGLE3 推测解码算法，通过特征级预测实现高效推理加速
- 028进阶推理优化理解 LLM 推理优化技术，包括 KV Cache、Flash Attention、推测解码和连续批处理
- 029入门提示工程掌握 LLM 提示工程的核心技术，包括系统提示、角色设定、约束条件和输出格式控制
- 030中级提示缓存理解各 LLM 提供商的提示缓存机制，优化长上下文场景的成本和延迟
- 031中级数据流水线构建 LLM 训练数据流水线，包括数据采集、清洗、去重、质量过滤和格式化
- 032中级构建分词器从零构建一个完整的 BPE 分词器，包括训练、编码、解码和特殊 token 处理
- 033进阶构建完整LLM流水线将分词、预训练、SFT、对齐和评估整合为完整的 LLM 训练流水线
- 034中级梯度检查点理解梯度检查点技术，通过重计算代替存储激活值来减少训练内存
- 035中级模型上下文协议理解 MCP（Model Context Protocol）协议的设计和实现，标准化 LLM 与工具的交互
- 036进阶生产应用构建生产级 LLM 应用的完整指南，包括流式输出、错误处理、可观测性和部署
- 037中级结构化输出理解如何让 LLM 生成可靠的结构化输出，包括 JSON Schema、函数调用和约束解码
- 038中级缓存与成本理解 LLM 应用的成本优化策略，包括语义缓存、精确缓存、速率限制和模型路由
- 039中级量化理解 LLM 量化的原理和方法，包括 INT8、INT4、GPTQ、AWQ 和 GGUF 格式
- 040进阶预训练Mini-GPT从零构建和训练一个小型 GPT 模型，理解预训练的完整流程
- 041进阶高级RAG掌握高级 RAG 技术，包括混合搜索、重排序、HyDE 和父子文档检索