大语言模型
Tokenizer·训练·微调·RLHF
- 001 进阶 Agent框架权衡 深入分析不同 Agent 框架的设计权衡，选择适合你场景的框架
- 002 进阶 Constitutional AI与自我改进 理解 Constitutional AI 方法，让 AI 通过自我批评和修正实现安全对齐
- 003 进阶 DPO直接偏好优化 理解 DPO 算法如何绕过奖励模型，直接从人类偏好数据优化语言模型
- 004 进阶 DeepSeek-V3架构详解 深入分析 DeepSeek-V3 的架构创新，包括 MLA、DeepSeekMoE、MTP 和 DualPipe
- 005 进阶 DualPipe并行 理解 DualPipe 双向流水线并行策略，减少流水线气泡提高训练效率
- 006 进阶 Jamba混合SSM-Transformer 理解 Jamba 模型如何结合 SSM（状态空间模型）和 Transformer 实现高效长序列处理
- 007 中级 LLM工程评估 理解 LLM 应用的评估框架，包括 LLM-as-Judge、评估流水线和回归测试
- 008 中级 LLM评估 理解 LLM 评估的完整框架，包括基准测试、人工评估和自动化评估方法
- 009 进阶 LangGraph状态机 理解 LangGraph 的状态机设计，构建可控的多步骤 LLM 工作流
- 010 中级 RAG检索增强生成 理解 RAG 的完整架构，包括文档索引、向量检索、上下文注入和生成
- 011 进阶 RLHF人类反馈强化学习 理解 RLHF 的完整流程：奖励模型训练和 PPO 强化学习对齐
- 012 中级 上下文工程 理解上下文工程的核心原则，包括上下文窗口管理、信息排序和检索策略
- 013 中级 函数调用 理解 LLM 函数调用机制，让模型与外部工具和 API 交互
- 014 中级 分词器 深入理解 LLM 分词器的工作原理，包括 BPE、WordPiece 和 Unigram 算法，以及特殊 token 的处理
- 015 进阶 原生稀疏注意力 理解 Native Sparse Attention，通过混合注意力模式实现长序列高效推理
- 016 进阶 多Token预测 理解多 Token 预测（Multi-Token Prediction），让模型一次预测多个 token 提升训练效率
- 017 中级 安全护栏 理解 LLM 应用的安全防护体系，包括输入输出过滤、攻击防御和内容审核
- 018 中级 少样本与思维链 掌握 Few-Shot、Chain-of-Thought、Tree-of-Thought 等高级提示技术
- 019 中级 嵌入 理解嵌入和向量表示，包括 Word2Vec、句子嵌入、相似度计算和向量索引
- 020 进阶 差分注意力V2 理解差分注意力机制，通过减去注意力噪声提升模型性能
- 021 进阶 异步Hogwild推理 理解异步 Hogwild 推理策略，通过无锁并行提升 LLM 服务吞吐量
- 022 中级 开源模型架构详解 深入分析主流开源 LLM 的架构设计，包括 LLaMA、Mistral、Mixtral 和 Qwen
- 023 进阶 微调与LoRA 理解 LoRA 和 QLoRA 微调技术，用极少参数高效适配 LLM
- 024 进阶 扩展与分布式训练 理解 LLM 训练的分布式策略，包括数据并行、模型并行、流水线并行和 ZeRO 优化
- 025 中级 指令微调SFT 理解监督微调（SFT）的原理和实现，将预训练模型转化为指令遵循模型
- 026 进阶 推测解码EAGLE3 理解 EAGLE3 推测解码算法，通过特征级预测实现高效推理加速
- 027 入门 提示工程 掌握 LLM 提示工程的核心技术，包括系统提示、角色设定、约束条件和输出格式控制
- 028 进阶 推理优化 理解 LLM 推理优化技术，包括 KV Cache、Flash Attention、推测解码和连续批处理
- 029 中级 提示缓存 理解各 LLM 提供商的提示缓存机制，优化长上下文场景的成本和延迟
- 030 中级 推测解码 理解推测解码的原理和实现，通过小模型辅助加速大模型推理
- 031 中级 数据流水线 构建 LLM 训练数据流水线，包括数据采集、清洗、去重、质量过滤和格式化
- 032 中级 构建分词器 从零构建一个完整的 BPE 分词器，包括训练、编码、解码和特殊 token 处理
- 033 进阶 构建完整LLM流水线 将分词、预训练、SFT、对齐和评估整合为完整的 LLM 训练流水线
- 034 中级 梯度检查点 理解梯度检查点技术，通过重计算代替存储激活值来减少训练内存
- 035 中级 模型上下文协议 理解 MCP（Model Context Protocol）协议的设计和实现，标准化 LLM 与工具的交互
- 036 进阶 生产应用 构建生产级 LLM 应用的完整指南，包括流式输出、错误处理、可观测性和部署
- 037 中级 结构化输出 理解如何让 LLM 生成可靠的结构化输出，包括 JSON Schema、函数调用和约束解码
- 038 中级 缓存与成本 理解 LLM 应用的成本优化策略，包括语义缓存、精确缓存、速率限制和模型路由
- 039 中级 量化 理解 LLM 量化的原理和方法，包括 INT8、INT4、GPTQ、AWQ 和 GGUF 格式
- 040 进阶 预训练Mini-GPT 从零构建和训练一个小型 GPT 模型，理解预训练的完整流程
- 041 进阶 高级RAG 掌握高级 RAG 技术，包括混合搜索、重排序、HyDE 和父子文档检索