前置知识: AI Agent

失败模式MAST与群体思维

14 minIntermediate

2026 年的参考分类法是 MAST (Cemri 等人, NeurIPS 2025, arXiv:2503.13657)，源自 7 个最先进开源 MAS 的 1642 条执行轨迹，显示 41-86.7% 失败率。三个根类别：规格问题 (41.77%) — 角色模糊、任务定义不清；协调失败 (...

失败模式 — MAST, 群体思维, 单一文化, 级联错误

2026 年的参考分类法是 MAST (Cemri 等人, NeurIPS 2025, arXiv:2503.13657)，源自 7 个最先进开源 MAS 的 1642 条执行轨迹，显示 41-86.7% 失败率。三个根类别：规格问题 (41.77%) — 角色模糊、任务定义不清；协调失败 (36.94%) — 通信中断、状态不同步；验证缺口 (21.30%) — 缺少验证、缺席质量检查。群体思维族 (arXiv:2508.05687) 补充：单一文化崩溃（相同基础模型 → 相关失败）、从众偏差（Agent 互相强化错误）、心智理论缺陷、混合动机动态、级联可靠性失败。级联示例：重试风暴，支付失败触发订单重试，触发库存重试，压垮库存服务（数秒内 10 倍负载——需要断路器）。记忆投毒：一个 Agent 的幻觉进入共享记忆，下游 Agent 将其视为事实；准确性逐渐衰减，使根因诊断痛苦。STRATUS (NeurIPS 2025) 报告通过专门检测/诊断/验证 Agent 获得 1.5 倍缓解成功改进。本课程将失败模式视为一等工程目标。

类型： 学习 语言： Python (stdlib) 前置条件： Phase 16 · 13 (共享记忆), Phase 16 · 14 (共识与BFT), Phase 16 · 15 (投票辩论拓扑) 时间： ~75 分钟

问题

多 Agent 系统在真实任务上 41-86.7% 的时间失败 (Cemri 等人 2025 在 7 个开源 MAS 上测量)。这不是”只加更多 Agent”就能调试的。失败有结构性原因。MAST 分类法给你类别。本课程将每个类别映射到具体的检测、诊断和缓解模式，使数字不再看起来随意。

2026 年的生产实践是将失败模式视为设计输入。你的架构不算”足够好”，直到你能指向每个 MAST 类别并命名你部署的缓解措施。

概念

MAST 类别

规格问题 (41.77% 的失败)。 Agent 的任务定义不够紧密。示例：

  • 角色模糊：两个 Agent 都认为自己是审查者。
  • 任务不充分指定：“总结这个”当用户想要特定角度时。
  • 成功标准隐含：Agent 无法判断是否成功。

缓解：

  • 编写显式角色契约。每个 Agent 的提示说明它做什么以及不做什么。
  • 每个任务的验收测试。Agent 开始前，定义”完成看起来像 X。”
  • 预检规格检查：单独的 Agent 在分派前审查任务定义。

协调失败 (36.94%)。 通信或状态中断。

示例：

  • 两个 Agent 不同步更新共享状态。
  • Agent 之间消息丢失（队列失败、超时）。
  • 状态漂移：Agent A 认为任务完成；Agent B 还在执行。

缓解：

  • 带乐观并发的版本化共享状态。
  • 关键消息的显式确认（重试直到确认）。
  • 定期状态同步检查点；及早检测漂移。

验证缺口 (21.30%)。 没有对输出的独立检查。

示例：

  • 一个 Agent 声称成功；没人验证。
  • Agent 链每个都信任前一个的输出。
  • 涌现组合行为缺少测试覆盖。

缓解：

  • 独立验证者 Agent (Lesson 13)。只读、独立来源访问。
  • 显式交接契约：“A 的输出必须通过检查器 C 后 B 才能开始。”
  • 结果日志用于事后分析。

群体思维族 (arXiv:2508.05687)

Agent 同质化或互相模仿时的五种相关失败：

单一文化崩溃。 相同基础模型或训练数据 → 相关错误。当三个 Agent 共享一个 LLM 时，它们共享其幻觉。

从众偏差。 Agent 向最大声或最自信的同伴调整，即使错误。

心智理论缺陷。 Agent 无法建模彼此的信念；协调崩溃 (Lesson 18)。

混合动机动态。 具有部分对齐激励的 Agent 漂向折中中间，没有人满意。

级联可靠性失败。 一个组件的错误模式触发依赖组件的错误模式。

级联示例 — 重试风暴

经典的 2026 事故模式：

支付服务 10% 的请求失败
   ↓
订单 Agent 重试支付（指数退避但朴素）
   ↓
每次重试是新的订单-库存检查
   ↓
库存服务看到 2 倍正常负载
   ↓
库存服务开始超时
   ↓
每个订单重试库存检查
   ↓
库存服务看到 10 倍正常负载
   ↓
集群宕机

修复是经典的：断路器。当下游错误率超过阈值时，用缓存或默认结果短路。加上每个请求的封顶重试预算。

断路器是你直接从分布式系统借用而无需修改的少数多 Agent 失败缓解措施之一。

记忆投毒 (回顾)

来自 Lesson 13：一个 Agent 的幻觉成为共享记忆事实；下游 Agent 在投毒事实上推理。用 MAST 术语，这是共享记忆层的验证缺口。

逐渐准确性衰减是症状。你不会崩溃；你会缓慢漂移，难以根因分析。

缓解：只追加日志、来源追踪、不可写入验证者。已在 Lesson 13 中涵盖。

STRATUS — 用于失败检测的专门 Agent

STRATUS (NeurIPS 2025) 报告当你部署以下时获得 1.5 倍缓解成功改进：

  • 检测 Agent。 监视症状模式（高分歧、重试峰值、准确性漂移）。
  • 诊断 Agent。 给定症状，从 MAST 分类法推断可能的根因。
  • 验证 Agent。 应用缓解后，检查症状是否清除。

这是 SRE 风格的事件响应，应用于 Agent 系统。三个角色都可以是带专门提示的 LLM Agent。

失败模式审计

2026 年最佳实践是年度（或每次主要发布）失败模式审计：

  1. 追踪采样。 收集约 1000 条真实执行轨迹。
  2. 分类。 对于每条轨迹的失败，映射到 MAST + 群体思维类别。
  3. 计算按类别失败率。 哪些类别主导你的系统？
  4. 排名缓解措施。 哪个修复能消除最多失败？
  5. 选择 2-3 个缓解措施。 实施；下季度重新审计。

纪律比具体选择更重要。没有审计，失败混入噪声，永远不会被系统性地解决。

系统何时静默失败

最危险的失败类别是静默正确性失败。大声失败的系统（崩溃、异常、告警）可以被监控。产生看似合理但错误输出的系统无法被异常日志检测到。这就是为什么验证缺口是每个失败最昂贵的类别，尽管按计数只占 21.30%。

投资于：

  • 基于采样的人工审查。
  • 黄金数据集回归测试。
  • 重要输出上的跨 Agent 交叉检查。

失败 vs 缓慢失败

一些失败是即时的；一些是缓慢的。即时失败（超时、Schema 不匹配、认证错误）检测便宜。缓慢失败（记忆投毒、单一文化漂移、角色模糊）检测和预防昂贵。

2026 年工程手段：仪器化缓慢失败代理指标，以便你可以在漂移变成可见错误之前捕获它。协议率、重试率、输出长度分布和连续 Agent 版本之间的编辑距离都是有用的代理。

构建它

code/main.py 实现：

  • FailureTaxonomy — 将模拟事件分类到 MAST + 群体思维类别。
  • CircuitBreaker — 经典模式；错误率超过阈值时打开。
  • RetryStormSimulator — 显示级联失败；切换断路器开/关。
  • DetectionAgent — 脚本化 STRATUS 风格症状匹配器。

运行：

python3 code/main.py

预期输出：

  • 无断路器的重试风暴：库存错误爆炸（模拟）。
  • 有断路器：在阈值处封顶；提供降级模式响应。
  • 检测 Agent 标记模式并命名 MAST 类别。

使用它

outputs/skill-mast-auditor.md 在多 Agent 系统上运行 MAST 风格的失败模式审计。轨迹 → 分类 → 缓解排名。

发布它

生产中的失败模式纪律：

  • 每季度 MAST 审计。 不是年度。类别随系统增长而变化。
  • 到处都是断路器。 每个对依赖服务的出站调用。默认打开阈值在 5-10% 错误率。
  • 黄金数据集。 小型、高质量、人工审计。每周回归测试。
  • STRATUS 三重奏。 检测 + 诊断 + 验证 Agent 监控生产。先只从检测 Agent 开始；症状嘈杂时添加诊断。
  • 失败预算。 按类别失败率的显式 SLO。超过预算触发停止发布对话。

练习

  1. 运行 code/main.py。确认断路器封顶重试风暴。变化失败阈值并观察权衡。
  2. 实现缓慢失败代理：3 个并行 Agent 间的协议率。当它急剧下降时，触发告警。通过逐渐关联 Agent 输出来模拟单一文化漂移。
  3. 阅读 Cemri 等人 (arXiv:2503.13657)。选择他们 7 个 MAS 系统中的一个并映射其前 3 个失败类别。这些与 MAST 预测的相比如何？
  4. 阅读群体思维论文 (arXiv:2508.05687)。识别五种模式中哪种在生产中最难检测。提出代理指标。
  5. 为你了解的特定多 Agent 系统设计 STRATUS 风格的检测-诊断-验证三重奏。检测监视哪些症状？诊断推荐什么缓解？验证如何确认它们有效？

关键术语

术语人们怎么说实际含义
MAST”2026 年分类法”Cemri 2025；3 个根类别 + 14 个子类型的失败。
规格问题”角色模糊”任务或角色定义不足；Agent 不知道做什么。
协调失败”状态漂移”Agent 间通信或同步中断。
验证缺口”没人检查”输出在没有独立验证的情况下被接受。
群体思维族”同质性失败”单一文化、从众、心智理论缺陷、混合动机、级联。
单一文化崩溃”相同模型，相同幻觉”来自共享基础模型或训练数据的相关错误。
重试风暴”级联错误放大”一个失败触发重试，放大下游负载。
断路器”错误率时快速失败”错误率超过阈值时打开；用默认值短路。
STRATUS”事件响应三重奏”检测 + 诊断 + 验证 Agent。1.5 倍缓解成功。
记忆投毒”幻觉传播”共享记忆事实被污染；下游 Agent 在毒药上推理。

延伸阅读