AI的SRE — 多Agent事件响应、Runbook与预测检测

AI SRE使用通过RAG接地于基础设施数据(日志、runbook、服务拓扑)的LLM来自动化调查、文档和协调阶段。2026年架构模式是多Agent编排——专门Agent(日志、指标、runbook)由监督者协调；AI提出假设和查询，人类批准判断调用。Datadog Bits AI和Azure SRE Agent作为托管产品发布此功能。Runbook在演进：NeuBird Hawkeye使用对抗评估(两个模型分析同一事件；一致=置信，不一致=不确定)；操作记忆跨团队变更持久化。自动修复保持谨慎：AI建议，人类批准。完全自主行动是窄的(重启pod，回滚特定部署)带严格护栏——任何卖”设好就忘”的人都在过度推销。新兴前沿：事件前预测。MIT研究报告在历史日志+GPU温度+API错误模式上训练的LLM提前10-15分钟预测89%的停机。预测：2026年底95%的企业LLM有自动故障转移。

类型: 学习 语言: Python (stdlib, toy多Agent事件分诊模拟器) 前置知识: Phase 17 · 13 (可观测性), Phase 17 · 24 (混沌工程) 时间: ~60分钟

学习目标

• 描述多Agent SRE架构：专门Agent由监督者协调。
• 解释NeuBird Hawkeye的对抗评估：两个模型分析，一致=置信。
• 说出自动修复的范围：AI建议，人类批准。窄自主(重启pod，回滚)。
• 描述事件前预测前沿：MIT 89%停机预测提前10-15分钟。

问题

传统SRE是人类驱动的：on-call工程师读取警报，查询日志，咨询runbook，做出判断。AI SRE用LLM加速调查和协调，但保持人类在判断循环中。

概念

多Agent编排

专门Agent由监督者协调：

• 日志Agent：查询和总结日志。
• 指标Agent：分析时间序列异常。
• Runbook Agent：检索和推荐操作。
• 监督者：协调Agent，提出假设，请求人类批准。

对抗评估(NeuBird Hawkeye)

两个模型独立分析同一事件。如果一致，置信度高。如果不一致，标记不确定性给人类。比单模型评估更可靠。

自动修复范围

• AI建议，人类批准(默认)。
• 窄自主：重启pod，回滚特定部署(严格护栏)。
• “设好就忘”是过度推销。

事件前预测

MIT研究：在历史日志+GPU温度+API错误模式上训练的LLM提前10-15分钟预测89%的停机。新兴前沿。

实践

code/main.py模拟多Agent事件分诊带对抗评估。

输出

本课程产生outputs/skill-ai-sre-playbook.md。给定事件类型，设计多Agent响应流程。

练习

1. 设计多Agent SRE架构：3个专门Agent + 监督者。每个Agent负责什么？
2. 对抗评估比单模型评估好在哪里？什么情况下两者一致但都错？
3. 自动修复应该允许哪些操作？哪些必须人类批准？
4. 阅读MIT预测检测论文。描述训练数据和预测方法。
5. 设计事件前预测：什么信号预测LLM服务停机？

关键术语

延伸阅读

• Datadog Bits AI
• NeuBird Hawkeye