评估驱动Agent开发

Anthropic的指导：“从简单提示开始，用全面评估优化它们，仅在需要时添加多步Agent系统。“评估不是最后一步。它是驱动Phase 14中每个其他选择的外循环。

类型： 学习 + 构建 语言： Python（标准库） 前置条件： Phase 14全部课程 时间： ~60分钟

学习目标

• 命名三层评估 — 静态基准、自定义离线、在线生产 — 以及各自的用途。
• 解释评估器-优化器紧密循环。
• 描述2026年最佳实践：评估与代码并存，在CI中运行，门控PR。
• 将Phase 14每节课连接到它生成的评估用例。

问题所在

Agent通过演示。它们以演示无法预测的方式在生产中失败。基准回答”这个模型是否广泛有能力？“而不是”这个Agent是否为我的产品交付正确的补丁？“答案：三层评估，持续运行，每个护栏和学习规则映射到一个评估用例。

核心概念

三层评估

1. 静态基准 — 代码的SWE-bench Verified（第19课）、浏览/桌面的WebArena/OSWorld（第20课）、通用的GAIA（第19课）、工具使用的BFCL V4（第06课）。用于跨模型比较和回归门控。污染是真实的：SWE-bench+发现32.67%的解决方案泄漏。始终报告Verified/+-audited分数。

2. 自定义离线评估 — 你产品的形状：

   • LLM作为评判者（Langfuse、Phoenix、Opik — 第24课）。
   • 基于执行（运行补丁，检查测试）。
   • 基于轨迹（将动作序列与黄金标准比较；OSWorld-Human显示顶级Agent是黄金标准的1.4-2.7倍）。

3. 在线评估 — 生产：

   • 会话回放（Langfuse）。
   • 护栏触发警报（第16、21课）。
   • 每步成本/延迟追踪（第23课OTel span）。

评估器-优化器（Anthropic）

紧密循环：

1. 提议者生成输出。
2. 评估器判断。
3. 精炼直到评估器通过。

这是Self-Refine（第05课）的泛化。你关心的任何Agent流程都可以包装在评估器-优化器中以获得可靠性。

2026年最佳实践

• 评估与代码并存。
• 每个PR在CI中运行。
• 在评估分数上门控合并（例如”相对main回归不超过5%”）。
• 每个护栏映射到一个评估用例。
• 每个学习规则（Reflexion、pro-workflow learn-rule）映射到一个失败用例。

连接Phase 14

Phase 14中的每节课生成评估用例：

如果你的评估套件有每种用例，你就覆盖了Phase 14。

评估驱动开发失败的地方

• 无基线。 没有最后已知良好的评估是不可读的。存储基线。
• LLM评判者无锚定。 评判者也会幻觉。CRITIC模式（第05课）— 评判者锚定在外部工具上。
• 过度拟合评估。 为评估优化偏离生产有用性。轮换用例。
• 不稳定评估。 非确定性用例导致误报。固定种子，快照状态。

构建

code/main.py是一个标准库评估线束：

• 带类别的用例注册表（基准、自定义、在线）。
• 被测脚本Agent。
• 评估器-优化器循环：提议、判断、精炼直到通过或最大轮次。
• CI门控：聚合通过率 + 相对基线的回归。

运行：

python3 code/main.py

输出：每个用例的通过/失败、回归标志、CI门控裁决。

使用

• 在与Agent代码相同的仓库中编写评估用例。
• 每个PR通过CI运行。
• 在回归上使构建失败。
• 随时间跟踪通过率。
• 将每个生产失败绑定到新用例。

交付

outputs/skill-eval-suite.md为Agent产品构建带CI门控和回归跟踪的三层评估套件。

练习

1. 取你的一个生产失败。编写一个复现它的评估用例。你的Agent现在通过它了吗？
2. 为你的领域构建LLM评判者评分标准，包含三个维度（事实、语气、范围）。评分50个会话。
3. 将评估套件连接到CI。在>=5%回归时使构建失败。
4. 添加轨迹效率指标：Agent走了多少步vs黄金轨迹？
5. 将Phase 14每节课映射到你套件中的评估用例。有缺失的吗？那是需要关闭的差距。

关键术语

延伸阅读

• Anthropic, Building Effective Agents — “从简单开始，用评估优化”
• OpenAI, SWE-bench Verified — 策划的基准
• Berkeley Function Calling Leaderboard — 工具使用基准
• Langfuse docs — 实践中的评估 + 会话回放