真实仓库工作台 — 前后对比报告

十一课的表面如果不能在真实代码库中存活就毫无价值。本课在小型示例应用上运行相同任务两次：仅提示 vs 工作台引导。数据说话。

类型： 构建 语言： Python（标准库） 前置条件： Phase 14 · 32到14 · 40 时间： ~60分钟

学习目标

• 将七种工作台表面汇聚到小型应用上。
• 运行相同任务两次（仅提示和工作台引导）并测量五个结果。
• 阅读前后报告并决定哪些表面给了最大杠杆。
• 为”但我的模型够好了”的反对意见辩护工作台。

问题所在

玩具任务上的演示说服不了任何人。工作台的案例是在真实感的任务在真实感的仓库上以更少失败、更少回滚和下一个会话可以使用的包投入生产时建立的。

核心概念

五个测量结果

生产数据

• Terminal Bench Top-30到Top-5，同一模型。 LangChain的Anatomy of an Agent Harness：编码Agent仅通过更改线束从30名外跃升至第5名。同一模型。不同表面。25名差距。
• Vercel 80%到100%，通过删除工具。 Vercel报告删除80%的Agent工具将成功率从80%移动到100%。更小的工具表面，更清晰的范围，更少的失败方式。
• Harvey 2倍准确性，仅通过线束。 法律Agent通过线束优化将准确性翻倍，无模型变更。
• 88%的企业AI Agent项目未能投产。 preprints.org论文追踪失败到运行时，不是推理：过时状态、脆弱重试、过度增长的上下文、从中间错误恢复不良。
• 长上下文崩溃。 WebAgent基线40-50%成功率在长上下文条件下降至10%以下，主要来自无限循环和目标丢失。

实践

code/main.py针对相同示例应用固定装置编排两个管道。两个管道都是脚本化的（循环中无LLM），使测量可复现。脚本将比较写入 before-after-report.md 和 comparison.json。

交付

outputs/skill-workbench-benchmark.md是一个可移植的评估线束，针对项目自己的示例应用通过两个管道运行任何Agent产品并报告五个结果。

练习

1. 添加第六个结果：首次有意义编辑时间。你如何干净地测量它？
2. 在你代码库中的真实第二天任务上运行比较。工作台数字在哪里滑落？
3. 添加”假阴性”通过：仅提示更快的任务和工作台开销是真实成本。辩护仍然保留工作台。
4. 用真实LLM调用替换脚本”Agent”。哪些结果变得更嘈杂？
5. 编写针对非工程师的一页摘要。什么通过筛选？

关键术语

延伸阅读

• LangChain, The Anatomy of an Agent Harness
• MongoDB, The Agent Harness
• preprints.org, Harness Engineering for Language Agents