Kleenex

AI写代码省的时间，全赔在调试上？Claude官方：让AI自己测、自己改

设想一个场景：

你用Claude Code亲手搭建了一个小型应用，还给它配上了AI客服功能。

原本指望它能自动处理“怎么登录”“会员服务有什么内容”这类基础问题，让自己彻底省心。

结果呢，客服确实能对话了，但你却变成了它的全职陪练：回答不准确，立刻补一句提示词；解释太长，再加一条限制。

更让人头疼的是，每次修改提示词，你都得把常见问题重新问一遍，生怕修好一个问题，却把原本答对的搞砸了。

这样一来，用AI写代码省下的时间，又有一大部分耗在了反复的人工调试上。

针对这种重复调试的痛点，9月28日，Anthropic官方发布了一份优化指南。

这份指南的核心思路很简单：反复测试、修改这类工作，Claude也能胜任。

让它多承担一些，你就能少当几轮辛苦的测试员，把精力集中在给AI把关：设定规则，明确什么才算合格，再检查它是否真正做到了。

把“别乱说”变成具体的测试题

要让AI有方向地改进，先得把“怎样才算正确”说清楚。

平时我们总希望AI客服“靠谱一点”，但这种要求太模糊了。

如果能把标准落实到用户实际会遇到的问题上，判断依据就清晰多了。

比如：用户找不到导出按钮时，它能否给出正确的操作路径？用户问到尚未开发的功能时，它会不会胡编乱造？遇到退款问题，它能否按明确规则处理，不确定时不随意承诺？

官方提供的第一个工具是：/claude-api build-eval。

简单来说，它能帮你把这些具体要求转化为测试题，为接入Claude的小应用建立一套可重复运行的验收题库。

你可以把平时让AI频繁出错的问题交给它，但题库不能只收录“翻车案例”，那些最常见、最普通的问题也需要覆盖。否则，偏题、难题再多，也可能无法准确反映普通用户的日常体验。

题目选好后，还要明确“如何评分”。

“专业”“智能”“友好”这些要求太笼统，需要细化到更具体的衡量标准。例如，哪些信息必须包含，哪些错误不能犯，达到什么程度才算合格。

官方邮箱分类示例：测试样例需由用户确认。

Claude会帮你拟定相应的评分规则，而你需要确认，按照这套规则获得高分的答案，是否真正解决了用户的问题。

有些结果可以直接用程序检查，比如是否遗漏关键字段；对于有多种合理答案的开放性问题，也可以让模型按明确规则打分。但评分器本身也需要先验证：拿几份已评分的答案，对照自己的判断，看是否有“答对了却扣分”“没解决问题却给过关”的情况。确认评分可靠后，再定期抽查。

对开发者来说，这一步最大的好处是，你终于能把“怎么又答错了”的反复抱怨，变成一套可持续运行的自动化检查。以后每次修改提示词，就能再跑一遍，看看这次修复了哪里，有没有把其他地方改坏。

自己改自己测，改差了就撤回

题库建好后，接下来是第二个官方工具：/claude-api hillclimb。

hillclimb可以理解为“爬坡”，让AI逐步尝试优化，看是否有进步。但这个KPI同样需要具体明确，还要说明允许它修改什么。

比如，让客服回答更准确，允许它修改提示词；或者在保持回答质量的前提下，尝试节省API费用，允许它调整模型配置。

接到任务后，Claude会查看用于迭代的错题，每轮提出一处修改，再重新运行评估：如果修改后确实改善了既定目标，就保留；如果反而退步了，就撤回。

根据官方文档，这两个工具都要求Claude Code v2.1.259及以上版本。提示词、技能文件、工具说明和模型配置等都可以成为优化对象，但具体改哪些，需要你划定范围。

你可能会担心：AI会不会变成应试教育的“做题家”？只针对你给的几道题死记硬背，换个问法就开始胡言乱语？官方确实考虑到了这一点。这套流程会单独留出一部分题目，作为不提前公开的“验收考题”。负责提出修改的模型看不到这些题的内容。每轮修改后，再用这些题测试，看效果是真的变好了，还是只对练过的题管用。

如果练过的题分数提高了，但“验收考题”的成绩没变化，就可能出现了“过拟合”：越来越会做熟题，换一批题却没进步。遇到这种情况，Claude会撤回本轮修改。如果改完后表现反而变差，也会回退。

每轮修改后复测，根据结果保留或撤回。

这能帮助发现“只会做熟题”的问题，但不代表从此高枕无忧。题库本身覆盖不到的真实问题，仍然可能让它翻车。

官方客服案例：成本降至约1/5

Anthropic用一个内部客服评测展示了效果。在14张未参与指导修改的留出测试工单上，最终配置的决策准确率从78.6%升至90.5%，提高了11.9个百分点，模型调用成本降到了原来的约1/5。

调整模型、思考强度与提示词，改善准确率和成本。图中为迭代集成绩。

不过，这是一组特定配置、特定小样本下的结果，并不意味着接上这套流程，你的应用也能省八成。这里比较的模型调用成本，也不能当成整个项目的总成本。但对于自己掏腰包付API费用的个人开发者来说，仍然很有吸引力。毕竟，便宜的模型如果老是答非所问，逼得用户反复追问，最后还要你人工介入，未必划算。而简单问题如果也用昂贵的配置，顺带生成一大段不必要的解释，同样可能花冤枉钱。

现在，你可以把回答质量和调用成本放在一起测试，让AI在满足质量要求的前提下，尝试更省钱的方案。不过，优化本身也要消耗模型调用费用。先定好愿意掏多少实验费，再决定让AI跑几轮，才更踏实。

把时间还给真正重要的事情

当这套自动化流程跑起来后，你就有机会少做一些重复的提示词修补，把精力放回产品本身。

首先，是洞察用户。你觉得理所当然的操作，第一次打开应用的人可能连入口都找不到。你要做的，是把这些真实发生的困惑补充进题库，AI的下一次优化才会更接地气。

其次，是把控标准。回答再客气，没解决问题，能算过关吗？意思明明相同，只是换了种说法，评分器会不会误判？评分标准本身要是有漏洞，AI忙活半天，可能只是分数涨了，用户的问题却还在。

邮件分类评测：左侧查看各题得分，右侧回看模型输入与回答，核查评分是否合理。

最后，是做权衡。回答精简会不会漏掉必要步骤？追求便宜会不会牺牲准确度？这些关乎用户体验的关键取舍，依然需要你来拍板。

给应用接入AI，初衷是为了省心。如果最后演变成你全天候陪着它改答案，就本末倒置了。当Claude能多接手一些重复调试，普通开发者就能多花时间打磨自己的小工具、小应用，让那些搁置的想法重新往前走。你也可以通过爱游戏 (中国)官方网站 - 首页入口，了解更多关于Claude的实用技巧和优化方案。

参考资料： https://claude.dev/blog/automating-eval-design-and-hillclimbing/?utm_source=chatgpt.com 本文来自微信公众号，作者：ASI启示录，编辑：元宇，36氪经授权发布。