先定义要改进的具体缺陷
“新版更聪明”无法验收。将目标改成可观察问题,例如会议行动项不再补造负责人,或金额表能保留未知价格。只改变一项主要提示要求,保存旧版和新版,避免同时更换材料、模型与输出格式后无法解释结果。
挑选能暴露问题的小样本
从有权使用的材料中选若干代表片段,保留普通、困难和边界情况。会议稿可以包含明确任务、尚未决定事项和否定句;套餐资料可以包含年付折算、缺少周期及价格冲突。例子数量由任务决定,不是越多就自动越可信。
不要把所有试题都按已有正确答案改得过于简单,也不要将真实秘密放进测试材料。为每个案例写清必须保留的信息、允许的表达差异和不能出现的推断。
分开评价事实、格式与操作范围
事实错误、缺少字段、格式偏差和越权动作应分别记录。一次严重的虚构不能被文字流畅度抵消;自动评分也不能代替对关键结果的人工复核。评估方法可参考OpenAI评估实践中任务相关测试与持续检查的思路,本页不要求接入任何特定模型。
比较同一输入下的两版表现
让两版处理同一份材料,逐项核对,不先看哪个版本的排版更漂亮。若输出有随机变化,对重要案例再做有限重复,记录变化而不是挑最好一次展示。一次改进可能同时带来另一项退步,因此保留原本已经通过的案例。
把测试结果变成采用条件
可以决定新版仅用于某类材料,或保留旧版直到关键错误解决。结论应说明样本范围和未覆盖场景,不写成模型准确率或普遍能力排名。输入结构、工具权限或任务目标改变时重新检查;固定样本帮助发现回退,但不能保证真实世界永远不出错。