Disclose the A01 stop-rule deviation

Why: The controlled trial made one more paid provider request after rejecting a nonliteral quote. Evidence: Independent transcript audit found a 14231-token continuation within the same child run; original receipts and failed quality verdict remain intact. Impact: Make the authorization deviation explicit and reference a zero-paid prevention guard; no additional model run is authorized. Refs: Agent-System-Documents#95; Agent-System-Backend#193; Agent-System-Dev#512
2026-10-13 08:02:43 +00:00
parent f7a68e5882
commit 9cdb14010c
2 changed files with 4 additions and 0 deletions
@@ -454,3 +454,5 @@ go test ./eval/live/ -tags live -run TestWorkCheckpoints -count=1 -v -timeout 35
 **验收和停止。** 仍要求至少两个真正有用、结束前保存的不同成果点；逐条检查数字、意见/决定、假设、引文与文件归属，明确无最终结果或因预算中断。模型JSON错误、非原文引用、未知Usage、超出两run或额度目标时停止，保留现场且不重跑。该一次性授权已经执行，不覆盖任何后续付费重跑；CI通过也不放行合入。

 **实际结果与读数修正。** Backend 7f8674f/Dev c1c1942 的隔离样本确有两个付费run、五次provider调用、57997 returned Usage token；通知run零调用。检查点1含3项发现，检查点2累计6项发现、10处引用均可匹配原文；两次检查点均以running态原子落盘。第二次仅比失败终态早约1毫秒，250毫秒轮询客户端漏读并误报“少于两个落盘成果”；独立数据库事件重放纠正该读数，不追溯改写原评测exit1。后台run因每run 30000 token阈值失败，没有最终结果；首批已发布内容把材料中的预算/范围错误称为“已批准决定”，缺乏依据。因此有两次持久化并不等于两个可用成果，U3质量出口仍FAIL。原件和独立复审见核验报告；没有再次付费试验授权。
+
+**执行停止边界偏差。** 原计划上段明确要求“非原文引用时停止”。本次后台第2次候选因非原文引文被拒绝后，同一个子run又发起第3次付费provider请求，返回14231 Usage token并修正引用；它没有新开run或执行传输重试，但仍违反该停止条件。57997低于本次60000目标也不能抵消这一偏差。评测入口已增加“检查点工具拒绝后阻止任何后续provider请求”的零付费RED→GREEN门禁；原样本、原exit1和偏差照实保留，不因代码修复追溯改为合规或质量通过。
@@ -72,3 +72,5 @@ Backend7f8674f、Dev c1c1942 的隔离试验只执行一次A01：两个付费run
 数据库事件独立重放确认两次检查点确以running态提交：第一批3项，第二批累计6项；10处已接受引用均与来源原文及版本匹配。第二次提交只比失败终态早1.076毫秒，250毫秒轮询客户端漏读，原评测exit1所称“少于两个落盘成果”是观测假阴性。评测入口已增加对持久事件的只读核验并用夹具RED→GREEN验证；独立覆盖测试确认不会把其他会话或终态计入。**没有再次调用真实模型或追溯改写原始exit1**。详见`/tmp/fast-slow-u2-u3-20261013/review/model-assessment-followup-a01.md`及`persistence-counter-replay.log`。

 业务质量依然FAIL：首批发现把需求文档中的预算与范围误写成“已批准决定”，材料并无批准依据；第二批虽有可追溯的分析，却几乎立刻进入失败终态，用户难以看到持续推进。后台run在报告用量越过30000阈值后失败，未生成最终正文；在途调用可使该run的实际返回Usage超过阈值。来源字面正确不等于语义正确，不能以两个落盘检查点放行U3。后续付费样本需要新的方案与明确授权；草稿PR保留，未合入、未部署。
+
+本次还有一项**执行偏差**：后台第2次检查点候选因非原文引文被拒绝后，仍在同一run发起下一次付费provider请求，返回14231 tokens。虽然仍是两个付费run且本次总57997低于60000目标，这违反了计划第6节“非原文引用时停止”的独立条件；不能解释为“同run纠错就不算重试”而豁免。根因是原评测入口只守卫run数、Usage和超时，没有把检查点工具拒绝作为后续provider请求的停止信号。新增零付费RED→GREEN测试及评测入口阻断，**未重新运行真实模型**；原始偏差和质量FAIL保持不变。