weichen/Agent-System-Documents
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Record failed U3 r0.4 A01 assessment

Browse Source 
Why: The single authorized real-model trial produced no persisted checkpoint or final result and exposed an unsupported fast-channel inference.

Evidence: Independent read-only assessment SHA 2ac373ed66d47aaa9cdb699d3bf77eb8a515d46956ee0321b70cc0230d79b667; restricted 20-file source-verified archive manifest SHA 881991dcab17ad2539f8b24332f962e3505ab2f248662f58283fe08daa179077.

Impact: Preserve the FAIL decision, returned-versus-persisted Usage discrepancy, resource stop, and next design gate without rewriting the sample.

Refs: U3 r0.4 plan; Dev task feature-fast-slow-u2-u3-plan
This commit is contained in:
weichen
2026-10-14 05:47:32 +00:00
parent 8e66127a76
commit c53662a6d8
1 changed files with 15 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/reports/2026-10-13-fast-slow-u2-u3-validation.md
+15 -1
View File
@@ -1,6 +1,6 @@
# 快慢通道 U2/U3 候选核验记录 # 快慢通道 U2/U3 候选核验记录
2026-10-13 起；负责人 weichen，实施者本聊天 Codex；计划[ r0.1](../proposals/2026-10-13-fast-slow-u2-u3-plan.md)，用户“确认，继续推进”授权原增量阶段5–10连续推进。**r0.2 语义质量与 r0.3 真实模型阶段成果质量均未通过；r0.4 书面设计已获批准，详细实施计划待评审，六个 PR 均为草稿，未合入、未部署。** 2026-10-13 起；负责人 weichen，实施者本聊天 Codex；计划[ r0.1](../proposals/2026-10-13-fast-slow-u2-u3-plan.md)，用户“确认，继续推进”授权原增量阶段5–10连续推进。**r0.2 语义质量、r0.3 与 r0.4 真实模型阶段成果质量均未通过；八个 PR 保持草稿，未合入、未部署。** r0.4 已获书面设计、实施计划和零付费阶段 6 评审；其一次性 A01 资源批准已经使用，结果见文末。
## 已实现的用户行为 ## 已实现的用户行为
@@ -138,3 +138,17 @@ Backend `9019f90` 为三项分别加入失败用例后作零付费修复：恢
补充零付费调查确认三份上传材料确已入本次 SQLite 索引；实际“文件名＋关键词”查询在当前 FTS/LIKE 路径均零命中，单文件名各命中一条（SELF `search-diagnosis-receipt.json`）。Agent-Native SSE 的合成流在 `finish_reason=tool_calls` 且缺 `[DONE]` 时仍放行半截工具调用（SELF `sse-repro-receipt.json`）；**没有本次服务商原始 SSE，不能把这一机制缺口断言为 A01 截断的原因**。失败通知的系统文字在无可用结果时仍要求交付物选择；评测抑制了通知模型回合，不证明浏览器实际发卡。完整原始样本、SQLite、逐调用记录、工具脚本及受限报告在 `/home/weichen/.local/share/agent-system-evidence/fast-slow-u3-r03-a01-20261014/`，`archive-manifest.json` 校验每个副本；未复制受保护路由或 API key。 补充零付费调查确认三份上传材料确已入本次 SQLite 索引；实际“文件名＋关键词”查询在当前 FTS/LIKE 路径均零命中，单文件名各命中一条（SELF `search-diagnosis-receipt.json`）。Agent-Native SSE 的合成流在 `finish_reason=tool_calls` 且缺 `[DONE]` 时仍放行半截工具调用（SELF `sse-repro-receipt.json`）；**没有本次服务商原始 SSE，不能把这一机制缺口断言为 A01 截断的原因**。失败通知的系统文字在无可用结果时仍要求交付物选择；评测抑制了通知模型回合，不证明浏览器实际发卡。完整原始样本、SQLite、逐调用记录、工具脚本及受限报告在 `/home/weichen/.local/share/agent-system-evidence/fast-slow-u3-r03-a01-20261014/`，`archive-manifest.json` 校验每个副本；未复制受保护路由或 API key。
本次 **U3 模型质量 FAIL**，原有 r0.2 语义 FAIL 也不改判。六 PR 保持草稿，不进入阶段7验收、代码合入或部署；本次付费授权已耗尽，无自动补跑。用户先批准[ r0.4 方向](../proposals/2026-10-14-fast-slow-u3-r04-reliable-first-checkpoint-design.md)的书面设计撰写，随后批准 Documents `7b21e6d495e99e15c458d608db47c517b2fdc599` 的书面设计进入[详细实施计划](../proposals/2026-10-14-fast-slow-u3-r04-reliable-first-checkpoint-implementation-plan.md)；该计划待阶段5人工评审，尚未授权代码修订或新付费样本。设计将首条短事实、材料范围检索、流终态/Usage 安全与失败状态选择卡一并处理，不降低原 A01 两条有用阶段成果及完整正文的验收标准。 本次 **U3 模型质量 FAIL**，原有 r0.2 语义 FAIL 也不改判。六 PR 保持草稿，不进入阶段7验收、代码合入或部署；本次付费授权已耗尽，无自动补跑。用户先批准[ r0.4 方向](../proposals/2026-10-14-fast-slow-u3-r04-reliable-first-checkpoint-design.md)的书面设计撰写，随后批准 Documents `7b21e6d495e99e15c458d608db47c517b2fdc599` 的书面设计进入[详细实施计划](../proposals/2026-10-14-fast-slow-u3-r04-reliable-first-checkpoint-implementation-plan.md)；该计划待阶段5人工评审，尚未授权代码修订或新付费样本。设计将首条短事实、材料范围检索、流终态/Usage 安全与失败状态选择卡一并处理，不降低原 A01 两条有用阶段成果及完整正文的验收标准。
## 2026-10-14 r0.4 一次性 A01：工具流终态失败，质量 FAIL
用户先批准 r0.4 书面设计、详细计划与零付费实施，随后确认 Dev `aedcc7c` 阶段 6 通过，再单独批准一次性资源提案（原件归档）：固定质量候选最多 2 个付费 run，每 run 配置 30,000 tokens／8 轮／12 工具／300 秒，单次输出最多 4,000 tokens，整批已返回 Usage 停止目标 60,000 tokens，不自动重试或换模型；本次不授权合入和部署。主干同步后，Dev `d38dbdc396b7b8c6a9e34142ea8e6018abbed1fc` 固定 Backend `37e2cb7adb6202902345d38bc591e12be7aa79c0`、Agent-Native `a5e3c7c817166865d75b764337b15ca7d505d131`。Dev 准确 HEAD 的 `test`、`test-pg`、`svc-realcombo` 平台运行 3075 和 Backend 准确 HEAD 平台运行 3074 均由受信 runner 完成；启动前零付费预检、路由文件权限和哈希、三份合成材料、唯一输出路径与 0-run 数据目录核对通过。原提案没有被数据目录修订覆盖；等价路径修订另存 `A01-resource-proposal-implementation-amendment.md`，仅将目录名补足夹具要求的任务前缀。
仅启动一次模型模式任务并运行一次 `TestWorkCheckpoints`。测试 exit1，报“少于两个已持久化的运行中检查点”；随即停止本任务实例，没有补跑。独立只读复审 `/tmp/fast-slow-u3-r04-20261014/A01-independent-assessment.md`（SHA-256 `2ac373ed66d47aaa9cdb699d3bf77eb8a515d46956ee0321b70cc0230d79b667`）核对原始 SQLite、逐调用记录、结果、收据、材料与已提交源码：实际 **2 个付费 run、3 次 provider 调用，返回 Usage 29,062 tokens**，均有 Usage；最后一次子 run 返回 7,148 tokens，`finishReason=tool_calls`、`streamComplete=false`、非重试错误 `tool call stream ended before [DONE]`，没有可执行工具调用。`toolArgumentsValid=true` 只表示收到的 JSON 可解析；原始 SSE 未保存，无法判断 `[DONE]` 未被观察到的原因，也不能确认被拒工具的名称。数据库中没有 `tool.call`／`tool.result` 或检查点事件，运行中卡片 `checkpointSeq=0`、发现 0 项，材料任务失败、完整最终正文缺失。失败通知没有虚构交付物选择。
快通道澄清问题还出现独立语义错误：`剩余 4 项（含 3 项依赖接口）` 把总 12 项中 3 项依赖接口擅自归入第一期 8 项之外的剩余 4 项；原材料未给出交集归属。问句形式不消除其中的肯定关系。故本次真实质量 **FAIL**，不进入阶段 7，八个 PR 不合入。r0.2/r0.3 失败结果保持原判。
另有一项记账缺陷：逐调用记录正确合计 29,062，但原 SQLite 的父 run 记 21,914、失败子 run 记 0，结果 JSON `reportedTokens=21,914`，少计已返回的 7,148 与其 cache-read 128。Agent-Native 错误终态把 Usage 放入 `Result.Usage`，Backend 子 runner 却只从未发出的 `message_end` 累计持久化 Usage。此项零付费修复及独立验证另按 Backend/Dev 新 SHA 记录；不会改写本次已保存的结果，也不能使质量由 FAIL 转 PASS。
原始试验及复审材料已复制到受限归档 `/home/weichen/.local/share/agent-system-evidence/fast-slow-u3-r04-a01-20261014/`：20 个文件，逐个校验原件与副本 SHA-256，目录 0700、文件 0600，`archive-manifest.json` SHA-256 `881991dcab17ad2539f8b24332f962e3505ab2f248662f58283fe08daa179077`；未复制受保护路由或 API key。原始数据仍在 `/tmp/fast-slow-u3-r04-model-20261014/`，归档和本地收据均不提升证据等级。
下一步需对工具流未见 `[DONE]` 的真实边界和快通道数字归属分别修订书面设计；先用零付费可重放数据建立安全终态判据、诊断和语义反例，不降低工具执行或来源门禁。任何新的付费样本需新的候选固定、阶段评审和单独资源批准；本次授权已用尽，不能沿用运行 3075 的 GATE 或自动再试。