Record the failed bounded A01 follow-up
Why: The approved v7 sample saved two checkpoints but still missed semantic and final-result acceptance. Evidence: Independent DB replay, provider usage reconciliation, source checks and the original failed evaluation receipt. Impact: Preserve the exhausted one-shot boundary and keep all draft PRs unmerged. Refs: Agent-System-Documents#95; Agent-System-Dev#512
This commit is contained in:
@@ -429,9 +429,9 @@ go test ./eval/live/ -tags live -run TestWorkCheckpoints -count=1 -v -timeout 35
|
||||
| U2/U3范围来源 | 2026-10-13本聊天用户明确选择推进U2/U3 |
|
||||
| 本实施计划 | r0.1,2026-10-13用户“确认,继续推进”批准,阶段5–10连续授权 |
|
||||
| Task1–6 | 本地实施与独立代码复审已完成;原子持久化、来源绑定、队列/恢复、渐进展示与预算守卫有SELF/REPLAY依据 |
|
||||
| Task7真实模型 | 原六样本及获准的一次额外A01实际执行;累计254177 reported tokens;原A01、修订A02语义验收FAIL,A04保留部分发现但无最终结果;输出上限评测缺陷已修复,原始证据保留 |
|
||||
| 当前出口 | U3质量验收未通过;额外A01已获授权并执行,仍FAIL;未自动再次重跑 |
|
||||
| 平台CI/合入/既有实例部署 | NOT_RUN;尚未达到合入出口;部署不在本批授权内 |
|
||||
| Task7真实模型 | 原六样本、第一次额外A01及第6节另行批准的v7后续A01均已执行;后续A01两付费run、五次provider调用、57997 reported tokens;两次running态检查点确已落盘,但无后台最终结果且有无依据的“已批准决定”断言 |
|
||||
| 当前出口 | U3质量验收仍FAIL;第6节一次性授权已用完,不自动重跑 |
|
||||
| 平台CI/合入/既有实例部署 | Dev旧HEAD 7692503的三项平台CI已通过;新组合待验,质量门禁未通过故未合入;部署不在本批授权内 |
|
||||
|
||||
计划评审入口只维护本文件;Dev任务卡维护当前动作、授权、原始证据及交付进展。用户已批准并按本文件的U2→U3顺序实施;下一阶段建议不自动启动U4或既有实例部署。
|
||||
|
||||
@@ -441,14 +441,16 @@ go test ./eval/live/ -tags live -run TestWorkCheckpoints -count=1 -v -timeout 35
|
||||
|
||||
等价整改:材料记录由宿主以经过核验的原文和文件名展示,省略模型对该类型的转述、影响和前提;分析/推断保持独立类别及前提,不提升为verified。正文与执行过程分开;失败/中断的下一步不得承诺仍在自动处理。输入配方版本已递增,旧成果不因文件名相同而复用。评测仅收紧输出上限,不能放大生产预算。
|
||||
|
||||
下一步优先完成已实施候选的U3质量复验:前置条件为完成检查点复杂度/预算分配的等价整改,并明确批准新的有限复验方案(已批准的额外A01已执行且失败);固定最终候选SHA/相同材料/真实模型,核验两个有用的非终态发布、每项语义与来源、最终结论及Usage,再进入当前HEAD平台CI和PR合入。建议不是新增授权。U4和既有实例部署保持未启动。
|
||||
第6节的一次后续A01质量复验已另行获批、执行并失败。下一步先分析无依据的批准状态断言、第二检查点紧贴预算失败与缺失最终结果,再评审修订方案及资源边界;本次授权不延伸为再次付费试验。U3质量出口未通过,不进入合入。U4和既有实例部署保持未启动。
|
||||
|
||||
## 6. 质量出口后续试验草案(待人工批准;不属于已用完的额外A01授权)
|
||||
## 6. 质量出口后续试验(另行批准一次并执行;结果FAIL)
|
||||
|
||||
**触发和证据。** 已批准的额外A01实际使用两个run、四次provider调用、42203 returned Usage token,零接受的阶段发现。模型先提交含未知字段和错误嵌套的五条发现,随后尝试用省略号拼接来源引文;严格校验正确拒绝,两轮后台调用达到原每run 20000 token阈值,任务失败。独立逐项分析与原始收据见[核验报告](../reports/2026-10-13-fast-slow-u2-u3-validation.md)及额外A01评估。不能把错误引用当有效证据,也不能重用旧失败run补写成果。
|
||||
|
||||
**已准备的等价整改。** 模型侧检查点声明最多引导1–3条新增发现,要求单段落连续的短原文引用;宿主仍只接受可信来源、完整原文和当前版本,不更改Core最多6项的受控上界或来源权限。材料处理配方递增至v7,避免把旧结果复用为新行为。SQLite完整后端套件通过;v7的真实模型效果仍为NOT_RUN。
|
||||
**已准备的等价整改。** 模型侧检查点声明最多引导1–3条新增发现,要求单段落连续的短原文引用;宿主仍只接受可信来源、完整原文和当前版本,不更改Core最多6项的受控上界或来源权限。材料处理配方递增至v7,避免把旧结果复用为新行为。SQLite完整后端套件通过;后续真实模型结果见下文。
|
||||
|
||||
**待审资源变更。** 建议仅对同一A01合成材料再做一次受控试验:两个付费run为上限,每run建议MaxTurns=8、MaxToolCalls=12、MaxTokens从20000调为30000、最长300秒;已返回Usage的本次合计目标不超过60000 token,单次输出上限4000并继续保留生产更低的剩余额度,缺Usage立即停止后续调用。不换模型/路由、不使用重试或回退、不自动确认HITL。该目标不是严格账单上界,一次在途请求可能越过剩余额度。
|
||||
**已批准的资源边界。** 用户2026-10-13另行明确批准同一A01合成材料的一次受控试验:两个付费run为上限,每run MaxTurns=8、MaxToolCalls=12、MaxTokens从20000调为30000、最长300秒;已返回Usage的本次合计目标不超过60000 token,单次输出上限4000并继续保留生产更低的剩余额度,缺Usage立即停止后续调用。不换模型/路由、不使用重试或回退、不自动确认HITL。该目标不是严格账单上界,一次在途请求可能越过剩余额度。
|
||||
|
||||
**验收和停止。** 仍要求至少两个真正有用、结束前保存的不同成果点;逐条检查数字、意见/决定、假设、引文与文件归属,明确无最终结果或因预算中断。模型JSON错误、非原文引用、未知Usage、超出两run或额度目标时停止,保留现场且不重跑。未取得用户对这一资源变更和新付费样本的明确批准前只做代码自检与草稿Review,CI通过也不放行合入。
|
||||
**验收和停止。** 仍要求至少两个真正有用、结束前保存的不同成果点;逐条检查数字、意见/决定、假设、引文与文件归属,明确无最终结果或因预算中断。模型JSON错误、非原文引用、未知Usage、超出两run或额度目标时停止,保留现场且不重跑。该一次性授权已经执行,不覆盖任何后续付费重跑;CI通过也不放行合入。
|
||||
|
||||
**实际结果与读数修正。** Backend 7f8674f/Dev c1c1942 的隔离样本确有两个付费run、五次provider调用、57997 returned Usage token;通知run零调用。检查点1含3项发现,检查点2累计6项发现、10处引用均可匹配原文;两次检查点均以running态原子落盘。第二次仅比失败终态早约1毫秒,250毫秒轮询客户端漏读并误报“少于两个落盘成果”;独立数据库事件重放纠正该读数,不追溯改写原评测exit1。后台run因每run 30000 token阈值失败,没有最终结果;首批已发布内容把材料中的预算/范围错误称为“已批准决定”,缺乏依据。因此有两次持久化并不等于两个可用成果,U3质量出口仍FAIL。原件和独立复审见核验报告;没有再次付费试验授权。
|
||||
|
||||
@@ -22,7 +22,7 @@ SELF原始命令输出由Dev的make evidence工具写入任务卡,不能升级
|
||||
| SELF,隔离PostgreSQL | runmgr/cardsvc/store;此前完整PG后端套件 | PASS;原子性、租约隔离、来源CAS及材料记录守卫通过 |
|
||||
| SELF,实际HTTP浏览器 | 两项新来源/阅读用例、十一项既有导航/窄屏/字号/附件/确认用例 | PASS于先前固定候选;未当作模型质量证明 |
|
||||
| REPLAY,/root/fast_slow_final_review | 独立源码审阅、SQLite/PG重跑、迟到预览、插件冲突、删除索引、通知、实际生产启动及终态正文 | 已整改问题闭合;最终核验对象/日志见下面复审报告 |
|
||||
| GATE | 当前HEAD平台CI及PR合入 | NOT_RUN;U3出口未通过,不提前合入 |
|
||||
| GATE,Dev 7692503 / Backend e1c994c / UI 3b34dfd | 对应精确HEAD平台CI | PASS;Dev三项、Backend及UI各自要求的作业均在受信runner通过。后续v7评测入口及文档更新会形成新HEAD,旧CI不冒充新对象;U3出口FAIL,不提前合入 |
|
||||
|
||||
最新来源预览、旧版本保护及后台不抢文件/焦点的两项实际HTTP/browser用例于Backend6a2d85c、FE3087b06通过,SELF收据fast-slow-browser-final-literal.json。
|
||||
|
||||
@@ -45,7 +45,7 @@ SELF原始命令输出由Dev的make evidence工具写入任务卡,不能升级
|
||||
|
||||
## 剩余工作及停止边界
|
||||
|
||||
已请求用户批准一次额外A01复验:最多2个run,reported token目标≤60000,不自动重试。当前未收到答复,未执行额外付费调用。条件满足后固定最终候选SHA、保留历史失败,检查两个真实有用阶段、逐项语义与引用、完成卡及Usage;通过后再进行精确HEAD的CI、组件/组合PR合入和安全收口。
|
||||
原计划要求一次额外A01的明确批准;该次与其后另行批准的v7试验均已执行,结果见下节。两次授权都已耗尽,不能自动追加样本。只有取得真正有用且语义准确的阶段成果、最终结果与可信Usage,才可继续合入与收口。
|
||||
|
||||
10秒可读性尚无代表性用户测量,标为未验证;既有服务/生产数据未变,U4与部署未启动。代码与原始证据保留在登记任务工作区,未回收未完成分支。
|
||||
|
||||
@@ -63,4 +63,12 @@ SELF原始命令输出由Dev的make evidence工具写入任务卡,不能升级
|
||||
|
||||
合并后的隔离PostgreSQL后端完整套件PASS(SELF `fast-slow-current-backend-pg.json`)。当前Backend0bc4b0f实际HTTP/browser两项PASS(SELF `fast-slow-browser-aa-final.json`)。独立REPLAY核对账户加固合并与任务来源/通知/恢复/SSE共存,见更新后的代码审阅归档。
|
||||
|
||||
后续代码候选仅把模型侧单次检查点声明收敛至1–3条和连续短引文,并将材料配方递增至v7;host来源校验、原JSON失败原件不变。新版有本地后端测试,真实模型质量NOT_RUN。建议的每run 30000 token / 两run合计60000 token属于**待批准试验草案**,不沿用已消耗的额外A01授权。
|
||||
后续代码候选仅把模型侧单次检查点声明收敛至1–3条和连续短引文,并将材料配方递增至v7;host来源校验、原JSON失败原件不变。该v7后续试验已另行获批并执行,质量结果见下节;它没有复用先前已耗尽的授权。
|
||||
|
||||
## 另行批准的v7后续A01:两次落盘,质量仍FAIL
|
||||
|
||||
Backend7f8674f、Dev c1c1942 的隔离试验只执行一次A01:两个付费run,五次provider调用,共57997 returned Usage token;通知run零调用,所有单次输出上限4000,实际每run预算30000/8轮/12工具。原始结果为`model-output/candidate-followup-a01.json`,逐调用原件为`followup-a01-v7-live-data/provider-records.json`,命令原始SELF收据为`followup-a01-run-receipt.json`,均在`/tmp/fast-slow-u2-u3-20261013/`,旧额外A01结果保持原哈希。
|
||||
|
||||
数据库事件独立重放确认两次检查点确以running态提交:第一批3项,第二批累计6项;10处已接受引用均与来源原文及版本匹配。第二次提交只比失败终态早1.076毫秒,250毫秒轮询客户端漏读,原评测exit1所称“少于两个落盘成果”是观测假阴性。评测入口已增加对持久事件的只读核验并用夹具RED→GREEN验证;独立覆盖测试确认不会把其他会话或终态计入。**没有再次调用真实模型或追溯改写原始exit1**。详见`/tmp/fast-slow-u2-u3-20261013/review/model-assessment-followup-a01.md`及`persistence-counter-replay.log`。
|
||||
|
||||
业务质量依然FAIL:首批发现把需求文档中的预算与范围误写成“已批准决定”,材料并无批准依据;第二批虽有可追溯的分析,却几乎立刻进入失败终态,用户难以看到持续推进。后台run在报告用量越过30000阈值后失败,未生成最终正文;在途调用可使该run的实际返回Usage超过阈值。来源字面正确不等于语义正确,不能以两个落盘检查点放行U3。后续付费样本需要新的方案与明确授权;草稿PR保留,未合入、未部署。
|
||||
|
||||
Reference in New Issue
Block a user