Files
Agent-System-Documents/docs/proposals/2026-10-13-fast-slow-u3-quality-revision.md

8.1 KiB
Raw Permalink Blame History

快慢通道 U3 质量修订设计 r0.2

状态:三处修订方向、本文书面设计及实施计划 r0.2已于 2026-10-13 在本会话获用户确认,零付费实施已获批准。新的付费模型样本仍须另行明确授权;合入须满足真实模型质量出口,既有实例部署不在范围。原 U2/U3 计划的 U2 持久化、执行权、来源权限和三栏工作台目标继续有效;其 Task7 质量出口仍为 FAIL。

目标与已证实的问题

目标仍是让普通用户在同一张卡里及时看到有用、可追溯的阶段成果,随后得到真实的最终整理结果。材料原文、模型判断、待用户确认的决定须易于区分;默认视图不把未经证实的判断当成已批准事实。保留左侧找上下文、中间推进对话、右侧处理工作,不新增页面或命令展示。

已获批的 v7 A01 样本在 Backend 7f8674f 上产生两次 running 态落盘,但后台因 30,000-token 运行目标耗尽而没有最终正文;首批 analysis 把需求里的“规定总预算/包含12项”说成“已批准决定”,引用原文没有该批准事实,会议还写明审批尚未完成。第二批距失败终态仅 1.076 毫秒,不能作为两个用户可感知阶段窗口的证明。该样本使用两个付费 run、五次 provider 调用、57,997 reported tokens;非原文引用被拒后仍继续一次 14,231-token 调用,违反原计划停止条件。原始失败与独立核验保留,不追溯改判。后续评测入口的实例级停止门禁已独立复审通过,但没有新的模型行为证据。

离线复盘:后台首轮输入 10,657 字符,其中单独追加的 33 条来源索引约 6,355 字符,主要重复已内联的材料。后台三次调用的 prompt tokens 分别为 6,778/10,134/11,343,累计 Usage 35,632;最后一次请求前没有为最终答复留下可用额度。来源引文的字面校验只证明片段存在,不能证明 analysis 对批准状态的解释正确。上述成本结构是可测的改进机会,尚不能证明压缩后模型必定完成。

方案选择

路径 取舍 结论
仅加强提示词或提高预算 改动少,但 v7 已经证明提示词无法独自防止批准误判;提高额度会增加付费且不修正语义 不作为下一候选
增加第二个模型审核/摘要回合 可检查部分判断,但违反本批零附加模型调用边界,也引入新成本与时序 本轮不选
来源一次呈现、宿主限制批准断言、为最终答复留额度 利用既有来源账本和检查点,不扩大权限或页面;需要回归验证映射、误拒与模型实际行为 推荐,分三项实施

设计一:来源与正文合并呈现

materialSources 仍是唯一可信来源注册表,validate 的 owner/project、原件 hash、blockIndex、连续原文 quote 与版本检查不放宽。构造子任务输入时,按原文块顺序把已提供片段与它的 sourceId/blockIndex 放在一起;不再把相同内容以最多 180 字的索引片段重复附在末尾。模型只看到本次真正提供的前缀及其来源标识,未提供、无 Origin 或已截断的块不得获得可引用标识;原解析警告、文件名、表格文字与超长提示仍保留。这样来源编号紧挨着可引用原文,模型无需从两份文本间反查。

改变输入布局时递增材料处理配方版本,旧完成结果不复用为新行为。验收不仅比较字数,还要逐块证明:可见文本与原已提供前缀等价,来源 ID 集合与注册表一致,重复文本、截断块、表格、空文档和缺失 Origin 不越权。目标是显著减少 A01 输入重复量;数字由代码和固定材料实测给出,不事先声称节省 token 的比例。

设计二:批准状态和用户可见层级

material_record 继续由宿主以文件名和通过校验的原文片段生成,不接受模型转述。模型生成的 analysis/provisional 不能把审批、批复、通过等肯定的批准状态直接写成已成立事实;有明确批准原文时,让用户看到该原文记录,需要推断时写成待核对或 needs_user。宿主在检查点提交前拒绝可确定的肯定批准断言,保持整批原子拒绝,不把“尚未批准/待确认是否批准”误当肯定句。该规则只收紧这一类高后果断言,不能冒称通用语义验证器;A01 的每条分析仍须由独立审阅逐项核对。

现有任务卡继续展示真实状态、材料记载、判断、剩余工作与下一步。默认摘要优先呈现来源字面可核对的材料记载;模型判断明确标为“待核对的判断”,与原文记录分组,来源仍可在原 Collapsible 中展开。既有阅读、焦点、窄屏和三栏布局不变;颜色、字号、圆角、动效只用已有 UI 令牌。若只剩判断没有原文记录,卡片说明“已有待核对判断”,不写“已核对”或隐含批准。错误分析在独立样本中出现时不得进入无保留的默认摘要。

设计三:阶段成果后的最终答复额度

只对系统派发的材料整理子任务增加最终答复预算调度,不改变其他子代理与前台运行。依据 provider 已返回 Usage、最新 prompt tokens、当前剩余额度、生产单次输出上限和已成功保存的检查点数,在下一次请求前预留至少一次完整最终答复的空间。已有两个有用检查点时,下一轮仅提供最终答复所需工具/提示,不再鼓励新增检查点;若只完成一项而继续发布会吃掉最终预留,优先给用户真实的部分结论,不伪造第二项。若连预计最终请求都放不下,就在发起新付费请求前停止并保留已保存成果。

预算是基于已返回 Usage 的请求前守卫,不宣称对在途请求构成严格账单上限。未知 Usage、检查点拒绝、达到 run/批次目标均按受控评测停止规则处理;不得因为缺额而自动扩大额度、换模型、回退或重新启动样本。正常产品路径可以继续按现有策略报告失败/部分成果,不能把阶段卡冒充最终正文。具体预留公式和最小可接受答复由后续实施计划固定,并用假 provider 覆盖高输入、两次发布、只完成一次、缺 Usage 与临界额度。

范围、验证与出口

预计修改 Backend 的材料输入组装、检查点提交守卫和材料子代理预算路径;UI 仅调整现有任务卡的来源/判断分组和摘要选择。Core 候选 JSON、数据库表、SSE 事件、权限模型、确认入口、并行/恢复所有权、生产路由和既有服务部署不在本修订范围。若实施发现必须改变上述公开契约或数据/权限设计,返回方案评审,不把它归为局部修复。

零付费门禁:来源映射与前缀等价测试;“需求规定50万、会议审批未完成”的错误批准候选先 RED 后 GREEN,明确批准原文与否定/待确认表达不误拒;预算假 provider 的两阶段加最终、临界额度与失败保持;UI 现有阅读、窄屏、焦点、设计守护及实际 HTTP 浏览器回归;Backend SQLite/真实 PostgreSQL 与 Dev 组合测试;独立代码审阅和精确组件 SHA。旧样本可用于离线回归,不能当成新版真实模型前后对照。

真实模型出口仍用同一合成 A01 及正常材料整理路径,至少两个真正有用、结束前可感知的不同阶段成果,逐项数字/审批/意见/引文正确,并有真实最终正文和完整 Usage;同时遵守任何检查点拒绝后停止的独立边界。行为面改动依 Dev 交付政策须在固定新候选上做任务级真实模型前后对照。新的付费样本、run 数、token 目标及停止条件要在候选代码和零付费审阅准备好后另行明确批准;未获批准标 NOT_RUN,全部 PR 保持草稿,不合入、不部署。