Merge pull request 'Quality phase01: gate repairs, live eval baseline, policy clause (Backend #111, Documents #51)' (#277) from feature/agent-quality-phase01 into main

.task/phase01-eval/after-phase01-b68833f.json

@@ -0,0 +1,334 @@
+{
+  "target": "http://127.0.0.1:18813",
+  "model": "MiniMax-M2.7-highspeed",
+  "generatedAt": "2026-10-09T13:30:57Z",
+  "tasks": [
+    {
+      "id": "minutes-basic",
+      "turns": [
+        {
+          "user": "帮我总结一份会议纪要",
+          "runId": "run_d8aef286c241",
+          "status": "completed",
+          "finalText": "会议纪要已生成并登记。\n\n**文件**：研发智能体文档处理与自举方案评审会议纪要.docx\n\n---\n\n本次会议围绕“研发智能体文档处理与自举方案”形成以下关键决议：\n\n1. **产品设计理念需重构**：从当前“任务式”改为“渐进式记忆系统”，上传文档先打标签入库，不直接输出内容\n2. **自举工作刻不容缓**：停止代码开发，优先建立用户需求文档（1.0版），找说话人2确认后再继续\n3. **建立代码 review 机制**：每周与陈威、秦明一起 review，控制代码架构质量\n4. **深入业务场景**：参加项目会议，理解实际业务流程\n\n**最高优先级待办**：停止代码开发，先把用户需求文档写清楚。\n\n---\n\n文档采用现代风格，包含9个一级章节，并在文末添加了关键结论状态卡作为视觉摘要，适合快速浏览核心决策点。\n\n如需其他版本，还可以生成**智能笔记（按时间线还原讨论过程）**或**一页纸精简版**，请告诉我。",
+          "usage": {
+            "id": "run_d8aef286c241",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:30:57.210011069Z",
+            "endedAt": "2026-10-09T13:35:27.014216189Z",
+            "usage": {
+              "promptTokens": 945117,
+              "completionTokens": 17227,
+              "totalTokens": 962344,
+              "durationMs": 269803,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 27,
+            "toolFailures": 8,
+            "fullRegens": 6,
+            "apiDiscovery": 5,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "验证器返回无法解析"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举方案评审会议纪要.docx"
+          ],
+          "durationMs": 270292
+        }
+      ],
+      "total": {
+        "toolCalls": 27,
+        "toolFailures": 8,
+        "fullRegens": 6,
+        "apiDiscovery": 5,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 1
+      }
+    },
+    {
+      "id": "plan-followup",
+      "turns": [
+        {
+          "user": "帮我总结一份会议纪要",
+          "runId": "run_d782147e751a",
+          "status": "completed",
+          "finalText": "会议纪要已生成。\n\n**交付物**：`会议纪要_研发智能体文档处理与自举方案评审.docx`\n\n**内容要点**：\n- **会议信息**：时间、参会人员、主持人、记录人\n- **文档上传功能现状与问题**：现状描述、核心分歧、结论\n- **产品设计评审**：RAG方案、Agent自举方案、架构设计\n- **其他议题**：多Agent协作、数据存储与检索\n- **下一步行动**：待确认事项、负责人与时间节点\n\n**当前状态**：文档标题层级跳跃问题已修复，结构现为标题 → 会议概况 → 各章节层级连续。文件已保存并可预览。\n\n**验证说明**：自动格式检查工具暂不可用，但文档内容与结构已完整输出，如需调整格式或补充内容可随时告知。",
+          "usage": {
+            "id": "run_d782147e751a",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:35:27.537480285Z",
+            "endedAt": "2026-10-09T13:41:26.06216021Z",
+            "usage": {
+              "promptTokens": 1289502,
+              "completionTokens": 18436,
+              "totalTokens": 1307938,
+              "durationMs": 358524,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 36,
+            "toolFailures": 6,
+            "fullRegens": 5,
+            "apiDiscovery": 2,
+            "readsOriginal": 18,
+            "planUpdates": 0,
+            "verifierChecks": 3
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "会议纪要_研发智能体文档处理与自举方案评审.docx：版式 heading-skip：标题从 无 跳到 2"
+            },
+            {
+              "passed": false,
+              "reason": "会议纪要_研发智能体文档处理与自举方案评审.docx：版式 heading-skip：标题从 无 跳到 2"
+            },
+            {
+              "passed": false,
+              "reason": "验证器返回无法解析"
+            }
+          ],
+          "artifacts": [
+            "会议纪要_研发智能体文档处理与自举方案评审.docx",
+            "会议纪要_研发智能体文档处理与自举方案评审.docx",
+            "会议纪要_研发智能体文档处理与自举方案评审.docx"
+          ],
+          "durationMs": 360360
+        },
+        {
+          "user": "根据这个纪要，制定一个方案",
+          "runId": "run_3b6a64f41eb8",
+          "status": "completed",
+          "finalText": "**方案已生成**：`研发智能体文档处理与自举实施方案.docx`\n\n方案共 8 章，涵盖：\n\n1. **背景与目标** — 5 个 P0/P1 问题 + 5 项方案目标\n2. **文档上传功能重构（记忆系统）** — 新流程 6 步、旧新流程对比表、实施要点\n3. **渐进式清晰实现路径** — 基线机制、迭代完善流程、与记忆系统的关系\n4. **需求追溯体系完善** — 目标追溯结构（UR→SR→SD→Code→TC→Reg）、实施路径\n5. **技术架构改进** — 代码 review 机制、架构守护人制度\n6. **智能体自举实施路径** — 4 阶段实施步骤、决策依据\n7. **风险与应对** — 5 项风险评估与应对措施\n8. **附录** — 发言人称谓说明\n\n方案忠实执行了评审会决策，未作取舍扩展。如需进一步分解为技术详细设计、评审汇报材料或分阶段实施计划，可继续生成。",
+          "usage": {
+            "id": "run_3b6a64f41eb8",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:41:27.892288287Z",
+            "endedAt": "2026-10-09T13:43:44.290051181Z",
+            "usage": {
+              "promptTokens": 159289,
+              "completionTokens": 7915,
+              "totalTokens": 167204,
+              "durationMs": 136397,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 7,
+            "toolFailures": 1,
+            "fullRegens": 2,
+            "apiDiscovery": 0,
+            "readsOriginal": 6,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "终轮回复声称已生成方案，工件清单中有对应文件 art_db92aa595893（43324 字节）。工具 #3 发现空章节错误，但工具 #4 显示内容已补全（5.1、5.2、6.1、6.2、6.3、7、8 节均有正文），工具 #6 仅剩 warning（缺少视觉摘要）。内置质量检查确认「文件存在且非空、版式与内容评分通过」。按「后一次检查覆盖前一次」规则，错误已被修复。方案结构完整（8 章），满足用户「制定一个方案」的要求。"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举实施方案.docx"
+          ],
+          "durationMs": 138231
+        },
+        {
+          "user": "方案太简要了，给我一个详细的方案和计划",
+          "runId": "run_2e4890fbcd61",
+          "status": "completed",
+          "finalText": "已为你生成详细的方案文档：**研发智能体文档处理与自举详细实施方案.docx**\n\n文档包含以下内容：\n\n1. **方案概述**\n   - 背景与问题\n   - 核心目标（三大目标）\n   - 方案价值与预期收益\n   - 实施里程碑时间线（12周）\n\n2. **现状问题详细分析**\n   - 问题一：文档上传流程缺乏记忆机制\n   - 问题二：产品设计理念偏离研发体系\n   - 问题三：需求追溯链不完整\n   - 问题四：代码管理与架构问题\n\n3. **详细解决方案**（含流程图和时序图）\n   - 记忆系统重构\n   - 追溯网络建立\n   - 自举路径完善\n\n4. **实施计划**\n   - 阶段划分\n   - 里程碑与验收标准\n   - 风险应对\n\n文档已按详细方案的结构展开，包含了完整的现状分析、解决方案、实施路径和验收标准。\n\n---\n\n**本轮检查未通过**：第1行标题\"1. 方案概述\"是栏目名，不是判断句。需要改为结论先行的一句判断，例如\"通过重构记忆系统、建立追溯网络、完善自举路径，实现文档处理能力的系统性升级\"，后续再展开各栏目内容。",
+          "usage": {
+            "id": "run_2e4890fbcd61",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:43:46.122947575Z",
+            "endedAt": "2026-10-09T13:56:46.934787054Z",
+            "usage": {
+              "promptTokens": 2013718,
+              "completionTokens": 56303,
+              "totalTokens": 2070021,
+              "durationMs": 780811,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 35,
+            "toolFailures": 6,
+            "fullRegens": 5,
+            "apiDiscovery": 1,
+            "readsOriginal": 25,
+            "planUpdates": 0,
+            "verifierChecks": 4
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举详细实施方案.docx：结论先行：标题是栏目名，不是判断；可读性：第 1 行标题是栏目名，不是判断，改成一句结论；总分 60，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举详细实施方案.docx：结论先行：标题是栏目名，不是判断；可读性：第 1 行标题是栏目名，不是判断，改成一句结论；总分 60，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举详细实施方案.docx：结论先行：标题是栏目名，不是判断；可读性：第 1 行标题是栏目名，不是判断，改成一句结论；总分 60，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举详细实施方案.docx：结论先行：标题是栏目名，不是判断；可读性：第 1 行标题是栏目名，不是判断，改成一句结论；总分 60，低于 70"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举详细实施方案.docx"
+          ],
+          "durationMs": 781367
+        }
+      ],
+      "total": {
+        "toolCalls": 78,
+        "toolFailures": 13,
+        "fullRegens": 12,
+        "apiDiscovery": 3,
+        "readsOriginal": 49,
+        "planUpdates": 0,
+        "verifierChecks": 8
+      },
+      "unverifiedFacts": [
+        "85%",
+        "90%",
+        "100%",
+        "15%",
+        "78%",
+        "80%",
+        "75%",
+        "99%",
+        "20%",
+        "70%",
+        "50%",
+        "0%",
+        "20261009"
+      ]
+    },
+    {
+      "id": "qa-citation",
+      "turns": [
+        {
+          "user": "这次会议最主要的事情是什么",
+          "runId": "run_ccbf5f9aa497",
+          "status": "completed",
+          "finalText": "## 会议总结\n\n### 最主要的事：产品设计理念被否定，要求停止开发、先做自举\n\n会上发言者（简称「领导」）对当前研发智能体的文档处理方案给出了全面否定的评价，核心结论如下：\n\n**1. 产品设计思路存在根本性问题**\n- 上传文档后直接生成目标文档（如项目建议书），缺少渐进式的信息积累和确认过程。\n- 没有实现「渐进式清晰」——用户上传文件时应该先打标签、进入知识库、与现有体系对照，而不是一上来就生成完整文档。\n- 当前设计是「任务式」而非「知识管理式」——系统没有把上传文档当作构建记忆库的过程，而是当作直接生成文档的触发器。\n\n**2. 被要求立即停止写代码**\n\u003e \"你先把代码停了，先把自己的需求文档写出来。先把你的市场可行性、风险可行性报告你先做了。你先出第一版。\"\n\n**3. 自举是唯一出路**\n- 产品必须先服务自己——用这套系统管理自身的研发项目、形成需求文档和体系文档。\n- 会上以比亚迪 BP 上传后不一定生成文档为例，强调上传是丰富知识库的手段，而非触发文档编写的信号。\n- 只有自举形成可用的产品，才能真正理解场景并向客户推广。\n\n**4. 会议达成的具体行动**\n| 事项 | 负责人 | 时间 |\n|------|--------|------|\n| 暂停代码开发 | 陈磊团队 | 立即 |\n| 整理 1.0 版用户需求文档 | 陈磊 | 下午 |\n| 将智能助手加入测试飞书群 | 待定 | 待定 |\n| 建立代码 review 机制（每周与陈威、庆明 review） | 待定 | 每周 |\n\n**一句话结论：** 现有方案被推翻，要求团队先做使用方、用系统管理自己的项目，形成需求文档后再谈开发。",
+          "usage": {
+            "id": "run_ccbf5f9aa497",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:56:47.540252751Z",
+            "endedAt": "2026-10-09T13:57:25.199180594Z",
+            "usage": {
+              "promptTokens": 21828,
+              "completionTokens": 969,
+              "totalTokens": 22797,
+              "durationMs": 37658,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 0,
+            "toolFailures": 0,
+            "fullRegens": 0,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "用户问的是会议最主要的事是什么，终轮回复直接在开头明确回答了核心结论：产品设计理念被否定，要求停止开发、先做自举。回复提供了层次分明的总结，包括4个具体要点、具体行动项和一句话结论，完全回答了用户的问题。本轮无工具调用和工件生成，符合只回答问题的场景。内置质量检查通过（检查的是历史文件存在且非空，与本次回答无关）。"
+            }
+          ],
+          "durationMs": 39050
+        }
+      ],
+      "total": {
+        "toolCalls": 0,
+        "toolFailures": 0,
+        "fullRegens": 0,
+        "apiDiscovery": 0,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 1
+      }
+    },
+    {
+      "id": "minutes-pm-tool",
+      "turns": [
+        {
+          "user": "生成会议纪要",
+          "runId": "run_5ef5228f0846",
+          "status": "completed",
+          "finalText": "会议纪要已生成：`智能体项目管理工具会议纪要.docx`\n\n文档采用 modern 主题、A4 排版，包含键值表、状态卡、表格、列表等构件，共 6 个一级标题、9 个二级标题、4 个列表和 3 个表格。\n\n**主要内容摘要**：\n\n| 议题 | 结论 |\n|------|------|\n| 系统成熟度 | 基本可用，意图识别和上下文管理需继续优化 |\n| 自举计划 | 用当前项目自身作为演示案例 |\n| 飞书集成 | 由陈威负责对接 |\n| 文档关联机制 | 强/中/弱三级关联，变更触发联动修改 |\n| 存储方案 | 中间文件本地、最终结果云端、上下文服务端 |\n| 核心风险 | 多智能体 Token 消耗需监控 |\n\n待办事项 5 项，负责人和期限未明确处均标注\"未指明\"。未决问题 3 项：文档分级粒度、降级策略、上线时间均待细化。原文中说话人以\"说话人1-8\"编号保留，附注已说明。",
+          "usage": {
+            "id": "run_5ef5228f0846",
+            "status": "completed",
+            "createdAt": "2026-10-09T13:57:26.612872421Z",
+            "endedAt": "2026-10-09T14:00:04.441619463Z",
+            "usage": {
+              "promptTokens": 463801,
+              "completionTokens": 8286,
+              "totalTokens": 472087,
+              "durationMs": 157828,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 20,
+            "toolFailures": 6,
+            "fullRegens": 3,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "最终 lint 检查（#16）返回空数组 []，无 error；outline（#17）显示文档结构完整，含6个一级标题、9个二级标题、4个列表、3个表格；工件清单确认 art_a5c1f91919a4 已登记（41731 字节）。虽然早期 lint（#8）报告过两个 empty-section 错误，但根据「后一次检查覆盖前一次」规则，以 #16 为准。内置质量检查已通过。"
+            }
+          ],
+          "artifacts": [
+            "智能体项目管理工具会议纪要.docx"
+          ],
+          "durationMs": 159165
+        }
+      ],
+      "total": {
+        "toolCalls": 20,
+        "toolFailures": 6,
+        "fullRegens": 3,
+        "apiDiscovery": 0,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 1
+      },
+      "unverifiedFacts": [
+        "10月9日"
+      ]
+    }
+  ]
+}

.task/phase01-eval/before-main-1ebd46e.json

@@ -0,0 +1,334 @@
+{
+  "target": "http://127.0.0.1:18812",
+  "generatedAt": "2026-10-09T12:41:41Z",
+  "tasks": [
+    {
+      "id": "minutes-basic",
+      "turns": [
+        {
+          "user": "帮我总结一份会议纪要",
+          "runId": "run_434c4e2f0316",
+          "status": "completed",
+          "finalText": "会议纪要已生成并交付：**研发智能体文档处理与自举方案评审会议纪要.docx**\n\n文档包含 46 个段落和 3 个表格，内容完整。\n\n不过当前版本未能通过可读性检查——主要问题是标题采用了\"栏目式\"排版，影响了阅读体验。建议将标题改为普通正文格式后重新提交，分数即可达标。\n\n如果需要我直接修改版式，请告知。",
+          "usage": {
+            "id": "run_434c4e2f0316",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:41:41.055159968Z",
+            "endedAt": "2026-10-09T12:44:11.350478134Z",
+            "usage": {
+              "promptTokens": 506289,
+              "completionTokens": 7674,
+              "totalTokens": 513963,
+              "durationMs": 150294,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 14,
+            "toolFailures": 3,
+            "fullRegens": 2,
+            "apiDiscovery": 0,
+            "readsOriginal": 11,
+            "planUpdates": 0,
+            "verifierChecks": 4
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举方案评审会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举方案评审会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举方案评审会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "研发智能体文档处理与自举方案评审会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举方案评审会议纪要.docx"
+          ],
+          "durationMs": 153167
+        }
+      ],
+      "total": {
+        "toolCalls": 14,
+        "toolFailures": 3,
+        "fullRegens": 2,
+        "apiDiscovery": 0,
+        "readsOriginal": 11,
+        "planUpdates": 0,
+        "verifierChecks": 4
+      }
+    },
+    {
+      "id": "plan-followup",
+      "turns": [
+        {
+          "user": "帮我总结一份会议纪要",
+          "runId": "run_0346b6627a08",
+          "status": "completed",
+          "finalText": "会议纪要已生成并交付。\n\n**文件**：meeting-rd-agent-asr.docx\n\n**核心结论**：\n\n1. 设计理念须重构：从\"上传+输出混用\"改为\"记忆系统\"模式（先打标签入库，再谈更新输出），引入渐进式清晰（Baseline概念）\n2. 暂停代码，优先完成需求：产品需求文档仍为0.0.5版，要求完成V1.0再动代码\n3. 自举优先：用智能体先管好自己的研发文档\n4. 每周代码Review：解决AI生成代码规模失控问题\n\n**还支持其他视图**：\n\n| 视图 | 适用场景 |\n|------|---------|\n| 智能笔记（按时间线） | 回查每句发言，逐字还原讨论过程 |\n| 一页纸版本 | 只需快速了解5个决议和6个待办 |\n\n需要哪种视图请告诉我。",
+          "usage": {
+            "id": "run_0346b6627a08",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:44:14.259261438Z",
+            "endedAt": "2026-10-09T12:49:33.896202727Z",
+            "usage": {
+              "promptTokens": 851748,
+              "completionTokens": 22796,
+              "totalTokens": 874544,
+              "durationMs": 319636,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 21,
+            "toolFailures": 7,
+            "fullRegens": 5,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "终轮工具#15质量检查通过（空数组），#16结构验证显示完整内容（5个一级标题、决议列表5项、待办事项、附录含3个表格），#18确认文件存在，#21确认art_5323d2d5dfc2登记成功。内置质量检查明确声明已通过，且规则要求不以后来的通过状态推翻更早的错误记录。以最后一次证据为准，文件已生成并交付。"
+            }
+          ],
+          "artifacts": [
+            "meeting-rd-agent-asr.docx"
+          ],
+          "durationMs": 321335
+        },
+        {
+          "user": "根据这个纪要，制定一个方案",
+          "runId": "run_34165b5cfd79",
+          "status": "completed",
+          "finalText": "已制定方案并生成文档：**研发智能体文档处理与自举方案.docx**\n\n**核心内容**：\n\n| 模块 | 要点 |\n|------|------|\n| **架构** | 四层结构（存储层→标签层→检索层→应用层），引入Baseline快照机制 |\n| **三阶段** | 需求锁定(1-2周) → 核心架构实现(3-5周) → 自举与质量管控(6-8周) |\n| **关键决策** | 暂停代码开发，需求V1.0冻结后再启动；每周代码Review；用智能体管理自身文档 |\n| **风险应对** | 3项主要风险各有对策：需求冻结延迟、存储开销、检索精度 |\n\n**还支持其他视图**：\n\n| 视图 | 适用场景 |\n|------|---------|\n| 评审要点 | 准备方案评审会议，聚焦争议点和决策项 |\n| 一页纸 | 快速向领导汇报，5句话说明方案全貌 |\n\n需要哪种视图请告诉我。",
+          "usage": {
+            "id": "run_34165b5cfd79",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:49:35.588172612Z",
+            "endedAt": "2026-10-09T12:51:16.84743871Z",
+            "usage": {
+              "promptTokens": 124696,
+              "completionTokens": 4866,
+              "totalTokens": 129562,
+              "durationMs": 101258,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 9,
+            "toolFailures": 3,
+            "fullRegens": 2,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "工件已生成并登记（art_4f5d2942e2f0，40951字节），内容包含完整结构（一级标题5节、层级标题、列表、项目符号、7张表格），内置质量检查已通过。虽然工具#2和#5曾出现异常，但工具#7的lint已清零，工具#8确认文档结构完整，后续工具#9成功登记。"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举方案.docx"
+          ],
+          "durationMs": 102182
+        },
+        {
+          "user": "方案太简要了，给我一个详细的方案和计划",
+          "runId": "run_5d569249a735",
+          "status": "completed",
+          "finalText": "已为你生成详细方案文档：\n\n**研发智能体文档处理与自举详细方案与执行计划.docx**\n\n文档包含以下内容框架：\n\n1. **项目背景与问题分析** — 当前文档处理痛点、智能体能力现状\n2. **详细方案设计** — 文档处理流程、任务拆解、自举机制设计\n3. **技术架构** — 系统模块划分、接口设计、数据流\n4. **执行计划** — 阶段划分、里程碑、时间线\n5. **风险评估与应对** — 潜在风险点、缓解措施\n6. **验收标准** — 功能指标、性能指标\n\n文件已可直接下载。如需调整文档深度（如增加技术细节、案例说明）、补充时间表具体日期、或修改章节结构，请告知。",
+          "usage": {
+            "id": "run_5d569249a735",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:51:17.769771496Z",
+            "endedAt": "2026-10-09T12:55:14.574902887Z",
+            "usage": {
+              "promptTokens": 226948,
+              "completionTokens": 14832,
+              "totalTokens": 241780,
+              "durationMs": 236804,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 9,
+            "toolFailures": 3,
+            "fullRegens": 2,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 2
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "回复正文里出现了工具调用标记，但本轮没有真实的工具调用"
+            },
+            {
+              "passed": true,
+              "reason": "工件已生成并登记成功。详细方案文档 art_4744a3d22493（50968字节）存在于工作区。内置质量检查已通过（docx 版式评分通过）。虽然 #2 lint 检查发现空章节错误，但 #4 重新检查结果为空列表，且内置质量检查明确优先于更早的 lint 输出。"
+            }
+          ],
+          "artifacts": [
+            "研发智能体文档处理与自举详细方案与执行计划.docx"
+          ],
+          "durationMs": 237373
+        }
+      ],
+      "total": {
+        "toolCalls": 39,
+        "toolFailures": 13,
+        "fullRegens": 9,
+        "apiDiscovery": 0,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 4
+      },
+      "unverifiedFacts": [
+        "20%",
+        "95%",
+        "80%",
+        "85%",
+        "100%",
+        "150%",
+        "60%"
+      ]
+    },
+    {
+      "id": "qa-citation",
+      "turns": [
+        {
+          "user": "这次会议最主要的事情是什么",
+          "runId": "run_a0ec745e0c77",
+          "status": "completed",
+          "finalText": "## 会议总结\n\n本次会议最主要的事情：**负责人（说话人2）叫停了当前的产品开发，要求团队先停下来写好自己产品的用户需求文档。**\n\n核心问题：产品设计理念有根本性偏差——当前做法是\"上传文档→直接生成目标文档\"，而正确的做法应该是\"上传文档→识别分类、打标签、入知识库→后续按需生成\"。\n\n### 关键分歧\n\n| 现在的问题 | 期望的方案 |\n|---|---|\n| 上传后直接让AI写文档 | 先阅读文档、打标签、入知识库 |\n| 一次性生成完整文档 | 渐进式：读一段→总结一段→与用户确认一段→继续 |\n| 把记忆系统和内容输出混在一起 | 严格分离：先建立记忆，后触发输出 |\n| 商务对接阶段不能生成立项文档 | 文档触发应该是内容相关，而非阶段限制 |\n\n### 决策\n\n- **下午停止写代码**，先用自己的智能体把自己的用户需求文档写出来（市场可行性、注册可行性、技术可行性等模块的梳理）\n- 把飞书智能助手加到测试群，用自己的产品管理自己的项目\n- 每周固定时间做代码 review\n\n\u003e \"你先把代码停了，先把自己的需求文档写出来。你先能写出来，你们下午就干这一件事。不要写代码。\" —— 说话人2",
+          "usage": {
+            "id": "run_a0ec745e0c77",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:55:15.180075488Z",
+            "endedAt": "2026-10-09T12:55:38.994927017Z",
+            "usage": {
+              "promptTokens": 21813,
+              "completionTokens": 761,
+              "totalTokens": 22574,
+              "durationMs": 23814,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 0,
+            "toolFailures": 0,
+            "fullRegens": 0,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 1
+          },
+          "checks": [
+            {
+              "passed": true,
+              "reason": "用户要求回答会议最主要的事情，终轮回复已明确指出：负责人叫停开发，要求团队先写用户需求文档。回复包含核心问题、关键分歧对比表、决策事项和直接引用，内容完整充分。无工具调用和工件生成需求，内置质量检查已通过。"
+            }
+          ],
+          "durationMs": 24039
+        }
+      ],
+      "total": {
+        "toolCalls": 0,
+        "toolFailures": 0,
+        "fullRegens": 0,
+        "apiDiscovery": 0,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 1
+      }
+    },
+    {
+      "id": "minutes-pm-tool",
+      "turns": [
+        {
+          "user": "生成会议纪要",
+          "runId": "run_5adff16442a1",
+          "status": "completed",
+          "finalText": "已生成会议纪要：**智能体项目管理工具演示与结题报告推进会议纪要.docx**\n\n文档包含以下内容：\n- 会议概述\n- 项目验收状态\n- 文档版本管理现状\n- 后续工作安排\n\n文档已登记，可点击上方文件卡片预览。\n\n**需要改进的问题：** 自动评估提示\"使用了栏目式标题\"，总分65分低于70分的标准，可能影响可读性。\n\n**可调整方向：**\n- 将栏目式标题改为标准段落标题\n- 增加各章节的详细内容说明\n- 补充会议讨论的具体结论和行动项\n\n如果需要针对上述问题进行修改，请告知。",
+          "usage": {
+            "id": "run_5adff16442a1",
+            "status": "completed",
+            "createdAt": "2026-10-09T12:55:39.240667264Z",
+            "endedAt": "2026-10-09T12:58:24.81017724Z",
+            "usage": {
+              "promptTokens": 635885,
+              "completionTokens": 8802,
+              "totalTokens": 644687,
+              "durationMs": 165568,
+              "toolCalls": 0
+            },
+            "error": null
+          },
+          "metrics": {
+            "toolCalls": 20,
+            "toolFailures": 5,
+            "fullRegens": 3,
+            "apiDiscovery": 0,
+            "readsOriginal": 0,
+            "planUpdates": 0,
+            "verifierChecks": 4
+          },
+          "checks": [
+            {
+              "passed": false,
+              "reason": "智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70；智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70；智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            },
+            {
+              "passed": false,
+              "reason": "智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70；智能体项目管理工具演示与结题报告推进会议纪要.docx：可读性：使用了栏目式标题；总分 65，低于 70"
+            }
+          ],
+          "artifacts": [
+            "智能体项目管理工具演示与结题报告推进会议纪要.docx",
+            "智能体项目管理工具演示与结题报告推进会议纪要.docx"
+          ],
+          "durationMs": 168176
+        }
+      ],
+      "total": {
+        "toolCalls": 20,
+        "toolFailures": 5,
+        "fullRegens": 3,
+        "apiDiscovery": 0,
+        "readsOriginal": 0,
+        "planUpdates": 0,
+        "verifierChecks": 4
+      },
+      "unverifiedFacts": [
+        "10月9日"
+      ]
+    }
+  ]
+}

policy/delivery.md

@@ -111,6 +111,15 @@
 每轮形成“发现与证据 → 原假设或困难 → 调整及影响 → 重审和补测范围 → 决策 → 结果”。
 记录放在同一任务卡，较长材料只引用文件或 PR，避免多份状态。
 
+### 智能体行为面的真实验证（2026-10-09 裁定）
+
+改动智能体行为面的 PR——提示词库、技能配方（SKILL 与 housestyle）、工具描述与
+注册面、上下文组装与回放、终轮门禁与评分——须附**真实模型的任务级前后对照**
+（`modules/backend/eval/live/` 基线，或等价的最小重放集），写入任务卡并标注来源
+（GATE/REPLAY/SELF）。单测与 mock 回放不覆盖模型实际行为，只能证明机制，不能
+替代该对照。确无条件跑真实模型时，在任务卡显式标注 `NOT_RUN` 并说明原因与
+补救计划；不得以“预期改善”措辞代替证据。评测材料不进仓（沿用 eval/README 口径）。
+
 | 变化 | 执行动作与评审边界 |
 |---|---|
 | 已批准范围内的内部组织、等价实现、局部缺陷修正 | 当前阶段继续调整、自测并记录；阶段出口统一人工评审 |