Require real-model eval evidence for agent behavior changes
Why: The 2026-10-09 diagnosis showed behavior-surface regressions (gate deadlocks, silently broken lint, wrong artifact verdicts) passing every unit test because no task-level check ran the real model. User ruling 6 approved making before/after live-eval evidence a delivery requirement for prompt, skill, tool-description, context-assembly and gate changes. Evidence: SELF - clause drafted to reference modules/backend/eval/live and the GATE/REPLAY/SELF sourcing already defined in AGENTS.md; task card for feature/agent-quality-phase01 filled with the P0+P1 scope and requirements. Impact: policy/delivery.md gains the 智能体行为面的真实验证 subsection; NOT_RUN stays legal but must be explicit. Phase01 task card records scope, requirements R1-R4 and the before/after eval protocol. Refs: modules/documents proposal 2026-10-09-agent-quality-improvement-plan.md (ruling 6).
This commit is contained in:
@@ -7,33 +7,46 @@
|
||||
- 权威仓：ssh://git@git-ssh.u1680832.nyat.app:31411/weichen/Agent-System-Dev.git；目标分支：main；R0（initial_base_sha）= 1ebd46edc5239d0d87418e9a8dd9aa225955e1dd
|
||||
- 工作区：/home/weichen/projects/Agent-System-Dev-wt-feature-agent-quality-phase01（worktree）；分支：feature/agent-quality-phase01
|
||||
|
||||
- 授权与交付终点：<本次允许的动作与终点；未授权事项写明>
|
||||
- 交付模式：manual（逐阶段人工评审）；明确授权后可记为 authorized-continuous
|
||||
- 自动推进授权：无；授权范围：无；授权来源：无；授权终点：无；停止条件：无（未授权）
|
||||
- 当前阶段：需求拆解；当前增量：I1（待定义）
|
||||
- 授权与交付终点：用户 2026-10-09 批准改进方案并给出六项裁定（见主记录 §3），
|
||||
授权实施首个增量 P0（评测基线）+P1（缺陷修复）及配套主记录/policy PR，交付终点为
|
||||
各 PR 请求人工评审；合入与后续阶段（P2–P5、模型 A/B）另行评审/立卡。
|
||||
- 交付模式：manual（逐阶段人工评审）
|
||||
- 自动推进授权：无（阶段内实施已获明确指令，评审与合入仍人工）
|
||||
- 当前阶段：实施与自检；当前增量：I1（P0+P1）
|
||||
- 流程依据：仓库根目录 policy/delivery.md（归档后仍按仓库根目录定位）
|
||||
|
||||
## 目标与非目标
|
||||
|
||||
<预期结果、受影响入口/模块/契约；明确不做什么。>
|
||||
- 目标：① 建立真实模型任务级评测基座（eval/live：golden 任务集、HTTP 运行器、
|
||||
指标报告）并产出 before 基线；② 修复诊断定位的七项检查失效/误报缺陷（lint 环境、
|
||||
旧工件死循环、渲染格式与伪造标记同形、标题误报、python3 命令、检查提醒措辞、
|
||||
字节截断）；③ Documents 主记录 + Dev policy「智能体行为面真实验证」条款。
|
||||
- 入口/模块：backend internal/{quality,runtime,ctxasm,prompts,skills,app}、
|
||||
eval/live；Documents proposals；Dev policy/delivery.md。
|
||||
- 非目标：P2–P5（上下文保真、工具开放、行为指引、门禁精简）、模型 A/B、
|
||||
squad 路径改造——均另立任务卡。
|
||||
|
||||
## 关联方向与规划
|
||||
|
||||
- 适用状态：待核对（无适用规划时说明原因）
|
||||
- 主记录路径/版本：待核对（路径按仓库根目录定位，归档后不变；只引用唯一正文）
|
||||
- 对应里程碑：待核对
|
||||
- 适用状态：适用（本任务即该规划的首个增量）
|
||||
- 主记录路径/版本：modules/documents/docs/proposals/2026-10-09-agent-quality-improvement-plan.md
|
||||
（feature/agent-quality-plan 分支，随本任务 PR 合入）
|
||||
- 对应里程碑：P0 评测基线 + P1 缺陷修复
|
||||
|
||||
## 需求分析
|
||||
|
||||
| ID | 描述 | 项目符合度及依据 | 优先级 | 验收条件 | 依赖 | 结论 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| R1 | 待填写 | 待评估 | 待定 | 待定义 | 待确认 | 待评审 |
|
||||
| R1 | 评测基座：golden 任务集 + 真实实例运行器 + 指标报告 | 主记录 §4 P0；诊断 §1.5 过程根因 | P0 | before 基线报告复现失败链（失败率/重跑/死循环/未核实数字） | qa 实例+材料 | 已实现待评审 |
|
||||
| R2 | lint 子进程环境与 fail-visible | 主记录 §1.3；score.go 无 PYTHONPATH 静默失效 | P0 | 技能根注入时 lint 不可用 → Violations「自检未运行」；测试覆盖 | R1 | 已实现待评审 |
|
||||
| R3 | 终轮检查只评最新工件；交付清单/卡片同源去重 | §1.3 旧版本死循环 | P0 | 同名多版本场景检查可收敛；测试覆盖 | — | 已实现待评审 |
|
||||
| R4 | 历史工件渲染不再与伪造标记同形；docx 标题感知评分；python3 命令与 outline_cli；检查提醒措辞；rune 截断 | §1.3/§1.4 其余缺陷 | P0 | 对应守护测试全绿；recipes/prompts 无裸 `python -` | — | 已实现待评审 |
|
||||
|
||||
## 方案与计划
|
||||
|
||||
- 方案引用：待填写（含对象版本）
|
||||
- 实施计划引用：待填写（含增量与需求 ID）
|
||||
- 测试计划引用：待填写（含需求 ID 与验收条件）
|
||||
- 方案引用：Documents 主记录 2026-10-09-agent-quality-improvement-plan.md（§3 六项裁定、§4 P0/P1）
|
||||
- 实施计划：单增量 I1 = R1–R4 一个 backend PR + Documents 主记录 PR + Dev（gitlink/policy/任务卡）PR
|
||||
- 测试计划：backend 单测（新增 6 个守护测试）；worktree make test；eval/live before 基线（SELF，真实模型对照 after 在 P1 合入后补）
|
||||
|
||||
## 阶段评审
|
||||
|
||||
@@ -54,7 +67,8 @@
|
||||
|
||||
| 增量/试验 | 假设 | 范围 | 判断和停止条件 | 批准依据 | 结果 | 变更影响 | 需重审补测 |
|
||||
|---|---|---|---|---|---|---|---|
|
||||
| 待定义 | — | — | — | 未批准 | NOT_RUN | 待评估 | 待评估 |
|
||||
| I1 before 基线 | 旧 main(1ebd46e) 在 golden 集上复现诊断失败链 | qa 实例 + 4 任务 | 报告含失败率/重跑/检查误报数据即成 | 用户 2026-10-09 授权 | 见证据表 | 无（只读评测） | — |
|
||||
| I1 after 对照 | P1 修复后死循环/误报清零 | 同一任务集 | after 报告对比 before | 同上 | P1 合入后补跑 | — | — |
|
||||
|
||||
## 同步记录
|
||||
|
||||
|
||||
@@ -111,6 +111,15 @@
|
||||
每轮形成“发现与证据 → 原假设或困难 → 调整及影响 → 重审和补测范围 → 决策 → 结果”。
|
||||
记录放在同一任务卡，较长材料只引用文件或 PR，避免多份状态。
|
||||
|
||||
### 智能体行为面的真实验证（2026-10-09 裁定）
|
||||
|
||||
改动智能体行为面的 PR——提示词库、技能配方（SKILL 与 housestyle）、工具描述与
|
||||
注册面、上下文组装与回放、终轮门禁与评分——须附**真实模型的任务级前后对照**
|
||||
（`modules/backend/eval/live/` 基线，或等价的最小重放集），写入任务卡并标注来源
|
||||
（GATE/REPLAY/SELF）。单测与 mock 回放不覆盖模型实际行为，只能证明机制，不能
|
||||
替代该对照。确无条件跑真实模型时，在任务卡显式标注 `NOT_RUN` 并说明原因与
|
||||
补救计划；不得以“预期改善”措辞代替证据。评测材料不进仓（沿用 eval/README 口径）。
|
||||
|
||||
| 变化 | 执行动作与评审边界 |
|
||||
|---|---|
|
||||
| 已批准范围内的内部组织、等价实现、局部缺陷修正 | 当前阶段继续调整、自测并记录；阶段出口统一人工评审 |
|
||||
|
||||
Reference in New Issue
Block a user