diff --git a/.task/feature-agent-quality-phase01.md b/.task/feature-agent-quality-phase01.md index 9538fd35..2cf41ff0 100644 --- a/.task/feature-agent-quality-phase01.md +++ b/.task/feature-agent-quality-phase01.md @@ -7,33 +7,46 @@ - 权威仓:ssh://git@git-ssh.u1680832.nyat.app:31411/weichen/Agent-System-Dev.git;目标分支:main;R0(initial_base_sha)= 1ebd46edc5239d0d87418e9a8dd9aa225955e1dd - 工作区:/home/weichen/projects/Agent-System-Dev-wt-feature-agent-quality-phase01(worktree);分支:feature/agent-quality-phase01 -- 授权与交付终点:<本次允许的动作与终点;未授权事项写明> -- 交付模式:manual(逐阶段人工评审);明确授权后可记为 authorized-continuous -- 自动推进授权:无;授权范围:无;授权来源:无;授权终点:无;停止条件:无(未授权) -- 当前阶段:需求拆解;当前增量:I1(待定义) +- 授权与交付终点:用户 2026-10-09 批准改进方案并给出六项裁定(见主记录 §3), + 授权实施首个增量 P0(评测基线)+P1(缺陷修复)及配套主记录/policy PR,交付终点为 + 各 PR 请求人工评审;合入与后续阶段(P2–P5、模型 A/B)另行评审/立卡。 +- 交付模式:manual(逐阶段人工评审) +- 自动推进授权:无(阶段内实施已获明确指令,评审与合入仍人工) +- 当前阶段:实施与自检;当前增量:I1(P0+P1) - 流程依据:仓库根目录 policy/delivery.md(归档后仍按仓库根目录定位) ## 目标与非目标 -<预期结果、受影响入口/模块/契约;明确不做什么。> +- 目标:① 建立真实模型任务级评测基座(eval/live:golden 任务集、HTTP 运行器、 + 指标报告)并产出 before 基线;② 修复诊断定位的七项检查失效/误报缺陷(lint 环境、 + 旧工件死循环、渲染格式与伪造标记同形、标题误报、python3 命令、检查提醒措辞、 + 字节截断);③ Documents 主记录 + Dev policy「智能体行为面真实验证」条款。 +- 入口/模块:backend internal/{quality,runtime,ctxasm,prompts,skills,app}、 + eval/live;Documents proposals;Dev policy/delivery.md。 +- 非目标:P2–P5(上下文保真、工具开放、行为指引、门禁精简)、模型 A/B、 + squad 路径改造——均另立任务卡。 ## 关联方向与规划 -- 适用状态:待核对(无适用规划时说明原因) -- 主记录路径/版本:待核对(路径按仓库根目录定位,归档后不变;只引用唯一正文) -- 对应里程碑:待核对 +- 适用状态:适用(本任务即该规划的首个增量) +- 主记录路径/版本:modules/documents/docs/proposals/2026-10-09-agent-quality-improvement-plan.md + (feature/agent-quality-plan 分支,随本任务 PR 合入) +- 对应里程碑:P0 评测基线 + P1 缺陷修复 ## 需求分析 | ID | 描述 | 项目符合度及依据 | 优先级 | 验收条件 | 依赖 | 结论 | |---|---|---|---|---|---|---| -| R1 | 待填写 | 待评估 | 待定 | 待定义 | 待确认 | 待评审 | +| R1 | 评测基座:golden 任务集 + 真实实例运行器 + 指标报告 | 主记录 §4 P0;诊断 §1.5 过程根因 | P0 | before 基线报告复现失败链(失败率/重跑/死循环/未核实数字) | qa 实例+材料 | 已实现待评审 | +| R2 | lint 子进程环境与 fail-visible | 主记录 §1.3;score.go 无 PYTHONPATH 静默失效 | P0 | 技能根注入时 lint 不可用 → Violations「自检未运行」;测试覆盖 | R1 | 已实现待评审 | +| R3 | 终轮检查只评最新工件;交付清单/卡片同源去重 | §1.3 旧版本死循环 | P0 | 同名多版本场景检查可收敛;测试覆盖 | — | 已实现待评审 | +| R4 | 历史工件渲染不再与伪造标记同形;docx 标题感知评分;python3 命令与 outline_cli;检查提醒措辞;rune 截断 | §1.3/§1.4 其余缺陷 | P0 | 对应守护测试全绿;recipes/prompts 无裸 `python -` | — | 已实现待评审 | ## 方案与计划 -- 方案引用:待填写(含对象版本) -- 实施计划引用:待填写(含增量与需求 ID) -- 测试计划引用:待填写(含需求 ID 与验收条件) +- 方案引用:Documents 主记录 2026-10-09-agent-quality-improvement-plan.md(§3 六项裁定、§4 P0/P1) +- 实施计划:单增量 I1 = R1–R4 一个 backend PR + Documents 主记录 PR + Dev(gitlink/policy/任务卡)PR +- 测试计划:backend 单测(新增 6 个守护测试);worktree make test;eval/live before 基线(SELF,真实模型对照 after 在 P1 合入后补) ## 阶段评审 @@ -54,7 +67,8 @@ | 增量/试验 | 假设 | 范围 | 判断和停止条件 | 批准依据 | 结果 | 变更影响 | 需重审补测 | |---|---|---|---|---|---|---|---| -| 待定义 | — | — | — | 未批准 | NOT_RUN | 待评估 | 待评估 | +| I1 before 基线 | 旧 main(1ebd46e) 在 golden 集上复现诊断失败链 | qa 实例 + 4 任务 | 报告含失败率/重跑/检查误报数据即成 | 用户 2026-10-09 授权 | 见证据表 | 无(只读评测) | — | +| I1 after 对照 | P1 修复后死循环/误报清零 | 同一任务集 | after 报告对比 before | 同上 | P1 合入后补跑 | — | — | ## 同步记录 diff --git a/policy/delivery.md b/policy/delivery.md index 2549bcb8..d8ce4eb2 100644 --- a/policy/delivery.md +++ b/policy/delivery.md @@ -111,6 +111,15 @@ 每轮形成“发现与证据 → 原假设或困难 → 调整及影响 → 重审和补测范围 → 决策 → 结果”。 记录放在同一任务卡,较长材料只引用文件或 PR,避免多份状态。 +### 智能体行为面的真实验证(2026-10-09 裁定) + +改动智能体行为面的 PR——提示词库、技能配方(SKILL 与 housestyle)、工具描述与 +注册面、上下文组装与回放、终轮门禁与评分——须附**真实模型的任务级前后对照** +(`modules/backend/eval/live/` 基线,或等价的最小重放集),写入任务卡并标注来源 +(GATE/REPLAY/SELF)。单测与 mock 回放不覆盖模型实际行为,只能证明机制,不能 +替代该对照。确无条件跑真实模型时,在任务卡显式标注 `NOT_RUN` 并说明原因与 +补救计划;不得以“预期改善”措辞代替证据。评测材料不进仓(沿用 eval/README 口径)。 + | 变化 | 执行动作与评审边界 | |---|---| | 已批准范围内的内部组织、等价实现、局部缺陷修正 | 当前阶段继续调整、自测并记录;阶段出口统一人工评审 |