agent-exec transport 94c89de8acc261618ce954a5cb25db31/22c3d8900b20

2026-10-23 02:09:57 +00:00
parent f6a43bd23b
commit 90eddbfa8e
1 changed files with 48 additions and 0 deletions
@@ -0,0 +1,48 @@
+# 独立代码 Review：feature/catalog-recall-eval-a3（A3 召回评测集与指标基线）
+
+- Reviewer：独立 CLI session（未参与本单元实施；本报告为唯一产出变更）
+- 日期：2026-10-22
+- Review 对象：`git diff 6ced938a...HEAD`（6ced938a = R0 / origin-main 合入点，与任务卡 R0 一致）
+- 组件重点：`deps/agent-intent` 765a7e7..6aa4925（单提交 "Add the sanitized recall evaluation set and metrics baseline"，9 文件 +1354/-18）；Dev 层 4 个 gitlink 前移 + 任务卡
+- 方法：全量 diff 阅读被测文件；对语料/指标做独立的脚本化交叉复核（只读）；静态追踪指标口径、生成回放路径与 JSON 兼容性；检查嵌套 pin 级联与越界改动。聚焦测试见下文 NOT_RUN 说明。
+
+## 复核结论摘要（独立重算，非转抄）
+
+- 语料 `intent/testdata/recall_corpus.json`：**37 例 / 46 轮**，五类齐全且恰好五类（expired_confirmation 7/14、generation_consistency 8/8、multi_intent 7/7、negation_reference 8/10、wrong_slot 7/7），`record_only: true`；`expect_top` 轮次 31、生成用例 8 —— 与 BASELINE.md 表头逐项一致。
+- 语料 digest `sha256:53d26cfc…bc2885` 与 `evaluation/metrics.json` 的 `corpus_digest`、BASELINE.md 摘要三方一致（本机 `sha256sum` 独立重算）。
+- `evaluation/metrics.json` 全部 10 组计数与比率逐项等于 BASELINE.md 表；比率均可用 `round(n/d*10000)/10000` 独立复算（如 30/31→0.9677、13/46→0.2826、6/46→0.1304、5/14→0.3571、5/8→0.625、5/7→0.7143、3/7→0.4286）。
+- 总体口径自洽：top1_expected 3+3+7+11+7=31、hits 30（唯一 miss 即 multi_greet_then_report 的 1 次误执行）、mis_exec 5+1=6、clarify 0+0+5+5+3=13、fallback 2+0+0+3+0=5+1(gen)=6、pass 3+6+7+7+8=27。
+- 嵌套 pin 级联一致：native@d1f72aa→intent@6aa4925；squad@a5afe9c→intent@6aa4925+native@d1f72aa；backend@8dc91c1→intent@6aa4925+native@d1f72aa+squad@a5afe9c（各自 `git ls-tree` 核对）；三个组件 bump 均为 pins-only（`git diff --stat` 仅 gitlink），superrepo 层 diff 仅 4 gitlink + 任务卡，无评测范围外源码改动。
+
+## Findings
+
+### Blocker
+
+无。
+
+### Major
+
+无。
+
+### Minor
+
+1. **基线数值漂移不设防（结构性盲区，刻意取舍但建议记录）** — `intent/recall_eval_test.go:119-162`（`checkSummaryJSON`/`checkMetricsBounds`）：结构测试对已提交基线只校验 schema、digest、类别计数与「内部一致」（rate==ratio(n,d)），不把基线里的 hits/rates 与本次新鲜运行比对。若识别器行为改变而语料不变（digest 不变、计数不变），过期的基线数值不会被任何测试发现；BASELINE.md「重跑」一节只靠流程约束。这与「只记录不设阈值」的定位一致（比对数值即变相质量断言），属可辩护的设计取舍，但建议在 BASELINE.md 明示「引擎变更不会触发基线失效告警，须人工重跑」。
+2. **missing-slots 断言用 `fmt.Sprint` 比较切片** — `intent/corpus.go:194-222`（`matchTurn` 中 `fmt.Sprint(got) != fmt.Sprint(turn.ExpectMissingSlots)`）：`[]string(nil)` 与 `[]string{}` 都打印 `[]`，且比较对元素顺序敏感。当前引擎输出顺序确定、语料只断言单元素缺失（`["run_id"]`/`["topic"]`），不构成现实缺陷；但后续一旦断言多缺失槽位，顺序耦合会变成脆弱测试。建议改为逐元素显式比较。
+3. **任务卡内部记录不一致（文档级）** — `.task/feature-catalog-recall-eval-a3.md`：「Agent 实施收据」表全部为 NOT_RUN/待定义 占位，而「合入与清理」节已记载 `a3-recall-eval-dataset（…intent 6aa4925，verify-a3 exit=0）`、嵌套级联与 `组合验证：全量 make test PASS`；且「证据（Evidence）」表为空，组合验证结论以带外文件名（verify-a3-combo3.json 等）引用。按仓库门禁「命令输出只经 make evidence 写入任务卡」，合入前应把收据表与证据表补齐一致。不阻塞本次代码评审结论。
+
+### Notes
+
+1. **指标口径正确** — `intent/evalmetrics.go:129-141`（`misExecuted`）：仅当实际 `matched`/`expectation_hit` 出 Top 且与期望动作不同时计数；期望 matched/expectation_hit 而未写 expect_top 的轮次不约束动作，不计；期望 fallback/ambiguous/guard_hit 却执行了即计。与 BASELINE.md「指标口径」一节逐条一致。分母：top1=写了 expect_top 的轮次（`evalmetrics.go:103-108`）、clarify/fallback=全部轮次（`evalmetrics.go:111-118,153-159`）、gen_agree=写了 generator_commands 的用例数（用例级，`evalmetrics.go:120-124`）。`ratio` 定点 4 位舍入保证 JSON 字节稳定（`evalmetrics.go:161-166`）。
+2. **汇总对账安全** — `intent/evalmetrics.go:61-92`（`SummarizeCorpus`）：cases/results 按下标一一对应（越界即 break，契约已在注释声明），空 category 归入 `uncategorized`（旧语料兼容），类别名升序、overall 独立。`intent/eval_test.go:78-89` 在既有 `corpus.json`（无 category）上跑了一遍汇总，兼容路径有覆盖。
+3. **生成回放路径离线、确定性、fail-closed** — `intent/corpus.go:156-186`：`replayGenerator.Generate` 忽略输入与目录、只回放脚本命令（无模型/无网络），并深拷贝 slots 防串染；`compareGeneratorPath` 复用识别器兜底同款 `generateCommands`（`intent/recognizer.go:352-385`：start 的 ActionRef 必须从同一快照唯一解析、命令种类受限、槽位键集校验，任一不过即无 Top）。三个「故意不一致」用例路径成立：`run_id=43` 槽位分歧（sameSlots 判否）、`taskrun.restart` 错动作（handler 反查到 restart spec）、`ghost.flow` 幻觉动作（resolveActionRef 失败→校验拒绝→无 Top）。两边都无 Top 也算一致，`gen_chitchat_agree` 覆盖该分支。Nil expectation 传入 `NewRecognizer` 在该路径安全（`generateCommands` 不触达链式预期）。
+4. **eval 向后兼容** — `cmd/intentctl/main.go:254,260-262,365-390`：`-metrics-out` 缺省为空不写文件（唯一新增写文件入口，显式 opt-in；`-` 走 stdout）；旧语料（无 `record_only`）失败语义不变，且 `TestEvalRecordOnlyWritesMetrics`（`cmd/intentctl/main_test.go:79-112`）同时断言 record_only 不失败+strict 语料仍失败。输出新增的指标表为追加行，不破坏既有两行指标输出。`evalCorpus` 结构仅增可选字段（`omitempty`），旧 JSON 解析不受影响。
+5. **结构测试无质量阈值伪装** — `intent/recall_eval_test.go:64-117`：只断言 ≥30 例、恰好五类、每例可执行（无「识别错误」）、generation_consistency 用例形态、JSON 合法且计数与语料一致、基线 digest 与语料一致；`checkMetricsBounds`（:164-186）只做数学界校验（n≤d、rate==ratio）。无任何质量数值断言，符合「基线只记录」边界。测试与 CLI 同源建快照（:36-62，语料自声明 builtin_specs/guard/protected + 同款 specs 目录），指标同源声明成立。
+6. **语料确为夹具派生、五类行为真实可辨** — 全部期望 top ∈ {demo.run.status_query/restart/cancel, demo.greet.hello, demo.misc.deploy, report.generate, guard.config_change}，动作 id ∈ base.json 的 handler 集 + 刻意的幻觉 id；生成动作 id 与 `intent/testdata/specs/base.json` 的 handler/action 一一对应。各类用例确实 exercising 所标行为：语义否定（「不要/别/不用/先不要」无 excludes 声明，理想为 fallback）对照 `excludes_any` 声明否定（「配置」）；multi_intent 覆盖 动作+动作→ambiguous、寒暄+动作→动作、动作+guard→guard_hit；wrong_slot 覆盖 缺失/中文数字/双候选/越字符集/仅符号/空主题；expired_confirmation 覆盖 链式命中、过期后裸回答回落、过期后完整重述走 matched、宿主声明 pending 再过期（`pending_expectation`+`expectation_expired` 组合，语义为「先声明后作废」，实现顺序 `intent/corpus.go:120-126` 与用例意图一致）；wrong_slot 用单轮 `turns` 包装以使用本轮新增的 `expect_slots`/`expect_missing_slots` 能力。
+7. **安全边界** — 语料全合成（无真实用户数据/PII）；`record_only: true` 无阈值断言；生成路径为确定性回放，无网络/模型调用；未发现任何对外部输入的写路径（除显式 `-metrics-out`）。
+8. **聚焦测试 NOT_RUN（环境受限，非变更缺陷）** — `cd deps/agent-intent && GOWORK=off go test ./intent/...` 无法编译：`agent-intent` 的嵌套 gitlink（deps/error-code-system@a3ee67b、logging-system@49b5d8b 等）在本工作区未物化，且目标提交不在任何本地对象库（`git cat-file` fatal）、无网络。按诚实出口如实标注 NOT_RUN；作为补偿，本文「复核结论摘要」的计数/digest/比率均为独立脚本重算，与基线三方对账一致。任务卡所记 `make test PASS（verify-a3-combo3.json exit=0）`本评审无法复现，标注 [未经证实]（属 host 组合门禁范畴，不阻塞代码评审）。
+
+## Verdict
+
+未发现 blocker/major 级代码缺陷；三项 minor（基线漂移不设防的取舍说明、fmt.Sprint 切片比较的脆弱写法、任务卡收据/证据表未同步）均不阻塞合入，可在本次或后续增量处理。语料、指标、基线、CLI 兼容、结构守卫与嵌套 pin 级联均通过独立静态复核与数值对账。
+
+REVIEW VERDICT: APPROVE