Files
Agent-System/.doc/test-reports/2026-09-24-intent-plan-u9u12-live-test-report.md
weichen cd793c11c9 docs(test): U9–U12 live domain acceptance evidence
Archive real HTTP+PG samples for U9 segment wiring and U10–U12 live
adapters under confirm tier on shared dev (project 6579).
2026-09-23 15:54:05 +00:00

5.3 KiB
Raw Permalink Blame History

多意图 U9–U12 live 接线验收测试报告

一、 测试背景 (Background)

FEATURE-MATRIX intent-plan-u9u12 长期 partial:U9 ActiveSegmentProposer 已注入但未进 HandleTurn;U10–U12 仅为 DryRunAdapter(validated_only)。Track I2(intent-plan-u1u8)已升 done 后,本轮按 Track I3 逐域接线并在共享 dev 真实验收。

二、 测试目标 (Test Objectives)

  • U9:规则可切句不走 LLM;歧义句走 proposer(失败 fail-closed);生产聊天产生多段计划
  • U10:project.fact.supplement 确认后真实写黑板;确认前零副作用
  • U11:首批 document.claim + document.review.submit 确认后走 docgov 引擎
  • U12:首批 workflow.run(+ 只读 run.status.query)确认后真实执行
  • tier 停在 confirm;compose 默认仍 legacy;未开放键保持 validated_only

三、 测试方案与环境 (Test Plan & Environment)

项 值
OS Linux
源码 local_dev b7d775a7(含 live adapters + version binder + confirm Authorize slots)
环境 共享 dev shuimu-agent-app-dev schema 66
Runner :18865 MiniMax-M2.7-highspeed(健康)
运维 flag MULTI_INTENT_PLAN_TIER=confirm;INTENT_PLAN_PROJECT_ALLOWLIST=*;U9–U12=true
验收项目 6579
层级 真实 HTTP 聊天 + intent-plan decisions + PG;单测/arch-check

证据目录:.doc/test-reports/assets/2026-09-24-intent-plan-u9u12/

四、 预期结果 (Expected Results)

域 预期
U9 规则句 segmenter.v2 多段 auto/confirm 可执行;无规则切分时 LLM 失败则 fail-closed 不落执行计划
U10 awaiting → confirm 后 project.fact.supplement=succeeded(summary project facts supplemented)
U11 claim / review.submit 各自 confirm 后 succeeded(document.*.accepted)
U12 confirm 后 workflow.run=succeeded

五、 实际测试结果与判定 (Actual Results & Evaluation)

5.1 U9 生产分段接线

  • 测试输入 (Input):查一下项目风险,然后查相关法规(规则可切);法规案例权限相关情况一并说明下(无连接词)
  • 实际输出 (Actual Output):规则句 plan executing,steps project.advisory/regulation.query succeeded,proposal segmenter.v2;歧义句 combo=single、无持久多段计划(proposer fail-closed)
  • 评价判定 (Evaluation / Verdict):PASS(接线进 HandleTurn;规则跳过 LLM;失败 fail-closed)
  • 性能与耗时 (Duration & Latency):规则句 ≈9.9s;歧义句 ≈11.1s
  • 证据:final-u9-rules.json、final-u9-amb.json

5.2 U10 mutate live

  • 测试输入 (Input):补充项目信息:验收备注-…,然后查一下相关法规 → confirm
  • 实际输出 (Actual Output):project.fact.supplement=succeeded(project facts supplemented)+ regulation.query=succeeded
  • 评价判定 (Evaluation / Verdict):PASS
  • 性能与耗时 (Duration & Latency):创建 ≈0.7–1.5s;confirm ≈2.1–3.0s
  • 证据:final-u10.json、final2-u10.json

5.3 U11 docgov live(首批键)

  • 测试输入 (Input):
    • claim:认领文档 doc_proj6579_bd_cdo_quote,然后查一下文档状态
    • submit:请将文档 doc_proj6579_bd_cdo_quote 提交审核,然后查法规
  • 实际输出 (Actual Output):claim / document.review.submit 均 succeeded(document.*.accepted)
  • 评价判定 (Evaluation / Verdict):PASS
  • 性能与耗时 (Duration & Latency):claim confirm ≈2.9s;submit confirm 即时分派成功
  • 证据:final2-u11.json、final-u11-submit.json

5.4 U12 run-control live(首批键)

  • 测试输入 (Input):运行产品经理工作流,然后查一下运行状态 → confirm
  • 实际输出 (Actual Output):workflow.run=succeeded(workflow.run accepted)+ run.status.query=succeeded
  • 评价判定 (Evaluation / Verdict):PASS(run.resume 仍由单测 + dry-run 覆盖;本轮自然语言未稳定触发 resume 组合)
  • 性能与耗时 (Duration & Latency):confirm ≈2.1s
  • 证据:final-u12.json、u12-confirm.json

六、 自动化测试套件汇总 (Test Suite Execution)

命令 结果
./scripts/arch-check.sh --mode block PASS
go test -short(intentflow/app 定向 U9–U12/Owner) PASS
真实 dev HTTP+PG 四域 PASS(见上)

全量 go test ./... 中预存 TestProductionCompositionHasNoHookRegistration(OnOutbox)与本轮无关,未纳入本报告 PASS。

七、 测试结论与后续优化建议 (Conclusion & Next Steps)

U9–U12 逐域 live 验收 PASS,可将 intent-plan-u9u12 升 done。口径:

  • 已 live:U9 生产分段;project.fact.supplement;document.claim / document.review.submit;workflow.run(+ 只读 run.status.query 同批)
  • 仍 validated_only:document.review.approve/reject、document.final.approve/reject、document.proposal.decide、workflow.switch、run.restart(run.resume 代码已 live,待自然语言稳定触发补证据)
  • tier 停 confirm;compose 默认 legacy;放量仅 dev 运维 flag

实施中修复(合入 tip)

  1. 计划创建绑定 ExpectedResourceVersion(U10/U11)
  2. authorizeDecision 传入 Slots/SafeSummary(否则 U11 confirm 误 Forbidden)