Archive real HTTP+PG samples for U9 segment wiring and U10–U12 live adapters under confirm tier on shared dev (project 6579).
5.3 KiB
5.3 KiB
多意图 U9–U12 live 接线验收测试报告
一、 测试背景 (Background)
FEATURE-MATRIX intent-plan-u9u12 长期 partial:U9 ActiveSegmentProposer 已注入但未进 HandleTurn;U10–U12 仅为 DryRunAdapter(validated_only)。Track I2(intent-plan-u1u8)已升 done 后,本轮按 Track I3 逐域接线并在共享 dev 真实验收。
二、 测试目标 (Test Objectives)
- U9:规则可切句不走 LLM;歧义句走 proposer(失败 fail-closed);生产聊天产生多段计划
- U10:
project.fact.supplement确认后真实写黑板;确认前零副作用 - U11:首批
document.claim+document.review.submit确认后走 docgov 引擎 - U12:首批
workflow.run(+ 只读run.status.query)确认后真实执行 - tier 停在
confirm;compose 默认仍 legacy;未开放键保持 validated_only
三、 测试方案与环境 (Test Plan & Environment)
| 项 | 值 |
|---|---|
| OS | Linux |
| 源码 | local_dev b7d775a7(含 live adapters + version binder + confirm Authorize slots) |
| 环境 | 共享 dev shuimu-agent-app-dev schema 66 |
| Runner | :18865 MiniMax-M2.7-highspeed(健康) |
| 运维 flag | MULTI_INTENT_PLAN_TIER=confirm;INTENT_PLAN_PROJECT_ALLOWLIST=*;U9–U12=true |
| 验收项目 | 6579 |
| 层级 | 真实 HTTP 聊天 + intent-plan decisions + PG;单测/arch-check |
证据目录:.doc/test-reports/assets/2026-09-24-intent-plan-u9u12/
四、 预期结果 (Expected Results)
| 域 | 预期 |
|---|---|
| U9 | 规则句 segmenter.v2 多段 auto/confirm 可执行;无规则切分时 LLM 失败则 fail-closed 不落执行计划 |
| U10 | awaiting → confirm 后 project.fact.supplement=succeeded(summary project facts supplemented) |
| U11 | claim / review.submit 各自 confirm 后 succeeded(document.*.accepted) |
| U12 | confirm 后 workflow.run=succeeded |
五、 实际测试结果与判定 (Actual Results & Evaluation)
5.1 U9 生产分段接线
- 测试输入 (Input):
查一下项目风险,然后查相关法规(规则可切);法规案例权限相关情况一并说明下(无连接词) - 实际输出 (Actual Output):规则句 plan
executing,stepsproject.advisory/regulation.querysucceeded,proposalsegmenter.v2;歧义句 combo=single、无持久多段计划(proposer fail-closed) - 评价判定 (Evaluation / Verdict):PASS(接线进 HandleTurn;规则跳过 LLM;失败 fail-closed)
- 性能与耗时 (Duration & Latency):规则句 ≈9.9s;歧义句 ≈11.1s
- 证据:
final-u9-rules.json、final-u9-amb.json
5.2 U10 mutate live
- 测试输入 (Input):
补充项目信息:验收备注-…,然后查一下相关法规→ confirm - 实际输出 (Actual Output):
project.fact.supplement=succeeded(project facts supplemented)+regulation.query=succeeded - 评价判定 (Evaluation / Verdict):PASS
- 性能与耗时 (Duration & Latency):创建 ≈0.7–1.5s;confirm ≈2.1–3.0s
- 证据:
final-u10.json、final2-u10.json
5.3 U11 docgov live(首批键)
- 测试输入 (Input):
- claim:
认领文档 doc_proj6579_bd_cdo_quote,然后查一下文档状态 - submit:
请将文档 doc_proj6579_bd_cdo_quote 提交审核,然后查法规
- claim:
- 实际输出 (Actual Output):claim /
document.review.submit均succeeded(document.*.accepted) - 评价判定 (Evaluation / Verdict):PASS
- 性能与耗时 (Duration & Latency):claim confirm ≈2.9s;submit confirm 即时分派成功
- 证据:
final2-u11.json、final-u11-submit.json
5.4 U12 run-control live(首批键)
- 测试输入 (Input):
运行产品经理工作流,然后查一下运行状态→ confirm - 实际输出 (Actual Output):
workflow.run=succeeded(workflow.run accepted)+run.status.query=succeeded - 评价判定 (Evaluation / Verdict):PASS(
run.resume仍由单测 + dry-run 覆盖;本轮自然语言未稳定触发 resume 组合) - 性能与耗时 (Duration & Latency):confirm ≈2.1s
- 证据:
final-u12.json、u12-confirm.json
六、 自动化测试套件汇总 (Test Suite Execution)
| 命令 | 结果 |
|---|---|
./scripts/arch-check.sh --mode block |
PASS |
go test -short(intentflow/app 定向 U9–U12/Owner) |
PASS |
| 真实 dev HTTP+PG 四域 | PASS(见上) |
全量 go test ./... 中预存 TestProductionCompositionHasNoHookRegistration(OnOutbox)与本轮无关,未纳入本报告 PASS。
七、 测试结论与后续优化建议 (Conclusion & Next Steps)
U9–U12 逐域 live 验收 PASS,可将 intent-plan-u9u12 升 done。口径:
- 已 live:
U9生产分段;project.fact.supplement;document.claim/document.review.submit;workflow.run(+ 只读 run.status.query 同批) - 仍 validated_only:
document.review.approve/reject、document.final.approve/reject、document.proposal.decide、workflow.switch、run.restart(run.resume代码已 live,待自然语言稳定触发补证据) - tier 停
confirm;compose 默认legacy;放量仅 dev 运维 flag
实施中修复(合入 tip)
- 计划创建绑定
ExpectedResourceVersion(U10/U11) authorizeDecision传入Slots/SafeSummary(否则 U11 confirm 误 Forbidden)