Agent-System/.doc/test-reports/2026-09-09-cusa-neuropulse-p5201-full-lifecycle-multirole-test-report.md

CUSA-NeuroPulse（project 5201）全角色全流程黑盒测试报告

一、 测试背景 (Background)

此前实测暴露：对话多为规则模板、工作流文档常只生成 1–2 份即中断、research 曾超时失败。Phase A 已将闲聊/模糊技术问答接入 MiniMax。本轮在新项目上，严格以三角色用户对话 + 界面等价 API 做全链路黑盒验收。

二、 测试目标 (Test Objectives)

1. 意图框架：日常对话、项目对话、意图跳转、连续对话、工作流相关表述；
2. 智能助手回复合理性（真模型 vs 模板可观测）；
3. 7 份工作流受控文档全部完整生成（硬门槛）；
4. 编制/审核/批准界面流转 + 驳回后修改提醒/待办询问；
5. 会话隔离；全程不触碰系统内部实现。

三、 测试方案与环境 (Test Plan & Environment)

• 环境：dev，agent_backend=pi-agent，MiniMax-M3（shuimu-pi-agent-dev:18865），HTTP :8080
• 项目：神经外科双频超声吸引系统 (CUSA-NeuroPulse)，project_id=5201
• 角色：张工(author/1)、李主管(reviewer/2)、王总监(approver/3)；私聊 sess_full_p5201_u{id}
• 脚本：scripts/run_full_lifecycle_blackbox_p5201.py（仅 POST /api/v1/chat、/tasks/run、/docgov/*、查询类 GET）
• 原始结果：/tmp/full_lifecycle_p5201_results.json，控制台：/tmp/full_lifecycle_p5201.log
• 总耗时约 79.6 分钟

四、 预期结果 (Expected Results)

域	预期
闲聊/技术连续对话	reply_source=pi-agent，实质回答，非 V0.5 推销模板
补充事实 / 查进度 / 红线	规则意图正确；红线即时拦截
7 文档	每份 success 且正文 ≥1500 字
DocGov	claim→submit→reject→resubmit→review approve→final approve → approved
隔离	异主 session 泄漏 = 0

五、 实际测试结果与判定 (Actual Results & Evaluation)

5.1 意图框架与助手回复

用例	身份	意图	source_source	耗时	判定
天气+华西交流	张工	CASUAL_CHAT 85%	pi-agent	37s	PASS（真模型，关联样机出行）
展台三点追问	张工	AMBIGUOUS	pi-agent	47s	PASS（承接上一轮）
锁定技术参数	张工	SUPPLEMENT_INFO 88%	template	0s	PASS（规则收录黑板）
查成熟度	张工	QUERY_PROGRESS 90%	template	0s	观察：仍为「启动 V0.1」模板，未引用刚补充事实（Phase A 未扩 LLM）
逆压电+变幅杆	张工	AMBIGUOUS	pi-agent	67s	PASS
ELI 疲劳承接	张工	AMBIGUOUS	pi-agent	33s	PASS
对话触发生成需求表	张工	—	—	300s	FAIL：chat 超时无答复（TRIGGER_TASK 经对话拉起长任务，客户端 300s 上限不够）
查权责/待审	李主管	AMBIGUOUS	pi-agent	64s	PASS（诚实说明尚无待审包）
终审条件/待批	王总监	DOCGOV_FINAL_APPROVE→LLM	pi-agent	35s	观察：意图偏治理动作，但答复合理称暂无待批
越权改身份	张工	SECURITY_FORBIDDEN	template	0s	PASS

对话质量门禁脚本标记 False：唯一硬失败为「对话生成需求表」超时空答复。

5.2 七份工作流文档（UI tasks/run）

文档	字节数	耗时	判定
intake 用户初始需求收集表	15163	478s	PASS
research 调研报告	13599	1253s	PASS
feasibility_dev 设计开发可行性	13580	378s	PASS
feasibility_reg 注册路径可行性	21037	615s	PASS
user_requirements 用户需求表	17100	235s	PASS
prelim_design 初步设计方案	18196	527s	PASS
cdo_quote CDO 报价单	10397	505s	PASS

文档全集完整: True（相对历史「仅 1–2 份」已修复）。

5.3 编制 / 审核 / 批准（界面 DocGov）

目标文档：doc_proj5201_feasibility_reg

审计轨迹（6 条，真实 GET）：

1. author_claim_by_view drafting→drafting
2. submit_review drafting→reviewing
3. review_reject reviewing→drafting（理由含 YY 9706.102 / 听神经保护）
4. submit_review drafting→reviewing
5. review_approve reviewing→approving
6. approver_approve approving→approved（锁定）

终态核验：current_state=approved，is_locked=true，author_claimed=true，last_rejected_reason 保留，approved_at 已写入。

5.4 提醒 / 待办相关对话

场景	观察
驳回后张工询问修改点	模型给出整改方向；但上下文未稳定注入 DocGov 驳回原文（参谋称需工作流提供驳回记录）
李主管待办清单	驳回后诚实称无待审；二次送审后对话误命中 DOCGOV_SUBMIT_REVIEW 并回「已成功提交审核」（意图串扰，应走查询而非送审）
王总监待批询问	复审通过后模型推断有待终审项；界面批准 API 随后成功

5.5 会话隔离

张工/李主管/王总监 foreign=0，PASS。

六、 自动化测试套件汇总 (Test Suite Execution)

• 黑盒脚本 exit code 0，OVERALL: PASS（硬门槛=文档全集+隔离）
• dialogues_ok=False（对话生成任务超时单独记缺陷）
• 产物索引：/tmp/full_lifecycle_p5201_results.json

七、 测试结论与后续优化建议 (Conclusion & Next Steps)

结论：本轮新项目全流程黑盒达到合并/继续迭代标准——7 份工作流文档全部完整，DocGov 闭环到 approved，闲聊/技术连续对话已是真实 MiniMax。

已知缺口（建议下一轮）：

1. 对话触发长文档任务：提高 chat 超时或改为异步任务+进度卡，避免 300s 空响应；
2. Phase B：QUERY_PROGRESS 接入 LLM/黑板事实，避免「已补充参数仍推销闪电摸底」；
3. 待办查询意图：审核人「确认待我审核」不得误触 DOCGOV_SUBMIT_REVIEW；
4. DocGov 状态变更应稳定注入对话上下文，支撑「驳回修改提醒」验收。