4.2 KiB
4.2 KiB
jevdecide assist 真实轮浸泡 ≥200 与体验层收敛 测试报告
一、测试背景 (Background)
FEATURE-MATRIX jevdecide-shadow 行关闭条件：真实轮浸泡 ≥200 + 体验层检索空结果收敛（intent/risk 另立）。此前 assist 20 轮验收发生在 dev PI spawn 全挂窗口（模板回退污染体验层样本）；本轮在 PI 链路修复后重测。
二、测试目标 (Test Objectives)
- 决策层：assist 加成持续成立（B 组规则漏检被 jev 打开）、规则基线不被压低（A 组）、业务问句零误伤（C 组）
- 体验层：B 组回复要么给出可核验实时事实、要么明确声明无法获取（fail-closed，不编造）——预注册收敛阈值：handled ≥ 90%
- jev 调用零失败（fail-open 不触发）
三、测试方案与环境 (Test Plan & Environment)
- 环境：本机 no-docker dev（
bin/agent-server@ devc373d6fb；JEV_DECIDE_MODE=assist、JEV_BASE_URL=http://127.0.0.1:8767，启动日志jevdecide wired mode=assist）；PI Runner MiniMax-M2.7-highspeed + tavily - 语料：A×4（规则命中）/ B×10（规则漏检候选）/ C×6（业务防误伤）= 20 轮 ×10 轮 = 200 真实轮；轮间城市/措辞变体
- 逐轮 checkpoint（断点续跑）；决策行取 app 日志
jevdecide realtime shadow（与轮次 1:1 对齐，200/200） - 证据：assets/2026-09-26-jevdecide-soak/（逐轮精简 + 汇总）
四、预期结果 (Expected Results)
| 组 | 预期 |
|---|---|
| A（n=40） | rule=true 路径保持，回复含实时事实或声明不可用 |
| B（n=100） | rule=false ∧ jev=true 加成；回复 handled ≥ 90% |
| C（n=60） | rule=false ∧ jev=false，零错误加成 |
| 全局 | jev_fail=0；无编造数值 |
五、实际测试结果与判定 (Actual Results & Evaluation)
5.1 决策层（200 轮，日志行 200/200 对齐）
| 指标 | 结果 | 判定 |
|---|---|---|
| assist 加成（rule=false ∧ jev=true） | 107（B 组 100/100 + A 组规则漏检被 jev 补开 7） | PASS |
| 规则压制（rule=true ∧ jev=false） | 0（assist 只加不减） | PASS |
| C 组错误加成 | 0/60 | PASS |
| jev 调用失败（fail-open） | 0 | PASS |
5.2 体验层（B 组 n=100，正则初分类 + 13 条人工复核）
| 分类 | 数量 | 说明 |
|---|---|---|
| realtime_ok | 92 | 含可核验实时事实（气温/汇率/股价/金价/AQI 等，含定性实时答复） |
| unavailable_ok | 2 | 明确声明检索未返回/无法确认，建议查权威渠道（未编造） |
| 真缺口 gap | 6 | 纯项目话术/问候模板（无编造数值） |
| handled 率 | 94/100 = 94% | ≥ 90% 预注册阈值 PASS |
A 组 handled 38/40（2 条模板回退）；C 组回复无编造实时数值。浸泡窗口 PI 执行 182 SUCCESS / 0 fail；18 轮经意图路由进入非对话模板通道——真缺口 6 条的机制即为此类误路由（jev 已打开检索但模板通道不消费），属意图路由层的既有行为，登记为后续增强方向（intent/risk 另立行）。
5.3 样本
- B 加成+实时事实（r4 t12 黄金）：给出 $4,275~$4,296/盎司、924.45 元/克
- B 加成+fail-closed（r2 t4 温度）：「实时网络检索未返回…无法给出精确数据，建议查看天气 App」
- B 真缺口（r4 t5 带伞）：V0.5 项目推进话术（无实时处理、无编造）
六、自动化测试套件汇总 (Test Suite Execution)
NOT REQUIRED（运维配置 + 真实对话浸泡；产品单元门禁由 c373d6fb 既有收据覆盖，本任务无代码变更）。
七、测试结论与后续优化建议 (Conclusion & Next Steps)
结论：关闭条件满足——200 真实轮浸泡完成；决策层加成 100% 保持、零误伤、零失败；体验层 handled 94% ≥ 预注册 90% 收敛阈值且无编造（fail-closed 方向成立）。FEATURE-MATRIX 行可升 done。
后续：①6 条真缺口源于意图误路由至非对话模板通道（检索已开但不消费），建议在 intent/risk 另立行处理；②会话长上下文对个别轮出现上一问串答（A 组 1 条），建议对话轮相关性强化；③compose 默认仍 off，test/main 放量另授权。