Files
weichen 1c25d65ae9 Record the U1 trial: harness, results, and task-card outcomes
Why: The U1 controlled trial finished; its fixtures, validator, runner,
per-run results, report, and renderer spike must be reviewable from the
task branch, and the task card needs the final PASS/FAIL record.

Evidence: results/summary.json + report.md (SELF, MiniMax official
channel, CNY 3 of 200 cap); make evidence receipts for precheck,
task-sync, and make test follow in this branch.

Impact: Task-scoped experiment artifacts only (.task/genui-u1/); no
production code changes.

Refs: Documents PR #62 (proposal r2); task card feature/generative-ui-u1
2026-10-11 04:43:03 +00:00
..

U1 受控价值与选型试验(原型,任务 feature/generative-ui-u1)

依据:modules/documents/docs/proposals/2026-10-10-generative-ui-plugin.md U1 节; 试验参数经用户 2026-10-11 裁定(模型限 MiniMax M3 + M2.7-highspeed;材料限合成样本; 费用上限 ¥200)。本目录全部为原型实验件,不接入生产路径,不修改业务代码。

协议

  • 任务集:fixtures.json(seed 20261011,确定性生成)。30 个固定任务: research-compare(rc)×10、task-overview(to)×10、requirement-input(ri)×10。 rc 内两组「同料不同目标」(facts-A/B:compare/risk/order 三目标共享同一材料)用于 R1 结构分化检验。
  • 臂:
    • B(基线):材料+目标 → Markdown 卡片(当前系统 submit_card 形态)。30 任务 ×1 次调用。
    • G(生成):同一材料+目标 + 16 类 UINode 目录与硬限制 → JSON 页面规格; 校验失败带错误至多重提一次(KTD2 约定)。30 任务 ×(1+≤1 修复)。
    • G-hs(轻量档子集):同 G 协议换 MiniMax-M2.7-highspeed,取前 10 任务对照成本/质量。
  • 模型通道:https://api.minimaxi.com/v1(OpenAI 兼容;与 dev 实例 settings 同源), 密钥经环境 MINIMAX_API_KEY 注入,不入仓。温度 0.3。
  • 校验器(harness.py::validate_spec)对齐 modules/core/ui.go 16 类词汇: 未知类型/字段、非法 props、重复/非法 nodeId、引用不存在的 sourceId、>200 节点、>8 层、

    256KiB 均判无效(KTD5 纪律)。

  • 护栏:单臂调用上限 B=60 / G=60 / G-hs=20;预算 >¥200 即停(run_trial.py 每次调用前核算)。 成本单价取 E5 任务卡记录(M3 $0.3/$1.2、hs $0.6/$2.4 每 M tokens 入/出,汇率 7.2,不计缓存折扣——保守)。

运行

export MINIMAX_API_KEY=…   # 运行时从 dev 实例 settings 取,不落盘
python3 gen_fixtures.py     # 已生成并提交;重跑逐字节一致
python3 run_trial.py --arm B
python3 run_trial.py --arm G
python3 run_trial.py --arm G-hs
python3 score.py            # → results/summary.json

断点续跑:results/<arm>/<task>.json 已完成即跳过。原始模型全文只存 results/ (合成材料,无真实数据;按 r1 约定评测原始材料不进 Documents)。

判据(对齐 r1「试点评价方法」可自动化部分)

  • 规格有效率:G 首次合法 ≥90%、修复一次后 ≥98%(r1 建议目标)。
  • R1 结构分化:同料不同目标的类型多重集 Jaccard 与主类型差异。
  • 结构契合:预期节点类型出现比例(按族/目标)。
  • 来源可追溯:specs 引用的 sourceId 覆盖率;幻觉引用(校验前)计数。
  • 成本/延迟:每任务 token(含 cached 口径)与折算费用;B 对照。
  • 人类可用性对照(完成耗时/满意度)不在本轮自动化范围,标注 NOT_RUN,留后续人工评审。