weichen
45f21e84c7
Add typed jevdecide HTTP client (circuit, metrics) and coordinator DecideAssist wiring behind JEV_DECIDE_MODE (default off). Offline eval and synthetic soak evidence gate realtime/profile before assist rollout.
1017 lines
20 KiB
JSON
1017 lines
20 KiB
JSON
{
|
|
"schema_version": 1,
|
|
"description": "jev-service product offline eval corpus (realtime/profile/risk_ref); profile gold aligned to ProfileTask",
|
|
"cases": [
|
|
{
|
|
"id": "rt-pos-01",
|
|
"suite": "realtime",
|
|
"input": "今天北京天气怎么样",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-02",
|
|
"suite": "realtime",
|
|
"input": "明天会下雨吗",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-03",
|
|
"suite": "realtime",
|
|
"input": "外面气温多少",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-04",
|
|
"suite": "realtime",
|
|
"input": "今天有什么新闻",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-05",
|
|
"suite": "realtime",
|
|
"input": "美元汇率多少",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-06",
|
|
"suite": "realtime",
|
|
"input": "查一下实时股价",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-07",
|
|
"suite": "realtime",
|
|
"input": "上海明天天气预报",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-08",
|
|
"suite": "realtime",
|
|
"input": "会不会下雪",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-09",
|
|
"suite": "realtime",
|
|
"input": "台风路径怎么样",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-10",
|
|
"suite": "realtime",
|
|
"input": "有雾霾吗",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-11",
|
|
"suite": "realtime",
|
|
"input": "体感温度多少",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-12",
|
|
"suite": "realtime",
|
|
"input": "最新头条新闻",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-13",
|
|
"suite": "realtime",
|
|
"input": "热点新闻有哪些",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-14",
|
|
"suite": "realtime",
|
|
"input": "今日新闻摘要",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-15",
|
|
"suite": "realtime",
|
|
"input": "人民币对日元汇率",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-16",
|
|
"suite": "realtime",
|
|
"input": "比特币股价",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-17",
|
|
"suite": "realtime",
|
|
"input": "现在风力多大",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-18",
|
|
"suite": "realtime",
|
|
"input": "气象预警有吗",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-19",
|
|
"suite": "realtime",
|
|
"input": "本周降雨概率",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-pos-20",
|
|
"suite": "realtime",
|
|
"input": "查一下实时汇率",
|
|
"gold": {
|
|
"realtime": true
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-03",
|
|
"suite": "realtime",
|
|
"input": "项目进度怎么样",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-04",
|
|
"suite": "realtime",
|
|
"input": "型检温度指标怎么定",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-05",
|
|
"suite": "realtime",
|
|
"input": "注册路径需要注意什么",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-06",
|
|
"suite": "realtime",
|
|
"input": "帮我推进 V0.5 方案",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-07",
|
|
"suite": "realtime",
|
|
"input": "你好",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-08",
|
|
"suite": "realtime",
|
|
"input": "受控文档怎么审批",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-09",
|
|
"suite": "realtime",
|
|
"input": "报价成本怎么算",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-10",
|
|
"suite": "realtime",
|
|
"input": "技术参数验收标准",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-11",
|
|
"suite": "realtime",
|
|
"input": "法规注册流程",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-12",
|
|
"suite": "realtime",
|
|
"input": "这个项目现在到哪一步了",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-13",
|
|
"suite": "realtime",
|
|
"input": "帮我看看方案缺什么",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-14",
|
|
"suite": "realtime",
|
|
"input": "型检报告模板在哪",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-15",
|
|
"suite": "realtime",
|
|
"input": "电源功耗怎么评估",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-16",
|
|
"suite": "realtime",
|
|
"input": "传感器探头选型",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-17",
|
|
"suite": "realtime",
|
|
"input": "临床评价要点",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-18",
|
|
"suite": "realtime",
|
|
"input": "NMPA 注册资料清单",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-19",
|
|
"suite": "realtime",
|
|
"input": "帮我改一下文档",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-20",
|
|
"suite": "realtime",
|
|
"input": "阶段推进到 V1.0",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-21",
|
|
"suite": "realtime",
|
|
"input": "你好呀",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-22",
|
|
"suite": "realtime",
|
|
"input": "在吗",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-23",
|
|
"suite": "realtime",
|
|
"input": "谢谢",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-24",
|
|
"suite": "realtime",
|
|
"input": "好的",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-25",
|
|
"suite": "realtime",
|
|
"input": "继续",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-26",
|
|
"suite": "realtime",
|
|
"input": "项目法规注意什么",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "rt-neg-27",
|
|
"suite": "realtime",
|
|
"input": "工程架构怎么设计",
|
|
"gold": {
|
|
"realtime": false
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-01",
|
|
"suite": "profile",
|
|
"input": "你好，你是谁？",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-02",
|
|
"suite": "profile",
|
|
"input": "什么是逆压电效应？",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-03",
|
|
"suite": "profile",
|
|
"input": "这个项目现在怎么样了",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-04",
|
|
"suite": "profile",
|
|
"input": "今天心情不错",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-05",
|
|
"suite": "profile",
|
|
"input": "帮我解释一下这个名词",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-06",
|
|
"suite": "profile",
|
|
"input": "简单说一下原理",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-07",
|
|
"suite": "profile",
|
|
"input": "有什么功能",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-08",
|
|
"suite": "profile",
|
|
"input": "你能做什么",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-09",
|
|
"suite": "profile",
|
|
"input": "项目名字叫什么",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-10",
|
|
"suite": "profile",
|
|
"input": "当前阶段是什么",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-11",
|
|
"suite": "profile",
|
|
"input": "文档在哪看",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-12",
|
|
"suite": "profile",
|
|
"input": "谁是编制人",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-13",
|
|
"suite": "profile",
|
|
"input": "审批要多久",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-14",
|
|
"suite": "profile",
|
|
"input": "先聊聊吧",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-02",
|
|
"suite": "profile",
|
|
"input": "需要做一份简单清单",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-04",
|
|
"suite": "profile",
|
|
"input": "整理一下参数表草稿",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "data",
|
|
"score": 35
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-06",
|
|
"suite": "profile",
|
|
"input": "写个大纲给我看看",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-09",
|
|
"suite": "profile",
|
|
"input": "评估表字段怎么填",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-10",
|
|
"suite": "profile",
|
|
"input": "说明书目录建议",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-13",
|
|
"suite": "profile",
|
|
"input": "设计电源时要注意散热吗",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-01",
|
|
"suite": "profile",
|
|
"input": "帮我做一份掌上超声与进口竞品的横向对标分析报告，覆盖法规注册、工程架构与商务定价三个视角，要详尽成体系",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 85
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-02",
|
|
"suite": "profile",
|
|
"input": "给我整理一份竞品参数对比表和成本核算",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 60
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-03",
|
|
"suite": "profile",
|
|
"input": "请输出系统性立项材料，含法规合规与成本预算的完整对比分析报告",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 75
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-04",
|
|
"suite": "profile",
|
|
"input": "做一份详尽的市场调研报告，覆盖各家竞品与注册路径",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 85
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-05",
|
|
"suite": "profile",
|
|
"input": "帮我做竞品横向对比表格，同时核算成本与报价",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 60
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-07",
|
|
"suite": "profile",
|
|
"input": "写一份正式分析报告：结构材料选型与电源算法功耗，还要商务毛利",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 60
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-08",
|
|
"suite": "profile",
|
|
"input": "请做一份详尽成体系的立项级方案文档，对比竞品注册与定价",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 85
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-09",
|
|
"suite": "profile",
|
|
"input": "整理Excel成本核算矩阵，并输出对比分析报告",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 70
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-10",
|
|
"suite": "profile",
|
|
"input": "系统性调研竞品，输出完整手册与参数表",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 70
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-11",
|
|
"suite": "profile",
|
|
"input": "做一份覆盖法规、工程、商务的详尽报告并附对比表",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 80
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-01",
|
|
"suite": "risk_ref",
|
|
"input": "删除了法规验收标准条款",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-02",
|
|
"suite": "risk_ref",
|
|
"input": "修改了 REQ-001 技术参数数值从 3.0 到 5.0",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-03",
|
|
"suite": "risk_ref",
|
|
"input": "小幅措辞润色，无敏感词",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-04",
|
|
"suite": "risk_ref",
|
|
"input": "删除风险控制章节段落",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-05",
|
|
"suite": "risk_ref",
|
|
"input": "新增一节背景介绍",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-06",
|
|
"suite": "risk_ref",
|
|
"input": "修改 GB9706 引用条款",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-07",
|
|
"suite": "risk_ref",
|
|
"input": "下游已批准文档受影响 stale",
|
|
"gold": {
|
|
"risk": "critical"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-08",
|
|
"suite": "risk_ref",
|
|
"input": "改了非敏感描述性文字",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-09",
|
|
"suite": "risk_ref",
|
|
"input": "验收标准数值调整 10→12",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-10",
|
|
"suite": "risk_ref",
|
|
"input": "移动段落顺序无内容变更",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-11",
|
|
"suite": "risk_ref",
|
|
"input": "删除 YY/T 相关要求",
|
|
"gold": {
|
|
"risk": "high"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-12",
|
|
"suite": "risk_ref",
|
|
"input": "补充示例说明",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-13",
|
|
"suite": "risk_ref",
|
|
"input": "修改风险控制措施并影响已批准下游",
|
|
"gold": {
|
|
"risk": "critical"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-14",
|
|
"suite": "risk_ref",
|
|
"input": "插入参考链接",
|
|
"gold": {
|
|
"risk": "low"
|
|
}
|
|
},
|
|
{
|
|
"id": "rk-15",
|
|
"suite": "risk_ref",
|
|
"input": "改写合规检查清单条目",
|
|
"gold": {
|
|
"risk": "medium"
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x01",
|
|
"suite": "profile",
|
|
"input": "早上好",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x02",
|
|
"suite": "profile",
|
|
"input": "进展如何",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x03",
|
|
"suite": "profile",
|
|
"input": "什么叫压电陶瓷",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x04",
|
|
"suite": "profile",
|
|
"input": "先闲聊两句",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x05",
|
|
"suite": "profile",
|
|
"input": "帮我解释缩写 NMPA",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x06",
|
|
"suite": "profile",
|
|
"input": "当前谁负责编制",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x07",
|
|
"suite": "profile",
|
|
"input": "随便问问",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x08",
|
|
"suite": "profile",
|
|
"input": "这个词什么意思",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x09",
|
|
"suite": "profile",
|
|
"input": "阶段叫什么",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 0
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-low-x10",
|
|
"suite": "profile",
|
|
"input": "查一下标准号 GB9706",
|
|
"gold": {
|
|
"bucket": "low",
|
|
"form": "answer",
|
|
"score": 10
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x01",
|
|
"suite": "profile",
|
|
"input": "需要做一份简单清单",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x02",
|
|
"suite": "profile",
|
|
"input": "写个大纲给我看看",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x03",
|
|
"suite": "profile",
|
|
"input": "整理一下参数表草稿",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "data",
|
|
"score": 35
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x04",
|
|
"suite": "profile",
|
|
"input": "说明书目录建议",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x05",
|
|
"suite": "profile",
|
|
"input": "评估表字段怎么填",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x06",
|
|
"suite": "profile",
|
|
"input": "给我一份对比表草稿",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "data",
|
|
"score": 50
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x07",
|
|
"suite": "profile",
|
|
"input": "输出评估表模板",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-mid-x08",
|
|
"suite": "profile",
|
|
"input": "做个简短说明书目录",
|
|
"gold": {
|
|
"bucket": "mid",
|
|
"form": "document",
|
|
"score": 30
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-x01",
|
|
"suite": "profile",
|
|
"input": "帮我做一份详尽成体系的竞品横向对标分析报告，覆盖法规注册与工程架构与商务定价",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 85
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-x02",
|
|
"suite": "profile",
|
|
"input": "整理Excel成本核算矩阵并输出正式对比分析报告，覆盖各家竞品",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 90
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-x03",
|
|
"suite": "profile",
|
|
"input": "请输出立项级完整方案文档，系统性对比竞品注册路径与定价策略",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 85
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-x04",
|
|
"suite": "profile",
|
|
"input": "做一份详尽市场调研报告，覆盖法规合规、工程架构与商务毛利三个视角",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "document",
|
|
"score": 70
|
|
}
|
|
},
|
|
{
|
|
"id": "pf-high-x05",
|
|
"suite": "profile",
|
|
"input": "给我整理竞品参数对比表和成本核算，并写成成体系分析报告",
|
|
"gold": {
|
|
"bucket": "high",
|
|
"form": "data",
|
|
"score": 70
|
|
}
|
|
}
|
|
]
|
|
}
|