{
  "schema_version": 1,
  "description": "jev-service product offline eval corpus (realtime/profile/risk_ref); profile gold aligned to ProfileTask",
  "cases": [
    {
      "id": "rt-pos-01",
      "suite": "realtime",
      "input": "今天北京天气怎么样",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-02",
      "suite": "realtime",
      "input": "明天会下雨吗",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-03",
      "suite": "realtime",
      "input": "外面气温多少",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-04",
      "suite": "realtime",
      "input": "今天有什么新闻",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-05",
      "suite": "realtime",
      "input": "美元汇率多少",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-06",
      "suite": "realtime",
      "input": "查一下实时股价",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-07",
      "suite": "realtime",
      "input": "上海明天天气预报",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-08",
      "suite": "realtime",
      "input": "会不会下雪",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-09",
      "suite": "realtime",
      "input": "台风路径怎么样",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-10",
      "suite": "realtime",
      "input": "有雾霾吗",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-11",
      "suite": "realtime",
      "input": "体感温度多少",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-12",
      "suite": "realtime",
      "input": "最新头条新闻",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-13",
      "suite": "realtime",
      "input": "热点新闻有哪些",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-14",
      "suite": "realtime",
      "input": "今日新闻摘要",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-15",
      "suite": "realtime",
      "input": "人民币对日元汇率",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-16",
      "suite": "realtime",
      "input": "比特币股价",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-17",
      "suite": "realtime",
      "input": "现在风力多大",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-18",
      "suite": "realtime",
      "input": "气象预警有吗",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-19",
      "suite": "realtime",
      "input": "本周降雨概率",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-pos-20",
      "suite": "realtime",
      "input": "查一下实时汇率",
      "gold": {
        "realtime": true
      }
    },
    {
      "id": "rt-neg-03",
      "suite": "realtime",
      "input": "项目进度怎么样",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-04",
      "suite": "realtime",
      "input": "型检温度指标怎么定",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-05",
      "suite": "realtime",
      "input": "注册路径需要注意什么",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-06",
      "suite": "realtime",
      "input": "帮我推进 V0.5 方案",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-07",
      "suite": "realtime",
      "input": "你好",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-08",
      "suite": "realtime",
      "input": "受控文档怎么审批",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-09",
      "suite": "realtime",
      "input": "报价成本怎么算",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-10",
      "suite": "realtime",
      "input": "技术参数验收标准",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-11",
      "suite": "realtime",
      "input": "法规注册流程",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-12",
      "suite": "realtime",
      "input": "这个项目现在到哪一步了",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-13",
      "suite": "realtime",
      "input": "帮我看看方案缺什么",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-14",
      "suite": "realtime",
      "input": "型检报告模板在哪",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-15",
      "suite": "realtime",
      "input": "电源功耗怎么评估",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-16",
      "suite": "realtime",
      "input": "传感器探头选型",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-17",
      "suite": "realtime",
      "input": "临床评价要点",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-18",
      "suite": "realtime",
      "input": "NMPA 注册资料清单",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-19",
      "suite": "realtime",
      "input": "帮我改一下文档",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-20",
      "suite": "realtime",
      "input": "阶段推进到 V1.0",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-21",
      "suite": "realtime",
      "input": "你好呀",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-22",
      "suite": "realtime",
      "input": "在吗",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-23",
      "suite": "realtime",
      "input": "谢谢",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-24",
      "suite": "realtime",
      "input": "好的",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-25",
      "suite": "realtime",
      "input": "继续",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-26",
      "suite": "realtime",
      "input": "项目法规注意什么",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "rt-neg-27",
      "suite": "realtime",
      "input": "工程架构怎么设计",
      "gold": {
        "realtime": false
      }
    },
    {
      "id": "pf-low-01",
      "suite": "profile",
      "input": "你好，你是谁？",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-02",
      "suite": "profile",
      "input": "什么是逆压电效应？",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-03",
      "suite": "profile",
      "input": "这个项目现在怎么样了",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-04",
      "suite": "profile",
      "input": "今天心情不错",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-05",
      "suite": "profile",
      "input": "帮我解释一下这个名词",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-06",
      "suite": "profile",
      "input": "简单说一下原理",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-07",
      "suite": "profile",
      "input": "有什么功能",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-08",
      "suite": "profile",
      "input": "你能做什么",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-09",
      "suite": "profile",
      "input": "项目名字叫什么",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-10",
      "suite": "profile",
      "input": "当前阶段是什么",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-11",
      "suite": "profile",
      "input": "文档在哪看",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-low-12",
      "suite": "profile",
      "input": "谁是编制人",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-13",
      "suite": "profile",
      "input": "审批要多久",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-14",
      "suite": "profile",
      "input": "先聊聊吧",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-mid-02",
      "suite": "profile",
      "input": "需要做一份简单清单",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-04",
      "suite": "profile",
      "input": "整理一下参数表草稿",
      "gold": {
        "bucket": "mid",
        "form": "data",
        "score": 35
      }
    },
    {
      "id": "pf-mid-06",
      "suite": "profile",
      "input": "写个大纲给我看看",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-09",
      "suite": "profile",
      "input": "评估表字段怎么填",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-10",
      "suite": "profile",
      "input": "说明书目录建议",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-13",
      "suite": "profile",
      "input": "设计电源时要注意散热吗",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-high-01",
      "suite": "profile",
      "input": "帮我做一份掌上超声与进口竞品的横向对标分析报告，覆盖法规注册、工程架构与商务定价三个视角，要详尽成体系",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 85
      }
    },
    {
      "id": "pf-high-02",
      "suite": "profile",
      "input": "给我整理一份竞品参数对比表和成本核算",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 60
      }
    },
    {
      "id": "pf-high-03",
      "suite": "profile",
      "input": "请输出系统性立项材料，含法规合规与成本预算的完整对比分析报告",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 75
      }
    },
    {
      "id": "pf-high-04",
      "suite": "profile",
      "input": "做一份详尽的市场调研报告，覆盖各家竞品与注册路径",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 85
      }
    },
    {
      "id": "pf-high-05",
      "suite": "profile",
      "input": "帮我做竞品横向对比表格，同时核算成本与报价",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 60
      }
    },
    {
      "id": "pf-high-07",
      "suite": "profile",
      "input": "写一份正式分析报告：结构材料选型与电源算法功耗，还要商务毛利",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 60
      }
    },
    {
      "id": "pf-high-08",
      "suite": "profile",
      "input": "请做一份详尽成体系的立项级方案文档，对比竞品注册与定价",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 85
      }
    },
    {
      "id": "pf-high-09",
      "suite": "profile",
      "input": "整理Excel成本核算矩阵，并输出对比分析报告",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 70
      }
    },
    {
      "id": "pf-high-10",
      "suite": "profile",
      "input": "系统性调研竞品，输出完整手册与参数表",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 70
      }
    },
    {
      "id": "pf-high-11",
      "suite": "profile",
      "input": "做一份覆盖法规、工程、商务的详尽报告并附对比表",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 80
      }
    },
    {
      "id": "rk-01",
      "suite": "risk_ref",
      "input": "删除了法规验收标准条款",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-02",
      "suite": "risk_ref",
      "input": "修改了 REQ-001 技术参数数值从 3.0 到 5.0",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-03",
      "suite": "risk_ref",
      "input": "小幅措辞润色，无敏感词",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-04",
      "suite": "risk_ref",
      "input": "删除风险控制章节段落",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-05",
      "suite": "risk_ref",
      "input": "新增一节背景介绍",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-06",
      "suite": "risk_ref",
      "input": "修改 GB9706 引用条款",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-07",
      "suite": "risk_ref",
      "input": "下游已批准文档受影响 stale",
      "gold": {
        "risk": "critical"
      }
    },
    {
      "id": "rk-08",
      "suite": "risk_ref",
      "input": "改了非敏感描述性文字",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-09",
      "suite": "risk_ref",
      "input": "验收标准数值调整 10→12",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-10",
      "suite": "risk_ref",
      "input": "移动段落顺序无内容变更",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-11",
      "suite": "risk_ref",
      "input": "删除 YY/T 相关要求",
      "gold": {
        "risk": "high"
      }
    },
    {
      "id": "rk-12",
      "suite": "risk_ref",
      "input": "补充示例说明",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-13",
      "suite": "risk_ref",
      "input": "修改风险控制措施并影响已批准下游",
      "gold": {
        "risk": "critical"
      }
    },
    {
      "id": "rk-14",
      "suite": "risk_ref",
      "input": "插入参考链接",
      "gold": {
        "risk": "low"
      }
    },
    {
      "id": "rk-15",
      "suite": "risk_ref",
      "input": "改写合规检查清单条目",
      "gold": {
        "risk": "medium"
      }
    },
    {
      "id": "pf-low-x01",
      "suite": "profile",
      "input": "早上好",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x02",
      "suite": "profile",
      "input": "进展如何",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x03",
      "suite": "profile",
      "input": "什么叫压电陶瓷",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x04",
      "suite": "profile",
      "input": "先闲聊两句",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x05",
      "suite": "profile",
      "input": "帮我解释缩写 NMPA",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x06",
      "suite": "profile",
      "input": "当前谁负责编制",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x07",
      "suite": "profile",
      "input": "随便问问",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x08",
      "suite": "profile",
      "input": "这个词什么意思",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x09",
      "suite": "profile",
      "input": "阶段叫什么",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 0
      }
    },
    {
      "id": "pf-low-x10",
      "suite": "profile",
      "input": "查一下标准号 GB9706",
      "gold": {
        "bucket": "low",
        "form": "answer",
        "score": 10
      }
    },
    {
      "id": "pf-mid-x01",
      "suite": "profile",
      "input": "需要做一份简单清单",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-x02",
      "suite": "profile",
      "input": "写个大纲给我看看",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-x03",
      "suite": "profile",
      "input": "整理一下参数表草稿",
      "gold": {
        "bucket": "mid",
        "form": "data",
        "score": 35
      }
    },
    {
      "id": "pf-mid-x04",
      "suite": "profile",
      "input": "说明书目录建议",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-x05",
      "suite": "profile",
      "input": "评估表字段怎么填",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-x06",
      "suite": "profile",
      "input": "给我一份对比表草稿",
      "gold": {
        "bucket": "mid",
        "form": "data",
        "score": 50
      }
    },
    {
      "id": "pf-mid-x07",
      "suite": "profile",
      "input": "输出评估表模板",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-mid-x08",
      "suite": "profile",
      "input": "做个简短说明书目录",
      "gold": {
        "bucket": "mid",
        "form": "document",
        "score": 30
      }
    },
    {
      "id": "pf-high-x01",
      "suite": "profile",
      "input": "帮我做一份详尽成体系的竞品横向对标分析报告，覆盖法规注册与工程架构与商务定价",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 85
      }
    },
    {
      "id": "pf-high-x02",
      "suite": "profile",
      "input": "整理Excel成本核算矩阵并输出正式对比分析报告，覆盖各家竞品",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 90
      }
    },
    {
      "id": "pf-high-x03",
      "suite": "profile",
      "input": "请输出立项级完整方案文档，系统性对比竞品注册路径与定价策略",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 85
      }
    },
    {
      "id": "pf-high-x04",
      "suite": "profile",
      "input": "做一份详尽市场调研报告，覆盖法规合规、工程架构与商务毛利三个视角",
      "gold": {
        "bucket": "high",
        "form": "document",
        "score": 70
      }
    },
    {
      "id": "pf-high-x05",
      "suite": "profile",
      "input": "给我整理竞品参数对比表和成本核算，并写成成体系分析报告",
      "gold": {
        "bucket": "high",
        "form": "data",
        "score": 70
      }
    }
  ]
}