回答分级(AI-09、AI-04、AI-10)
同一类问题,按来源和身份给出不同回答:有来源、没找到、超范围、型号确认、FEOC 固定免责、导航。测试集 BUG-01/02 暴露的问题就在这里——无来源时 AI 会用相近内容填充。
户主身份(左)
按上面的按钮依次试。同一个规格问题,回答偏结论。
安装商身份(右)
同样问「aPower 2 的容量和输出功率是多少」,对比回答深度。
每一步在看什么
有来源(M1):事实类回答带引用,底部出现来源卡片。
没找到(REQ-032):明确说没找到,不用相近内容填充,给文档中心链接和联系人工入口。这是测试集 BUG-01/02 的修复目标。
"可靠来源"的判定标准(检索相关度阈值、部分命中规则)需要 AI 后端给出(DEP-10)。门槛:≥ 60 条全部通过(SC-12)。
"可靠来源"的判定标准(检索相关度阈值、部分命中规则)需要 AI 后端给出(DEP-10)。门槛:≥ 60 条全部通过(SC-12)。
超范围(PRD 5.2):简短说明服务范围,列出当前站点可用能力,不尝试作答,也不出联系人工卡片。第 2 次追问同类问题时才附人工入口。目标 ≥ 95%(SC-25)。
型号歧义(REQ-034):aPower / aPower 2 / aPower S 的参数不同,先确认再答。当前页面能确定型号时不追问(见 首屏 的产品页面板)。型号混淆导致的事实错误要求为 0(SC-14)。
按身份调整深度(REQ-033):户主给结论 + 需由安装商处理;安装商给文档链接、章节、参数。户主身份下给出接线或拆机步骤要求为 0(SC-13,红线 X5)。
FEOC / 48E(REQ-018、019):按 SKU 对照合格列表;不在列表中时说明"不在已公布列表中",不下"不合格"的结论;每次回答固定附页面原有免责声明和链接(SC-06 要求 100%)。仅 US 站提供。
导航(REQ-035):给说明和链接,不在对话中收集申请信息。链接按站点生成,正确率 100%(SC-24)。
技术参数为占位,实际以官方文档为准。