ChatBI完成配置并开放访问后,仍需要通过正式验收确认它是否适合进入日常工作。系统能够返回答案,只能说明基本查询链路可以运行;答案是否使用了正确指标、时间范围和权限,是否能够解释依据,以及出现问题后能否被记录和修正,需要分别核验。
本文所称 ChatBI,泛指通过自然语言查询企业数据的问数工具。不同产品、版本和部署方式提供的功能并不完全相同,具体能力应以实际环境、配置和测试结果为准。
上线验收的目标,是建立一套可复核的证据:哪些问题已经验证,哪些使用范围仍有限制,哪些结果需要人工确认,发生错误时由谁处理,以及数据、指标或权限变化后如何重新检查。
一、按问题类型制定验收方法
不同问题的风险和验证方式并不相同。将所有问题放在一起统计一个总体准确率,可能掩盖关键指标错误、权限异常或原因分析越界等问题。验收时可以先按问题类型建立测试清单。
| 问题类型 |
示例 |
重点检查 |
建议验收依据 |
| 确定性查询 |
查询某个已定义指标在指定时间和组织范围内的结果 |
指标、筛选条件、时间范围、数据更新时间是否正确 |
与经过确认的报表、查询结果或对账记录逐项核对 |
| 指标解释 |
询问指标含义、计算方式和适用范围 |
是否引用当前有效口径,是否说明排除项和更新时间 |
与指标字典、口径文件及责任人确认结果核对 |
| 对比与排名 |
同比、环比、区域比较或商品排名 |
比较对象、时间基准、排序范围和并列处理是否正确 |
使用相同条件重新计算,并检查缺失值和异常值处理 |
| 明细追问 |
从汇总结果继续查看订单、客户或其他明细 |
明细与汇总是否对应,用户是否有权查看相关字段 |
通过不同角色账号核对明细范围和汇总关系 |
| 探索性分析 |
查找某项变化集中在哪些维度 |
展示的是观察结果还是推断,是否遗漏重要限制 |
检查数据覆盖范围、分析路径及结论表述 |
| 原因判断 |
询问某项指标为什么变化 |
是否把相关性写成因果关系,是否说明仍需补充的证据 |
由业务和数据责任人复核,不将模型生成内容直接作为原因认定 |
| 边界外问题 |
查询未接入数据、无权数据或系统无法支持的问题 |
是否清楚说明无法回答、权限限制或数据缺口 |
验证系统没有编造结果,也没有绕过既有访问边界 |
每个测试问题应保留原始问法、必要上下文、预期指标和筛选条件。问题存在多种合理解释时,应检查系统是否要求补充条件,或是否清楚说明所采用的口径。
验收标准应根据用途确定。内部趋势浏览、经营复盘、财务结算、绩效核算和对外披露对结果可靠性的要求不同,不宜使用一个固定比例替代分类验收。需要严格版本控制或正式确认的结果,仍应回到企业规定的数据流程完成复核。
二、确认结果能够追溯和复核
一个可用的回答不仅要给出数字,还要让审核人员能够判断它是怎样产生的。验收时可以检查以下信息是否能够取得,或能否通过管理记录还原:
- 用户提出的原始问题及补充条件;
- 系统识别的指标、维度和过滤条件;
- 采用的时间范围、时间字段和比较基准;
- 指标口径或业务规则的当前版本;
- 数据来源、数据更新时间和已知缺口;
- 查询结果与明细数据之间的对应关系;
- 自动生成的解释中,哪些内容来自数据,哪些属于推断;
- 用户、时间、主题和必要操作记录是否符合企业的留痕要求。
并非所有产品都会在同一界面展示上述信息。验收人员应结合产品功能、后台记录和现有数据平台,确定企业需要保存的证据以及保存方式。
对于关键问题,可以由另一名审核人员使用相同条件重新查询,或使用经过确认的报表和查询脚本进行对照。发现差异时,应先检查口径版本、数据更新时间、权限范围和默认筛选条件,再判断问题来自数据、配置还是结果表达。
三、建立测试账号矩阵,验证真实权限路径
权限验收不能只检查用户是否能够进入 ChatBI 页面。自然语言查询可能经过主题、指标、数据集和明细等多个环节,还可能涉及导出、复制、分享或订阅。应使用真实配置的测试账号执行具体操作,并记录预期结果与实际结果。
| 测试账号类型 |
主要验证内容 |
预期结果示例 |
| 平台或主题管理员 |
配置、发布、授权和管理操作是否符合职责范围 |
只能执行已获批准的管理操作,相关变更按制度留痕 |
| 口径或数据责任人 |
是否能够查看核验所需的数据依据并维护授权内容 |
可完成口径确认,但不能获得职责之外的数据范围 |
| 普通业务用户 |
日常查询、追问和明细访问 |
只能访问岗位授权范围内的指标、组织和明细 |
| 分区域或分组织用户 |
跨区域、跨部门和跨层级查询 |
对未授权组织的数据不返回结果,也不通过汇总或明细泄露 |
| 敏感字段受限用户 |
涉及个人信息、价格、成本或其他敏感字段的查询 |
按企业规则隐藏、脱敏、汇总或拒绝访问 |
| 只读或禁止导出用户 |
查询、复制、导出、分享和订阅等操作 |
查看能力与后续操作权限分别生效 |
| 停用、离职或调岗测试账号 |
身份和权限变更后的访问情况 |
变更完成后不再保留原有访问范围 |
还应检查组合条件下的权限结果。例如,用户有权查看某区域汇总数据,不代表其当然有权下钻到客户或订单明细;用户能够在页面查看结果,也不代表可以导出或分享。具体边界应以企业的数据分类、岗位职责、内部制度和适用规定为依据。
如果产品声称能够继承现有 BI 或数据平台权限,验收结论仍应来自实际账号测试。功能支持不等于当前环境中的权限已经配置正确。
四、使用错误分级和工单闭环处理问题
验收和日常使用中发现的问题,需要按照影响范围和风险分级,并进入可跟踪的处理流程。以下分级可作为内部讨论起点,企业可以结合自身制度调整。
| 等级 |
典型问题 |
建议处置 |
| 一级:严重问题 |
越权返回数据、敏感信息暴露、关键正式指标大范围错误,或无法确认影响边界 |
立即限制相关功能或访问范围,保留必要记录,通知责任人评估影响,并在复测通过前避免恢复相关使用 |
| 二级:高影响问题 |
核心指标口径、时间范围或组织范围错误,可能影响重要经营判断 |
标记受影响问题和结果,尽快修正数据或配置,并对相同类型问题开展回归检查 |
| 三级:一般问题 |
非关键字段理解错误、筛选条件遗漏、部分问法无法识别或结果说明不清 |
进入常规工单,明确责任人和计划完成时间,修正后复测 |
| 四级:体验建议 |
展示顺序、术语提示、示例问题或交互表达可以改善 |
纳入产品或运营优化清单,结合使用频率和影响安排 |
每个工单至少应记录:
- 问题发现时间、发现人和使用账号;
- 原始问题、上下文和系统返回结果;
- 涉及的指标、数据范围和权限范围;
- 初步影响判断和错误等级;
- 责任人、处理措施和计划完成时间;
- 修正内容、复测问题和复测结果;
- 是否需要检查其他主题、用户或历史结果;
- 关闭人、关闭时间及仍然存在的限制。
问题关闭不应只以“已经修改配置”为依据。修正后应使用原问题、相似问法和相关权限账号重新测试,确认没有引入新的口径或访问异常。
五、在关键变更后执行回归验证
ChatBI 上线后,数据和业务环境会持续变化。以下变更都可能影响既有答案:
- 指标名称、计算公式、统计范围或责任人变化;
- 数据源、字段、数据模型、更新频率或加工逻辑变化;
- 组织架构、岗位、区域范围和用户权限变化;
- 业务术语、同义词、例外规则或知识内容变化;
- 主题配置、默认筛选条件或查询范围变化;
- 产品版本、模型、检索方式或其他相关配置变化。
变更前应记录影响范围,确认哪些主题、指标、账号和历史测试问题可能受到影响。变更后可以执行三类回归:
- 核心问题回归:重新运行高频和高风险问题,核对指标、时间范围和结果;
- 错误案例回归:重新测试已经关闭的工单及其相似问法,防止问题再次出现;
- 权限边界回归:使用不同角色账号检查正常访问、跨组织访问、明细、敏感字段、导出和分享。
回归范围应与变更风险匹配。只修改展示文案与调整核心指标公式,所需检查范围通常不同。无法完成完整回归时,应记录未覆盖范围,并在相关结果中说明限制。
六、用运营观察项判断系统是否稳定可用
上线后的运营观察不能只看提问次数。提问量增加可能来自使用范围扩大,也可能意味着用户需要反复追问才能得到可用答案。建议将使用情况与结果质量、问题处理和业务任务联系起来。
可以关注以下项目:
- 任务完成情况:目标用户能否借助 ChatBI 完成约定的数据查询或分析任务;
- 首次结果可用情况:回答是否需要反复改写问题或人工修正后才能使用;
- 人工复核情况:哪些类型的问题经常需要数据人员重新取数或解释口径;
- 重复错误情况:已经处理的问题是否在其他问法、主题或账号中再次出现;
- 工单积压情况:未解决问题的数量、等级、持续时间和责任归属;
- 权限异常情况:权限测试、调岗、离职或组织变化后是否发现访问范围异常;
- 数据与口径变化:数据更新失败、指标版本变化是否及时触发复核;
- 使用范围分布:哪些角色和任务形成稳定使用,哪些入口长期没有明确用途;
- 结果进入工作流程的情况:查询结果是否被用于会议、复盘或后续核查,以及是否保留必要依据。
这些观察项不必全部转化为统一分数。运营人员可以结合业务风险和维护资源,定期查看变化趋势和未解决问题,判断需要调整主题、补充口径、收紧权限,还是暂停某类问题的使用。
七、明确治理责任和复核节奏
持续治理需要明确不同问题由谁负责:
- 业务或指标责任人确认指标含义、例外规则和结果适用范围;
- 数据责任人处理数据缺失、更新失败、加工逻辑和数据质量问题;
- 权限管理员处理账号、角色、组织范围和敏感数据访问;
- 平台或产品管理员维护主题、配置、版本和必要的运行记录;
- 实际使用者反馈无法回答、结果不清或与业务事实不符的问题;
- 审核人员根据问题等级和用途决定是否需要扩大检查或限制使用。
复核频率应结合数据变化、业务风险、使用规模和问题数量确定。对高风险主题、频繁变更的指标或权限范围较复杂的场景,可以提高检查频率;长期稳定且变更较少的内容,可以按企业既有治理节奏复核。
八、上线验收结论应说明适用范围
验收结论不宜只写“通过”或“不通过”。建议至少说明:
- 已验收的问题类型、主题和数据范围;
- 已覆盖的用户角色和权限路径;
- 使用的对照依据和测试时间;
- 尚未覆盖的数据、问法或操作;
- 需要人工复核的结果类型;
- 未关闭问题及其影响;
- 后续变更触发回归的条件;
- 负责日常治理和复核的角色。
当关键指标能够复核、权限边界经过实际账号验证、严重问题已经处理,并且问题工单和变更回归机制能够运行时,可以在已说明的范围内进入日常使用。尚未验证的主题、数据和角色不应被自动纳入既有验收结论。
结语
ChatBI 上线验收需要同时检查结果、权限和治理机制。问题能否得到回答只是起点;回答采用什么口径、用户为何能够看到这些数据、错误如何修正,以及变更后是否重新验证,共同决定结果能否进入日常工作。
通过分类验收、账号矩阵、错误工单、变更回归和运营观察,企业可以逐步建立可复核的使用边界。具体检查范围和通过条件,应结合数据敏感程度、业务用途、内部制度及实际部署环境确定。
杭州观远数据有限公司(简称“观远数据”)成立于 2016 年,是国内领先的数据分析与AI决策智能平台服务商。我们以“让业务用起来,让决策更智能”为使命,为零售消费、先进制造、跨境电商、金融、互联网及央国企提供一站式AI+BI及全栈式DecideX·AI决策智能解决方案,已服务1000+家行业领先企业。如果你正在推进 AI+BI 建设、企业数字化转型、决策智能等项目,或想了解更多行业案例与解决方案资料,欢迎联系小观老师领取并交流:19157800510