艾体宝 TrueFoundry 如何用 AI 网关与 Confident AI 做回答质量评估

文章从一个售后知识助手的错误回答切入：模型调用正常、接口返回 HTTP 200，但助手把“未拆封且符合品类要求”的退货条件说成“七天内都支持无理由退货”。这类问题不会体现在调用成功率里，需要把客户原问题、当时检索到的知识片段和最终回答三份材料放在一起，才能判断错误出在检索、提示词还是知识库版本。 评估指标被拆成可检查的项：回答相关性看回答是否正面回应问题；忠实度把回答中的陈述与检索内容比对，检查是否改变条件或增加资料未支持的承诺；此外还需业务方给出本场景的验收标准，如缺少品类信息时先追问、无法判断时转交人工。 集成方式上，多个应用通过 TrueFoundry AI 网关调用模型时，可在网关侧集中收集调用记录，再经 OpenTelemetry 以 HTTP 和 JSON 格式导出到 Confident AI 的接收地址，填入项目密钥后发送测试请求确认记录到达。该链路为异步评估：应用先返回回答，追踪记录导出后评估结果再产生，需要回答发出前拦截的场景应另配实时检查。 落地时建议先选边界清楚、有人能判断对错的业务，整理覆盖正常咨询、缺少信息、规则例外和无法回答的初始验收集，关联当次知识片段、文档版本、模型和提示词版本，先抽查几条完整记录确认可还原问题，再扩大采集范围。评估初期选少量指标，观察其与人工验收结果是否一致，涉及承诺、金额或重要条件的错误应单独检查，避免被平均分掩盖。 数据去向也需提前决定：TrueFoundry 网关的导出配置提供 Exclude Request Data 选项，可控制是否导出请求和响应正文；开启排除后需根据剩余数据选择可运行的指标，或通过其他获准方式提供评估材料。评估范围扩大时还要计入评估模型调用、数据存储和人工复核的成本。