MongoDB 提出智能体 AI 信任四步框架：从 POC 走向生产

MongoDB 在博客中提出一套面向智能体 AI 的四步信任框架，目标是让企业把自主智能体从沙箱环境推进到关键生产流程。文章指出，智能体会解读意图并代替业务自主行动，传统 IT 工具难以管理这类动态系统，因此需要一层主动的控制面来评估智能体逻辑并实施严格治理。 第一步是基础层：用 RAG 和运营数据为模型提供实时事实数据（如退款条款），降低模型幻觉；短期记忆维持即时上下文，长期记忆通过情景回忆和程序记忆把专家（SME）的纠正永久固化，形成避免重复犯错的反馈闭环。同时要求细粒度可观测性，记录每一步推理、工具调用和 token 消耗，作为合规审计与根因分析的“黑匣子”。 第二步是验证层，设置两个指标：Agent Confidence Score（ACS）衡量智能体正确性的技术概率，归一化到 0.0–1.0，常用 LLM-as-a-Judge 计算，其中 Galileo 的 Luna 等小语言模型（SLM）可在毫秒级完成语义落地性与忠实度打分，高风险场景仍可用大型前沿模型；Business Risk Score（BRS）衡量财务、合规与安全后果，同样归一化到 0.0–1.0，并建议用常规代码或风险登记表等确定性方式计算。 第三步是治理层，用 Agent Decision Score（ADS）= ACS × (1 - BRS) 决定自主程度：ADS ≥ 0.70 为绿灯全自主，0.40–0.69 为黄灯需人工在环审批，低于 0.40 为红灯强制移交人工。文章以客户退款为例：理解诉求时 ACS 0.90、BRS 0.2，ADS 0.72 绿灯；核对资格时 ACS 0.70、BRS 0.4，ADS 0.42 黄灯；执行 $500 退款时 BRS 升至 0.85，即便 ACS 0.95，ADS 仅 0.14 红灯，任务转入主管待办。黄灯或红灯触发时，系统把完整执行历史打包成审计追踪，送入 IT 服务队列由 SME 复核，纠正结果回写长期程序记忆。 第四步是结果层：把大量运行时追踪聚合为面向 CFO 和业务负责人的仪表盘，跟踪总 ROI、累计节省和 AI 单位经济性。文中给出的算例是单任务平均成本优化至 $1.85，对比人工执行基线 $3.05，每次执行节省 $1.20；专用分析智能体还会持续解读遥测数据，在护栏违规率升至 38% 等情况下给出主动建议。