用决策模型接入 Amazon Bedrock AgentCore Evaluations

Amazon Bedrock AgentCore Evaluations 是 Amazon Bedrock AgentCore 的一项能力，可在开发阶段按需评测、对已存会话做批量评测，以及针对生产流量做在线评测，除 15 个内置评测器外还支持自定义的 LLM-as-a-judge 与 code-based 评测器。文章聚焦后者：把决策模型放进 AWS Lambda，注册为 code-based evaluator，让它在智能体评测的评分环节给出标签和可阈值化的概率。 决策模型是一类小型专用模型，从固定选项集中选择答案并返回校准后的置信度，而不是生成自由文本。文章介绍两种后端：TypeSafe 的托管决策模型 Jev，以及 Strands Agents 团队开源、20 亿参数的 Strands Decider 2B。两者都支持三类问题：noul 为是/否问题，返回 0 到 1 的概率；choice 在最多 255 个选项中给出最可能选项及完整分布；score 在 2 到 10 个有序等级中返回概率加权分数。 示例搭建了一个基于 Strands Agents 构建并部署到 AgentCore runtime 的 HR Assistant 智能体，用五个返回固定 mock 数据的工具回答员工关于 PTO 余额、PTO 申请、HR 政策、福利和工资单的问题。运行 evaluate.py 会创建 Lambda 执行角色，部署 hr-response-length 与 hr-fact-checker 两个确定性评测器并注册，再结合 Builtin.Correctness、Builtin.Helpfulness、Builtin.ResponseRelevance 在五个标注场景上做按需评测，并创建 100% 采样的在线评测配置。 决策模型评测器为可选项，通过 --with-jev 或 --with-decider 开启，各自注册三个评测器：Groundedness 为 trace 级 noul 问题，输出 Grounded/Ungrounded 与 P(grounded)；Helpfulness 为 trace 级 4 级 score 问题，输出最可能等级与缩放到 0–1 的期望等级；GoalCompletion 为 session 级三选一 choice 问题，输出最可能选项与概率加权值。Lambda 接收智能体的 OpenTelemetry span，由 spans.py 归一化后构造决策模型请求，trace 级只发送目标轮次和少量历史，session 级发送完整对话。 文章强调决策模型不是 LLM 评测器的替代，而是补充：两者可在单次请求中回答同一状态的多个问题，因此可先做通过/不通过的筛选层，再让内置评测器对值得深查的轮次给出解释。作者还提醒，把评分标准改写成决策模型问题等于创建了一个新度量，可能比原意更严或更松，需用自有流量的标注样本验证：抽取覆盖失败与边界情况的会话，由三名独立标注者打分取多数票作为参考标签，再在同一批输入上同时运行决策模型评测器与对应内置评测器做对比。