AWS Machine Learning Blog· Steve Vinsik·· 3 小时前AI 评分38
Amazon Quick 推出 Smart Approvals:让 AI 智能体在关键操作上保留人工审核
Smart Approvals in Amazon Quick: Human oversight where it matters
AI 导读
Amazon Quick 上线 Smart Approvals,用独立分类器模型对照用户请求审核符合条件的操作,自动放行或退回人工复核,且不额外授予权限。该功能默认开启,管理员可通过 Custom Permissions 限定使用范围,用户也可自行关闭。权限更新与审核判定记录在 AWS CloudTrail,事件历史保留 90 天。
深度导读
Amazon Quick 新增 Smart Approvals 功能,目标是在 AI 智能体承担更多任务时保留有效的人工监督。其思路并非增加审批次数,而是把注意力留给真正需要人判断的决策——多步任务反复弹出审批提示,反而会让用户对警告的注意力与遵从度下降。
在机制上,策略先划定边界。Quick 会依据 Custom Permissions、Quick Guardrails、连接器操作权限和用户设置逐项评估待执行操作,被拒绝的操作仍然拒绝,强制人工审批依然生效。只有当用户设置为“Ask each time”且没有其他控制要求人工审批时,操作才进入自动审核。Smart Approvals 使用一个独立的分类器模型,结合用户请求和有界的对话上下文,判断操作做什么、数据流向何处、影响哪些人,并可查询账户内的知识图谱了解收件人与用户的工作关系。该查询不超出用户的 Quick 账户,分类器审核的内容也不会用于训练模型或改进服务。
即便操作与请求相符,仍可能触发人工复核,例如向组织外或汇报链上的高层发送内容、变更访问权限、删除记录或发起付款。对照用户请求进行审核还增加了一道针对间接提示注入的检查:Quick 要求智能体和分类器都把检索内容当作信息而非指令。每次自动批准仅一次性有效,只适用于被审核的确切操作与参数,不授予持续权限,并在对话中标注。分类器未批准的操作、超时及其他审核失败都会退回用户。
审计方面,Quick 权限服务会把与 Smart Approvals 相关的权限更新写入用户账户的 AWS CloudTrail,事件包含用户、连接器、操作和时间,并标记为与 Smart Approvals 关联;该标记本身不证明权限服务已接受授权或操作已执行。Quick 还记录权限检查结论(包括连接器操作权限的拒绝)以及用户 Smart Approvals 设置变更。调查人员可按用户和时间将这些事件与 CloudTrail 及经 Amazon CloudWatch Logs 投递的日志关联;聊天日志记录用户请求、系统响应和对话上下文,智能体元数据日志记录智能体变更,目标系统记录(如已发送邮件或更新的工单)则确认操作是否完成。CloudTrail 事件历史保留 90 天,更长调查需配置跟踪。
落地建议是先确认需要人工审批的操作已通过连接器操作权限配置,再建立 CloudTrail 跟踪并将聊天日志、智能体元数据日志投递到 CloudWatch Logs——聊天日志只捕获配置投递之后的活动。随后用 Custom Permissions 把 Smart Approvals 限定在试点团队和明确工作流,试点前定义成功标准:常规操作提示减少,高影响操作仍回到人工;试点中抽样检查自动批准并测试向组织外发送、添加文档中出现的收件人等高影响场景,确认这些情况会退回用户,且每个操作可从批准追踪到执行。
来源:AWS Machine Learning Blog · aws.amazon.com