Taxbit 如何在 Amazon Bedrock AgentCore 上构建可溯源、角色感知的 AI 助手 Taxbit Assist

Taxbit 是一家数字资产税务与会计合规平台，其新上线的 AI 助手 Taxbit Assist 已嵌入产品仪表盘，面向合规团队提供带引用、带权限校验的问答。此前相关知识散落在官网、API 文档和帮助中心，还有一部分从未被写成文字。Taxbit 称，目前超过 55% 的用户在向 Assist 提问后 24 小时内会再次提问。 Taxbit 为这个助手设定了四条约束：答案必须可溯源到用户能打开阅读的来源，不知道时要说不知道；要区分角色与组织，不能把仅限管理员的工作流推给普通支持用户；只解释产品如何计算成本基础，不给出该选哪种方法的税务建议；同时支持区域数据驻留。Taxbit 表示不训练也不微调任何模型，Amazon Bedrock 也不会用提示词或补全结果训练模型。 架构上，Taxbit Assist 是运行在 AgentCore runtime 上的 Strands Agents SDK 应用。用户提问后，流式聊天 API 会把问题连同已验证的身份信息（邮箱、组织 ID、仪表盘角色）转发给 runtime；runtime 先用 Amazon Bedrock Guardrails 筛查消息并就地掩码 PII，被拦截的消息不会调用模型。随后智能体从 Amazon Bedrock Knowledge Bases 检索候选段落并在服务端重排，模型在推荐任何工作流前会校验用户是否有权访问相应功能与角色，答案带来源链接流式返回仪表盘。AgentCore memory 负责跨轮次保留对话，每次请求都会向 Amazon CloudWatch 发出 OpenTelemetry 追踪数据。 智能体本身是一个小型 Python 应用：一段系统提示词、一个模型和八个工具，以 ARM64 容器镜像形式由 AgentCore runtime 从 Amazon ECR 拉取并按需扩缩。八个工具包括知识库搜索、两项访问检查（组织授权与仪表盘角色）、四个仅针对调用者本人工单的创建/列出/更新/关闭工具，以及当前时间。该版本中智能体没有读取客户税务数据的权限，唯一可写操作是调用者自己的支持工单。关键安全设计是模型不接触身份：邮箱、组织 ID 和角色由可信调用服务提供，并在模型看到之前通过闭包绑定进各工具，模型无法自行设定要检查谁的身份。 检索侧投入了最多工程精力。知识库由 Amazon S3 Vectors 支撑，使用 Cohere Embed English v3 生成 1,024 维 float32 向量、按余弦距离比较。内容来自三类源：官网、API 文档和帮助中心由定时 Lambda 抓取；Lambda 读取产品源码生成覆盖仪表盘路由、权限门、表单资格逻辑和报表配置的 Markdown 文档；以及人工撰写的补充内容。Taxbit 提到，站点地图约有 400 多个 URL，但只有约 70 多个应进入生成答案的语料，仅 /blogs/ 就占 300 多个营销页面，排除这些内容是收益最高的检索改动之一。 分块采用语义分块，并通过 POST_CHUNKING Lambda 在每个块前拼接文档 H1 标题和导语段，前缀上限约 128 token，块正文上限 384 token 以适配 Cohere Embed English v3 的 512 token 输入窗口。Taxbit 称一次生产探测发现约 28% 的块落在 385–512 区间、尾部会被静默截断。查询时先取 75 个向量候选，经 Cohere Rerank 3.5 在同一 Retrieve 调用中重排至 top 12，再限制每篇源文档最多 2 个块，最终 5 条送入模型。只有三类已发布来源可被引用，因为只有它们的 URL 用户能打开。