AWS Machine Learning Blog· Bhagyashree Chandak·· 3 小时前AI 评分25
Indegene 如何在生命科学领域用 LLM 数据质量智能体扩展企业数据治理
How Indegene is modernizing and scaling enterprise data quality in life sciences
AI 导读
Indegene 在 AWS 上基于 NEXT Unified Data Platform 构建了 LLM 驱动的 Data Quality Agent,可自动生成上下文感知的数据质量规则并输出可运行的 SQL 与 Python 代码。
深度导读
Indegene 在 AWS 上为其 NEXT Unified Data Platform(NEXT UDP)构建了生产级、由大语言模型驱动的 Data Quality Agent,用于在生命科学企业的商业、医学、市场准入等业务场景中规模化维护数据质量。该平台将分散的商业、医学、临床与企业数据汇聚到统一治理环境中,并提供数据摄取、数据质量、编排、数据目录和 SQL Bot 生成等多个独立 AI 智能体。
传统数据质量项目的痛点在于技术与业务规则分属两套体系:数据工程师在代码中维护空值、格式、唯一性等技术规则,业务团队则在术语表、SOP 和专家经验中定义业务规则,两者难以持续对齐。静态校验逻辑也无法表达产品层级、客户分层、区域对齐等业务上下文,新数据集接入往往需要重复进行数据剖析、规则定义、SQL 开发和验证。
Data Quality Agent 的核心是两套知识库。内部企业知识库整合业务术语表、数据字典、SOP、监管指引、已批准规则、已验证脚本、剖析结果、历史异常和专家反馈,经向量化后通过 RAG 检索;外部参考知识库则基于经批准的标准化数据质量框架、网络搜索和受控抓取定期更新,例如可识别 NPI 列应满足 10 位数字格式并执行参考值校验。
工作流覆盖从数据剖析到规则治理的完整链路:用户选择 Amazon Redshift 或 Snowflake 等数据源及库表,系统计算质量指标与列模式、对照历史基线标记异常,随后由智能体结合元数据、剖析结果、异常、现有规则和知识库上下文推荐带严重级别的技术与业务规则,用户逐条审核修改后生成 SQL 与 Python 代码并验证,最终存入中央规则库供执行、监控和审计。
架构上,请求经 AWS WAF、Amazon API Gateway 和 Amazon Cognito(OAuth 2.0 与 JWT 校验)进入;元数据由 AWS Glue Data Catalog 采集;剖析与异常检测由 AWS Lambda 上的 Python 进程完成,结果存入 Amazon DynamoDB;知识检索依托 Amazon Bedrock Knowledge Base。方案继承现有 AWS 安全与审计控制,使团队可聚焦数据质量逻辑而非智能体基础设施。
来源:AWS Machine Learning Blog · aws.amazon.com