跳到正文
AWS Machine Learning Blog· James Kim·· 3 小时前AI 评分22

Amazon Marketplace 如何用 Amazon SageMaker AI 评估 A+ Content 内容质量

How Amazon Marketplace evaluates content quality with Amazon SageMaker AI

AI 导读

Amazon Marketplace 用 VLM 将 A+ Content 整页渲染为快照做整体评分,再融合 OCR 可读性信号训练 CatBoost 分类器,在约 1,100 页留出集上达到 0.94 准确率和 0.95 F1,高于仅用 VLM 的 0.89/0.90。系统还用 SHAP 解释评分并生成改进建议,全流程部署在 Amazon SageMaker AI 上。

深度导读
A+ Content 是 Amazon 商品详情页上的富媒体模块,使用高质量 A+ Content 的卖家销量比未使用者高 8–20%。但 A+ Content 允许品牌自由组合文字、图片和视频,缺乏严格的图片比例和字数规范,导致内容质量参差不齐。单个素材分别检查难以发现问题:一张图清晰、文案语法正确、生活场景图光线充足,但文案写 64-oz 搅拌杯、配图却是单人份机型,或生活场景图排在主图之前,这类问题只有整页一起看才会暴露。 为此,方案把完整页面渲染成一张快照,交给 Vision-Language Model(VLM)按四个维度打分:Visual Storytelling、Feature Presentation、A+ Layout 和 Conversion Optimization,每个维度输出 0–10 分、置信度和自然语言理由。VLM 与评分提示词保持固定,其结构化输出作为特征,用于训练 CatBoost 分类器预测专家质量标签;标注由一名电商营销专家和四名专业标注员独立完成,覆盖 10 个品类共 5,478 个详情页,以多数投票形成共识标签,高质量类占比 49.6%,标注者与共识标签的 Cohen’s kappa 在 0.845 至 0.915 之间。 VLM 对整体语义和视觉构图把握较好,但对文字拥挤程度、行间距等细粒度可读性问题不够可靠,也可能偏好冗长描述。方案因此在 SageMaker AI Inference 上部署 OCR 模型,提取每块文字及其位置,计算 Text Density、Character Density、Spacing 和 Overall Readability 四项信号,与四项 VLM 分数合成八个特征再训练分类器。 在 20% 留出集(约 1,100 页)上,直接平均四项 VLM 分数并设固定阈值的基线为 0.80 准确率、0.84 F1;仅用 VLM 特征的 CatBoost 为 0.89/0.90,仅用 OCR 特征为 0.82/0.83,融合 OCR 与 VLM 的模型达到 0.94 准确率和 0.95 F1。SHAP 分析显示影响最大的特征是 OCR Character Density(平均绝对 SHAP 值 1.1)、OCR Overall Readability(1.0)和 VLM Visual Storytelling(1.0),其后是 A+ Layout(0.8)、Feature Presentation(0.6)和 Conversion Optimization(0.4),说明分类器同时依赖两类信号。 对单页内容,方案按 SHAP 值排序八个特征,把最负向的特征、商品品类、电商最佳实践和 VLM 理由交给 LLM,生成按优先级排列的具体改进动作。整条流水线在 Amazon SageMaker AI 上实现,覆盖数据接入、标注、模型托管、可解释性和生产监控。

来源:AWS Machine Learning Blog · aws.amazon.com