AIHOT · AI 动态聚合· noreply@aihot.news (OpenMOSS / 复旦NLP / 上海创智 / MOSI)·· 15 小时前AI 评分58
OpenMOSS 发布开源图像生成模型 MOSS-Image,主打长文本渲染与可编辑布局
AI 导读
OpenMOSS 联合复旦NLP、上海创智与 MOSI 发布开放权重图像生成模型 MOSS-Image,采用 5B 参数单流 DiT 从零预训练,支持最长约 4K token 提示词、中英文长文本渲染和可编辑的 JSON Layout。
深度导读
OpenMOSS 联合复旦NLP、上海创智与 MOSI 发布开放权重图像生成模型 MOSS-Image,面向海报、信息图、漫画、UI 草图和教学材料这类同时包含大量文字与多个位置明确元素的图像任务。模型以 5B 参数单流 Diffusion Transformer 为基座,从零预训练,文本编码器使用 Qwen3.5-9B,图像解码使用 FLUX.2 VAE,训练数据约 3B 张图像,并加入多粒度 caption、文字监督和结构化边界框监督,分辨率和上下文长度逐步提升到 1024² 与 4096 tokens。
模型提供两个互补入口:自然语言提示词用于快速创作,结构化 JSON Layout 用于描述画布、文本、对象和边界框,控制位置、大小与空间关系,两者走同一条文本条件路径。基座之上还有可选的意图感知 agentic Prompt Enhancement 模块,可把短请求扩展为包含文字、字体层级、色板、元素描述、bbox、锚点和 must_not 约束的规范,并按任务路由到海报、信息图或 UI 等结构;仅使用本地 backbone 时仍可直接传入普通提示词或 JSON Layout。
评测方面,LLTB 长文本基准包含中英文各 120 个任务,平均目标文本约 1339.8 个字符,MOSS-Image 的 Mean-6 为 96.3,为开放权重模型最高,最长英文和中文任务分别达到 97.1 和 92.4。7Bench 统一 JSON/Layout 任务上,检测框 mIoU 为 0.8786,Layout AUC 为 0.7031,整体布局 mIoU 为 0.6788,高于表中列出的 Ideogram 4、GPT Image 2、Nano Banana Pro、Qwen Image 3 Pro 和 Seedream 5 Pro。端到端 RealLayoutArena 盲测 Elo 为 1698.70,排名第二,GPT Image 2 为 1844.35;在同一套增强提示词下单独比较 backbone,MOSS-Image 得分为 1807.34,高于 ERNIE Image 的 1748.51 和 SenseNova-U1 的 1689.23。
交付方式上,仓库同时提供 MOSS-Image-Base 和基于精选数据微调的 MOSS-Image-SFT,Base 适合继续预训练、领域 SFT 或 LoRA,SFT 适合直接体验更稳定的文字分组和白板类版式。项目已接入 Diffusers、Gradio 和 ComfyUI,社区也提供 SGLang、vLLM-Omni 和 KohakuMossTrainer 等推理或训练入口。原文同时说明边界:当前 backbone 是 text-to-image 模型,不能直接接收参考图,也不提供原生图像编辑,Prompt Enhancement 依赖外部语言模型,规划质量会影响最终规格。
来源:AIHOT · AI 动态聚合 · aihot.news