跳到正文
量子位 · AI 产业· 听雨·· 1 天前AI 评分58

百度开源文心Unlimited OCR 2:峰值KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,主打超长文档连续解析。技术报告显示,在百页级单序列测试中峰值KV缓存从标准解码的47GB降至1.77GB,减少约96%;16路并发吞吐量从360提升至1315 Token/秒。模型引入稀疏参考滑动窗口注意力SR-SWA与无限解码机制,已在Hugging Face和GitHub开源。

深度导读
百度发布并开源文心Unlimited OCR 2,定位为面向超长文档的端到端OCR模型。官方演示中,模型连续识别7部《哈利·波特》共3600+页,以及《三体》全集1200+页;实测884页英文版《指环王》约42分56秒解析完成,平均每页约2.9秒,并标记466处跨页合并。 技术层面,模型延续上一代DeepEncoder加语言模型的架构,把参考滑动窗口注意力R-SWA升级为稀疏参考滑动窗口注意力SR-SWA。SR-SWA分两层筛选:Page Gate先收拢相关页面范围,Token Sieve再从页面中按TopK挑出固定数量的相关视觉信息块,配合固定大小的局部滑动窗口,使单步解码需要处理的信息量不随文档变长而增加。 缓存控制依靠无限解码机制:文档被划成页面块依次解析,相邻块重叠一页,进入下一块时复用重叠页的视觉KV缓存并保留上一段末尾文本缓存,其余页面缓存及时释放。技术报告称,百页级单序列推理峰值KV缓存从47GB降至1.77GB,减少约96%,该数字仅指KV缓存,模型权重等其他开销另计。 性能方面,16路并发测试中端到端吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍;SR-SWA单步解码速度分别为Full Attention的7.0倍和上一代R-SWA的5.6倍。质量评测中,MPDocBench综合得分84.59,团队新建的百页级基准MarathonDocBench(100份文档,每份103至300页)综合得分77.06,两项均为报告所列参评模型最高值。 上一代Unlimited OCR累计下载量超过1000万,GitHub约2.86万Star。文心Unlimited OCR 2已在Hugging Face和GitHub开源,适用于年报、技术手册、扫描件等批量长文档转写场景。

来源:量子位 · AI 产业 · qbitai.com