量子位 · AI 产业· 思邈·· 5 小时前AI 评分55
openJiuwen AgentMemory 0.2.0 上线 OmniMem-Lens 多模态记忆能力
让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落
AI 导读
openJiuwen AgentMemory 0.2.0 正式上线多模态记忆能力 OmniMem-Lens,用视觉与 ASR 语音双流交叉定位真实事件边界,替代按固定时间窗口切分长视频。
深度导读
openJiuwen AgentMemory 在 0.2.0 版本中上线多模态记忆能力 OmniMem-Lens,针对的是 Agent 处理超长视频时上下文超限、只能按固定时间窗口(如一分钟)切分的问题。团队认为这种按秒盲切会造成两类失效:连贯事件被窗口边界切断导致证据碎片化,几秒的关键动作被前后无关画面淹没导致召回精度下降。
OmniMem-Lens 的做法是用视觉和听觉两条轨迹共同判断事件边界。视觉流在画面切换时标记变化,ASR 语音流在画面静止但话题转换时给出切分信号,两路交叉对焦后按真实事件落刀。原文举了两个例子:一段 2 小时动画中横跨第 14 至 16 分钟的完整情节,固定切分会拆成三段互不相干的记录,导致模型把幻想当成事实;一场 2 小时评审会画面 40 分钟不变但讲者换了三个议题,只有语音流能识别出话题转向。
记忆组织上采用三层结构,L1 为大纲、L2 为索引、L0 为原始视频帧,检索时先与 L1/L2 做语义匹配,仅在需要视觉细节验证时才调取 L0 精确帧。L1 与 L2 完全文本化与向量化,可接入主流向量数据库,对已有 RAG/Agent 技术栈的开发者改动较小。繁重的记忆整理在离线阶段完成,在线只做查询。
评测方面,团队将 OmniMem-Lens 配合 Qwen3-VL-8B 与直接使用 Qwen3-VL-8B 处理视频问答对比。记忆召回精度在 Video-MME-L 上提升 8%,LVbench 上提升 6.4%,EgoLife-QA 上提升 45.7%。在线时延方面,LVbench 上 Qwen3-VL-8B 直答需 34.5 秒,OmniMem-Lens 为 1.72 秒,原文称快 20 倍,标题所述时延最高降低 97%。
原文提到 WorkSwarm 即将支持对接 openJiuwen AgentMemory,用于记住日常对话中的视频内容。项目地址为 gitcode.com/openJiuwen/agent-memory,文章由量子位获授权刊载。
来源:量子位 · AI 产业 · qbitai.com