英伟达与MIT团队基于MiniMax H3开源视频增强方案，最高支持4K重生成

英伟达与麻省理工学院研究人员组成的Efficient-Large-Model团队，在Hugging Face发布了视频增强项目Open-H3-Regenerate-2K的模型权重，配套推理代码已在NVlabs/Sana仓库开放。该方案基于MiniMax H3，把低分辨率视频草稿重新生成为高分辨率视频，支持2560×1440的2K输出，最高可实现3840×2160的原生4K重生成。 MiniMax H3的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。已开放权重的H3-Base负责生成768P音视频，官方H3-Regenerate-2K模块通过API提供服务。此次发布的项目复用H3基础模型的生成能力，为高分辨率重生成环节提供了一套可自行部署的开放实现。 训练阶段，团队保持H3 Transformer主干与视频VAE的原有参数不变，仅训练新增的细化LoRA。推理时，细化LoRA与LightX2V FL2VA Turbo、LMS Sharp等社区适配器合并使用，通过三步去噪在目标分辨率下重新生成画面细节，视频草稿中的场景、布局和运动信息为这一过程提供基础。项目还采用社区开发的潜空间放大器直接放大视频的潜在表示，减少高分辨率下重复解码、编码的开销，并结合SoL-Engine的稀疏注意力、低精度计算和快速VAE解码器加速细化与解码环节。 项目团队公布的测试显示，在单张NVIDIA B200 GPU、预热后的测试条件下，一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时，由未优化实现的87.26秒降至22.45秒，处理速度约为原来的3.9倍，其中快速解码器将视频解码耗时从约15秒降至约1.6秒。 画质方面，团队在RefinerBench-150上进行了对比评测。在相同输入、相同2K输出条件下，Open-H3-Regenerate-2K在感知质量评测UniPercept上的平均分为60.0，官方H3-Regenerate-2K API为53.4；VBench评测中该方案的美学质量、成像质量和主体一致性得分更高，官方API在运动平滑度和动态程度上仍略优。 MiniMax H3在今年8月开放权重，一个月内下载量超过2400万次，产生超过300个公开衍生模型。英伟达与MIT团队围绕H3的开发还覆盖其他方向，包括基于H3 Ref2VA构建的流式视频渲染模型StreamRender-H3，以及从H3视频VAE蒸馏而来的快速解码器Sol-H3-VAE。社区方面，LightX2V推出MiniMax-H3 Turbo的四步、八步蒸馏版本，FastVideo、Pika分别发布FastH3四步预览版本和六步采样的Pika H3 Flex，ComfyUI、Unsloth则通过适配权重和量化版本将H3带入更多本地创作工作流。