量子位 · AI 产业· 十三·· 5 小时前精选AI 评分80
面壁智能ForgeKernel开源:Agent零源码写出算子,B200上比DeepSeek FlashMLA快9.8%
AI零帧起手写算子,反超DeepSeek人类手写巅峰:快了9.8%!
AI 导读
面壁智能的算子生成系统ForgeKernel在无源码、无参考DeepSeek实现的情况下,于英伟达B200上把DeepSeek-V4.1的FlashMLA Prefill算子写快了9.8%,最终版本耗时472微秒、FlashMLA为518微秒。
推荐理由
材料给出直播迭代曲线、昇腾三榜成绩与开源动作,可据此判断AI自动生成算子对国产芯片适配节奏的实际影响。
深度导读
面壁智能的算子生成系统ForgeKernel在10月30日的一场公开直播中,仅凭算子的数学定义和目标硬件约束,从零开始为英伟达B200编写DeepSeek-V4.1的FlashMLA Prefill算子,全程无人参与、无源码参考。直播持续22.5小时,经历42轮迭代、留下32个版本,消耗1张B200和22个GPU小时,人类手写代码为0行。
性能曲线在直播中逐步公开:第一版通过正确性检查但耗时1834微秒;不到4小时压到593微秒,降幅约67.6%;第7小时前后一次核心结构突破使其先超过自己的上一代版本,随后首次超过FlashMLA;最终版本耗时472微秒,FlashMLA为518微秒,快9.8%。后期系统还自行发现Q的突发加载与KV数据搬运争抢访存资源,主动控制Q请求节奏,又压下2.4%耗时。
这并非ForgeKernel首次亮相。10月27日昇腾CANN官方发文称其同时登顶CANNBench 950DT、950PR、A3三大硬件榜单:950DT榜总分4010.75、领先第二名27.8%,基准加速比1.533×;950PR榜总分4165.94、基准加速比1.638×;A3(昇腾910C)榜总分4341.16、基准加速比1.898×。直播跑在B200的CUDA生态,三张榜单跑在昇腾独立架构与工具链上,同一套系统在两边均取得第一。
方法上,团队与清华大学等机构于10月27日在arXiv发布JustGoal论文,只给模型优化目标、不提供算子知识,结果在B200上10个算子中8个跑赢人类维护的开源库。ForgeKernel在此基础上补足整体架构设计短板,做法分三部分:把架构设计与实现能力分离并将架构设计抽象成里程碑;把实测验证过的硬件经验存入知识库供新算子复用;把自身最好版本当作下一轮对手持续自进化。在29项对比中24项打平或超越专家实现。
迁移到国产芯片时,只需把性能分析工具从NCU换成msprof,硬件知识由模型在新芯片上边测边积累。团队称同样做法在国产芯片上可提速20%~30%,在英伟达上为5%~10%。目前生成的算子已接入训练框架,在国产芯片与英伟达平台完成MiniCPM5-1B长训测试。直播结束后,智能进化实验室联合OpenBMB社区宣布开源。
来源:量子位 · AI 产业 · qbitai.com