专注于4D世界模型研发和产业化的魔芯科技联合浙江大学潘云鹤院士团队发布MoWorld——全球首个Flash World Model,也是首个全栈基于国产NPU构建的实时交互世界模型。 从训练、蒸馏到部署,全流程跑通国产算力闭环;推理成本比同规模GPU方案降低70%。 世界模型的产业化拐点,可能比所有人预想得来得更早。 卡住整个行业的实时难题被中国团队捅破了如果你体验过今天的主流世界模型,大概率会有一种共同感受:
过去一些研究表明,帧率低于30FPS,一切沉浸感都会被打碎。 这也是为什么过去很长时间里,世界模型始终停留在实验室,而难以真正进入产业场景。 实时性,曾是横亘在世界模型商业化之路上的最后一道天堑。 如今,这道天堑被一支中国团队一举攻克。 50FPS!世界模型第一次真正跑进实时时代技术报告已经发布,近期将开源权重和代码,并基于国产 NPU 超节点向公众提供服务。 技术报告: 魔芯科技首次提出 Flash World Model 概念,MoWorld是行业率先实现>50FPS推理的「Flash World Model」,也是首个全栈基于国产NPU构建的低成本实时交互世界模型。 MoWorld首次在全栈国产算力平台上实现了从训练、蒸馏到实时推理部署的完整闭环,同时典型推理配置下的成本比同规模GPU方案降低70%。 当所有人都在堆GPU时他们选择了另外一条难而正确的路MoWorld从一开始,就没有围绕GPU构建,而是选择了一条更难、也更少有人尝试的路线——全栈国产NPU。 这意味着,它不是简单地把模型迁移到国产芯片上进行推理,而是从数据、训练、蒸馏到推理部署,每一个环节都围绕国产NPU重新设计。 首先,是数据。 相比视频生成模型,世界模型不仅需要视频和文本,更需要相机轨迹等信息。互联网视频远无法满足训练需求。 为此,MoWorld建立了一套完整的数据生产与治理体系,并将此升级为服务于世界模型的数据引擎。 基于魔芯团队多年3D/4D建模的技术积累,MoWorld背后的数据管线是全自采、全3D标注的管线,不仅标注了相机,还标注了物体的几何尺寸和空间结构,这些信息构建了MoWorld坚实数据基座。 ![]() 而更加困难的挑战,则发生在训练和推理阶段。 针对国产NPU的硬件特点,MoWorld重新设计了训练系统,引入超密集注意力并行、长序列Token并行等技术,大幅缓解超长视频训练带来的显存压力,让世界模型首次具备2000帧长时训练与推理能力。 而到了推理阶段,团队继续针对国产NPU进行了流水线执行、层级化序列并行、动态混合精度量化等一系列系统级优化。 ![]() ![]() 最终,一个14B参数的MoE世界模型,在华为Ascend 910C CloudMatrix384 NPU平台上实现了极限超过50FPS的实时推理速度。 更重要的是,在典型的推理配置下,推理成本比同规模GPU方案降低70%。 对于整个行业而言,这不仅是一条新的工程路线,更是一种新的产业化思路。 |
网站介绍 广告业务 欢迎投稿 招聘信息 联系我们 友情链接 法律顾问 网站地图
CopyRight 2012消费电子实验室 版权所有 京ICP备12048044号-4号
电话:13701384402 邮编:100040 邮箱:BICQ6688@QQ.COM