昆仑万维宣布开源 Matrix-Game大模型

业界
2025
05/13
11:05
IT之家
分享
评论

5 月 13 日消息,昆仑万维刚刚宣布 Matrix-Game 大模型(17B+)正式开源,即 Matrix-Zero 世界模型中的可交互视频生成大模型。

昆仑万维表示,Matrix-Game 是 Matrix 系列在交互式世界生成方向的正式落地,也是工业界首个开源的 10B+ 空间智能大模型,它是一个面向游戏世界建模的交互式世界基础模型,专为开放式环境中的高质量生成与精确控制而设计。

据介绍,Matrix-Game 包括三大核心:

Matrix-Game-MC 数据集:自主构建的大规模交互世界数据集,包含两类数据:一是大规模无标签的 Minecraft 游戏视频,二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据,具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。Matrix-Game 主模型:基于先进扩散模型技术开发的图像到世界生成框架,能够根据用户输入(键盘指令、鼠标移动等)生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。GameWorld Score 评测体系:提出统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。

Matrix-Game 能够在不同 Minecraft 场景下(如森林、沙滩、沙漠、冰川、河流、平原等)实现可控生成,包括基础运动、复合运动、视角运动等。例如,在一个沙漠场景中,Matrix-Game 能够根据用户输入的任意控制指令(IT之家注:如键盘的 W / A / S / D 方向键、Space 键用于跳跃、Attack 键用于攻击,以及鼠标用于视角移动),生成对应的游戏世界视频,支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。

在此基础上,Matrix-Game 支持自回归式的长视频生成,不仅能实现动作与视角之间的丝滑衔接,还在时间一致性与环境适应性方面表现出色,为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。

参考资料

项目主页:https://matrix-game-homepage.github.io技术报告:https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdfGitHub 开源地址:https://github.com/SkyworkAI/Matrix-GameHuggingFace 开源地址:https://huggingface.co/Skywork/Matrix-Game

【来源:IT之家

THE END
广告、内容合作请点击这里 寻求合作
昆仑万维
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表 的观点和立场。

相关热点

4月21日,昆仑万维旗下SkyReels团队今日正式发布并开源了视频生成模型SkyReels-V2,该模型被团队称为全球首个采用扩散强迫(Diffusion-forcing)框架的无限时长电影生成模型。
业界
2 月 18 日消息,昆仑万维今日宣布开源国内首个面向 AI 短剧创作的视频生成模型 SkyReels-V1、国内首个 SOTA 级别基于视频基座模型的表情动作可控算法 SkyReels-A1。
业界
2月14日,昆仑万维今日正式发布自主研发的“Matrix-Zero世界模型”,成为国内首家同时实现3D场景生成与可交互视频生成技术突破的企业,标志着中国AI企业在空间智能领域的探索迈入新阶段。
业界
4月13日,北京昆仑万维科技股份有限公司(昆仑万维,300418) 公告称,董事会于近日收到现年43岁的董事长周亚辉辞去董事长职务的书面辞职报告,由现年41岁的王立伟接任。
业界
昆仑万维以42.15亿元人民币的价格将Grindr Inc.转让出去了。
业界

相关推荐

1
3
Baidu
map