今日，蚂蚁灵波科技宣布开源全球首个基于Mixture-of-Experts（MoE）架构、面向具身智能的视频生成基础模型LingBot-Video。该模型在视频生成领域实现了画质、流畅度和创意表达的快速进步，同时满足了具身智能对物理规律的精确反映和高效推理的需求。LingBot-Video通过架构、数据和训练三方面的系统创新，提升了视频预训练范式，在推理效率、物理合理性、动作理解和任务完成度等方面实现了系统性提升。
LingBot-Video采用DiT+MoE设计，以MoE替代传统Dense架构，实现了在扩大模型容量的同时控制单次推理成本。其30B总参数模型在生成时仅激活约3B参数，相比同等参数规模的Dense架构拥有约3倍的推理效率。此外，该模型构建了数据画像引擎，并引入了7万小时的具身数据，覆盖了灵巧操作、机器人移动和第一视角交互等场景，帮助模型学习动作与环境变化之间的关系。在训练方面，LingBot-Video引入了多维强化学习奖励系统，围绕物理合理性和任务完成度进行对齐，并引入真实世界视频作为偏好信号，使生成结果更符合真实世界规律。
在北京大学联合字节跳动发布的基准RBench上，LingBot-Video的总分超越了其他模型，显示出其在生成机器人相关视频时，更能保持动作过程的合理性和任务执行的完整性。LingBot-Video的开源，预示着其在机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向的广泛应用前景。
LingBot-Video采用DiT+MoE设计，以MoE替代传统Dense架构，实现了在扩大模型容量的同时控制单次推理成本。其30B总参数模型在生成时仅激活约3B参数，相比同等参数规模的Dense架构拥有约3倍的推理效率。此外，该模型构建了数据画像引擎，并引入了7万小时的具身数据，覆盖了灵巧操作、机器人移动和第一视角交互等场景，帮助模型学习动作与环境变化之间的关系。在训练方面，LingBot-Video引入了多维强化学习奖励系统，围绕物理合理性和任务完成度进行对齐，并引入真实世界视频作为偏好信号，使生成结果更符合真实世界规律。
在北京大学联合字节跳动发布的基准RBench上，LingBot-Video的总分超越了其他模型，显示出其在生成机器人相关视频时，更能保持动作过程的合理性和任务执行的完整性。LingBot-Video的开源，预示着其在机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向的广泛应用前景。
来源：一电快讯
以上内容由AI创作，如有问题请联系admin#d1ev.com(#替换成@)沟通，AI创作内容并不代表第一电动网（www.d1ev.com）立场。
文中图片源自互联网或AI创作，如有侵权请联系邮件删除。
