英伟达开源Lyra 2.0单图生成3D世界

IT时代网11月10日消息,英伟达空间智能实验室开发的 Lyra 2.0 框架近日将「单图生成 3D 世界」从概念推向实用:以单张静态图像为输入,可生成跨度约 90 米、支持主动视角探索的持久化三维环境,并重建为可实时渲染的 3D 高斯泼溅与多边形网格模型。相关代码与模型权重已在 GitHub 和 Hugging Face 开源。

Lyra 2.0 的核心突破在于解决了生成式 3D 建模的两大顽疾:一是「空间遗忘」,用户视角折返已探索区域时模型常重新生成不一致的结构;二是「时间漂移」,随视角持续延展,几何形变与纹理误差不断累积。为此团队引入了基于 3D 几何信息的空间记忆机制,并让模型在训练中主动暴露于自身生成的瑕疵内容,学会识别并纠正误差。

性能优化方面,经知识蒸馏后的轻量模型将视频生成的去噪步数从 35 步压缩至 4 步。在单块 GB200 GPU 上生成 80 帧片段,完整模型需约 194 秒,轻量模型仅需约 15 秒,速度提升约 13 倍。

这项技术的直接落点是机器人仿真:生成的 3D 场景可导出至 Isaac Sim 等物理引擎,用于机器人感知、决策与行为训练,让开发者无需采集真实世界数据即可在虚拟环境中完成训练。当前版本仍以静态环境建模为主,动态物体与实时全场景生成尚存局限。

注:本文配图由AI生成。本文中包含AI辅助创作的内容。

编辑:林一舟

THE END