地平线发布LoFT视频几何基础模型

IT时代网11月19日消息,地平线机器人实验室发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry),该模型能够从RGB视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。官方介绍,LoFT原生面向连续视频建模,采用双循环Transformer架构,将跨帧视觉信息聚合与相机状态迭代优化相结合。第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约297万条有效训练序列、9.62亿帧图像记录覆盖仿真与真实、动态与静态等多样化场景。评测方面,研究团队在SpatialBench、ClassicBench和VRBench三套评测体系中将LoFT与VGGT-Ω、DA3-Giant等代表性模型比较。官方称,LoFT在多项深度估计指标上达到SoTA水平。应用侧,LoFT可利用连续视频中的时序与多视角几何信息,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END