Meta公布Hologram拟真虚拟形象 今秋上线雷朋Display眼镜

IT时代网9月28日消息,Meta宣布将于今年秋季起陆续为旗下雷朋Display智能眼镜、Quest头显及全新轻薄型头显上线「Hologram」全新虚拟形象功能,这项技术类似苹果Vision Pro的Persona,能够通过生成式AI打造与真人外观高度接近的虚拟形象。

事实上,Meta早在7年前就展示了名为Codec Avatars的拟真虚拟形象项目,不过目前消费者可以买到的Meta VR产品仍主要使用较为卡通化的自定义形象角色。按照目前的规划,后续Meta会逐步将用户的自定义形象角色从卡通化转向拟真写实化。

据介绍,用户首次使用Hologram时,需要打开手机上的Meta AI应用,并按照提示转动头部、微笑等。随后系统会提出一些开放式问题,用户需要进行较长时间的回答。在回答过程中,系统会采集用户的面部表情和说话状态,用于训练和调整Hologram模型,同时还会记录用户的服装和背景。

整个创建过程只需几分钟,完成服务器端处理后即可生成Hologram。之后,当用户佩戴Meta雷朋Display眼镜接听或拨打WhatsApp视频电话时,对方看到的将不再是传统摄像头画面,而是由AI生成的用户面部虚拟形象。

从技术角度来看,Meta雷朋Display版本的Hologram采用运行在Meta服务器上的实时生成式AI扩散模型,以眼镜麦克风采集的音频作为输入,并实时生成2D视频流发送给通话另一端。Hologram的面部表情主要根据用户说话时的声音变化生成,而不是直接使用摄像头捕捉真人画面。

而在Quest平台方面,相应Hologram功能采用3D等身立体形式呈现,当两名Quest用户通过WhatsApp进行视频通话时,双方首先会在一个3D窗口中看到对方的Hologram。点击窗口旁边的按钮后,通话可以切换至全身模式,对方的虚拟形象即会以接近真人的尺寸出现在用户面前。

不过,目前版本仍存在一些改进空间,例如人物尺寸可能与真人存在轻微差异,眼睛等细节在部分情况下会显得较为粗糙。同时如果用户向侧面倾斜过多,虚拟人物就会变形,因此还有待开发人员进行改善。

注:本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:陈帅

THE END