以色列AI模型凭脑扫描还原人眼所见画面

IT时代网10月10日消息,以色列魏茨曼科学研究所教授Michal Irani团队开发出一款名为Brain-IT的AI模型,能够通过分析功能性磁共振成像(fMRI)数据,以较高准确度重建受试者观看图像时的视觉画面,团队还希望未来把这一能力拓展至视频乃至梦境解码。

训练此类模型需要大量“图片+脑扫描”配对数据,即记录人在观看每张图片时的大脑活动。研究使用的公开“自然场景数据集”已是该领域规模最大的数据集,但也仅收录了8名受试者的数据,共形成约7.3万组配对样本。为破解数据不足的难题,团队训练了一个“反向翻译”模型,根据图片预测人看到它时的大脑活动,从而大幅扩充训练数据。

Irani介绍,此前部分模型虽能根据大脑活动实现较高水平的图像重建,但常出现构图和色彩方面的基础性错误,新模型在还原图像内容和细节方面均有所超越;其他模型需要数十小时的脑部扫描数据才能学会“读取”一个新的人,而Brain-IT只需一小时。

目前该研究使用的是静态图像。Irani的实验室正致力于将“读心”方法拓展至听觉信息解码,并最终拓展至视频。她表示,解码视频画面尤其具有挑战性,视频画面每秒会变化数十次,而fMRI完成一次扫描就需要约两秒,如果能够克服这些障碍,未来或许能够读取梦境。

这类技术的应用与风险也受到关注。有神经科学家认为该模型有望用于神经系统疾病患者的治疗,例如借助神经反馈帮助抑郁症或焦虑症患者意识到自己的思维已滑向负面循环;但也有观点担忧,此类技术可能遭滥用,被用来强行获取个人的思想信息。

注:本文中包含AI辅助创作的内容。

编辑:林一舟

THE END