AI读脑炸裂！扫描大脑画面，Stable Diffusion逼真复现图像

即便没有霍格沃茨的魔法，也能看到别人在想什么了！

方法很简单，基于Stable Diffusion便可视化大脑图像。

比如，你看到的小熊、飞机、火车是这样的。

当AI看到大脑信号后，生成的图像是下面的样子，可见该有的要点全有了。

这个AI读脑术刚刚被CVPR 2023接收，让圈友们瞬间「颅内高潮」。

太野了！忘了提示工程吧，现在你只需要用脑子去「想」那些画面就行了。

想象一下，用Stable Diffusion从fMRI数据中重建视觉图像，或许意味着未来可能发展为非入侵式的脑机接口。

让AI直接跳过人类语言，感知人类大脑中所思所想。

到时候，马斯克搞的Neuralink也要追赶这一AI天花板了。

无需微调，用AI直接复现你在想什么

那么，AI读脑究竟如何实现？

最新研究来自日本大阪大学的研究团队。

论文地址：https://sites.google.com/view/stablediffusion-with-brain/

大阪大学前沿生物科学研究生院和日本NICT的CiNet的研究人员基于潜在的扩散模型（LDM），更具体地说，通过Stable Diffusion从fMRI数据中重建视觉体验。

整个运作过程的框架也非常简单：1个图像编码器、1个图像解码器，还有1个语义解码器。

通过这样做，该团队消除了训练和微调复杂人工智能模型的需要。

所有需要训练的是简单的线性模型，将下部和上部视觉脑区的fMRI信号映射到单个Stable Diffusion成分。

具体来说，研究人员将大脑区域映射为图像和文本编码器的输入。下部脑区被映射到图像编码器，上部脑区被映射到文本编码器。如此一来可以这让该系统能够使用图像组成和语义内容进行重建。

首先是解码分析。研究中采用的LDM模型，由图像编码器ε、图像解码器D、文本编码器τ组成。

研究者分别从早期和高级视觉皮层的fMRI信号中解码出重建图像z以及相关文本c的潜在表征，将其作为输入，由自动编码器生成复现出的图像Xzc。

接着，研究者还建立了一个编码模型，对来自LDM不同组件的fMRI信号进行预测，从而探索LDM的内部运作机制。

研究人员使用来自自然场景数据集（NSD）的fMRI图像进行实验，并测试他们是否能使用Stable Diffusion来重建受试者看到的东西。

可以看到，编码模型与LDM相关潜像预测精度，最后一种模型在大脑后部视觉皮层产生的预测精确度是最高的。

对一个主体的视觉重建结果显示，只用z重建的图像在视觉上与原始图像一致，但不能捕捉到语义内容。

而只用c重建的图像具有较好的语义保真度，但视觉一致性较差，使用zc重建的图像则可以同时具备高语义保真度和高分辨率。

来自所有受试者对同一图像的重建结果显示，重建的效果在不同受试者之间是稳定且比较准确的。

而在具体细节方面的差异，可能来源于不同个体感知经验或者数据质量的不同，而非是重建过程有误。

最后，定量评估的结果被绘制成图表。

种种结果显示，研究中采用的方法不仅可以捕捉到低层次的视觉外观，而且还能捕捉到原始刺激物的高层次语义内容。

由此看来，实验表明图像和文本解码的结合提供了准确的重建。

研究人员表示，受试者之间在准确性方面存在差异，但这些差异与fMRI图像的质量相关。根据该团队的说法，重建的质量与目前SOTA的方法相当，但不需要训练其中用到的AI模型。

与此同时，该团队还利用从fMRI数据中得出的模型来研究Stable Diffusion的各个构建块，例如语义内容是如何在逆向扩散过程中产生的，或者在U-Net中发生什么过程。

在去噪过程的早期阶段，U-Net 的瓶颈层（橙色）产生最高的预测性能，随着去噪过程的进行，早期层（蓝色）进行对早期视觉皮层活动的预测，瓶颈层则转向高级视觉皮层。

这也就是说，在扩散过程刚开始时，图像信息压缩在瓶颈层中，伴随着去噪，U-Net层之间的分离出现在视觉皮层中。

此外，该团队正在对扩散不同阶段的图像转换进行定量解释。通过这种方式，研究人员旨在从生物学的角度为更好地理解扩散模型做出贡献，这些模型被广泛使用，但人们对它们的理解仍然很有限。

人脑画面，早被AI解码了？

多年来，研究人员一直在使用人工智能模型来解码来自人类大脑的信息。

大多数方法的核心，通过使用预先录制的fMRI图像作为文本或图像的生成性AI模型的输入。

例如，在2018年初，一组来自日本的研究人员展示了一个神经网络如何从fMRI录音中重建图像。

2019年，一个小组从猴子的神经元中重建了图像，Meta的研究小组在Jean-Remi King的领导下，发表了新的工作，例如从fMRI数据中得出文本。

2022年10月，德克萨斯大学奥斯汀分校的一个团队表明，GPT模型可以从fMRI扫描中推断出描述一个人在视频中看到的语义内容的文本。

2022年11月，新加坡国立大学、香港中文大学和斯坦福大学的研究人员使用了MinD-Vis扩散模型从fMRI扫描中重建图像，其准确性明显高于当时的可用方法。

再往前倒推的话，有网友指出了「根据脑电波生成图像至少从2008年开始就有了，以某种方式暗示着Stable Diffusion能够读懂人的思想，简直太荒谬了。」

这项由加利福尼亚大学伯克利分校发表在Nature的论文称，利用视觉解码器可以将人的脑电波活动转换成图像。

要说追溯历史，还有人直接拿出1999年，斯坦福李飞飞的一项关于从大脑皮层重建图像的研究。

李飞飞也动手点评转发，称自己那时还是一名大学实习生。

还有2011年，UC伯克利的一项研究使用功能磁共振成像（fMRI）和计算模型，初步重建了大脑的「动态视觉图像」。

也就是说，他们重现了人们看过的片段。

但是相比起最新研究，这项重建完全称不上「高清」，几乎无法辨认。

作者介绍

Yu Takagi

Yu Takagi是大阪大学的一名助理教授。他的研究兴趣是计算神经科学和人工智能的交叉领域。

在博士期间，他在ATR脑信息交流研究实验室研究使用功能性磁共振成像（fMRI）从全脑功能连接预测不同个体差异的技术。

最近，他在牛津大学的牛津人脑活动中心和东京大学的心理学系，利用机器学习技术了解复杂决策任务中的动态计算。

Shinji Nishimoto

Shinji Nishimoto是大阪大学的教授。他的研究方面是对大脑中视觉和认知处理的定量理解。

更具体地说，Nishimoto教授团队的研究重点是通过建立自然感知和认知条件下诱发的大脑活动的预测模型来理解神经处理和代表。

有网友问作者，这项研究能否用于解梦？

「将同样的技术应用于睡眠期间的大脑活动是可能的，但这种应用的准确性目前还不清楚。」

看过这项研究后：摄神取念术（Legilimency）妥妥的有了。

参考资料：​

​​https://sites.google.com/view/stablediffusion-with-brain/​​

​​https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2​​​