現在，AI不僅會讀腦，還會預測下一個畫面了！利用AI，一個研究團隊“看見”了老鼠眼中的電影世界。更神奇的是，這種機器學習算法，還能揭示大腦記錄數據中隱藏的結構，預測複雜的信息，比如老鼠會看到的東西。

給一段上世紀60年代黑白老電影中截取的視頻畫面：一個男子向汽車跑去，打開了後備箱。

圖/Nature

小鼠看過電影片段後，AI通過分析其腦部數據，竟把畫面重構出來了。

圖/Nature

可以說，幾乎與電影原作一致，是不是很神奇？

近日，來自瑞士洛桑聯邦理工學院的團隊在Nature上提出了一種名為CEBRA的最新算法，就把AI讀腦給實現了。

最最最重要的是，準確率超過了95%！

論文地址：https://www.nature.com/articles/s41586-023-06031-6

這一人工神經網絡模型僅用了三步，首先分析和解釋行為/神經數據，然後解碼來自視覺皮層的活動，最後重建觀看的視頻。

圖/Nature

CEBRA的意義在於，能夠對來自視覺皮層的視頻進行快速、高精度的解碼，這對於理解人類大腦活動來說，意義重大。

網友調侃，各地的思想犯罪指數，會怎麼樣？

圖/Twitter

CEBRA，從小鼠的大腦信號中預測電影

此前，這種“AI讀腦術”就曾在網上引發軒然大波。

一篇CVPR2023論文稱，Stable Diffusion已經能重建大腦視覺信號了。

AI看了一眼人腦信號後，立馬就給出下面這樣的結果：

圖/CVPR

而在這次的研究中，科學家們更進了一步，新算法構建的人工神經網絡模型，不僅能捕捉大腦動態、準確地重構畫面，還能預測出小鼠能看到的東西。

另外，它還可以用來預測靈長類動物手臂的運動，重建老鼠在場地中自由奔跑的位置。

這種新型的機器學習算法名為CEBRA（與zebra同音），能夠學習神經代碼中的隱藏結構。

為了了解小鼠視覺系統中的隱藏結構，CEBRA可以在一個初始的訓練階段後，直接從大腦信號中預測看不見的電影畫面，繪製大腦信號和電影特徵。

具體來說，CEBRA是基於對比學習實現的一種機器學習算法。

CEBRA提供了三種不同的模式：1. 假設驅動模式；2. 發現驅動模式；3. 混合模式。

它能夠學習將高維數據排列或嵌入到一個稱為隱空間（latent space）的“低維空間”中。

這樣做就能夠實現，相似的數據點緊密相連，而差異大的數據點就會進一步分離。

圖/Nature

這種嵌入模式可用於推斷數據中的隱藏關係和結構。它使研究人員能夠同時考慮神經數據和行為標籤，包括運動，抽象標籤（如獎勵）或感官特徵（如圖像顏色或紋理）。

老鼠“讀腦術”

怎樣將小鼠腦中的畫面重現呢？

研究者召集了50隻小鼠，讓它們一起觀看一段30秒的電影片段，並將這個過程重複了9次。

圖/Nature

在小鼠看電影時，研究者就會把探針插進小鼠的大腦視覺皮層區域，收集它們的神經元活動信號。這個過程，也就是我們熟悉的腦機接口（BMI）。

這個過程中用到的探針有兩種：

一種是通過插入小鼠大腦視覺皮層區域的電極探針直接測量，另一種是通過光學探針在基因改造的小鼠中獲取。這些光學探針經過改造，使激活的神經元發出綠光。

然後，研究者通過CEBRA，將這些神經信號與600幀電影片段聯繫起來，建立起兩者之間的映射。

有了前面9次觀看的記憶鞏固加強後，研究人員又讓小鼠觀看第10次，並收集了這一次觀看時的大腦活動數據。

將CEBRA應用於小鼠初級視覺皮層，圖/Nature

基於這些大腦數據，研究人員測試了CEBRA在預測電影片段中畫面順序方面的能力。

結果發現，CEBRA能夠在1秒內以95%的準確率預測下一個畫面。

人類大腦，終極目標

將行為動作映射到神經活動，一直是神經科學的一個基本目標。

但是，研究者們一直缺乏可以靈活利用聯合行為和神經數據揭示神經動力學的非線性技術，而CEBRA算法，填補了這一空缺。

而且，CEBRA還可以用於空間映射，從而揭示複雜的運動學特徵，還能提供對來自視覺皮層的自然視頻的快速、高精度的解碼。

具體來說，研究者提出了一個聯合訓練的潛在嵌入框架。

CEBRA利用用戶定義的標籤或僅限時間的標籤，獲得了一致的神經活動嵌入，可用於可視化數據和解碼之類的下游任務。

這個算法基於的對比學習，正是利用相互對比的樣本（正樣本和負樣本）來找到共同屬性和區分屬性。

使用CEBRA實現一致且可解釋的嵌入，圖/Nature

CEBRA的優勢就在於它的靈活性，以及有限假設和檢驗假設的能力。

對於海馬體，可以假設這些神經元代表空間，因此行為標籤可以是位置或速度（圖2a）。

另外，還可以有一個替代假設：海馬體不映射空間，而只是映射行進方向或其他一些特徵。

使用CEBRA的假設和發現驅動分析，圖/Nature

論文一作Steffen Schneider稱，與其他算法相比，CEBRA在重建合成數據方面表現出色，這對比較算法至關重要。

它的優勢還在於，能夠跨不同模式組合數據，比如電影特徵和大腦數據。它還有助於限制細微差別，比如收集數據收集方式對導致數據變化。

從小鼠視覺皮層區域解碼自然視頻特徵，圖/Nature

“這項工作朝著神經技術實現高性能BMI所需的理論支持算法，又邁出了一步。”EPFL的Bertarelli綜合神經科學主席兼該研究的PI Mackenzie Mathis說。

研究者稱，CEBRA在視覺皮層只有不到1%的神經元的情況下表現良好。要知道小鼠的大腦大約由50萬個神經元組成。

CEBRA的最終目標，是揭示複雜系統中的結構。由於大腦是我們宇宙中最複雜的結構，它是CEBRA的終極測試空間。

CEBRA還可以讓我們了解大腦是如何處理信息的，並通過整合動物，甚至其他物種的數據，為發現神經科學的新原理提供一個平台。

當然，CEBRA算法並不僅限於神經科學研究，因為它可以應用於許多涉及時間或聯合信息的數據集，包括動物行為和基因表達數據。因此，CEBRA潛在的臨床應用令人興奮。

網友質疑：這能叫讀心術？

網友稱，AI重現大腦畫面的研究，這不是首次。

圖/Twitter

在11年，UC伯克利的一項研究使用功能磁共振成像（fMRI）和計算模型，初步重建了大腦的“動態視覺圖像”。

也就是說，研究者重現了人類大腦看過的片段，但幾乎是無法辨認。

圖/Nature

不過，對於這項AI解析小鼠大腦信號、成功重構出觀看的電影片段，網友紛紛表示質疑。

“我並非想貶低這項出色的工作，但這不是從老鼠看到的東西中創造視頻，而是匹配哪一幀視頻最符合模型解釋當前幀的內容，所以……它不是產生視頻數據，而是一個幀號，然後在屏幕上顯示該幀。這個區別很微妙，但很重要。”

圖/Twitter

同樣看過視頻後的網友指出了問題——

“這個視頻有點誤導人。它並不像你看到所有這些擴散模型後所想的那樣，完全從頭開始構建。這個特定的模型只看過這個視頻，並且只是將不同的幀映射到腦信號上。所以這並非是讀心術。”

圖/Twitter

圖/Twitter

“這個說法是不准確的，並沒有視頻被生成。它只是在充分了解視頻的情況下，預測了正在觀看的視頻的時間戳。”