新技術可將腦神經活動解碼為口頭句子錯誤率僅為3%
據外媒報導,近日美國加州大學舊金山分校的Joseph Makin及同事在《自然-神經科學》上發表的一篇論文報告了一種能夠以較高的準確率,解碼神經活動並將其翻譯為句子的機器翻譯算法。在人類大腦信號首次解碼出語音十年後,其準確率和速度仍遠遠低於自然語言。
研究人員盤點了機器翻譯領域的最新進展,並利用這些方法訓練循環神經網絡,將神經信號直接映射為句子。
據了解,四名受試者此前顱內均被植入了用以監測癲癇的電極,電極會將他們大聲讀出句子時的神經活動記錄下來。
之後,這些記錄被添加到一個循環神經網絡中,從而將規律性出現的神經特徵表示出來,這些神經特徵可能與言語的中的元音、輔音或發音器官接收的指令相關。
接著,另一個循環神經網絡逐字解碼這種算法表示,形成句子。
作者還發現,明顯參與言語解碼的腦區同樣參與言語生成和言語感知。
這種機器翻譯方法將每名受試者的神經活動解碼為口頭句子的平均錯誤率竟低至3%。
最後,研究人員還展示瞭如何通過多個參與者數據來訓練網絡的某些層,利用傳輸學習來改進對有限數據的解碼。