新型腦機介面可將大腦訊號轉化為語音準確率高達97%
加州大學戴維斯分校醫療中心開發的新型腦機介面(BCI)能將大腦訊號轉化為語音,準確率高達97%,是同類系統中最精確的。研究人員在一名因肌萎縮性脊髓側索硬化症(ALS)而導致語言能力嚴重受損的男子的大腦中植入了感測器。這名男子在啟動系統後幾分鐘內就能傳達自己想說的話。
Casey Harrell 首次嘗試使用BCI 系統
今天(8 月14 日),《新英格蘭醫學雜誌》上發表了一項關於這項工作的研究。
凱西-哈雷爾(Casey Harrell)與他的私人助理艾瑪-阿拉莫(Emma Alaimo)和加州大學戴維斯分校神經科學家謝爾蓋-斯塔維斯基(Sergey Stavisky)。圖片來源:加州大學攝政委員會
了解ALS 及其對語言的影響
漸凍人症又稱盧伽雷氏症,會影響控制全身運動的神經細胞。這種疾病會導致患者逐漸喪失站立、行走和使用雙手的能力。它還會導致患者失去對用於說話的肌肉的控制,從而失去可理解的語言能力。
這項新技術的發展是為了讓那些因癱瘓或神經系統疾病(如漸凍人症)而無法說話的人恢復溝通。它可以在使用者嘗試說話時解讀大腦訊號,並將其轉化為文字,由電腦大聲”說出”。
加州大學戴維斯分校神經外科醫生大衛-布蘭德曼(David Brandman)說:”我們的BCI技術幫助一名癱瘓患者與朋友、家人和護理人員進行了交流。我們的論文展示了有史以來最精確的語音神經假體(設備)”。
布蘭德曼是這項研究的共同首席研究員和共同第一作者。他是加州大學戴維斯分校神經外科系助理教授,也是加州大學戴維斯分校神經義肢實驗室的共同主任。
博士後學者、該研究的主要作者尼古拉斯-卡正在準備BCI 系統。資料來源:加州大學管理委員會
BCI 設備如何運作
當有人試圖說話時,新型BCI 裝置會將其大腦活動轉化為電腦螢幕上的文字。然後,計算機就可以大聲朗讀這些文字。
為了開發該系統,研究團隊讓患有漸凍人症的45 歲男子凱西-哈雷爾參加了BrainGate 臨床試驗。入組時,哈雷爾手腳無力(四肢癱瘓)。他的語言非常難懂(構音障礙) ,需要別人幫他翻譯。
2023 年7 月,布蘭德曼植入了研究性BCI 裝置。他將四個微電極陣列植入左側前腦回,這是一個負責協調語言的大腦區域。這些陣列旨在記錄來自256 個皮質電極的大腦活動。
神經外科系的助理教授謝爾蓋-斯塔維斯基解釋說:「我們實際上是在檢測它們試圖活動肌肉和說話的情況。」他是加州大學戴維斯分校神經義肢實驗室的聯合主任,也是這項研究的共同首席研究員。 「我們正在記錄大腦試圖向肌肉發送這些指令的部分。我們基本上是在監聽,然後將這些大腦活動模式轉化為音素–就像音節或語言單位–然後再轉化為他們想說的話。”
加州大學戴維斯分校神經義肢實驗室聯合主任神經外科醫生大衛-布蘭德曼和神經科學家謝爾蓋-斯塔維斯基
更快的培訓,更好的效果
儘管最近生物辨識(BCI)技術不斷進步,但實現交流的工作進展緩慢,而且容易出錯。這是因為解釋大腦訊號的機器學習程式需要大量時間和數據才能完成。
“以前的語音BCI 系統經常出現單字錯誤。這使得使用者難以被持續理解,成為溝通的障礙,」布蘭德曼解釋道。 “我們的目標是發展一個系統,讓人們在想說話的時候都能被理解”。
哈雷爾在提示和自發性對話環境中都使用了該系統。在這兩種情況下,語音解碼都是即時進行的,並透過持續的系統更新來保持準確工作。
解碼後的文字顯示在螢幕上。令人驚訝的是,這些單字是用哈雷爾患ALS 之前的聲音朗讀出來的。這個聲音是用哈雷爾罹患漸凍人症前的聲音樣本透過訓練軟體合成的。
在第一次語音資料訓練中,該系統花了30 分鐘就達到了99.6% 的單字準確率,詞彙量為50 個。
「我們第一次試用該系統時,他高興得哭了,因為螢幕上出現了他想說的正確單字。我們都哭了,」斯塔維斯基說。
在第二次訓練中,潛在詞彙量增加到了125,000 個單字。只要增加1.4 小時的訓練數據,BCI 就能在詞彙量大幅增加的情況下達到90.2% 的單字準確率。在繼續收集數據後,BCI 的準確率保持在97.5%。
對ALS 患者溝通的變革性影響
布蘭德曼說:「目前,我們可以在大約97% 的情況下正確解碼凱西想要說的話,這比許多試圖解讀人的聲音的市售智慧型手機應用軟體都要好。這項技術具有變革性,因為它為那些想說話卻說不出話的人帶來了希望。
研究報告了32 週內的84 次資料收集過程。哈雷爾在自定進度的對話中總共使用語音BCI 進行了超過248 小時的面對面交流和視訊聊天。
透過交流恢復尊嚴
“無法溝通是一件非常令人沮喪和打擊士氣的事情。就好像你被困住了一樣,」哈雷爾說。 “像這樣的技術將幫助人們重返生活和社會”。
這項研究的主要作者尼古拉斯-卡德說:”看到凱西透過這項技術恢復了與家人和朋友交談的能力,我們感到無比欣慰。卡德是加州大學戴維斯分校神經外科系的博士後學者。
「凱西和其他BrainGate 參與者確實非同凡響。他們參加這些早期臨床試驗值得我們給予高度讚揚。他們這樣做並不是希望獲得任何個人利益,而是為了幫助我們開發一種系統,讓其他癱瘓患者恢復交流和行動能力,”BrainGate 試驗發起人兼研究員Leigh Hochberg 說。
編譯自/ ScitechDaily