腦機接口新突破人腦信號轉文本準確率達97%
據國外媒體報導,一個由加州大學舊金山分校的研究團隊打造的新型人工智能係統可根據人腦信號來生成文本,準確率最高可達97%。亞馬遜和谷歌等科技公司打造的虛擬助手相當先進,語音識別能力比起幾年前進步驚人,近年來人們才剛開始領會它們的威力。
然而,事實上,一項更令人驚嘆、更匪夷所思的里程碑式技術創新可能即將實現。它的出現讓語音識別技術完全相形見絀,這是一個十分強大的人工智能(AI)系統,可以根據人們的大腦活動直接生成完整的文本,整個過程完全不需要聽到任何一個單詞。
這不完全是科幻小說中的概念。近幾十年來,從動物模型到人類參與者,腦機接口技術的發展可謂突飛猛進。事實上,這類技術已經在嘗試將這種概念從幻想變成現實。
加州大學舊金山分校的研究人員在一項新研究中解釋說,目前來看,通過該技術將人腦信號轉換成的文本結果還不很準確。
為了探究是否能夠改善這一狀況,由加州大學舊金山分校Edward Chang實驗室神經外科教授Edward Chang領導的一個團隊使用了一種全新的方法來解碼腦皮質電圖:通過植入大腦的電極,來獲取皮質活動中所產生的電脈衝記錄。
在這項研究中,四名癲癇患者使用了這種植入物,以便監測他們的身體狀況引起的癲癇發作情況。研究團隊還進行了一項附帶實驗:讓參與者大聲、反复地朗讀一些預先準備的句子,同時通過電極來記錄他們在此期間的大腦活動。
然後,這些數據被輸入到一個神經網絡,該網絡根據實驗的音頻記錄,分析出與特定語音特徵(如元音、輔音或口型)相對應的大腦活動模式。
之後,另一個神經網絡對這些大腦表現進行解碼——參與者反复朗讀30到50個句子時產生的大腦活動數據——並據此來嘗試預測人們所說的話,預測根據他們朗讀單詞時所產生的皮層信號來進行。
在最好的情況下,該系統在將其中一名參與者的大腦信號轉化成文本時,詞錯率(WER)只有3%——至少在這些嚴格限定的實驗條件下,這個詞錯率也許已經接近於迄今為止人工智能讀取人的想法的最佳表現。
在研究論文中,研究團隊詳細列舉了許多參與者所朗讀的參照句子的例子,以及神經網絡所生成的“預測”。那些預測有時是錯誤的,但也不總是出錯。然而,從那些非常明顯的錯誤來看,它們似乎與人耳聽語音時會犯的錯誤大不一樣(這可能是人工智能引入的數據集有限所致)。
神經網絡出錯的例子包括:“這家博物館每天晚上都聘請音樂家過來”,被預測為“這家博物館每個昂貴的早晨都聘請音樂家過來”;“蛋糕的一部分被狗吃掉了”,被預測為“蛋糕的一部分是餅乾”;“蒂娜·特納是一位流行歌手”,被預測被“迪德·特納是一位流行歌手”。
在最糟糕的例子中,神經網絡的錯誤完全莫名其妙,不管是在語音上還是在語義上,都與實際的句子完全搭不著邊:“她穿著溫暖的羊毛工裝褲”被預測為“綠洲是海市蜃樓”。
然而,研究團隊稱,儘管這些顯而易見的錯誤有些詭異,但總的來說,該系統也許還是刷新了基於AI的大腦活動解碼的最佳表現,畢竟它表現最好時的詞錯率只有5% ,能夠與專業的人工語音轉錄相提並論。
當然,要應付日常發言的專業轉錄員必須得有數以萬計的詞彙量。相比之下,這個系統只能從有限的短句中學習到大約250個單詞的皮層特徵,所以拿二者相比較並不公平。
雖然還有許多障礙需要克服,但研究團伙認為,該系統有朝一日可能會讓那些失去說話能力的人能夠重新“開口”說話。如果這樣的事情成為可能,會有望產生巨大的影響——為一些人提供一種與周圍世界交流的方式——而且所帶來的影響可能會遠遠超出人們目前的想像。
研究論文的作者解釋說,“在長期植入的參與者中,可用的訓練數據量將比本研究中使用的半小時左右的語音量大幾個數量級,這意味著輸入語言的詞彙量和表達靈活性會大大提高。”
該研究的結果發表在《自然神經科學》雜誌上。