加州大學舊金山分校（UCSF）的研究合作者日前在《新英格蘭醫學雜誌》發表了一個新成果：通過解碼從運動皮層發送到聲道的大腦信號，研究人員幫助嚴重失語症狀患者恢復了溝通能力。這項研究標誌著神經科學領域的一個重要里程碑，並代表著Facebook與加州大學舊金山分校的張氏實驗室（Chang Lab）數年合作的成果。

所述突破性研究展示了光學BCI 在張氏實驗室等臨床環境和非侵入性消費應用領域中的潛能。為了繼續促進光學BCI 在整個領域的發展，Facebook 宣布開放相關BCI 軟件的源代碼，並將頭戴式硬件原型分享給研究人員和其他同行，以幫助推進這一方向的探索。同時，Facebook Reality Labs 將專注於將BCI 概念應用到肌電圖（EMG） 研究中，以顯著加快基於手腕的神經接口發展，實現直觀的AR/VR 輸入。

值得一提的是，Facebook Reality Labs撰文回顧了相關的過程進展，下面是映維網的具體整理：

房間裡擠滿了加州大學舊金山分校的科學家和設備，到處都是顯示器和數據線。

但他的眼睛只是盯著一個屏幕，而上面顯示著三個簡單的字詞：“早上好！”儘管口裡發不出聲音，但他嘗試予以回應，而屏幕馬上出現了“你好”兩個字。

這時，屏幕變黑，取而代之的是另一個對話提示：“你今天怎麼樣？”這一次，他嘗試說“我很好”，而屏幕將其顯示了出來。

這是一個簡單的對話，但卻是神經科學領域的一個重要里程碑。更重要的是，在經歷了一系列中風後而導致四肢和聲道幾乎完全癱瘓後，這是他16 年來第一次不必通過笨重的頭戴式儀器就能“說出”自己心裡的話。現在他只要試著說話，電腦就可以實時分享相關的單詞，不需要任何文本鍵入。

Facebook Reality Labs（FRL） 的腦機接口（BCI） 項目成立於2017 年，而最初團隊設定了一個雄心勃勃的長期目標：開發一個無聲、無創的語音接口，人們只需念想自希望說出的話語就可以實現相應的文本鍵入操作。

團隊在四年的時間裡取得了巨大進展，深入探索了頭戴式光學BCI 作為下一個計算平台的潛在輸入方法。在另一個層面，這種方法能夠允許你在AR/VR 中以語音的速度和文本鍵入的離散性進行通信。除了內部努力之外，團隊向加州大學舊金山分校一組致力為失語症人群開發可植入通信假體的研究人員提供支持。Facebook 資助這項研究的目標是：確定一個每分鐘能輸入100 個單詞的無聲界面是否可行；如果可行，又需要什麼樣的神經信號。這一目標與UCSF 的研究非常吻合。

加州大學舊金山分校兩年前在《自然通訊》期刊發表了第一份研究結果，首次證明可以從大腦活動中實時解碼一小部分口語單詞和短語。從那時起，加州大學舊金山分校又演示了利用機器學習解碼從大腦到文本的完整句子。

今天，我們非常高興地慶祝這項研究的下一章節，以及加州大學舊金山分校團隊發表在《新英格蘭醫學雜誌》的一個全新的里程碑：患有嚴重失語症的人第一次通過簡單的語言嘗試來實現幾乎實時的言語念想文本鍵入。簡單來說，通過解碼從運動皮層發送到控制聲道的肌肉的大腦信號，加州大學舊金山分校恢復了一個人的溝通能力。這是神經科學的一個里程碑，並且標誌著張復倫（Edward Chang） 博士在加州大學舊金山分校十年研究的大成。

加州大學舊金山分校神經外科主任Edward Chang 博士表示：“我在加州大學舊金山分校的研究團隊已經為這個（言語神經假體）目標專研了十多年。在這段時間裡，我們學到了很多關於大腦如何處理語言的知識，但只有在過去五年裡，機器學習的進步才讓我們達到了這個關鍵的里程碑。再加上Facebook 的機器學習建議和資助，我們的進展得才以加速。”

1. BCI 領域的一個全新里程碑

這個項目的最後階段稱之為Project Steno， 於2019 年在加州大學舊金山分校的張氏實驗室啟動，涉及一名在一系列中風後失去了正常言語能力的被試。被試接受了選擇性手術，並在大腦表面放置電極。在研究過程中，被試直接與加州大學舊金山分校團隊合作，並收集了數十小時的言語嘗試。相關數據用來創建機器學習模型，並用於語音檢測和單詞分類。通過這項研究，儘管16 年前的中風導致其癱瘓，但被試依然能夠進行實時交流。

加州大學舊金山分校先前研究已經成功地從大腦活動中實時解碼出一小部分完整的口語單詞和短語，而其他張氏實驗室的研究表明，系統能夠以極低的單詞錯誤率識別出顯著更多的詞彙量。然而，所述結果都是在被試大聲說話時實現，團隊不清楚當被試只是單純念想單詞時，其是否依然有可能實時解碼單詞。日前發表的研究結果將所有一切結合在一起，並證明了實時解碼會話語音的成功。我們從Project Steno 學到了很多，特別是當它應用於算法利用語言模型來提高大腦到文本的精確性時。

FRL 神經工程研究經理艾米莉·莫格勒（Emily Mugler） 指出：“Project Steno 是第一次嘗試將語音與語言模型相結合來驅動BCI 的演示。結果說明了我們可以如何利用語言固有的統計特性來顯著提高BCI 的精確性：一個詞是如何在句子構造中通向另一個詞。”

就像手機使用自動更正和自動完成功能來提高文本鍵入的精確性一樣，我們可以將相同的技術應用到BCI，從而提高算法預測被試念想內容的精確性。

2. Facebook 對Project Steno 的貢獻

Facebook 在整個Project Steno 中主要提供了反饋、機器學習建議和資助，但最終是由加州大學舊金山分校設計並監督研究，並直接與被試合作。Facebook 沒有以任何方式參與研究被試的數據收集；所有數據始終保存在加州大學舊金山分校，並在加州大學舊金山分校的控制之下。顯然，Facebook 對開發需要植入電極的產品沒有興趣。Facebook 的資助幫助加州大學舊金山分校大幅提高了服務器容量，允許他們能夠同時測試更多的模型，並獲得更精確的結果。

艾米莉領導了FRL 腦機接口團隊的技術反饋，就幫助被試學習如何使用BCI 的方法提供建議。你如何訓練一個人只用大腦溝通？這是一個壯舉，因為從來沒有人實現過。艾米莉於2017 年加入Facebook。在BCI 項目初期，她就將職業生涯的大部分時間都集中在恢復性溝通腦機接口，為因肌萎縮側索硬化等疾病失去言語能力的患者提供BCI。

她指出：“看到這項研究取得成果對這個領域和我個人來說都是長久以來的夢想。作為一名腦機接口科學家，在我的整個職業生涯中，我的一個核心追求就是證明驅動語音清晰度的神經信號可以解碼，從而實現更為有效的腦機接口以用於溝通交流。相關結果開啟了眾多輔助技術的可能性，並用以顯著改善言語障礙患者的生活質量。”

加州大學舊金山分校今天公佈的研究結果對輔助技術的未來有著至關重要的意義，因為這有可能幫助類似損傷患者開啟會話交流。我們非常期待看到Project Steno 在神經科學領域帶來長遠影響。

3. 探索AR/VR 的高帶寬交互

隨著腦機接口達到這一成功的里程碑，現在是重新評估FRL 整體腦機接口項目目標的一個好時機，同時是這項研究與更廣泛的神經科學界分享的一個時機。我們一直都知道，無聲語音腦機接口是一項長期的研究工作，但我們已經朝著這個目標取得了實質性的進展：我們開發了一種可穿戴原型，它使用近紅外光從身體外部測量大腦中的血氧，並以安全、無創的方式間接測量大腦活動。在這個過程中，我們同時探索了感知組織運動的新方法，而這有可能重新定義非侵入性地從大腦感知內容的界限。

儘管我們相信頭戴式光學BCI 技術的長期潛力，但我們決定將精力集中在一種不同的神經接口方法，而這種方法有一條更接近市場化的道路：由肌電圖驅動的手腕型設備。下面是肌電圖的工作原理：當你決定移動你的手和手指時，大腦會通過運動神經元向手臂發送信號，告訴它們以特定的方式移動，以便執行諸如輕拍之類的動作。肌電圖可以提取和解碼相關信號，並轉化為用於設備數字命令。在短期內，所述信號能夠允許你以高度可靠，個性化的控製程度來與設備進行通信，並且可以適應眾多情況。隨著這一研究領域的發展，基於肌電圖的神經接口有可能極大地擴展我們與設備通信的帶寬，從而為高速文本鍵入等用例開闢可能性。

FRL Reaserch 負責人肖恩·凱勒（Sean Keller） 表示：“我們正在開發更自然、更直觀的方式來與隨時可用的AR 眼鏡交互，這樣我們就不必在與設備交互和與周圍世界交互之間做出選擇。我們依然處於釋放手腕型肌電圖潛力的早期階段，但我們相信它將是AR 眼鏡的核心輸入，而應用我們所學到的BCI 知識將能幫助我們更快地實現這一目標。”

由於它固有的高帶寬，語音是我們腦機接口研究的重點：你說話的速度比打字的速度快。但言語並不是應用這項研究的唯一用例，我們可以利用BCI 團隊的基礎工作來實現基於手腕的直觀控制。有鑑於此，我們不再單純追求開發一種無聲無創的語音界面。我們正在尋求基於肌電圖的新型直觀控制，而不是單純基於言語念想的神經接口。

艾米莉解釋道：“作為一支團隊，我們已經意識到，我們用於光學腦機接口研究的生物反饋和實時解碼算法可以加速我們對基於手腕型肌電圖的處理。我們真的希望你能夠直觀地控制我們的下一代腕帶。為了自信地利用這種微妙的控制方案，你需要設備給你反饋，確認它理解你的目標。為了增加另一層的精確性，我們可以使用實時解碼算法，利用語言的統計特性。將這種BCI 研究概念應用於肌電圖可以幫助手腕型控制從一開始就感覺直觀和有用。”

4. 前方之路

即使我們專注於FRL 內部基於手腕的AR/VR 輸入設備，我們都希望繼續支持第三方合作夥伴正在開發的頭戴式光學BCI 技術探索。所以，團隊計劃開放相關BCI 軟件的源代碼，並與主要研究人員和其他同行分享其頭戴式硬件原型，以幫助推進新的用例，比如說輔助技術。隨著這個項目的發展，我們將分享更多關於我們光學BCI 開源合作的細節。

作為一個研究組織，我們相信通過開源分享我們工作的方方面面是推動整個研究社區向前發展的一個好方法，並且對每個人而言都有利。這就是為什麼我們經常發表我們的研究成果，公開分享代碼，並投資於學術研究，例如我們與加州大學舊金山分校的合作。外部協作的好處對於腦機接口研究尤其明顯，因為它需要在機器學習和神經科學的交叉點進行深入的跨學科研究。作為我們與張氏實驗室合作的一環，Facebook AI Research（FAIR） 幫助加州大學舊金山分校在實時演示中使用了Facebook 的開放源代碼“Wav2letter” 來改進其語言模型。

艾米莉評論道：“通過與學術合作者的對話，我們發現與公共領域的同行分享這項研究成果將為整個神經科學界帶來更具影響力的結果。本著合作精神，為了推進腦機接口領域的發展，我們希望允許其他腦機接口研究人員使用我們的工具。我們在實驗室所作的研究是最先進的，但我們知道大家一起走可以走得更遠，而不是一個人走可以走得更遠。”

我們同時致力於促進關於神經倫理學的公開對話，亦即研究新興神經科學如何影響社會和個人的跨學科領域。當我們在2020 年宣布負責任創新原則（Responsible Innovation Principles） 的時候，我們的目標是以負責任的、以隱私為中心的方式構建下一個計算平台。但我們知道自己無法獨力做到。這就是為什麼我們致力於與第三方合作，並爭取倫理、隱私、安全和安保方面的專家和學者的幫助，以共同構建未來的技術平台，包括神經接口。

無論是作為團隊內部還是與研究團體外部合作，我們正在深化我們對神經倫理學的投資。這包括一個新的徵求建議書“Engineering Approaches to Responsible Neural Interface Design（ 負責任的神經接口設計工程方法）”，而其重點是確保未來技術平台隱私性和包容性。另外，我們同時定期參與與NeuroRights Initiative 等組織的對話，包括促進神經技術和人工智能領域的道德創新。

多年來，我們致力於為AR/VR 開發未來的界面。隨著研究的進展，我們將繼續分享更多關於相關挑戰的信息。