馬斯克、米哈遊投資的腦機被女主播拿來打遊戲
2022 年,整個遊戲圈只有兩個遊戲,《艾爾登法環》(Elden Ring)和其他。整個一年,這款被戲稱為“老頭環”的動作類RPG 遊戲在全球賣出超過2000 萬份,同時斬獲無數遊戲大獎,並成為全世界遊戲迷心中的神作。
作者| Li Yuan
各種花式通關早已不稀奇,但是,如果說有人不用雙手,只靠“想”的,也把“老頭環”玩的風生水起,你多少會感到好奇。
遊戲女主播Perri Karyal 就做出了這樣的嘗試。
今年年初,她第一次在Twitch 上展示自己使用腦電波操縱《艾爾登法環》中的角色,擊敗遊戲中最難的Boss 之一“女武神”瑪蓮妮亞,當時她的一些走動還需要使用控制器的輔助。到了5 月,她對設備進行了升級,首次成功展示了她可以完全通過腦電波外設,在Xbox上游玩《艾爾登法環》,無需任何控制器的輔助。
她是怎麼做到的?普通人能夠復刻她的操作嗎?科幻中的腦控遊戲離我們還有多遠?這會是遊戲創業公司的一個新機遇嗎?
01
用“腦”打遊戲
如何才能用腦電波操縱遊戲?
和一般人的想像不同,Perri Karyal 並不是通過腦中實時想像“向前跑”、“躲避”、“攻擊”等動作來實現用腦電波操縱打怪。她通過想像一些特定動作,這些動作能夠更好地被她佩戴的腦電設備識別,然後將這些動作與遊戲中特定的按鍵綁定起來,從而實現對遊戲角色的操控。
“當我要攻擊的時候,我想像的是將一個非常非常重的東西推離身體,而治療的時候,我想像的是我通過拉的動作,讓一個東西砸落到我的臉上。”Perri Karyal 形容道。
人腦在執行不同行為時,腦電波會呈現出不同的模式,而這些模式會被她所佩戴的腦電設備實時監測到。Perri Karyal 在Youtube 視頻中用圖像直觀地展示了大腦在不同活動時的差別。
Perri Karyal 在說話瞬間腦部反應|YouTube
Perri Karyal 在想像“攻擊”時腦部反應|YouTube
第一張圖截取了她說話的瞬間,可以觀察到她大腦的多個腦區在說話時被激活。而當她全力思考將一個重物推離自己時,腦電波呈現了第二張圖上清晰可見的獨特模式。一旦她佩戴的設備成功識別了這個模式,腦電設備就會發出指令執行她預先設定的攻擊操作。
Perri Karyal 本身擁有心理學碩士學位,在學術研究過程中就曾廣泛應用腦電圖(EEG)作為研究工具。作為一種簡單、無痛的記錄腦部的電活動的手段,腦電圖可以觀察腦部不同區域的工作情況。除了研究者會使用它來提供腦部活動的信息,醫生也會利用腦電圖做癲癇等疾病的檢查。醫用的EEG 設備大家應該都在電影中見過,像演員的光頭頭套,上面遍布著許多電極。
“有一次偶然的機會,我接觸到了藍牙的EEG 設備,我的設備預算剛好能覆蓋它的成本,我就想,我一定得試試它。「Perri Karyal 提到。就這樣,她開始接觸非醫療級的腦電設備,並由此開始了使用這些設備操控遊戲的旅程,一發不可收拾。
「我使用的是設備本來是用來做情景研究(contextual research)的,”Perri Karyal 表示,情景研究指的是通過在日常生活的場景裡觀察人們的活動來得到洞見的研究。“這樣的腦電設備沒有辦法做診斷或者用在醫療場景中。”
根據Vice 的報導,Perri Karyal 使用的應該是EMOTIV 的設備EPOC X。由於不是醫療級的腦電設備,它的輸出也相對有限,只能夠識別推、拉、拿起、放下四個動作。識別到這些操作後,設備本身提供了一些內置的操作,也提供了API 讓人們可以接入其他可以設備進行控制。
對於Perri Karyal 而言,這四個動作已經足夠她在《艾爾登法環》這樣的遊戲裡戰鬥和治療的操作,但其它操作卻需要一些控制器的輔助。因此她最後選擇在腦控設備上在加裝陀螺儀,通過API和一些python 編程讓傳感器們能夠相互協作,幫助她實現在遊戲中自由行走和完成其他操作。她也在嘗試加入眼部追踪、表情識別等更豐富的功能,來完成更豐富的遊戲場景交互。
02
“腦機”不容易
看到這裡你可能會想,聽起來Perri Karyal 的操作也並不很難,這麼酷炫的方式,為什麼市面上的遊戲沒有增加“意念操縱”的方式遊玩的選項?
事實上,雖然普通人確實可以用類似的方法實現腦控遊戲,也確實有一些公司已經利用EEG 設備做出了腦控遊戲,但遊戲公司如果想要推出腦控遊戲,利用EEG 作為主要、甚至唯一的交互方式達到一個良好的複雜遊戲體驗,並能夠廣泛商業化,還面臨著不少障礙。
其中一個問題,就是EEG 設備的佩戴舒適度問題。
EEG 設備通過貼著頭皮的電極記錄大腦的電信號。源自大腦的電信號需要穿過頭骨和頭皮才能被EEG 設備接收,這就意味著在測量過程中會有很多噪音和誤差的干擾。通常我們在醫院中測腦電圖,為了保證準確性,都會在與頭皮接觸的電極上塗上導電膏,使電流傳遞有效、快速、均勻。
但是導電膏本身會弄髒頭髮。每次佩戴EEG 設備之後都要洗頭,這是極其不方便的。況且,無論是導電膏的製備、皮膚清潔,還是測試過程中避免凝膠擴散導致相鄰電極短路,都需要一定的專業技術。
作為非醫療器械,Perri Karyal 使用的Emotiv EEG 設備採取的電極已經相對更舒適一些,只需要生理鹽水來使電極更有傳導性。但即使如此,她在直播中為了使設備能夠一直保持有效,還是需要不斷用生理鹽水打濕電極。
Perri Karyal 需要不斷用生理鹽水打濕EEG 的電極|YouTube
作為一個極客玩家,以上的選項或許尚能接受,如果想成為一個大規模商用的消費級產品,EEG 設備的舒適度顯然尚有欠缺。
另一個問題,則是存在於所有腦機接口解決方案上的普遍問題。每個人的大腦的電信號,雖然存在一定共性,但是終究是有所不同的。在任何腦機接口類的應用中,都存在個性化適配的過程。而這個適配的過程,時間常常因人而異。
事實上,雖然Perri Karyal 使用的Emotiv 設備只能識別四個動作,為了讓四個動作的識別能夠變得足夠精準,Perri Karyal 花了極長的時間對其進行個性化適配和校準。“我花在訓練EEG 上的時間要比我花在遊戲中的時間還要多。而我可是在遊戲上花了超過250 個小時。 ”Perri Karyal 曾談到。這樣多的訓練時間可謂十分驚人了,一般用戶恐怕難以承受。
此外,腦控設備性價比可能也是一個大規模商業化的問題。Perri Karyal 使用的設備精度雖然低於醫療級,但其價格並不低——849 美金。設備價格對應著輸入的精度,芯片的計算能力,以及平台配套的操作的簡便性等。即使這樣,輸出的操作也只有四檔。她需要自己再加裝陀螺儀等,才能在《艾爾登法環》這樣對格鬥時效性要求很高、但是格斗方式並不特別複雜的遊戲中,完成這樣令人驚嘆的完全腦控操作。
雖然隨著硬件的發展,腦控設備價格從人民幣幾百元到幾千元,選擇檔位很多——但是較低的價位的腦控設備的輸出也會相對受限。玩家可以遊玩簡單的腦控遊戲,或者將腦控作為複雜遊戲的輔助,但很難達到在復雜遊戲中進行完全的腦控操作。
03
腦機的商業化方向
通過獲取腦電信號,利用信號進行對機器的操縱的腦機接口技術,大概上可以分成兩類:侵入式的和非侵入式的。前者指的是通過有創手術將電極植入人腦中,對腦電信號進行探測,進而使用信號做出更多操作。馬斯克聯合創辦的,最近剛剛取得FDA 批准進行人體實驗的腦機接口公司Neuralink 就屬於此類。而EEG 技術是非侵入式的代表。
侵入式的腦機接口技術,無需穿透頭骨和頭皮來獲取腦電信號,自然比非侵入式方法獲取的電信號更清晰。而非侵入式的腦機接口,最大的優勢就是無需冒手術的風險。而遊戲,作為一個具有容錯率的娛樂應用場景,似乎天然與非侵入式的腦機接口技術關係更緊密。
因此,雖然EEG 腦控遊戲立刻大規模商業化尚有諸多障礙,並不妨礙使用EEG 腦控遊戲仍然是一個極其誘人的應用場景。許多創業者目前也在努力繞開前述障礙,努力地為它尋找合適的細分場景。
目前一個較為成熟的方向,是注意力監測方向的遊戲。
由於人腦中負責注意力的神經元主要分佈在前額區域,如果只需要監測注意力的情況,電極可以只貼附在較為光滑的前額上。相比於頭髮密布的區域,監測前額的難度相對較低。只需使用一個頭箍式的設備即可進行監測,不會對頭部施加過大的壓力,也不需要頻繁使用生理鹽水來濕潤頭髮,整體的體驗感提升了很多。
雖然相比於Perri Karyal 的操作,注意力遊戲略顯單調:遊戲模式常常是集中註意力,你就可以前進或者打敗敵人。但是作為一種純粹的新奇的體驗,它仍然是成立的。部分公司會選擇在商場部署這樣的遊戲讓大眾付費體驗,或者開髮用“意念”控制的無人機這樣的玩具進行銷售。
除了純粹的娛樂性外,這樣的遊戲體驗實際上還有真實的醫療價值。
國內腦機接口初創公司強腦科技就有類似的產品:針對注意力缺陷兒童,首先通過測試來建立他們的基線水平,然後根據他們的注意力缺陷程度設定不同的遊戲難度,讓他們參與類似的專注力遊戲。在遊戲中,專注力的表現會得到遊戲的正反饋,這將促使兒童不斷提升自己的專注能力。這實際上是腦科學和行為科學中行之有效的一種神經反饋訓練。
強腦科技的產品,腦電波的監測集中於前額,使用乾電極
另一個有趣的方向,是把EEG 與VR進行結合。
與VR 結合的潛在好處是,非醫療的EEG 設備因其精度問題,能做出的相互區別的輸出還是較少,這也是為什麼Perri Karyal 後期需要為她的EEG 設備增加眼部追踪和陀螺儀等設備的原因。而VR 設備本身就自帶這些功能,多模態的輸入可能使遊戲體驗更好。
VR 與穩態視覺誘發電位觸發的EEG 結合的前景尤其有趣。穩態視覺誘發電位觸發的EEG 的一個弱點在於,在強光環境下,視覺觸發的成功率會降低。而通過與VR 的結合,這一限制被大大被弱化。已經被Snap 公司收購了的法國創業公司NextMind,在2020 年就曾提供一款這樣的VR+EEG 的設備。在其演示遊戲《Mindvasion》中,玩家可以戴上VR 設備,直接以視覺瞄準和殺死敵人。
Nextmind 產品圖,後腦的小圓片就是它的EEG 模塊|NextMind
04
AI,腦機的新方向?
華興資本2022 年提出的腦機接口行業研究分析報告中顯示,侵入式腦機接口,主要用於臨床級應用,具體的臨床適應症更偏向於一些難治性腦部疾病比如癲癇、肢體運動障礙等。而非侵入式腦機接口,臨床級應用包括意識監測、意識障礙改善、認知障礙改善、精神疾病失能改善、兒童多動症改善、聽覺、視覺、觸覺等感覺缺陷的替代。典型的消費級應用包括睡眠監測、抑鬱情緒早期監測恢復、壓力情緒監測等。
“市場剛需屬性決定了腦機接口現階段多應用於腦科學科研和腦疾病患者康復上。”沙利文頭豹研究院醫療行業高級分析師孫榕表示。
顯然,偏醫用和健康領域的場景,與遊戲這樣的大眾文娛場景不同,對於硬件的舒適度、個體化適應的時間和價格的要求都沒有那麼苛刻,也是目前創業者的最大機遇所在地。
不過,隨著硬件的發展,文娛方向一定是腦機接口的重要場景。上海市人工智能行業協會2021 年發布的報告顯示,未來五年(2021 年-2025 年) 全球範圍內廣義的腦機接口市場規模有望達到3300 多億美元,最主要的領域即在醫療、遊戲娛樂和教育科技方向。
強腦科技的相關負責人接受采訪時表示:“雖然我們目前並沒有向純遊戲領域發展的意圖,但是我相信游戲文娛類作為醫療康復之外的第二大腦機接口的應用場景,前景非常廣闊。”
人工智能也可能是產業的一個變機。
2022 年,Meta 曾經公佈一項名為“大腦信號讀心術(Brain Signal Reading)”的研究成果。研究人員利用語句和腦電波對應的數據集對AI 進行訓練,極大地提升了通過腦電圖和腦磁圖(另一種非侵入式腦機接口技術)推斷實驗對象語言信號的能力。
所以理論上,即使EEG 設備在硬件上沒有大幅度的突破,將人工智能和EEG 技術結合,從“軟件”上,EEG 設備的精度也可能大幅度提高。
雖然目前稍顯遙遠,從長遠考慮,腦控遊戲的突破也可能來自侵入式的腦機接口技術,或者其他非侵入式的腦機接口技術的進步,如腦磁圖、功能性核磁共振、功能性近紅外光腦成像、正電子發射型計算機斷層顯像等。
5 月30 日下午落幕的2023 年中關村論壇中,工業和信息化部總工程師趙志國透露,工業和信息化部把腦機接口作為培育未來產業發展的重要方向,要加強腦機接口應用場景的探索,加速推動腦機接口產業的蓬勃發展。
在政策面向好的情況下,有沒有創業者能夠找到更好的方向,聰明地繞開或者解決現有腦控遊戲的商業化障礙還未可知,但值得期待。