人工智能根據大腦活動重建樂曲
據英國《金融時報》網站8月15日報導,“總之,這只是牆上的一塊磚”——加利福尼亞大學伯克利分校一個科學實驗室裡的音箱傳出搖滾樂隊“平克·弗洛伊德”經典歌曲的合唱之音。歌曲的節奏和歌詞聽起來有些模糊,但可以辨認出來。
這段音頻不是該搖滾樂隊錄製的,而是基於這段音樂傾聽者的腦電波利用人工智能技術生成的。這是全世界首次根據神經信號重建出可辨認歌曲的科學實驗。
對於試圖了解大腦如何對音樂做出反應的科學家,以及希望幫助神經受到嚴重損害的人通過腦機接口以聽起來更自然的方式交流——無論是說話還是唱歌——的神經技術專家而言,這些發現極有價值。
加利福尼亞大學伯克利分校心理學和神經科學教授羅伯特·奈特說:“音樂具有韻律和情感成分。”這項由奈特牽頭的研究發現於15日發表在美國《科學公共圖書館·生物學》雜誌上。
奈特還說:“隨著整個腦機接口領域向前發展,對需要語言或聲音輸出的人而言,這提供了一種向今後的大腦植入物添加人類音調和節奏的方法……這是我們真正開始破解的領域。”
這項研究使用的腦電圖記錄獲取於2012年,當時重度癲癇患者大腦表面上通常被放置很多組電極,以確定癲癇發作區域。
這些腦電圖記錄的來源患者們自願幫助科學研究,允許研究人員在他們傾聽講話和音樂時記錄他們的腦電波。
基於這些實驗的以往研究,為科學家提供了足夠數據來重建人們通過大腦活動聽到的單個單詞。但直到10年後的今天,人工智能才變得強大到足以重建歌曲段落。
加利福尼亞大學伯克利分校的研究人員分析了29名患者的記錄,這些患者傾聽了“平克·弗洛伊德”的一首歌曲《牆上的另一塊磚(第一部)》,這是該樂隊1979年專輯《牆》的三部曲之一。研究人員確定了與感知節奏有關的大腦區域,發現聽覺皮層部分區域——位於耳朵後面和上方——在歌聲最開始或語音合成器開始發聲時做出了反應,而另一些區域則對持續的聲音做出了反應。
這些發現支持長期以來關於大腦兩個半球所發揮作用的觀點。奈特說,儘管大腦兩個半球配合密切,但語言主要在左半球接受處理,而“音樂的處理則更分散,並偏向右半球”。
這些分析由奈特的同事盧多維克·貝利耶牽頭。貝利耶說,用於在人們不能說話時幫助他們交流的設備往往會一個單詞一個單詞地發音。機器說出的句子具有機器人的特徵,讓人想起傾聽配備語音生成設備的已故科學家斯蒂芬·霍金講話的情景。
加利福尼亞大學伯克利分校的研究人員說,大腦信息讀取技術可能被拓展到這樣一種程度:通過頭戴腦電圖電極帽解碼圍繞音樂的想法,而不必在顱骨下的大腦處放置電極。屆時,人們或許能夠想像或創作樂曲,把相關樂曲信息傳輸出去,並在外部音箱上播放。