用皮膚“聽”音樂:戴上這款裝備聽音樂會彷彿住在鋼琴裡
貝多芬失聰後繼續創作的故事相信大家都聽過。《致愛麗絲》、《英雄交響曲》、《田園交響曲》等等作品都堪稱經典。那你有沒有想過,他究竟是如何做到的?初中物理課上,老師告訴我們:失去聽力的貝多芬,用牙咬住木棒一端,另一端頂在鋼琴上,以此感受鋼琴的震動,堅持創作。
而現在,科學家的最新研究恰好也證實了這一點:音樂不僅可以聽,還能摸!
甚至,聾人音樂家們還能通過觸覺,理解音樂傳遞的複雜情感。
聽不見也能享受音樂
對於聽力正常的人來說,當特定頻率的振動(20Hz-20000Hz)通過空氣傳播,並被耳蝸中的微小感官細胞捕獲時,我們就能聽到聲音。
但其實,聲音也可以通過觸覺來感受。如果你去過狂熱的音樂會現場,就能感覺到:那些刺激的音樂不僅衝擊著你的耳膜,甚至能帶動你身體跟著搖擺。
沒錯,皮膚能直接感受到聲波產生的壓力,同時聲波也能通過吉他撥片、舞台地板等中介,傳遞到人的手、腳、身體,甚至可以深入骨骼和內腔壁(如肺和胸部)之間的膜。
因此,有些聽障人士在聽音樂會時,會用手扣緊氣球表面,通過薄橡膠的震動更好地感受音樂。
多倫多城市大學心理學教授、音樂家Frank Russo 在研究中還發現:耳朵聽不到的人觸覺往往更敏感。
在聽障人士的大腦中,聽覺皮層經常以另外的方式被重新利用,它會重新連接來自其他感官的信號,比如觸覺和視覺。
尤其對於那些後天性耳聾的人來說,整個大腦會重新調整,以適應聽力損失。例如,一個涉及注意力的神經網絡被發現與協調運動反應、視覺系統和記憶力的神經網絡聯繫更緊密。
而通過觸覺感受音樂的好處是,觸覺能有效地傳遞節奏。Russo 通過腦電圖的對比發現,無論是通過耳朵聽還是觸覺摸,兩者感受到的音樂節奏都是基本相同的。
不僅如此,觸摸還可以感受到音樂中的其他信息,比如可以通過振幅大小感受音量變化。
至於能否感受到音樂中的複雜情感,Russo 表示:絕大部分可以感受到。具體來說,低頻振動傳遞的情感更多,高頻振動則聽上去沒什麼情感。
來自馬拉加大學的Byron Remache-Vinueza 形像地描述了這一感覺:把音樂從聲音切換到振動,就像把一道媽媽做的最好吃的菜換成了湯,兩者只是一種不同的體驗罷了。
值得一提的是,截至目前,用觸覺感受音樂的方法已經改變了很多聽障人士的生活。
改變人生的技術
利物浦大學的音樂振動項目(Musical Vibrations) 是一個專門提供將音樂轉化為振動的設備的組織,該組織曾把他們的技術提供給聾啞說唱歌手SignKid。
研究團隊將他的一首歌曲導入設備中,將吉他、踢踏鼓和小軍鼓的聲音轉換為振動,讓SignKid 光腳踩在兩個振動器上,通過他的腳跟和前腳來感受音樂。
“我喜歡這個,”SignKid 告訴音樂振動團隊,“這真的能給我自信。”
最後,SignKid 用該團隊借給他的設備,製作了他的個人EP《視覺體驗》。
震動器還只是簡單的操作,一家醫療保健公司設計了一款可穿戴設備—— 把一系列傳感器綁在人的背部、肩膀、腰部、腳踝以及手腕處,外表看起來像安全帶和背包的組合,可以用於放大和傳輸不同頻率的振動。
這套裝備已經在拉斯維加斯市中心的一場音樂會上進行過測試,參加測試的聽障人士都表示,他們感覺身體變成了樂器,音樂正在通過這些樂器被演奏出來。
▲ 來自YouTube@Not Impossible
一位聽障人士在佩戴設備體驗了貝多芬的《月光奏鳴曲》第三樂章後,說自己就像是“住在鋼琴裡”。
但是,儘管通過觸覺感受音樂已經得到了驗證,在這個過程中還是遇到了一些問題。
仍需改進
想要用觸覺感受音樂,遇到的第一個問題是:音樂的頻率和振動的頻率並不能完全對應。
相比於我們的耳朵對2000Hz-5000Hz 的聲音最敏感,振動傳遞的聲音範圍卻通常在5Hz-1000Hz 之間。
這意味著,許多耳朵能聽到的高音不能被觸覺捕捉到,或者說不能被精確地識別。相反,我們可以用觸覺感覺到某些低音,即使我們聽不到它們。
而將現有音樂轉換成振動的第二個障礙是如何區分不同的聲音。
南安普頓大學聲音與振動研究所的Mark Fletcher 表示,目前的許多技術只能處理已被劃分成不同樂器的獨立音軌的音樂,而很難很好地“分解”複雜音樂。
即使是最先進的算法,現在也難以解決更強烈的振動會掩蓋其他振動,以及不同的樂器在一首歌中音量會隨時變化等問題。
如果沒有強有力的方法將不同的樂器分開,並以振動的形式編譯出平衡的信號,將無法僅從振動中識別音樂的細微差別。
有一說一,儘管這些技術上的難題仍待解決,但這項技術的發明給聽障人士生活帶來的變化是實打實的。利物浦大學的研究團隊曾把他們的振動設備帶到了一所聾啞學校。
老師們這樣回饋道:
學生們在音樂課上更投入了,孩子們真的很喜歡,一個男孩總是在休息時間回來敲門問:“我可以再玩一次嗎?”
參考鏈接:
[1]https://nautil.us/how-the-brain-allows-the-deaf-to-feel-music-22197/
[2]https://direct.mit.edu/jocn/article-abstract/33/4/635/97411/Neural-and-Behavioral-Evidence-for-Vibrotactile?
[3]https://www.sohu.com/a/277841760_100163655
[4]https://www.musicalvibrations.com/signkid/
[5]https://www.researchgate.net/publication/348669717_Neural_and
[6]https://www.youtube.com/channel/UCeBCj0wtkliFdOqEN4jC_4Q
來源:量子位