雷克曼大學（IDC Herzliya）伊夫切爾大腦、認知與技術研究所（BCT Institute）的研究人員發現了一種在很大程度上被忽視的感知能力，他們利用機器學習揭示了跨模態感知–不同感官模態之間的交互作用–的動態。在最近的一項研究中，研究小組探討了人類是否能透過聲音探測水的熱屬性（如溫度），以及這種感知是否是有意識的。

利用多感統合原理（大腦將各種感官模式的訊息結合起來形成對環境的統一感知的方式），研究小組探索了多感熱感知的潛力。他們還採用了預先訓練好的深度神經網路（DNN）和分類演算法（支援向量機），研究機器學習能否成功、一致地對不同溫度的水倒入的音訊錄音進行分類，並繪製出這些熱屬性在聲音中的物理編碼映射圖。

一份問卷調查了人們對跨模態感知的看法，參與者的感知能力在一項線上2AFC 任務中接受了測試，測試使用的是在環境聲設施中採集的錄音。這些錄音也被用來訓練一個機器學習模型，以進行相同的分類。資料來源：萊希曼大學伊夫切爾大腦認知與技術研究所

「與其他感官體驗相比，溫度感知是非常獨特的，”BCT研究所博士後、該研究的共同作者阿迪-斯尼爾博士（Dr. Adi Snir）說。 “對於視覺和聽覺，我們有專門的感覺’器官’，比如眼睛和耳朵，對於溫度，我們依靠皮膚中的專門感受器，對各種溫度範圍做出反應，我們將其體驗為熱度和冷度，但在動物王國，我們知道，例如蛇實際上可以’看到’體溫，這使它們能夠識別獵物。

關於溫度的多感官感知是否延伸到人類的問題，以前也有人提出過。 “BCT 研究所創始所長阿米爾-阿邁迪（Amir Amedi）教授說：”先前的研究已經在行為層面上探討過這個問題。這些研究表明，人類可以聽到倒入的熱液體和冷液體之間的差異，但不知道如何或為什麼會發生這種情況。 “

研究人員首先著手複製先前的研究結果，證實這種令人驚訝的感知能力，並澄清這種能力是天生的還是後天獲得的，這個問題長期以來一直備受爭議。斯尼爾說：”我們還想研究人們是否有意識地意識到這些熱差的聲音特性差異，同時還想探索聲音本身的哪些特徵允許在感知上進行區分。”

為了實現這一目標，研究小組使用了一個預先訓練好的深度神經網路（DNN）來描述不同溫度的倒水錄音，使用機器學習演算法對水的熱屬性進行分類，並對每段錄音的聽覺特徵進行計算分析。 “我們看到，參與者始終能夠透過聲音辨別水溫，即使他們不相信自己能夠做到這一點，這告訴我們，這很可能是一種透過終生接觸聽覺線索而習得的隱性技能，”阿邁迪解釋說，”同時，在冷熱水錄音上訓練的機器學習模型在對聲音進行分類時顯示出很高的準確性。”

研究結果表明，人類有能力從日常經驗中學習複雜的感官映射，而機器學習有助於澄清微妙的感知現象。下一步要研究的是，人們是否會像對待視覺、觸覺和聽覺一樣，在大腦中為這種體驗發展出新的感官映射。從理論上講，如果把這種方法與大腦刺激結合起來，伊隆馬斯克最近關於Neuralink可以創造超人能力的說法可能會成為現實。

編譯自/ ScitechDaily