GlowTrack:釋放人工智慧的力量追蹤人類和動物的行為
索爾克研究所的科學家們創造了GlowTrack,以更高的解析度和更多的功能來追蹤人類和動物的行為。運動是了解大腦如何運作和控制身體的窗口。從剪貼簿和筆觀察到基於人工智慧的現代技術,追蹤人類和動物的運動已經走過了漫長的道路。目前最先進的方法是利用人工智慧來自動追蹤身體各部位的運動。然而,這些模型的訓練仍耗費大量時間,研究人員需要對每個身體部位進行成百上千次的手動標記,因而受到限制。
貼有GlowTrack 螢光標籤的人手。資料來源:索爾克研究所
現在,艾曼-阿齊姆(Eiman Azim)副教授和團隊創建了一種非侵入式運動追蹤方法–GlowTrack,利用螢光染料標記來訓練人工智慧。GlowTrack 強大、省時、高清,能夠追蹤老鼠爪子上的一個數字或人類手上的數百個地標。
這項技術於2023年9月26日發表在《自然-通訊》(Nature Communications)雜誌上,其應用範圍涵蓋生物學、機器人、醫學等多個領域。
左起:丹尼爾-巴特勒和艾曼-阿齊姆丹尼爾-巴特勒和艾曼-阿齊姆。圖片來源:索爾克研究所
“在過去的幾年裡,隨著強大的人工智慧工具被引入實驗室,行為追蹤領域發生了一場革命,」資深作者、威廉-斯坎德林發育講座教授阿齊姆說。”我們的方法使這些工具更加通用,改進了我們在實驗室捕捉各種運動的方法。更好地量化運動能讓我們更好地了解大腦是如何控制行為的,並有助於研究肌萎縮性脊髓側索硬化症(ALS)和帕金森氏症等運動障礙疾病。”
目前捕捉動物運動的方法通常需要研究人員在電腦螢幕上手動重複標註身體部位–這個過程非常耗時,容易出現人為錯誤,而且時間有限。人工標註意味著這些方法通常只能在狹小的測試環境中使用,因為人工智慧模型會對其接收到的有限訓練資料進行專業化處理。例如,如果光線、動物身體的方向、攝影機角度或其他任何因素發生變化,模型就無法再辨識被追蹤的身體部位。
為了解決這些局限性,研究人員使用螢光染料標記動物或人體的各個部位。有了這些”不可見”的螢光染料標記,就可以快速創建大量視覺多樣化數據,並將其輸入人工智慧模型,而無需人工標註。一旦輸入了這些強大的數據,這些模型就可以用來追蹤更多樣化環境中的運動,其解析度是人工標註難以達到的。
這為在不同研究之間比較運動數據打開了方便之門,因為不同的實驗室可以使用相同的模型來追蹤各種情況下的身體運動。阿齊姆認為,實驗的比較和可重複性在科學發現過程中至關重要。
第一作者、索爾克生物資訊分析師丹尼爾-巴特勒(Daniel Butler)說:「螢光染料標記是完美解決方案。我們的螢光染料標記就像一元紙幣上的隱形墨水,只有在你想要的時候才會亮起,我們的螢光染料標記可以在眨眼之間打開或關閉,讓我們能夠產生大量的訓練資料。”
未來,團隊很高興能支援GlowTrack 的各種應用,並將其功能與其他能重建三維運動的追蹤工具以及能探究這些龐大運動資料集模式的分析方法結合起來。
阿齊姆說:「我們的方法可以使許多需要更靈敏、可靠和全面的工具來捕捉和量化運動的領域受益。我渴望看到其他科學家和非科學家如何採用這些方法,以及可能出現哪些獨特的、不可預見的應用。”