隨著全球人口老化的加劇，以阿茲海默症為代表的認知症被認為是二十一世紀最大的健康危機之一。目前臨床上還沒有完全能夠治癒該疾病的藥物，但及早診斷和提前乾預有助於延緩認知功能的衰退，而認知訓練已被證實是緩解病程進展的有效手段。

近日，微軟研究院與上海市精神健康中心（俗稱「600號」）攜手展開聯合研究，基於微軟Azure OpenAI 服務中的多模態大模型，開發了個人化認知訓練框架「記憶我」（ReMe ），擴展了自動化認知訓練的訓練範圍，為數位化認知訓練提供了新方法，有望幫助延緩認知下降。

微軟亞洲研究院副院長邱鋰力告訴第一財經記者，這個想法起源於今年4月，希望盡快進入臨床階段，針對早期的阿茲海默症患者。同時，微軟亞洲研究院也嘗試基於穿戴式裝置和無線感知技術來記錄日常生活中的重要節點和事件，促進更便利的個人化個人記憶訓練。

多模態大模型帶來更全面的認知訓練方法

認知症，也稱為認知障礙，是一類影響思考、記憶、注意力、理解力、判斷力和語言等認知功能的疾病，包括阿茲海默症、巴金森氏症、路易氏體失智症、腦血管性認知障礙等。認知症的發展是一個漸進且不可逆的過程，雖然目前臨床上還沒有完全能夠治癒該疾病的藥物，但及早診斷和提前乾預有助於延緩認知功能的衰退，而認知訓練已被證實是緩解病程進展的有效手段。

伴隨多模態大模型的不斷發展，其新能力也不斷湧現，如提供即時的多模態分析、實現基於世界知識的開放式問答、提供充滿情感的語音交互、整合處理多種感知數據等。邱鋰力告訴第一財經記者，微軟一直都希望能夠透過包括AI以及大模型等尖端技術來幫助醫療。微軟亞洲研究院的研究員們由此提出了一個設想：多模態大模型或許能在認知訓練上扮演重要角色。

由於先前與上海市精神衛生中心已經有一些計畫在進行研究，微軟亞洲研究院與上海市精神衛生中心老年精神科團隊展開了深入探討與合作。該科室作為上海交通大學阿茲海默症診治中心，是全國最早從事阿茲海默研究的科室，2022年被評為全國核心高階認知障礙診療中心。圍繞著阿茲海默症發病機制這一課題，該科室展開了卓有成效的工作，形成了一定的研究特色。團隊對於認知障礙的診治，倡導“從不太早，永不言遲”，並創新地提出“老年認知障礙防治上海防治模式”，希望為健康老齡提供切實有用的幫助。

目前臨床上的認知訓練主要依靠照顧者或治療師自行進行，或使用軟體驅動的數位療法進行。前者依賴大量人力，成本高昂，給照顧者帶來了沉重的負擔；後者則往往類似於標準化考試，缺乏靈活性，患者僅能解答預設的謎題，與提高認知所需的記憶訓練相去甚遠。此外，現有的數位療法在軟體應用的便利性、互動性和直覺性方面也存在一定不足，影響了患者的遵從性（病人依照醫師規定進行治療的行為）。就認知障礙患者而言，持之以恆地訓練對於緩解症狀至關重要。

上海市精神健康中心老年科副主任醫師岳玲指出：「認知障礙影響的記憶類型多樣，包括工作記憶、情景記憶和語意記憶等，但現有訓練任務的設計較為單一，限制了訓練內容的廣度，許多老人也曾反映遊戲內容’枯燥’、’沒意思’。和語意記憶訓練則鮮有涉及。新的可能性，使其更貼近日常生活。

讓認知訓練既通用又個人化

綜合上海市精神健康中心專家的建議與患者的需求，微軟亞洲研究院的研究員們從易用性、介面友善性、功能專業性和入門難易度等多個維度出發，開發了個人化認知訓練框架「憶我」（ReMe）。該工具以微軟Azure OpenAI 服務為基礎模型，具備即時互動回應功能，支援文字、影像、語音等多種模態的輸入輸出，以對話機器人的形式為使用者提供全新的認知訓練體驗。

在微軟亞洲研究院高級研究員王子龍演示的ReMe介面中，記者看到，該介面有猜猜物品、生活回憶、繪畫遊戲和總結新聞等板塊，從不同角度對使用者進行認知訓練。

「將多模態大模型的通用能力與專業知識相結合，應用到認知訓練領域，打造一個專業的領域智能體，是我們面臨的一個挑戰。」王子龍表示，「此前，我們已經開展了一系列研究，探索如何透過思維鏈（Chain of Thoughts）、檢索增強生成（Retrieval Augmented Generation， RAG）等技術，使多模態大模型能夠更好地整合專有領域知識，從而優化智能代理的行為邏輯和性能。

從使用流程和功能來看，個人化認知訓練框架「憶我」首先透過手機或穿戴式裝置上傳個人記憶內容，隨後採用更貼近生活的方式，進行個人化的情景記憶或世界知識的開放性記憶訓練。

以日常最常見的用餐場景為例，一位老人在社區食堂用餐時拍下的照片，也可以成為隔天的訓練素材。 ReMe會根據使用者的回答進行不斷提示，幫助完成正確的認知和回憶。

研究員們還提供了一個訓練框架，讓該領域的醫生等研究者可以利用內建的認知遊戲模板快速創建個人化的訓練遊戲。除此之外，該工具還包括互動式的評估，以便追蹤患者的認知水平，並根據需要調整訓練任務。

不僅如此，微軟亞洲研究院與上海市精神健康中心還在不斷向該訓練框架擴展更多訓練功能和任務，除了開放性的和個體化的訓練任務外，透過語音對話的自然互動體驗，也相容並實現已驗證有效的成熟認知訓練任務。例如鍛鍊思維彈性的顏色辨識、鍛鍊工作記憶的數學運算等。同時，微軟亞洲研究院也嘗試基於感測器技術，透過穿戴式裝置以機會感知（opportunistic sensing）的方式記錄日常生活中的重要節點和事件，促進更便捷的個人化個人記憶訓練。

邱鋰力表示，目前研究中的困難在於使用者群體是否願意投入時間使用AI應用。所以在設計中會希望不只是對使用者的認知做有效訓練，也要給到使用者一些情緒價值。 「接下來我們也想嘗試透過穿戴式的裝置或無線感知的技術，能藉助更多的生理特性，例如心跳、呼吸，透過AI不同的模態融合的技術，更精準地了解使用者的情感狀況、認知情況和其他的生理情況，把這些訊息全部融合起來，將可以更好地進行個性化的訓練。

釋放人工智慧在醫療領域的更大價值

在阿茲海默症患者發病前，症狀還不嚴重，但種種徵兆會提示大腦已經存在病變。在此時及時幹預，可以減緩甚至終止阿茲海默症的發展，是治療的黃金時期。

根據岳玲醫師的介紹，美國一項研究表明，透過讓受試者參與認知速度訓練、記憶力訓練和理解力訓練，可以降低阿茲海默症等失智症約50%的發生率。她同時提醒，認知訓練有效，但要堅持一段時間才行。

「接下來，上海市精神衛生中心計畫以此框架為基礎，設計認知訓練的新方法，進行一系列嚴謹的臨床試驗，驗證這種個人化認知訓練框架的有效性，以獲得更多的臨床證據。

除了認知訓練，基於多模態大模型的代理幹預技術未來有望應用於更廣泛的領域，例如情緒調節、習慣改善以及孤獨症等輔助幹預。微軟亞洲研究院期望該工具能夠逐漸擴展應用範圍，最終能夠在社區和家庭環境中幫助提升認知障礙患者和其他精神疾病患者的健康水平，減輕照顧者和家屬的負擔。