瑞士洛桑聯邦理工學院（EPFL）管理的瑞士等離子體中心（SPC）在等離子體物理學和等離子體控制方法方面擁有幾十年的經驗。DeepMind是一家在2014年被Google收購的科學發現公司，致力於“解決智能問題，推動科學和人類發展”。他們共同開發了一種基於深度強化學習的新的等離子體磁控制方法，並在SPC的託卡馬克研究設施TCV中首次將其應用於真實世界的等離子體。他們的研究剛剛發表在《自然》雜誌上。

託卡馬克是用於進行核聚變研究的甜甜圈形狀的設備，SPC是世界上少數幾個擁有一個正在運行的研究中心之一。這些設備利用強大的磁場將等離子體限制在極高的溫度下–數億攝氏度，甚至比太陽核心還要熱–以便在氫原子之間發生核聚變。核聚變釋放的能量正在被研究用於發電。SPC的託卡馬克裝置的獨特之處在於它允許各種等離子體配置，因此它被稱為可變配置託卡馬克（TCV）。這意味著科學家可以用它來研究限制和控制等離子體的新方法。一個等離子體的配置與它的形狀和在設備中的位置有關。

託卡馬克裝置通過一系列磁線圈形成和維持等離子體，這些磁線圈的設置，特別是電壓，必須得到仔細控制。否則，等離子體可能會與容器壁發生碰撞並惡化。為了防止這種情況發生，SPC的研究人員在TCV託卡馬克中使用之前，首先在一個模擬器上測試他們的控制系統配置。“我們的模擬器是基於20多年的研究，並不斷地更新，”SPC的科學家和該研究的共同作者Federico Felici說。“但即便如此，仍然需要長時間的計算來確定控制系統中每個變量的正確值。這就是我們與DeepMind的聯合研究項目的意義所在。”

DeepMind的專家們開發了一種可以創建和維護特定等離子體配置的人工智能算法，並在SPC的模擬器上對其進行訓練。這包括首先讓該算法在模擬中嘗試許多不同的控制策略，並收集經驗。根據收集的經驗，該算法產生了一個控制策略，以產生所要求的等離子體配置。這包括首先讓該算法通過一些不同的設置運行，並分析每個設置所產生的等離子體配置。然後，該算法被要求以另一種方式工作–通過識別正確的設置來產生特定的等離子體配置。經過訓練後，基於人工智能的系統能夠創建並維持廣泛的等離子體形狀和高級配置，包括在容器中同時維持兩個獨立的等離子體。最後，研究小組在託卡馬克上直接測試了他們的新系統，以了解它在真實世界條件下的表現。

SPC與DeepMind的合作可以追溯到2018年，當時Felici在該公司倫敦總部的黑客馬拉松大賽上第一次見到DeepMind的科學家。他在那裡解釋了他的研究小組的託卡馬克磁控問題。“DeepMind立即對在核聚變等領域測試他們的人工智能技術的前景感興趣，特別是在託卡馬克這樣的真實世界系統上，”Felici說。DeepMind的控制團隊負責人、該研究的共同作者Martin Riedmiller補充說：“我們團隊的任務是研究新一代的人工智能係統–閉環控制器–能夠完全從頭在復雜的動態環境中學習。在現實世界中控制核聚變等離子體提供了夢幻般的機會，儘管它極具挑戰性和復雜性。”

一次雙贏的合作

在與Felici交談後，DeepMind提出與SPC合作，為其託卡馬克裝置開發一個基於人工智能的控制系統。“我們立即同意了這個想法，因為我們看到了創新的巨大潛力，”SPC主任和該研究的共同作者Ambrogio Fasoli說。“所有與我們合作的DeepMind科學家都非常熱情，對在控制系統中實施人工智能有很多了解。” Fasoli則對DeepMind在短時間內集中精力於某一項目所能做出的驚人之舉印象深刻。

DeepMind也從這個聯合研究項目中得到了很多，說明了採取多學科方法對雙方的好處。DeepMind的高級研究工程師、該研究的共同作者Brendan Tracey說：“與SPC的合作推動了我們改進強化學習算法，並因此可以加速融合等離子體的研究。”

這個項目應該為EPFL尋求與外部組織的其他聯合研發機會鋪平道路。Fasoli說：“我們總是對創新的雙贏合作持開放態度，在這種合作中我們可以分享想法和探索新的觀點，從而加快技術發展的步伐。”