想像一下，在一架飛機上有兩位飛行員，一位是人類，一位是電腦。兩個人的”手”都放在控制器上，但他們總是專注於不同的事情。如果他們都在關注同一件事，人類就能掌握方向盤。但如果人類分心或錯過了什麼，電腦就會迅速接管。將人類的直覺與機器的精確性結合在一起，在飛行員和飛機之間建立起更共生的關係。

有了Air-Guardian，電腦程式就能追蹤人類飛行員的視線（使用眼動追蹤技術），從而更了解飛行員在關注什麼。這有助於電腦根據飛行員正在做或打算做的事情做出更好的決策。圖片來源：Alex Shipps/MIT CSAIL via Midjourney

這就是麻省理工學院電腦科學與人工智慧實驗室（CSAIL）的研究人員所開發的”空中衛士”系統。現代飛行員需要應對來自多個監視器的大量訊息，尤其是在關鍵時刻，Air-Guardian 可以充當主動的副駕駛；這是人類與機器之間的合作關係，其根本在於理解注意力。

但它究竟是如何確定注意力的呢？對人類來說，它使用眼動跟踪，而對神經系統來說，它依賴於一種叫做”突出圖”的概念，它能精確定位注意力的方向。這些地圖可以作為視覺指南，突出顯示影像中的關鍵區域，幫助掌握和解讀複雜演算法的行為。Air-Guardian 透過這些注意力標記來識別潛在風險的早期跡象，而不是像傳統的自動駕駛系統那樣，只在出現安全漏洞時才進行幹預。

該系統的廣泛影響超越了航空領域。有朝一日，類似的合作控制機制可能會用於汽車、無人機和更廣泛的機器人領域。

麻省理工學院CSAIL 博士後Lianhao Yin 是Air-Guardian 的新論文的第一作者，他說：”我們的方法有一個令人興奮的特點，那就是它的可區分性。我們的合作層和整個端到端過程都可以訓練。我們特別選擇了因果連續深度神經網路模型，因為它在映射注意力方面具有動態特性。另一個獨特之處在於適應性。Air-Guardian 系統並不死板，它可以根據實際情況進行調整，確保人機之間的平衡合作。”

實地測試和結果

在實地測試中，飛行員和系統在導航到目標航點時都根據相同的原始影像做出了決定。Air-Guardian 的成功是根據飛行過程中獲得的累積獎勵和到達航點的較短路徑來衡量的。監護人降低了飛行的風險水平，並提高了導航到目標點的成功率。

麻省理工學院CSAIL 研究機構成員、液態神經網路發明人拉明-哈桑尼（Ramin Hasani）補充說：「該系統代表了以人為本的人工智慧航空創新方法。我們使用液態神經網路提供了一種動態、自適應的方法，確保人工智慧不會僅僅取代人類的判斷，而是對人類判斷的補充，從而提高天空中的安全性和協作性。”

技術基礎與未來展望

Air-Guardian 的真正優勢在於其基礎技術。它採用基於最佳化的合作層，利用人類和機器的視覺注意力，以及以擅長破解因果關係而聞名的液態閉式連續時間神經網路（CfC），分析傳入的圖像以獲取重要資訊。作為補充，VisualBackProp 演算法可識別系統在影像中的焦點，確保清晰了解其註意力圖譜。

要在未來廣泛應用，還需要完善人機介面。回饋資訊表明，一個指示器（如條形圖）可能會更直觀地顯示監護系統何時開始控制。

空中衛士預示著一個更安全的天空新時代的到來，它為人類注意力動搖的時刻提供了一個可靠的安全網。

麻省理工學院安德魯（1956）和埃爾納-維特比（Erna Viterbi）電機工程與計算機科學教授、CSAIL主任、論文資深作者丹妮拉-魯斯（Daniela Rus）說：”空中衛士系統突出了人類專長與機器學習之間的協同作用，進一步實現了在具有挑戰性的場景中利用機器學習來增強飛行員能力並減少操作失誤的目標。

哈佛大學電腦科學助理教授史蒂芬妮-吉爾（Stephanie Gil）說：「在這項工作中使用視覺注意力指標的最有趣的成果之一，就是有可能讓人類飛行員更早地進行幹預，並提高可解釋性。這展示了一個很好的例子，說明如何利用人工智慧與人類合作，透過利用人類與人工智慧系統之間的自然交流機制，降低實現信任的門檻。”