如果美五角大樓要依靠演算法和AI，那麼它必須要解決「脆性AI」的問題。 該國負責情報、監視和偵察助理副參謀長Daniel Simpson最近說明瞭這一問題。 據瞭解，在最近的一次測試中，一個實驗性的目標識別程式在所有條件都完美的情況下表現良好，但一個微妙的調整卻使其性能表現急劇下降。

資料圖

Simpson表示，最初，AI是從一個感測器獲得數據–這個感測器以一個傾斜的角度尋找一枚地對地導彈，然後它從另一個感測器獲得數據–該感測器則以接近垂直的角度尋找多枚導彈。 “真讓人吃驚：該演算法的表現並不好。 實際上，它可能有25%的時間是準確的，”他說道。

這是一個有時被稱為脆弱AI的例子，根據研究人員和前海軍飛行員Missy Cummings於2020年公佈的一份報告瞭解到，當任何演算法不能概括或適應一套狹窄的假設之外的條件時就會發生這種情況。 Cummings指出，當用於訓練演算法的數據由來自一個獨特的有利位置的一種類型的圖像或感測器數據組成，而來自其他有利位置、距離或條件的數據不足時就會出現脆性。

在自動駕駛汽車實驗等環境中，研究人員將只是收集更多的數據用於訓練。 但在軍事環境中，這可能是非常困難的，因為那裡可能有大量的一種類型的數據–如高空衛星或無人機圖像，但其他類型的數據卻很少，因為它們在戰場上沒有用。

軍隊在試圖訓練某些物體識別任務的演算法時面臨著額外的障礙，與之相比，如公司為自動駕駛汽車訓練物體識別演算法。

越來越多的研究人員開始依賴所謂的「合成訓練數據」 ，就軍事目標定位軟體而言，這將是由真實數據人工生成的圖片或視頻以訓練演算法如何識別真實事物。

不過Simpson表示，演算法的低準確率並不是這項工作中最令人擔憂的部分。 雖然該演算法只有25%的時間是正確的，但他說道–“它有信心在90%的時間里是正確的，所以它有信心是錯誤的。 而這不是演算法的錯。 這是因為我們給它提供了錯誤的訓練數據。 ”

Simpson指出，這樣的結果並不意味著空軍應該停止追求AI的物體和目標檢測。 但它確實有在提醒人們，AI在以數據欺騙形式進行的對抗性行動面前是多麼得脆弱。 另外，它還表明，AI和人一樣可能會受到過度自信的影響。