麻省理工學院林肯實驗室（MIT Lincoln Laboratory）的一項研究表明，儘管形式規範具有數學上的精確性，但人類並不一定能對其進行解釋。參與者在使用這些規範驗證人工智慧行為時遇到了困難，這表明理論主張與實際理解之間存在差異。研究結果凸顯了對人工智慧可解釋性進行更現實評估的必要性。

一些研究人員認為，正式規範是自主系統向人類”解釋自己”的一種方式。但一項新的研究發現，我們並不理解。

隨著自主系統和人工智慧在日常生活中越來越常見，新的方法正在出現，以幫助人類檢查這些系統的行為是否符合預期。其中一種方法稱為”形式化規範”，它所使用的數學公式可以轉換為自然語言表達。一些研究人員聲稱，這種方法可用於以人類可解釋的方式闡明人工智慧將做出的決定。

麻省理工學院林肯實驗室的研究人員希望驗證這種可解釋性的說法。他們的研究結果恰恰相反： 形式化規範似乎無法被人類解讀。在該團隊的研究中，參與者被要求檢查人工智慧代理的計劃是否能在虛擬遊戲中取得成功。當參與者看到計劃的正式說明時，正確率不到一半。

一項研究發現，人類很難理解形式化規範的輸出，而一些研究人員聲稱，這種方法可以用來讓人類解釋人工智慧決策。圖片來源：Bryan Mastergeorge

「對於那些一直聲稱形式化方法可以為系統提供可解釋性的研究人員來說，這一結果是個壞消息。」實驗室人工智慧技術小組的研究員蕭浩生（Hosea Siu）說：」在某種有限和抽象的意義上，這可能是正確的，但對於任何接近實際的系統驗證來說都不是。」該小組的論文已被本月初舉行的2023 年國際智慧機器人與系統大會錄用。

可解釋性的重要性

可解釋性之所以重要，是因為它能讓人類在現實世界中使用機器時對其產生信任。如果機器人或人工智慧能夠解釋自己的行為，那麼人類就可以決定是否需要對其進行調整，或者是否可以相信它能做出公平的決定。一個可解釋的系統還能讓技術使用者–而不僅僅是開發者–理解並信任其能力。然而，長期以來，可解釋性一直是人工智慧和自主領域的難題。機器學習過程是在一個”黑盒子”中進行的，因此模型開發人員往往無法解釋系統為何或如何做出某個決定。

“當研究人員說’我們的機器學習系統很準確’時，我們會問’有多準確’和’使用了哪些數據’，如果沒有提供這些信息，我們就會拒絕這種說法。當研究人員說’我們的機器學習系統是可解釋的’時，我們並沒有這麼做，我們需要開始對這些說法進行更嚴格的審查，”Siu 說。

翻譯規範的挑戰

在實驗中，研究人員試圖確定正式的規範是否能使系統的行為更具解釋性。他們關注的重點是人們使用這些規範來驗證系統的能力，也就是了解系統是否總是能滿足使用者的目標。

將形式化規範用於此目的，本質上是其最初用途的副產品。形式化規範是一系列更廣泛的形式化方法的一部分，這些方法使用邏輯表達式作為數學框架來描述模型的行為。由於模型是建立在邏輯流程基礎上的，工程師可以使用”模型檢查器”對系統的事實進行數學證明，包括系統何時可能完成任務，何時不可能完成任務。現在，研究人員正試圖將同樣的框架用作人類的轉化工具。

“研究人員混淆了這樣一個事實：形式化規範具有精確的語義，而人類可以對其進行解釋。這不是一回事，”Siu 說。”我們意識到，幾乎沒有人檢查人們是否真正理解了輸出結果。”

在團隊的實驗中，參與者被要求用一個玩奪旗遊戲的機器人驗證一組相當簡單的行為，基本上是回答”如果機器人完全遵循這些規則，它是否總是贏？”

參與者中既有形式化方法專家，也有非專家。他們透過三種方式獲得了形式規範–“原始”邏輯公式、翻譯成更接近自然語言的公式以及決策樹格式。在人工智慧領域，決策樹通常被認為是展示人工智慧或機器人決策的一種人類可理解的方式。

結果是整體而言，驗證表現相當糟糕，無論採用哪種表現形式，準確率都在45%左右。

過度自信和誤解

以前接受過正規規範訓練的人的表現只比新手稍好一些。但是，專家們對自己的答案更有信心，無論正確與否。總的來說，人們傾向於過度相信擺在他們面前的規範的正確性，這意味著他們忽略了允許遊戲失敗的規則集。研究人員說，這種確認偏誤對於系統驗證尤其重要，因為人們更容易忽略故障模式。

“我們不認為這一結果意味著我們應該放棄用正式規範來向人們解釋系統行為。但我們確實認為，在設計如何向人們展示這些規範以及人們使用這些規範的工作流程方面，還需要做更多的工作，”Siu 補充說。

在考慮為什麼實驗結果如此糟糕時，Siu 意識到，即使是使用正式方法的人也沒有受過訓練，無法按照實驗的要求檢查規範。而且，思考一套規則可能產生的所有結果也很困難。即便如此，向參與者展示的規則集還是很短，只相當於一段文字，”比你在任何真實系統中遇到的規則都要短得多，”Siu 說。

該團隊並不打算將他們的研究結果直接與人類在真實機器人驗證中的表現聯繫起來。相反，他們的目標是以這些結果為起點，考慮形式邏輯界在宣稱可解釋性時可能會遺漏什麼，以及這種宣稱在現實世界中會如何體現。

未來影響與研究

這項研究是Siu 和隊友們正在進行的一個更大項目的一部分，該項目旨在改善機器人與人類操作員（尤其是軍事操作員）之間的關係。機器人編程過程往往會將操作人員排除在外。本著提高可解釋性和信任度的類似目標，該計畫正試圖讓操作員以類似於訓練人類的方式直接向機器人教授任務。這個過程既能增強操作員對機器人的信心，也能提高機器人的適應力。

最終，他們希望這項研究的結果和他們正在進行的研究能更好地應用自主性，因為自主性會越來越深入人類的生活和決策。

Siu補充說：”我們的研究結果表明，在過度宣稱自主性和人工智慧對人類的實用性之前，有必要對某些系統和概念進行人類評估。”