研究人員開發的一項新技術將機器學習模型的推理與人類的推理進行比較，因此用戶可以看到模型的行為模式。在機器學習中，理解一個模型為什麼做出某些決定往往與這些決定是否正確一樣重要。例如，機器學習模型可能會正確預測一個皮膚病變是癌症，但它可能是通過臨床照片上一個不相關的點來完成的。

雖然有工具可以幫助專家理解模型的推理，但這些方法往往一次只能提供一個決策的見解，而且每個決策都必須經過人工評估。模型通常使用數百萬的數據輸入進行訓練，使得人類幾乎不可能評估足夠多的決定來識別模式。

現在，麻省理工學院和IBM研究院的研究人員創造了一種方法，使用戶能夠對這些單獨的解釋進行匯總、分類和排序，以快速分析機器學習模型的行為。他們的技術被稱為“共享興趣”（ Shared Interest），它包含了可量化的指標，可以比較一個模型的推理與人類的推理的匹配程度。

Shared Interest可以幫助用戶輕鬆發現模型決策中的相關趨勢–例如，也許模型經常被分散注意力的不相關特徵所迷惑，比如照片中的背景物體。匯總這些洞察力可以幫助用戶快速和定量地確定一個模型是否值得信賴，是否可以在真實世界中部署。

“在開發Shared Interest的過程中，我們的目標是能夠擴大這個分析過程，這樣你就可以在更大的範圍內了解你的模型的行為是什麼，”主要作者Angie Boggust說，她是MIT計算機科學和人工智能實驗室（CSAIL）可視化小組的研究生。

Boggust與她的導師Arvind Satyanarayan（領導可視化小組的計算機科學副教授）以及IBM研究院的Benjamin Hoover和資深作者Hendrik Strobelt共同撰寫了這篇論文。該論文將在計算系統中的人的因素會議上發表。

Boggust在IBM的暑期實習期間，在Strobelt的指導下開始了這個項目的工作。回到麻省理工學院後，Boggust和Satyanarayan擴大了該項目，並繼續與Strobelt和Hoover合作，他們幫助部署了案例研究，展示了該技術如何在實踐中使用。

人類與人工智能的協調

Shared Interest利用流行的技术来显示机器学习模型是如何做出具体决定的，即所谓的突出性方法。如果该模型是对图像进行分类，突出显示图像中对该模型做出决定的重要区域。这些区域被可视化为一种热图，称为显著性图，通常被覆盖在原始图像上。如果模型将图像归类为狗，而狗的头部被高亮显示，这意味着当模型决定该图像包含一只狗时，这些像素对它很重要。

Shared Interest的工作方式是将突出度方法与地面真实数据进行比较。在一个图像数据集中，地面真实数据通常是人类生成的注释，围绕着每张图像的相关部分。在前面的例子中，方框将围绕着照片中的整只狗。在评估一个图像分类模型时，Shared Interest比较了同一图像的模型生成的显著性数据和人类生成的地面真实数据，看它们的一致性如何。

該技術使用幾個指標來量化這種一致性（或不一致），然後將一個特定的決定分為八個類別之一。這些類別的範圍從完全與人類對齊（模型做出了正確的預測，並且突出顯示的區域與人類生成的盒子相同）到完全分心（模型做出了錯誤的預測，並且沒有使用人類生成的盒子中的任何圖像特徵）。

“在光譜的一端，你的模型做出這個決定的原因與人類完全相同，而在光譜的另一端，你的模型和人類做出這個決定的原因完全不同。通過對你的數據集中的所有圖像進行量化，你可以用這種量化來對它們進行分類，”Boggust解釋說。

這項技術對基於文本的數據也有類似的作用，在這些數據中，關鍵詞被突出顯示，而不是圖像區域。

快速分析

研究人員用三個案例研究來說明Shared Interest如何對非專家和機器學習研究人員都有用。

在第一個案例研究中，他們使用Shared Interest來幫助一位皮膚科醫生確定他是否應該相信一個機器學習模型，該模型旨在幫助從皮膚病變的照片中診斷癌症。Shared Interest使皮膚科醫生能夠迅速看到該模型正確和錯誤預測的例子。最終，這位皮膚科醫生決定他不能相信這個模型，因為它根據圖像偽影而不是實際病變做出了太多的預測。

“這裡的價值在於，使用Shared Interest，我們能夠看到我們的模型行為中出現的這些模式。”Boggust說：“在大約半小時內，皮膚科醫生就能夠做出是否信任該模型以及是否部署該模型的自信決定。”

在第二個案例研究中，他們與一位機器學習研究人員合作，展示了Shared Interest如何通過揭示模型中以前未知的陷阱來評估一種特定的突出性方法。他們的技術使研究人員能夠在典型的人工方法所需時間的一小部分內分析數以千計的正確和錯誤的決定。

在第三個案例研究中，他們使用Shared Interest來深入研究一個特定的圖像分類例子。通過操縱圖像的真實區域，他們能夠進行假設分析，看看哪些圖像特徵對特定的預測最重要。

研究人員對Shared Interest在這些案例研究中的表現印象深刻，但Boggust警告說，該技術只和它所基於的突出性方法一樣好。如果這些技術包含偏見或不准確，那麼Shared Interest將繼承這些限制。

在未來，研究人員希望將Shared Interest應用於不同類型的數據，特別是用於醫療記錄的表格數據。他們還想用Shared Interest來幫助改善目前的突出性技術。Boggust希望這項研究能激發更多的工作，尋求以對人類有意義的方式量化機器學習模型的行為。