調試機器學習模型並非易事，Uber官方博客稱“人們通常將20％的精力用於建立初始工作模型，而80％的精力用於改善模型性能”。為此，他們開發並開源了Manifold，這是一款用於機器學習的視覺調試工具，可用於診斷並調試機器學習模型中的問題。

Manifold 能夠通過顯示性能較好和較差的數據子集之間的特徵分佈差異來解釋模型性能不佳的潛在原因。並且，它可以顯示幾個候選模型對於每個數據子集具有何種不同的預測精度，從而為諸如模型集成之類的高級處理提供了依據。

第一個開源版本的Manifold 中添加了各種功能，包括：

• 與模型無關的通用二進制分類和回歸模型調試支持。用戶將能夠分析和比較各種算法類型的模型，從而使他們能夠區分各種數據片的性能差異。
• 對錶格化要素輸入的可視化支持，包括數字，分類和地理空間要素類型。使用每個數據切片的特徵值分佈信息，用戶可以更好地了解某些性能問題的潛在原因，例如，模型的預測損失與其數據點的地理位置和分佈之間是否存在任何關聯。

• 與Jupyter Notebook集成。通過這種集成，Manifold接受數據輸入作為Pandas DataFrame對象，並在Jupyter中呈現此數據的可視化。由於Jupyter Notebook是數據科學家和ML工程師使用最廣泛的數據科學平台之一，因此該集成使用戶能夠在不中斷正常工作流程的情況下分析其模型。

• 基於每個實例的預測損失和其他特徵值的交互式數據切片和性能比較。用戶將能夠基於預測損失、地面真實性或其他感興趣的特徵對數據進行切片和查詢。該功能將使用戶能夠通過通用的數據切片邏輯快速驗證或拒絕其假設。

更多介紹可查看Uber官方博客：https://eng.uber.com/manifold-open-source/