谷歌開源LIT用於NLP模型的可視化交互式模型理解工具

語言可解釋性工具（Language Interpretability Tool，LIT）是 Google PAIR 研發的用於自然語言處理模型的可視化、交互式模型理解工具。通過基於瀏覽器的用戶界面，LIT 支持各種調試工作流。本文是語言可解釋性工具（Language Interpretability Tool，LIT）的用戶指南。

運行 LIT

有關如何啟動自己的 LIT 實例的詳細信息，請參閱開發指南。

總體佈局

LIT 位於一個單頁的 Web 應用程序中，由多個工具欄和一個由單獨模塊組成的主要部分構成。如果模塊適用於當前的模型和集，則將自動顯示；例如，僅當模型返回MulticlassPreds時，顯示分類結果的模塊才會顯示。有關更多詳細信息，請參閱開發指南。

一般來說，模塊佈局由兩個部分組成，即頂部和底部，由可拖動的分隔器來控制每個部分的高度。頂部包含一組模塊，始終在工具中顯示。這一部分通常用於對工具導航至關重要的主要模塊，例如數據表（Data Table）和數據點編輯器（Datapoint Editor）。底部由包含任意數量的單個模塊的選項卡組成。這一部分的選項卡通常按特定於任務的模塊集進行分組。

數據點選擇

LIT 顯示加載的數據集及其跨選定模型集的模型結果。用戶可以通過從數據集中選擇數據點來深入瞭解詳細的結果。

LIT 用戶需要註意兩個選擇概念。第一個概念是當前選擇，它由一個或多個數據點組成，這些數據點是通過一個交互模塊（如 Data Table、Embedding、Prediction Score 或 Confusion Matrix 模塊）選擇的。當在模塊中選擇一組數據點時，這種選擇與選擇工具欄一起反映在所有其他模塊中。例如，Metrics
模塊不僅顯示瞭整個數據集的模型度量，還顯示瞭當前選擇的數據點的模型度量。

第二個概念是主選擇。主選擇是當前選擇中的單個數據點，在側重於單一數據點的模塊（如 Datapoint Editor 和 Salience Maps 模塊）中對其進行更詳細的研究。如果當前選擇僅包含單個數據點，那麼該數據點也是主選擇。如果當前選擇包含多個數據點，主選擇默認為該選擇中的第一個數據點，但可以通過選擇工具欄中的箭頭控件或單擊選擇中的另一個數據點來更改。在 Data Table
模塊中，主選擇以深藍色突出顯示，其 ID 顯示在選擇工具欄中。

可以通過選擇工具欄將數據點的選擇保存為 “切片”（slice）。將選擇另存為一個切片，可以在將來輕松地導航回該選擇。它還允許跨數據點的子集比較度量，如 Metric 模塊部分所述。

工具欄

LIT 中有三個工具欄。頂部工具欄包括工具名稱和設置按鈕，下面的選擇工具欄，以及頁面底部的狀態欄。

全局設置

可以通過頂部工具欄中的設置圖標打開全局設置對話框。

LIT 可以與一組模型和數據集一起啟動。設置界面允許用戶選擇要分析的模型。可以對任意數量的模型進行分析，假設它們在使用的數據格式中兼容（即可以一起分析兩個不同的毒性分類器以進行比較）。一旦選擇一個或多個模型，就可以從與這些模型兼容的數據集中進行選擇。

設置對話框還包含用於隱藏任何模塊的控件。當分析不需要 LIT 包含的所有兼容模塊時，這可以幫助整理用戶界面。

最後，設置對話框包含用於保存和加載附加數據點的控件。如本指南後面所述（ 1 和 2 ），可以使用 LIT 通過手工編輯或者通過一些數據點生成器來創建新的數據點。如果要保存這些新數據點以便在 LIT 之外使用，或者在其他使用期間加載到 LIT，可以提供一個目錄來保存數據點，然後單擊 “Save new datapoints” 按鈕。對話框將顯示新數據點的位置，以及其中有多少個數據點。

要將這些保存的數據點加載到 LIT 會話中，隻需提供相同的路徑並單擊 “Load new datapoints” 即可。

選擇工具欄

選擇工具欄位於頂部工具欄的正下方，它包含許多不同的控件和信息。在工具欄的左側，它顯示加載的數據集中有多少個數據點，以及當前有多少個數據點被選中。顯示主選擇數據點的 ID，以及一個用於將此數據點標記為收藏的收藏按鈕。被收藏的數據點存儲在自動創建的
“Favorites”（收藏夾）切片中，可以在切片控件中訪問。如果隻選擇一個數據點，那麼工具欄中的左右箭頭按鈕允許在加載的數據集中循環選中所選的數據點。如果當前選擇的是一組數據點，那麼左右箭頭按鈕將空值哪些數據點是主選擇的數據點，並在當前選擇的數據點之間循環選中所選的。箭頭之間的 “Random”（隨機）按鈕允許選擇隨機數據點，而不是通過左右箭頭進行有序循環選擇。

選擇工具欄的右側包含許多控件。

切片

切片控件允許創建、編輯、選擇和刪除切片。通過給當前選擇命名並單擊 “Create slice” 按鈕，可以將當前選擇保存為切片。右側的下拉菜單允許你選擇任何以前保存的切片。這包括上面在選擇工具欄部分描述的 “Favorites” 切片。

特征復選框允許用戶在創建切片時通過輸入特征來對數進行分面（facet）。在下面的截圖中，我們創建瞭一個名為 “interesting” 的新切片，並選中瞭復選框，通過 “label” 特征進行分面。在這個例子中，“label” 特征是數據集中的一個特征，對於每個數據點來說，它描述瞭它在某個分類任務中屬於哪個真相（對於本二進制分類示例，可以是 “0” 或 “1”
）。因此，通過創建一個啟用這個復選框的切片，該工具實際上將創建兩個切片：一個名為 “interesting label:0” 的切片用於數據點，其標簽設置為 0，另一個名為 “interesting label:1” 的切片，其標簽設置為 “1”。

狀態欄

工具底部的狀態欄在左側包含一個文本區。如果該工具當前正在等待對後端的調用結果（例如運行預測或獲取嵌入），該信息將在狀態欄中顯示，同時顯示一個無法確定的進度欄，表明結果正處於等待狀態。如果對後端的調用失敗，有關失敗的信息將以紅色顯示在這個區域中，以指出錯誤，並且該信息將保存在狀態欄中，直到用戶通過錯誤單擊 “×” 按鈕來消除錯誤狀態的顯示。

比較模型

通過在全局設置空間中加載多個模型，LIT 可以比較多個模型。然後復制顯示每個模型信息的模塊子集，以便於在兩個模型之間進行比較。其他模塊，如 Embedding、Metric 模塊已更新，可以顯示來自所有模型的信息。

比較數據點

在選擇工具欄中切換 “Compare datapoints” 按鈕，將 LIT 置於數據點比較模式。在這種模式下，使用主數據點選擇作為參考數據點，任何後續的主數據點選擇設置都會導致它與參考數據點進行比較。引用數據點在數據表中以藍色邊框突出顯示。

就像比較模型一樣，某些模塊也是重復的，一個模塊顯示參考數據點，另一個模塊顯示主選擇數據點。

這樣就可以很容易地將模型結果與任何生成的反事實數據點或加載數據集的任何其他數據點進行比較。