蘋果公司的跨平台Siri虛擬助手在全球有著超過5億用戶，顯然，語音識別是蘋果感興趣的重要領域之一。上週，蘋果公司發表了一系列預印本研究論文，就如何改進語音觸發檢測和說話人驗證，以及多說話人的語言識別技術進行了研究。

揚聲器驗證和語音觸發檢測

在第一篇論文中，一組蘋果研究人員提出了一個訓練過的人工智能模型，這個模型既能執行自動語音識別任務，也能執行說話人識別任務。

正如他們在摘要中所解釋的，語音助手識別的命令通常以觸發短語（例如，“嘿，Siri”）為前綴，檢測這個觸發短語涉及兩個步驟。

首先，人工智能必須判斷輸入音頻中的語音內容是否與觸發短語的語音內容相匹配（語音觸發檢測）；其次，人工智能必須判斷說話者的語音是否與註冊用戶或用戶的語音相匹配（語音驗證）。

通常情況下，這兩項任務都是被獨立考慮的。但有合著者假設，對語音發起者的了解可能有助於推斷出聲音信號中的語音內容，反之亦然，這將有助於對這兩種屬性進行評估。

對此，研究人員設計了三套能夠學習語音和說話人信息的模型，並對一組數據進行訓練，這些數據包含超過16000 小時的帶註釋的樣本，其中5000 小時的音頻有語音標籤（其餘的為說話人標籤）。

不僅如此，還有超過100名受試者使用智能揚聲器設備在一系列聲學設置中為語料庫做出貢獻，包括安靜的房間、來自房間內電視或廚房設備的外部噪音，以及錄音機以大音量播放音樂。

值得一提的是，來自電視、廣播和播客的2000 小時不包含觸發短語的連續音頻記錄也被添加進來，以此來測量“誤報”率。

這些模型顯示出了學習語音和說話人信息的能力，同時在相同數量的參數下（控制訓練過程某些屬性的變量），每個任務的準確性至少與基線模型相同。

事實上，在提出的三種模型中，有一種在“多重”設置下的表現優於說話者驗證基線，在文本無關的任務中相對於基線提高了7.6%。

研究人員認為，這樣的實驗結果是十分有趣的，因為這些模型是使用不相關的數據集訓練的，也就是說，每個音頻樣本要么有語音標籤，要么有說話人標籤，從來沒有兩者都有。

通過對結果的觀察，研究人員提出了一種靈活的設計，通過連接不同的任務的訓練數據，而不是為每個訓練示例獲取多個標籤，從而在多個相關任務上訓練模型。從實用的角度來看，這樣能夠在兩個任務之間共享計算可以節省設備內存、計算時間或延遲，以及消耗的電量/電池。

錯誤觸發緩解

在研究中，有一項補充研究減少了錯誤觸發的發生，也就是說，語音助手有意地忽略了像Siri 這樣的語音助手的語音。

研究人員表示，他們使用了圖形神經網絡（GNN），這是一種操作在圖形結構上的人工智能模型，其中每個節點都與一個標籤相關聯，目標是在沒有基礎事實的情況下預測節點的標籤。

在論文中，研究人員寫道：

語音觸發的智能助手通常在開始監聽用戶請求之前就會檢測到一個觸發短語……錯誤的觸發通常來自於背景噪音或聽起來類似於觸發短語的語音。因此，減少誤觸發是構建以隱私為中心的非侵入性智能助手的一個重要方面。

在未來的工作中，該團隊計劃將基於GNN 的處理擴展到其他任務，例如用戶意圖分類。

多語種說話人識別

在另一篇論文中，蘋果研究人員探索了一種針對多語言使用者量身定制的說話人語言識別系統。

他們表示，語音識別系統對大多數語言都有很高的準確性。但是，當有多重語言出現時，這個語言識別系統的表現就不盡如人意了。因此，基於這樣的實施情況，研究人員決定開展說話人語言識別系統的工作。

值得注意的是，《華盛頓郵報》近期委託進行的一項研究顯示，谷歌和亞馬遜生產的受歡迎的智能音箱聽懂本土用戶的語音比聽懂非美式口音的概率高出了30%。

同時，像Switchboard這樣的語料庫也已經被證明對來自國內特定地區的使用者存在可測量的傾斜，這個語料庫還是被IBM和微軟等公司用來衡量語音模型錯誤率的數據集。

針對這種情況，合著者將有關使用模式的知識整合到一個聽寫系統中，該系統能夠為來自60 多個地區的演講者做出決策。

其中，聲學子模型將根據語音信號所傳遞的證據進行預測，而上下文感知預測組件則考慮了各種交互上下文信號，通過這兩方面的預測，來選擇最優的單語自動語音識別系統。

據了解，上下文信號包含了有關發出聽寫請求的條件的信息，包括有關已安裝的聽寫區域、當前選擇的聽寫區域以及用戶在發出請求之前是否切換了聽寫區域的信息。

重要的是，它們有助於在語音信號太短的情況下，依靠聲學模型產生一個可靠的預測。比如說，如果用戶同時安裝了英語和德語，像“naIn ”這樣的短而模糊的語句，在德語中可能是否定的“nein”，在英語中則是數字“nine”。

另外，為了評估該系統，研究人員還開發了一種自定義指標，稱為“平均用戶準確度”（AUA，Average User Accuracy），他們認為這種指標能更好地反映模型中的“人口水平”使用模式。

通過對多語言使用者的128,000 個具有相應交互上下文信息的聽寫話語的內部語料庫進行嚴格訓練，它在所有語言組合中實現了平均87% 的準確性，同時將最差情況下的準確性相對於基線提高了60% 以上。

此外，在團隊調整參數以平衡準確性和延遲與在設備上運行模型的計算負載之後，平均延遲從2 秒減少到1.2 秒，而對AUA 的影響不超過0.05%。