研究人員利用人工智能實時發現隱藏在海量數據中的異常現象
識別國家電網的故障就像在一個巨大的干草堆裡找一根針。分佈在美國各地的數十萬個相互關聯的傳感器實時捕捉電流、電壓和其他關鍵信息的數據,往往每秒鐘進行多次記錄。麻省理工學院IBM沃森人工智能實驗室的研究人員已經設計出一種計算效率高的方法,可以實時自動確定這些數據流中的異常情況。
他們證明了他們的人工智能方法,學會了對電網的互聯性進行建模,在檢測這些故障方面比其他一些流行的技術要好得多。由於他們開發的機器學習模型不需要關於電網異常的註釋數據來進行訓練,它將更容易應用於高質量、有標記的數據集往往難以獲得的現實世界。該模型也很靈活,可以應用於其他有大量互聯傳感器收集和報告數據的情況,如交通監控系統。例如,它可以識別交通瓶頸或揭示交通堵塞是如何串聯的。
研究人員首先將異常現象定義為發生概率較低的事件,如電壓的突然飆升。他們將電網數據視為概率分佈,因此,如果他們能估計出概率密度,就能確定數據集中的低密度值。那些最不可能發生的數據點對應於異常點。
估算這些概率不是一件容易的事,特別是由於每個樣本捕獲了多個時間序列,而每個時間序列是一組隨時間記錄的多維度數據點。另外,捕獲所有這些數據的傳感器是有條件的,這意味著它們是以某種配置連接的,一個傳感器有時會影響其他傳感器。
為了學習數據的複雜條件概率分佈,研究人員使用了一種特殊類型的深度學習模型,稱為歸一化流,它在估計樣本的概率密度方面特別有效。他們使用一種被稱為貝葉斯網絡的圖來增強該歸一化流模型,該模型可以學習不同傳感器之間複雜的因果關係結構。種圖結構使研究人員能夠看到數據中的模式並更準確地估計異常情況。