Nature重磅:AI提前7天預測洪水每年挽救數千人生命
升級洪水預警系統,每年可挽救數千人的生命。洪水是最常見的天災類型,全球有近15 億人(約佔世界人口的19%)直接面臨嚴重洪水事件的巨大風險。洪水也造成巨大的物質損失,每年造成全球經濟損失約500 億美元。
近年來,人類造成的氣候變遷進一步增加了一些地區的洪水頻率。然而,目前的預報方法主要依賴沿河而建的觀測站,其在全球的分佈並不均勻,這就導致未經測量的河流更難預報,其負面影響主要體現在發展中國家。升級預警系統,使這些人群能夠獲得準確、及時的訊息,每年可以挽救數千人的生命。
那麼,如何在全球範圍內進行可靠的洪水預報?人工智慧(AI)模式或許大有可為。
如今,來自Google Research 洪水預測團隊的Grey Nearing 及其同事開發的人工智慧模型,透過利用現有的5680 個測量儀進行訓練,可預測未測量流域在7 天預測期內的日徑流。
隨後,他們將人工智慧模型與全球領先的短期和長期洪水預測軟體——全球洪水預警系統(GloFAS)進行了比較測試。結果顯示,模型同日預測準確率與目前系統相當甚至更高。
此外,該模型在預測重現視窗(return window)期為五年的極端天氣事件時,其準確性與GloFAS 預測重現窗口期為一年的事件時的準確性相當或更高。
相關研究論文以「Global prediction of extreme floods in ungauged watersheds」為題,已發表在權威科學期刊Nature 上。
研究團隊表示,該模型能對未測流盆地的小規模和極端洪水事件做出預警,且預警期比之前的方法都更長,並可提高發展中地區獲得可靠洪水預報的機會。
提前7天,AI是如何做到的?
那麼,這款人工智慧模型如何能給出可靠的洪水預報呢?
根據論文描述,研究使用了一種稱為長短期記憶(LSTM)網路的人工智慧模型來進行河流流量的預測。這個模型的設計有點像我們的大腦,它可以從一系列的氣象資料中學習並預測未來的河流流量,分成編碼器和解碼器兩部分。
圖|基於LSTM 的河流預報模型架構。兩個LSTM 依序應用,一個接收歷史天氣數據,另一個接收預測天氣數據。模型輸出為每個預報時間步的流量機率分佈參數。
首先,編碼器負責從上一段時間內的氣象資料中提取訊息,它從過去的天氣狀況中理解河流流量的變化。它將歷史氣象資料轉化為可供解碼器使用的資訊形式的作用。透過學習氣象資料中的特徵和時間模式,模型對過去氣象情況形成抽象理解,為後續的流量預測提供了關鍵性的輸入。
編碼器則透過接收一系列氣象資料(例如降水量、溫度、輻射等)作為輸入,學習如何擷取這些資料中的關鍵特徵資訊。這些特徵資訊可能包括季節性變化、氣象事件(如暴雨、高溫等)以及它們對河流流量的影響。
同時,編碼器能夠捕捉氣象資料之間的時間依賴關係。這意味著它不僅考慮當下時刻的氣象情況,還考慮了先前一段時間內的氣象變化趨勢。透過對歷史資料的學習,編碼器能夠理解氣象資料的時間序列模式,並將其納入模型中。
在編碼器中,LSTM 網路被用來處理時間序列資料。LSTM 具有內部記憶單元,可以記住過去的訊息,並根據當前的輸入來更新內部狀態。這使得編碼器能夠在處理長期依賴關係時表現優異,並在建模過程中保留重要的歷史資訊。
最終,編碼器將歷史氣象資料轉化為一個潛在的表示形式,這個表示形式包含了對過去氣象情況的理解和總結。這個表示形式是編碼器的輸出,並傳遞給解碼器,用於未來流量的預測。
然後,解碼器部分使用這些資訊來預測未來幾天的河流流量。它考慮了目前的氣象預報,以及過去的天氣對未來流量的影響。這樣,就可以得到未來一週的流量預測。
解碼器在模型中負責將歷史氣象資訊和未來預測結合起來,產生對未來河流流量的預測,並輸出相應的流量機率分佈。
解碼器首先接收來自編碼器的潛在表示形式,這個表示形式包含了歷史氣象資料的抽象理解。解碼器利用這些資訊來理解過去的氣象條件對河川流量的影響,並建立起歷史資料與未來預測之間的連結。
解碼器同時接收未來的氣象預測資料作為輸入。這些預測數據通常包括了未來幾天的降水量、溫度等氣象指標。解碼器將歷史資訊和未來預測結合起來,透過學習它們之間的關係來預測未來的河流流量。
在了解歷史氣象條件和未來預測之後,解碼器透過一個獨立的LSTM 網路來產生對未來河流流量的預測。這個網路可以理解為一個時間序列的生成器,根據過去的資訊和未來的預測來產生流量序列。
解碼器不僅預測未來的河流流量值,還輸出一個機率分佈。具體來說,模型使用一個單邊拉普拉斯分佈來描述流量的不確定性,預測每個時間步的流量值時,輸出一個單邊拉普拉斯分佈的參數,而不是一個確定的值。這使得模型能夠考慮到流量預測的不確定性,為決策提供了更多的資訊。
最終的流量預測結果是透過整合多個解碼器模型的輸出得到的。模型使用了三個獨立訓練的解碼器LSTM 網絡,然後將它們的預測結果取中位數,從而減少預測的變異數並提高預測的穩定性。
真實效果怎麼樣?
研究人員收集了大量的氣象數據和河流流量數據,來訓練這個模型。這些數據來自於不同的數據來源,包括氣象預報、歷史記錄和地理資訊。透過將數據標準化處理,模型得以正確理解它們。
然後,將資料分成兩種類型:訓練集和測試集。訓練集用於訓練模型,而測試集則用於評估模型的表現。研究人員使用了一種「交叉驗證」的方法,以確保模型在不同的時間和地點都能夠有效地工作。
最後,研究團隊評估了模型的效能,並與現有的流量預測模型進行了比較。
研究團隊採用了常見的誤差指標來量化模型預測值與實際觀測值之間的差異。由於模型預測的不只是未來流量的具體數值,而且還給出了流量預測的不確定性,因此他們使用了機率積分變換(PIT)圖來評估預測分佈的準確性。
研究團隊也透過與其他流量預測模型的比較來評估所提出模型的表現。這包括了傳統的實體模型和其他機器學習模型。透過比較不同模型的誤差指標,可以直觀地展示所提模型在準確性和可靠性上的優勢。
另外,研究團隊也採用了特定的流域或河流作為案例研究,應用模型於實際情境中,並詳細分析模型在不同季節、不同氣候條件下的預測表現。這有助於評估模型在實際應用上的可行性和穩定性。
除了量化指標,研究團隊也對模型預測的不確定性進行了深入分析。這包括評估不同來源的不確定性(如輸入資料的不確定性、模型結構的不確定性等)對預測結果的影響,以及模型如何在存在不確定性的情況下仍然提供有用的預測。
結果顯示,模型展現了較高的精確度和召回率,尤其是對於短期回報週期的事件。這意味著模型能夠準確地識別出洪水事件,並且錯過的事件較少。
結合精確度和召回率,模型在不同回報週期的事件上獲得了較高的F1 score,顯示了其在準確性和全面性之間取得了良好的平衡。
此外,透過雙側Wilcoxon 符號秩檢驗,模型的預測結果在統計上顯著優於基準模型。這證明了模型在洪水預測方面的有效性。
Cohen’s d 指標顯示,模型表現改進的效果是顯著的,這進一步驗證了模型相對於傳統方法的優勢。
在Nash–Sutcliffe 效率和Kling-Gupta 效率等水文指標上,模型同樣顯示了良好的預測精度和對水文過程變化的敏感度。
不足與展望
然而,該研究也存在一些限制。
例如,實驗採用的樣本可能較小,限制了研究結果的普遍適用性和統計功效。研究所使用的資料集的多樣性存在不足,這可能影響模型的泛化能力。採用的模型複雜度較高,可能導致計算成本增加並限制了其可解釋性和便利性。
另外,研究聚焦於特定任務或領域,可能限制了方法的廣泛應用;這個方法缺乏長期影響的評估,使得對模型隨時間變化的表現理解不足,評估標準可能無法全面反映模型性能;且對現有技術的改進程度可能相對有限。
對此,研究團隊表示,未來的工作需要進一步將洪水預報的覆蓋範圍擴大到全球更多地點,以及其他類型的洪水相關事件和災害,包括山洪和城市洪水。人工智慧技術也將繼續發揮關鍵作用,幫助推動科學研究,促進氣候行動。