Gartner確定2019年十大數據與分析技術趨勢
全球領先的信息技術研究和顧問公司Gartner指出,增強型分析(augmented analytics)、持續型智能(continuous intelligence)與可解釋型人工智能(explainable AI)是數據與分析(data and analytics)技術領域內的主要趨勢之一,並有可能在未來三到五年帶來重大顛覆。
Gartner研究副總裁Rita Sallam表示,數據與分析領導者必須考察這些趨勢對業務帶來的潛在影響,並相應調整業務模式與運營,否則將失去與他人競爭的優勢。
她指出:“從支持內部決策到持續型智能、信息產品以及任命首席數據官,數據和分析始終在不斷演化。深入了解推動這一演化的的技術趨勢並根據業務價值對其加以優先排序,至關重要。”
Gartner副總裁兼傑出分析師Donald Feinberg認為,數字化顛覆帶來的挑戰——即數據太多,同樣也創造了前所未有的機遇。由雲驅動的海量數據將實現更強大的處理能力,意味著現在可以大規模訓練與執行算法,最終發揮出人工智能的全部潛力。
Feinberg先生表示:“數據的規模、複雜性與分散性質,以及數字化業務所需要的行動速度與持續型智能,意味著僵化且集中的架構與工具將會分崩離析。任何企業的長久生存都將取決於能夠響應各種變化的以數據為中心的靈活架構。”
Gartner建議數據及分析領導者與高級業務領導一同討論他們至關重要的業務優先事項,並探索如何利用以下主要趨勢獲得競爭優勢。
趨勢一:增強型分析
增強型分析是數據與分析市場內的下一波顛覆性技術。它利用機器學習(ML)與人工智能改變分析內容的、消費與共享方式。
到2020年,增強型分析將成為分析與商業智能(analytics and BI)、數據科學與機器學習平台(data science and ML platforms)以及嵌入式分析新增購買的主要驅動力。數據與分析領導者應在平台功能逐漸成熟時採用增強型分析。
趨勢二:增強型數據管理
增強型數據管理利用機器學習功能和人工智能引擎來生成企業信息管理類別,其中包括數據質量、元數據管理、主數據管理、數據集成以及管理系統(DBMS)自我配置與自我調整。它可以自動執行許多手動任務,便於不太精通技術的用戶能夠更加自主地使用數據,同時也讓高技能的技術人員專注於價值更高的任務。
增強型數據管理將以往僅用於審計、沿襲及報告的元數據轉而支持動態系統。元數據正在從被動走向主動,並且正在成為所有人工智能/機器學習的主要驅動因素。
到2022年底,通過加入機器學習與自動化的服務級管理,數據管理手動任務將減少45%。
趨勢三:持續型智能
到2022年,超過一半的重要新業務系統將嵌入持續型智能,使用實時情景數據改善決策。
持續型智能是一種設計模式,其中實時分析與業務運營相結合,處理當前與歷史數據,以便為事件響應行動提供建議。它能夠實現自動化決策或為決策提供支持。持續型智能採用多種技術,如:增強型分析、事件流處理、優化、業務規則管理以及機器學習。
Sallam女生表示:“持續型智能讓數據與分析團隊的工作發生重大變化。這既是一個巨大的挑戰,也是一個極大的機會,因為分析與商業智能團隊可以在2019年幫助企業做出更明智的實時決策。它可以被視作一種終極運營型商業智能。”
趨勢四:可解釋型人工智能
人工智能模型越來越多地被用於增強與代替人類決策。但在某些情況下,企業必須證明這些模型是如何做出決策的。為了與用戶及權益方建立信任,此類應用的領導者必須讓這些模型變得更易解讀與更易理解。
不幸的是,大多數這些先進的人工智能模型都是複雜的黑盒子,無法解釋為何提出了某條具體建議或決策。而數據科學和機器學習平台中的可解釋型人工智能將運用自然語言從準確性、屬性、模型統計及特性等方面自動生成模型提供解釋說明。
趨勢五:圖形
圖形分析(graph analytics)是一系列可用於探索企業機構、人員與交易等相關實體間關係的分析技術。
2022年前,圖形處理和圖形數據庫管理系統的應用將以每年100%的速度快速增長,以持續加速數據準備,並支持更加複雜且適配的數據科學。
圖形數據存儲可以跨越數據筒倉(data silos)高效地建模,探索與查詢具有相互複雜關係的數據,但Gartner認為,特殊的技能需求限制了該技術目前的應用。
為了滿足對於復雜數據的綜合查詢需求,圖形分析將在未來幾年內得到發展。利用SQL查詢完成大規模的複雜查詢並不總是切實可行,有時甚至無法完成。
趨勢六:數據結構
數據結構(data fabric)支持分佈式數據環境內的無摩擦數據訪問與共享。其支持單一與一致的數據管理框架,通過克服孤立存儲的獨特設計,實現無縫的數據訪問與處理。
到2022年,定制式數據結構設計將主要用作靜態基礎架構,促使各企業機構為完全重新的設計投入資金,進而實現更具動態的數據網格(data mesh)方法。
趨勢七:自然語言處理/會話式分析
到2020年,50%的分析查詢將通過搜索、自然語言處理(NLP)或語音生成,或者將自動生成。分析複雜數據組合以及讓企業機構中的每個人都可以訪問分析的需求將推動更廣泛的採用,從而讓分析工具變得如同搜索界面或與虛擬助理進行對話一樣簡單。
趨勢八:商業人工智能與機器學習
Gartner預測,到2022年,75%利用人工智能與機器學習技術的新終端用戶解決方案將採用商業解決方案而非開源平台構建。
商業廠商現在已經在開源生態系統中創建了連接器,為企業提供擴展與推廣人工智能及機器學習所需要的功能特性,例如項目與模型管理(project & model management)、復用(reuse)、透明度(transparency)、數據沿襲(data lineage)、平台凝聚力(platform cohesiveness)以及開源技術所缺乏的集成。
趨勢九:區塊鏈
區塊鏈與分佈式分類帳(distributed ledger)技術的核心價值主張是在非置信的參與者網絡中提供去中心化信任。對分析使用案例帶來的潛在結果非常大,尤其是對於利用參與者關係及交互的那些使用案例所帶來的影響。
然而,尚需幾年時間才會有四或五項主要區塊鏈技術佔據主導地位。在此之前,技術終端用戶將被迫與由其主導客戶或網絡所指定的區塊鏈技術及標準相集成。這包括與您現有的數據及分析基礎架構進行集成。集成成本可能會超過任何潛在收益。區塊鍊是數據源,而非數據庫,不會取代現有的數據管理技術。
趨勢十:持久內存服務器
在採用內存中計算(IMC)所支持的架構方面,新型持久內存(persistent memory)技術將有助於降低成本與復雜度。持久內存代表著DRAM與NAND閃存之間的新內存層,可為高性能工作負載提供經濟高效的大容量內存。它將有望改進應用性能、可用性、啟動時間、集群方法與安全實踐,同時保持成本可控;通過減少數據複製需求,還將有助於企業機構降低其應用與數據架構的複雜度。
Feinberg先生表示:“數據量正在快速增多,實時將數據轉化成價值的緊迫性也在同樣快速增加。新的服務器工作負載不僅需要更快的CPU性能,而且還需要大容量內存及更快的存儲。”
如需了解有關如何利用數據與分析獲得競爭優勢的更多信息,請查看Gartner數據與分析洞察中心(Gartner Data & Analytics Insight Hub)。