英特爾1億個神經元的全球最強神經擬態系統,何時改變世界?
你對AI功能感到滿意嗎?如果你想起與AI智能音箱哭笑不得的對話經歷,還有站在AI人臉識別閘機口許久才被識別出你是誰,你大概率會給出一個否定的答案。已經大規模應用的AI,在金融、工業、電力、醫療等應用中已經展現出其重要的價值,但也不可否認,AI還有很大的提升空間。
AI的提升,既可以是對現有芯片和算法持續優化,也可以通過變革性的技術實現跨越式改變,比如越來越被人熟知的神經擬態計算(或稱類腦計算)以及量子計算。相比之下,量子計算擁有更高的熱度,但最近發布的全球最強的神經擬態系統英特爾Pohoiki Springs以及有嗅覺的神經擬態芯片,一定能讓你對神經擬態計算以及AI的未來充滿期待。
圖片來自PCworld
全球最強的神經擬態系統能做什麼?
上週二,《自然-機器智能》雜誌報導了英特爾與美國康奈爾大學的科學家共同構建數學算法的研究成果,通過雙方的合作,英特爾研究院神經擬態計算小組高級研究科學家Nabil Imam的團隊採用了一個由72個化學傳感器活動組成的數據集,可對一個風洞實驗中循環的10種氣體物質(氣味)作出反應,包括丙酮、氨和甲烷等有害氣體。並且,即使有強烈的環境干擾也能識別出這些氣味。
也就是說,英特爾的神經擬態芯片Loihi也擁有“嗅覺”了,這也是化學傳感器領域多年來一直尋找的“電子鼻系統”。未來,搭載有“嗅覺”的神經擬態芯片的機器人在環境監測、危險物質檢測、工廠質量控制方面有很大的應用潛力。
這其中非常重要的是,使用Loihi僅用一個樣本訓練就可以達到百分之九十多的高準確率,如果使用傳統方法,包括一種深度學習解決方案,要達到與Loihi相同的分類準確率,學習每類氣味需要3,000倍以上的訓練樣本。
僅兩天后,英特爾又宣布其最強大的最新神經擬態研究系統Pohoiki Springs已準備就緒,將提供1億個神經元的計算能力。1億個神經元相當於一個小型哺乳動物大腦神經元的數量。
說的更容易理解一些,1只瓢蟲的大腦大約有25萬到50萬神經元,蟑螂大腦約有100萬神經元,斑馬魚大腦約有1000萬神經元,倉鼠大腦約有9000萬個神經元。
英特爾Loihi系統的演進歷史
比倉鼠大腦神經元數量還多1000萬個的Pohoiki Springs是一個數據中心機架式系統,它將768塊Loihi神經擬態研究芯片集成在5台標準服務器大小的機箱中,運行時的功率低於500瓦。
數據中心機架式系統Pohoiki Springs(資料來源: Tim Herman/英特爾公司)
Pohoiki Springs系統是英特爾迄今為止開發的最大規模的神經擬態計算系統,當然也是目前全球最強大的的神經擬態系統。英特爾最新發布的Pohoiki Springs以及此前發布的800萬神經元Pohoiki Beach系統仍處於研究階段,可以為研究人員提供一個工具來開發和表徵新的神經啟發算法,用於實時處理、問題解決、適應和學習。
這兩個令人眼前一亮的神經擬態計算成果,背後都有英特爾2017年開發的代號為Loihi的第一款自主學習神經擬態芯片。
神經擬態計算難在哪?
Loihi的設計思路源於人腦,把訓練和推斷整合到一個芯片上,並實現了計算和存儲功能的整合:單芯片中的128個小核各包含1000個神經元硬件設計架構,模擬多個“邏輯神經元”,支持多種學習模式的可擴展的片上學習能力,實現多種不同的神經網絡突破。
這種設計的優勢非常明顯,Loihi能以比傳統處理器快1,000倍的速度和高10,000倍的效率處理特定要求的工作負載。
英特爾Loihi神經擬態芯片
即便優勢如此顯著,神經擬態的芯片數量也很少。這是因為,全球範圍內只有英特爾、IBM等少數大公司,以及為數不多的初創公司在開發。這樣的現狀與神經擬態計算的歷史和技術息息相關,神經擬態計算的概念是在20世紀80年代的時候提出,比量子計算概念的提出更晚。
面對一個全新的概念,特別是在人類對於腦科學研究也有限的情況下,只有為數不多的學校和機構對神經擬態計算進行研究。並且,在看不到應用的時候,神經擬態計算研究員們解決技術挑戰的動力也會不足。
神經擬態計算的目標是,理解大腦能夠實時處理複雜信息的同時只消耗極少的能量的高效工作機制,並把這些機制用到芯片中去,包括細粒度並行計算、神經動力學、時域編碼、基於時間的信息處理等等。
因此,神經形態計算需要的是對計算機體系結構自下而上的重新思考。英特爾Loihi的正是對計算機體系結構的自下而上的重新思考後的創新設計,讓每個Loihi內部有128個小核各包含1000個神經元硬件,這些神經元硬件既有與之計算的部分,也有存儲的部分,還有網絡管理部分,去模擬邏輯神經元。
架構創新的同時需要考慮,神經擬態芯片如果採用現廣泛使用的同步電路設計的方式,功耗依舊面臨挑戰。CPU、GPU、FPGA都是採用同步電路設計的方式,也就是採用同一個時鐘驅動,芯片內的計算單元和存儲單元都根據這個共同的時鐘同時工作和停止工作,這種設計的好處是可以解決大規模集成電路容易出錯的問題,但工作效率不夠高。
為此,英特爾Loihi採用了一種新穎的異步脈衝方式,這種方式由多個獨立的時鐘驅動,根據應用的需求,只讓需要工作的部分工作,其它部分處於待機狀態,讓Loihi的功耗達到了毫瓦級。
但這又帶來了新的問題,由於採用異步脈衝的設計方式,當把Loihi大規模互聯集成為Pohoiki Beach、Pohoiki Springs神經擬態系統,以期獲得性能的線性增長時,能否讓一個神經元消息在一個時間片裡在上百片芯片間完成所需的信息傳遞就成為挑戰。
英特爾研究院院長宋繼強接受采訪時表示,可以用Time Step去解決神經擬態計算裡的時間序列問題,小型異步電路的這個問題容易解決,但比較大的系統就會有挑戰,把多塊芯片互聯起來也是業界沒做有過的事情。
顯然,從13萬個神經元的Loihi到如今1億神經元的Pohoiki Springs系統,英特爾所做的並非系統集成這麼簡單,還解決了異步電路帶來的時間序列的關鍵問題,並且在硬件之上,需要軟件層的支持。
“為了在兼顧易用性的同時,支持神經擬態系統的互連計算、分佈式計算和靈活分區,需要用軟件把硬件連接的差異最大程度減小。這個事情沒有人做過的,學術界沒有人做過的,英特爾在產業界開始做這個實驗。”宋繼強表示。
在神經擬態計算的無人區探索並且取得成效之後,英特爾下一步需要做的就是通過工具鏈去支持開發者做更大規模的動態規劃和優化實驗支持。這也是讓英特爾的神經計算成為一種新的通用架構,既能應用於前端感知計算,也能滿足大規模計算需求,促進神經擬態計算普及的關鍵。
神經擬態計算何時改變世界?
新技術的發展和大規模應用,非常重要的是找到好的應用導向,神經擬態計算同樣如此。一方面,英特爾通過強大的技術專家團隊的努力提供更好的神經擬態計算的硬件和軟件工具鏈,另一方面,英特爾聯合更多合作夥伴共同推動這一新技術的發展。
因此,在Loihi發布後的2018年,英特爾神經擬態研究社區(INRC)就成立,通過INRC,將其Loihi雲系統以及基於Loihi的USB形狀的系統Kapoho Bay提供給研究人員進行實際應用的研究工作。
據悉,INRC剛成立的時候只有幾十個成員,隨著2019年包括埃森哲、空中客車、通用電氣、日立在內的首批企業成員,以及全球領先的大學、政府實驗室、神經擬態類初創公司的加入,目前社區的成員數量已經接近100個。
“INRC是一個開放的社區,但要加入需要先提案,在我們確定Loihi芯片以及系統能夠幫助提案者後,他們就可以加入,並且獲得我們後續的技術支持。”宋繼強接受雷鋒網專訪時表示。
目前,正在為Loihi開發的前景極佳且高度可擴展算法示例包括:約束滿足、搜索圖和模式、優化問題。
宋繼強解釋,“現在的社交網絡,包括未來的AIoT,都會用到大規模圖搜索,在這些大規模的圖裡怎麼快速找到一條好的路徑,或同時發現幾個可能的約束要去滿足,用原來高性能計算要花很多計算資源,而神經擬態計算現在有一些非常有效的算法,可以並發地去測試,效果比以前好很多,也是我們社區裡的大公司在探索的應用。”
傳統的應用領域包括時間序列場景裡的行為識別,以及機器人的視覺控制同步的隨動跟隨,還有嗅覺場景,這些是學校以及初創公司喜歡做的應用。
在這個過程中,既需要英特爾在軟件層面持續做大量的工作去連接硬件和軟件,更好地滿足應用需求,也需要開發者開發出更好的SNN(脈衝神經網絡)。
包括Loihi在內的神經擬態芯片都是面向的是下一代AI所需的高性能、低功耗、低成本以及更強持續學習以及在線學習的能力。如果將現在流行的DNN和CNN的網絡模型轉換運行到神經擬態系統上,也可以構造強化學習的架構,但要最大化神經擬態計算的優勢,還需要開發SNN模型。
新的網絡也是用Loihi一次訓練就能達到很高準確率的應用的關鍵。與DNN和CNN只是藉鑑了人腦神經元的高度抽像不同,SNN更靠近模擬人腦神經學的概念。DNN和CNN網絡有大量的中間層,需要足量和標註好的數據訓練網絡。而SNN模型只需要少量數據就可以得到網絡的初始值,但它的設計難度比DNN和CNN更高一些。
宋繼強表示,英特爾和社區以及國際主要的SNN研究團隊都建了和聯繫,這些團隊大部分在歐美。
隨著Loihi架構的持續創新,以及上層軟件SDK和高層語言接口的持續優化,再加上先進半導體工藝,還有英特爾以及生態合作夥伴的積極推動,我們可以期待神經擬態計算在不遠的未來看到神經擬態計算改變世界。
宋繼強的觀點是,“現在很難判斷哪些是神經擬態計算殺手級應用,可能再過一年,我們會有更清晰的想法。”
他同時強調,神經擬態芯片可以和現有芯片很好地共存,並不存在替代的關係。神經擬態芯片現在主要是去解決希望在比較低功耗下完成一些前端的感知,且需要持續需要學習去提高識別能力的應用,比如約束滿足、圖搜索。但對於遊戲讀取或者圖像分類、標註等應用,現有的芯片就可以很好滿足。
雷鋒網小結
神經擬態計算和量子計算被認為是帶領我們進入AI新時代的關鍵,英特爾作為芯片行業的領軍企業,在神經擬態計算和量子計算上依舊都保持著領導力。神經擬態方面,從2017年推出神經擬態芯片Loihi到2018年成立INRC,從2017年底的51萬神經元的Wolf Mountain系統,到如今1億神經元的Pohoiki Springs系統,英特爾不僅用強大且更通用的神經擬態計算系統展示了其領導力,還在與合作夥伴一起努力構建完善的生態系統推動神經擬態計算的商用。
在重磅玩家更多的量子計算領域,英特爾同樣保持領導力,去年12月,英特爾攜手QuTech 宣布的面向量子計算的Horse Ridge 低溫控制芯片,這是量子計算商業上可行的一個里程碑。
同時引領神經擬態計算和量子計算的英特爾,未來會給我們帶來什麼意想不到的驚喜?