分佈式計算鼻祖BOINC:你的電腦也能和外星文明接觸
可曾想像,有一天,在你屋腳處沉默的那台個人電腦,或許可以找到地外文明存在的證據?這樣地外訊息跨時空的“第五類接觸”不是科幻,來源於可操作的現實。時間回撥1995年,時任美國UC伯克利大學助理教授David Anderson未曾想,他發起的SETI@home項目竟會引發如此強烈的關注。
SETI是:Search for Extra-terrestrial Intel ligence的縮寫,整個SETI@home的中文直譯是“在家搜尋地外文明”。
SETI@home項目官網首頁
這是一項利用分佈式計算聚合全球聯網計算機,用以共同搜尋地外文明的科學實驗。在SETI平台上貢獻個人計算機算力的志願者,可以通過運行一個免費程序下載,並分析從射電望遠鏡傳來的外太空信號數據加入這個項目。這個程序在用戶的個人計算機上,通常以屏幕保護模式或後台模式運行。它利用的是多餘的處理器資源,不影響志願者正常使用計算機。
建立在算力之上的科學世界
SETI@home中心平台設立在美國著名高等學府加州大學伯克利分校的空間科學實驗室,也是David Anderson教授現在的供職之地。David Anderson領導SETI@home項目自1999年5月17日正式運行。至2004年5月,累積進行了近5×10E21次浮點運算,處理了超過13億個數據單元,吸引了543 萬用戶。這些用戶的電腦累積工作243 萬年(這僅是在那個個人電腦和互聯網沒那麼普及的年代),分析了大量積壓數據。
這些閒置個人電腦的算力總值,在當時超過了世界上任何一台超級計算機的處理能力。曾有志願者計算,當1000多台聯入高速局域網的筆記本電腦在大學一角同時運行SETI@home,就有可能衝進全球超級計算機500強。
SETI@home作為迄今為止最成功的分佈式計算試驗項目。其成功不僅體現在尋找地外生命的可能性,更巨大的價值在於,它首次實踐印證了大規模網格、分佈式計算是現實的、可拓展的、有效的。
順理成章,SETI開始接受包括引力波驗證、艾滋病生理原理和藥物研究(FightAIDS@home)、粒子加速器設計(DPAD項目)、蛋白質內部結構研究(Folding@home項目)、癌症攻破等需要巨量數據解析的尖端科研項目,為它們提供廉價且頂值的算力。
2016年,俄羅斯億萬富翁尤里·米爾納全額出資1億美元,由已故英國天體物理學家史蒂芬·霍金啟動的大規模外星智慧生命的搜索行動—–突破聆聽計劃,也主要由SETI推進。
這裡的每一項研究都足以對人類社會的存續造成現實影響。而極富戲劇感的是,所有實現這一切算力的前提,竟是散落在世界各地,那些“不值一提”,甚至被主人“遺忘”的個人電腦。
BOINC的誕生
SETI所帶來的分佈式計算效能顯現,越來越多的項目找到SETI需求算力服務。為了更多的滿足這些需求,創造更好的算力體驗。SETI開始迭代升級,2003年,BOINC平台誕生。
帶領開發BOINC分佈式計算平台的創始人,還是當年的助理教授David Anderson。只是他現在的身份變成了BOINC項目的創始人、UC伯克利大學空間科學實驗室科學家。
SETI@home、BOINC項目的發起人、UC伯克利大學空間科學實驗室科學家David Anderson
BOINC(Berkeley Open Infrastructure for NetworkComputing,伯克利開放式網絡計算平台)是SETI升級而成的分佈式計算平台。BOINC開發很重要的一個原因是,為了吸引更多用戶加入這個有實際意義的分佈式計算項目中。
與SETI一脈相承,BOINC網絡扮演者一個聚合、共享全球C端用戶算力資源的平台,以眾包分發匹配的方式為世界各地研究者提供匯集全球大量個人電腦的強大運算能力。從BOINC誕生至今的16年中,逐漸在數學、醫學、天文學、氣象學等領域獲得落地實踐。平台遍布於全世界118個國家,佔全世界科學志願計算項目算力的50%。是為全球最早的分佈式計算網絡,早於包括比特幣在內的所有區塊鏈分佈式網絡。
“當年創建BOINC主要目標是為科學家創造廉價計算能力的來源。”BOINC項目的創建人、UC伯克利大學空間科學實驗室科學家David Anderson向鏈得得介紹。
使用自願的家用計算機,科學實驗項目每個都能夠獲得與當時最大超級計算機相當的計算能力。例如,使用BOINC的早期項目之一是來自牛津大學的Climateprediction.net。該項目使用BOINC的算力來預測未來100年全球氣候變化。在此之前由於算力缺乏,該項目從未完成這件事。
誤入雲計算戰場的“野蠻人”
軟銀創始人孫正義回顧過去30年,互聯網科技行業有三件事至關重要:CPU計算能力、內存大小和通訊速度。這三件事改善了一百萬倍,每一件都改善了一百萬倍。對整個人類社會來說都是巨大影響。
2020年全球將有超過500億台機器設備進行互聯,超過2000億個聯網傳感器產生海量數據。這個背景下,算力將使人工智能真的變為現實。
大數據應用、物聯網、5G、區塊鏈、芯片研發和智能化基礎設施建設,全部依賴算力大規模的增長利用而提供的基礎支撐。對未來但凡有數據處理需求的公司來說,雲計算“新基建”涵蓋的基礎範圍無可避免地將產生前者對後者算力服務的依賴。所以,雲計算服務在過去五年內爆發了巨大的商業效率和價值。全球幾乎所有科技巨頭都沒有忽視這個重大佈局。
據IDC報告,全球信息數據90%產生於最近幾年。同樣在2020年,40%左右的信息會被雲計算服務商收存,其中三分之一的數據具有價值。全球雲計算服務佔比51.8%的亞馬遜AWS,作為全球最大雲服務商,為亞馬遜向偉大企業過度奠定了最堅實的前提。微軟重獲創新生機,在市值上強勢回歸超越蘋果,最大的轉變就發生在CEO納德拉所倡導的雲服務轉型。從傳統的Windows軟件服務既有城池中,像拔指甲一樣使得資源的天平陸續向微軟Azure(雲服務)業務轉移。微軟正在利用計算處理能力的B端服務向全球計算引擎這一目標持續追趕。
中國公司裡,阿里雲在亞太雲計算市場擁有接近20%的份額,直接為阿里巴巴集團的想像空間打開了全新窗口。每當在機場巨幅海報上看到阿里雲的廣告語:“為了無法計算的價值”。一切盡在其中。
雲計算比拼的核心之一就是計算能力,誰擁有最強、最穩定、最廉價、最易用的算力服務,誰就能在這場數據圈地運動中佔盡先機。故所有云服務商都在自建部署服務器,尋找能源和土地廉價地區,以此盡可能的降低算力成本。
相比大型互聯網科技巨頭構建深厚城池的中心化雲服務,分佈式網絡在細分領域擁有肉眼可見的空間。如同邊緣計算對雲計算的衝擊,BOINC遵循著一套彎道超車的“分佈式思維”。
從虛擬機到長期數據存儲,中心化雲依靠的是在高大IDC機房裡的服務器,特別“嬌貴”,對溫度、濕度、靜電等有專門要求。除了服務器設備、場地、能源、建築等的巨額開支之外,大量常駐的維護人員更是一筆一般企業無法負擔的成本。因此造成雲計算服務或者俱體說算力服務,需要收取高昂的費用,讓大多數公司和技術研究項目望而卻步,導致項目進程拖延,甚至落馬。
物美價廉,當志願者貢獻匯集時所比擬超級計算機的算力準確投放,正是BOINC與生俱來的服務優勢。不久之後,電子消費設備將擁有處理器,傳感器和互聯網連接,它們也是低功耗和廉價的,可被BOINC平台共享利用的。雲計算非常昂貴,可當地分佈式可獲取的計算資源就在附近,是免費的。
在這個意義上,BOINC可被視作一類全球跨行業數據交換與協同計算的基礎設施,提供新的邊緣計算解決方案。
如人類史一樣,計算的歷史一直是集權與分權之間的衝突。之前有大型計算機,現在有中心雲。它們是集中的,由一個組織控制。從長遠來看,分佈式方法往往會獲勝。
正如曾站在美國眾議院聽證會上的紮克伯格,依然讓眾多機構及個人隱私數據的提供者、所有者惴惴不安一樣。核心與機密數據安全受制於人已經成了許多企業不接受阿里雲和騰訊雲服務的首要理由。
思考這些因素的過程中,BOINC發起人Anderson教授團隊開始關註一個想法:如何使用BOINC網絡以較低的成本提供AWS(亞馬遜雲服務)的子集。這並不容易,Anderson教授對鏈得得坦言。因為BOINC主機可以隨時消失,但是有一些算法可以解決這個問題。
“分佈式思維”再起
BOINC系統的核心思維就是分佈式。
分佈式思維並非伴隨區塊鏈、邊緣計算等熱詞而生,它發端於互聯網技術最基礎的原教旨思想,是互聯網世界核心原則之一。
1988年的秋天,康奈爾大學一年級的研究生羅伯特·莫里斯僅用99行程序,便成功釋放了當年引起大面積恐慌和傷害的蠕蟲病毒,“莫里斯蠕蟲”。但在達到感染高峰時,這條“蠕蟲”還做了另一件事。它感染了成千上萬台機器,而意想不到的是這些機器同時在協調一致地運轉。根據後來計算,莫里斯的“蠕蟲”在令人難忘的短短48小時存活期間,成為史上最強大的並行計算機。這樣的並行到達頂峰時,成功實現了每秒運算4000億次的處理速度,是目前最昂貴超級計算機算力速度的兩倍。
某種程度上蠕蟲病毒是分佈式計算的開山之祖,在那個互聯網草莽年代,以一種非道德手段,利用“分佈式思維”創造了一次算力巔峰。
另據鏈得得了解,原生深交所副總經理鄒勝在離開深交所前,完成的最後一項工作,就是將深交所的數據架構和後台處理方式徹底地轉為分佈式結構。
新一代交易系統採用基於高速消息總線的分佈式大規模並行處理架構,這種架構具有高可用性和擴展性強的特點,與納斯達克、德國交易所等先機系統主流架構一致。該架構採用開放平台、開源技術,其基礎硬件設備不再需要價格每台上億元的大型主機,採用廉價國產普通服務器即可運行,技術成本僅為傳統主機封閉平台的三分之一。
由於這樣的分佈式架構,深交所新一代交易系統處理速度明顯快於上一代,率先解決了大規模散戶市場的低時延交易。連距離深交所繫統偏遠的西北地區用戶都得到了網絡處理速度的巨大提升。
BOINC與區塊鏈的思維淵源
中本聰在創世比特幣網絡時是否曾經將BOINC作為POW共識機制的思想源泉,我們不得而知。僅從時間順序上推想,2003年就已風靡網絡技術圈的BOINC平台,在分佈式計算思想和算力貢獻激勵體系上,與2008年11月1日發布的比特幣白皮書有太多吻合。
BOINC和區塊鏈都由分佈式計算機網絡組成,兩者都具有大量的計算能力。區別在於區塊鍊是完全分散的並且使用P2P通信。在BOINC中,雖然計算是分佈式的,但控制不是。志願者獲得的“作業”從中央服務器發送(由項目操作),結果返回給那些服務器。所有通信都是從客戶端到服務器。
“但這種聯繫(BOINC和區塊鏈)將會擴大。 ”
BOINC項目的創建人Anderson教授正在促動BOINC進一步發展。在他看來BOINC是聚合計算資源的一般框架。目前工作是集中調度的,他計劃將BOINC轉換為具有分散通信、計算和存儲的P2P網絡。在這種情況下,分配計算任務(使用智能合約完成)並在BOINC網絡中記錄所有交易信息的區塊鏈非常適合該場景。
另外,由於區塊鍊和BOINC都有大量的計算能力。那麼人們可以擁有一個區塊鏈分類賬,其工作量證明基於BOINC計算。在這種情況下,網絡可以給貢獻者們以獎勵。
反觀區塊鏈行業對網絡獎勵的追逐,比特幣POW共識機制誕生以來,關於算力“挖礦”行為導致的資源浪費、算力空轉、能源空耗,質疑不絕於耳。2017年8月BCH以擴容為由對BTC的分叉,以算力控制權為依仗的權勢方另立利益格局;2018年BCH自身分叉而爆發的算力大戰,調用其餘幣種的大批算力來維繫利益城池,成為當時幣市繼續探底的誘因之一;2019年國家發改委發布《產業結構調整指導目錄(意見稿)》 將虛擬貨幣的挖礦活動歸類為淘汰落後產能係列。在此之前,包括四川、雲南、新疆、內蒙等礦業重鎮在內的政府政策,都逐步將虛擬貨幣礦場清退。算力,作為維繫行業系統運行和價值交換的基礎設施,面臨著權勢化、商業低效化、功能單一化、收益收窄和監管政策的五類威脅。
當下基於或部分基於POW共識機製而運營的主流公鏈裡,算力大權時刻影響著整個網絡的存續和交易價格的天平。這樣的算力威權一方面推動著行業的擴容和發展,另一方面也因利益格局之變隨時可能爆發“算力戰爭”,從而裹挾行業和用戶成為炮灰犧牲品。目前在區塊鍊主流算力體系中的權力大概分為三級:(1)大型礦池聯盟和大型礦機廠商集團;(2)互聯網巨頭和擁有大型IDC中心科技大公司,(3)主流區塊鏈公司和零散的礦業社區。
2018年初,輿論曾短期聚焦一個問題,比特大陸一系的礦業聯盟是否已經逼近或具備了對BTC網絡發動51%“雙花”攻擊的能力?且不論發動該攻擊的成本是否讓攻擊行為本身變得現實,即便不這麼做,在一個經典去中心化網絡中,因為算力霸權的形成而發展為這樣一種攻擊擔憂,本身便打破了分佈式網絡存在的基礎共識。以BTC擴容為藉口經過基於算力霸權的利益分叉誕生了BCH,包括隨後的BCH分叉都印證一個利益導向鮮明群體,在算力戰爭中都極易滑向道德集權的深淵。
區塊鏈產業由於“挖礦”的興起,進一步科普了算力的概念和作用。區塊鏈分佈式網絡的聲音許多來自於礦業,但不僅於此。一個合理博弈的網絡首先需要幾大基準利益方的參與。
設想一種可能:如果存在一個即可通過貢獻算力獲取挖礦收益,又可將這些算力導入實體經濟和科研的社區。不讓用於“挖礦”的算力空轉消耗,又能高效激勵社區貢獻者。那麼效果會怎樣?
似乎也指引出了一個區塊鏈現實結合實體產業的商業化方向:共享算力商用與超算應用。
“邊緣”閒置的算力也能實體變現
目前,全球大約40個科學項目正在使用BOINC。整個網絡包含超過150,000名志願者和650,000台計算機。這些計算機每秒產生30“PetaFLOPS”的計算能力,或30億次浮點算術運算,與世界上排名第二的超級計算機相當。如果將SETI之前運行的Folding@home項目算力計入,社區裡所有志願者的計算量比任何超級計算機都要大。
據7月30日路透社報導,CSCNT Inc.(California Super Computing Network Technology Inc),一家位於加州的初創公司,正與加州大學伯克利分校簽訂協議,決定合作研發以閒置算力資源為基礎的雲計算服務軟件系統。計劃將BOINC系統進行升級,引入區塊鏈技術和通證經濟模型。該項目稱為“BOINC算力地球計劃”。
BOINC平台創始人、UC伯克利網格計算著名科學家David Anderson教授,將主導“BOINC算力地球計劃”的部分研發。
BOINC作為計算平台,對志願者來說,它提供了一個統一的客戶端程序,這個客戶端本身並不進行實際的計算工作,只是提供了管理功能,在志願者加入了BOINC 平台上的計算項目後,客戶端程序將自動下載新的任務單元,並調用相應項目的計算程序進行計算,如果參加了多個項目,它將自動在各個項目間按用戶的設定來調配計算資源,在計算完成時,它還將自動地將計算結果上傳,並同時取得新的計算單元。
“一切都由BOINC自動完成。” BOINC項目的創建人Anderson教授對鏈得得說。
BOINC定期與項目服務器通信以獲取作業,下載程序和輸入文件,以及上載已完成作業的輸出文件。它以低優先級在後台運行作業,因此志願者用戶不會注意到任何事情。它在志願者用戶不使用時調動其GPU。志願者可以根據需要來配置BOINC功能,例如,限制它使用的磁盤空間或內存量。
總體來說,可將BOINC視為一個系統,用於(1)盡可能多地使用計算機的容量(計算,存儲,網絡帶寬),而無需用戶注意;(2)在多個競爭項目之間公平劃分資源;(3)準確計算每個項目使用的資源量。
將廣泛閒置的算力“變現”,是BOINC生來靠近商業化需求的特徵。利用低成本高計算能力的分佈式共享方式,讓冗餘、無效、分散的算力集中發揮實體支撐價值。從創立至今,十五年過去了,全社會對於算力的需求已遠不僅在科研領域如飢似渴。儘管BOINC的初衷旨在支持科學計算,其亟待擴展的商用和產業價值空間,顯然超出了初心範圍。任何形式的大規模分佈式計算都可以藉此獲得顯著推進,例如AI、IOT的訓練和計算承載。
縱觀AI眾多分支領域中,最有希望的形式被認為是“深度學習”。其涉及使用數據來訓練神經網絡,將隨著數據量和網絡規模的增長而佔用大量計算資源。
“當你添加自動化網絡拓撲設計的目標時,我認為這是一項非常適合BOINC的重大任務。”Anderson說,人工智能中的許多方法都涉及“生物學啟發”算法,這些算法可以模擬動物的進化和植物行為。整個地區都處於起步階段,BOINC可以幫助它成長。
共享體系的三大激勵原動力:興趣、情懷和收益
如上文提到,BOINC可以在志願者授權下管理使用其GPU的程序。所以,在之前的數年裡,不斷有人用BOINC來進行比特幣挖掘。Anderson教授對此並不排斥,反而加深了他對Tokenlization(通證化改造)這一區塊鏈誕生以來最具創新力的發明,產生了解和興趣。
“在加密貨幣的概念中,工作證明機制(POW共識)是一種有用的計算。如科學研究,而不是無意義的散列函數。目前已經有一個Gridcoin的積分激勵機制產生。我認為這是獎勵志願者(誰支付電費)和吸引新志願者的好方法。這可以將志願者基數提高100或1000倍,從而創造一種新的計算能力,可以徹底改變許多科學領域。”Anderson顯然看到擴容社區的實操方向。
同時擁有積分實際價值出口、商業落地和變現通道、大量C端用戶基礎、全球社區的共享流通、易操作低門檻的算力貢獻渠道、去中心化社區的自治運營、易於激勵潛質的社群擴展性、高交易頻率的換手需求和預期,BOINC天然具備了所有通證體系改造的基礎條件。
曾在國內風靡一時的,迅雷旗下網心科技面向個人用戶推出的共享計算智能硬件玩客雲,以類似的思維方式做過實踐。當時藉助玩客雲,迅雷期待無數個人用戶將家中閒置帶寬、計算、存儲等資源分享出來,並最終被轉化共享計算服務。玩客雲一度被搶購一空,其眾籌份額在十天內便以超額100倍的認購成功收官。鏈克作為玩客雲體系內的流通令牌,場外交易的價格在當時難以抑制的飛漲,進而最終驚動監管層的問詢關注而息聲。但這次事件並未撲滅國內區塊鏈創業者對共享計算、共享CDN業務的巨大熱情,反而打開了一扇應用思路的窗口。
雖同為分佈式計算、閒置資源盤活的共享邏輯,BOINC與玩客云自然有許多不同,首先,玩客雲本質上是一個個人云盤,不具備GPU的計算能力。共享帶寬存儲的目標與BOINC的算力集成應用不同。同時,BOINC作為軟件終端服務並非硬件售賣,在參與度門檻、互動性、操作性、靈活性與基礎成本上具備更高的可擴展性和體驗度。其次,當時鏈克的價值和使用出口較窄,共享帶寬,在提供共享存儲,幫助運行計算任務後,用戶獲得鏈克獎勵,可用鏈克兌換有限的愛奇藝會員和星域雲平台的雲服務。而BOINC在既有案例中已經支撐過超百個落地科研項目案例,並可直接對接商用項目的高性價比算力服務。其通證使用場景和共識廣度上具備優勢空間。
最後,BOINC擁有十餘年的國際社群運營,數以百萬計的關聯用戶遍及世界各地,沒有一個中心化的商業運作主體和管理者,作為一個線上終端產品也沒有用戶地理上的唯一歸屬性,且在中國市場的用戶空間尚未開發。
根據BOINC STATS 2009年的統計,BOINC在中國大陸的使用率處於較低的位置。而在台灣及香港,人均貢獻率均較高。積分最高的國家為美國。
為鼓勵和回饋做出貢獻的志願者,BOINC的積分系統由來已久。
因為在BOINC 平台上可以運行的項目千差萬別,比如項目A 的任務單元在某台機器裡需要3 個小時完成,而項目B 的計算包在這台機器裡需要30 個小時才能完成,或者項目A 本身任務包的完成時間就有一定的浮動範圍,顯然,用任務單元的數目來衡量用戶貢獻的計算量不再可行;類似的,機器性能也有差別,用完成任務單元所需的CPU 時間來衡量工作量也是不行的。
作為一個通用的計算平台,BOINC 平台的積分系統必須通過一定的算法才能較為準確地記錄用戶實際完成的計算量。
對此,Anderson教授向鏈得得表示,“我們在信用系統上付出了很多努力,它基本上跟踪了你已經完成了多少次浮點運算。我們必須使它適用於GPU和CPU,我們必須使其防止欺騙。”
為了確保積分功能正常,Anderson教授團隊在創建獎勵積分的使用案例,以便價格穩定。在這方面,在BOINC上開發AWS(亞馬遜雲服務)樣式服務並讓客戶使用積分購買Web服務是一種非常好的方法。此項研究試水已在進行。
此外,BOINC社群中有重多用戶在激勵原則上關注的並非是積分交易價值。他們更為科學的情懷激勵而吸引。早期參與到BOINC網絡的志願者大多來自北美歐洲的頂級高校學生。
“這樣的基礎用戶結構決定了大多數用戶並非都重視價格。而更多地受到科學目標的激勵,比如通過提供自己的算力為BOINC平台上的抗癌藥物或引力波研究提供直接支持。這種成就感難以言表。”Anderson教授自豪之情溢於言表。
從尋找外形智慧生命到改變人類自身迫切面對的種種難題。BOINC的故事起源於科幻電影般的暢想,這個願景因為匯集每一個人手裡所掌控有限閒餘算力而變幻出無限可能。
從商業上看,區塊鏈、AI、雲計算一側,一場原生態的“邊緣”革命恐怕已經走在了揭竿而起的路上。
從使命上看,渴望藉助算力來攻克艾滋病、癌症、瘧疾、氣候變化等重大議題的科研實踐,繼續在生根發芽。