如果說未來不需要硬盤了你會不會感到驚訝?
“十年之前如果誰說,以後PC 裡不會有硬盤,可能沒有人會相信。但事實上現在的PC 很多都沒有硬盤,而是SSD。我認為五年之後PC 裡可能連SSD 都沒有了,全部會變成內存。”“大內存”軟件公司MemVerge 的CEO 范承工這樣預測,這家公司於今年5 月宣布新一輪戰略融資,投資方包括英特爾、思科等行業巨頭級公司,融資金額1900萬美元。
范承工口中的“大內存”對於很多人來說可能會有些陌生,但它卻與每個人都息息相關。它是MemVerge 提出的一個概念,關於將要到來的一個計算新時代。
大內存是什麼?
要了解大內存,首先要理解計算機的體系架構。簡而言之,數據在計算機內的存儲是分等級的,經常用的數據被放在比較貴的內存裡,不經常用的數據被放在硬盤、SSD等更便宜的硬件設備裡(這些設備被專業人士統稱為“存儲”,與內存對應)。原因很簡單,無非是“讓計算更經濟”。
內存貴,是因為它存取速度快,適合放在靠近CPU 的位置,供CPU 讀寫經常用的數據。但製造內存的介質斷電易失,所以不能作為永久的數據儲存硬件。存儲雖然存取速度慢,但它便宜,能永久保存數據。因此,適合存放不經常用到的數據。當CPU 想要訪問存儲中的數據時,存儲把數據交給內存,內存再交給CPU。
大內存的源頭是一種名為PMem(Persistent memory)的內存介質的誕生,用這種介質製造的硬件能夠很好地融合內存及存儲的優點,低延遲快速存取、斷電不易失,且相較於內存而言儲存同樣大小的數據價錢更低。這樣一來,PMem硬件就能既完成計算的作用,也肩負存儲的責任。
可以預計的是,在未來的存儲架構中,PMem 介質硬件將會替代內存,並擠壓存儲的存在價值,MemVerge 稱之為大內存時代。范承工預計,未來,應用程序將全部運行在大內存之上,存儲可能將會被很少用到。
英特爾是在PMem方面的先行者,早在20年前就開始實驗,並於2019年推出基於PMem的硬件“傲騰”。英特爾並非孤獨的嚐鮮者,除英特爾外,美光、海力士等其他硬件公司也在加緊佈局。出於競爭條款限製或研發週期的原因,目前市場上只有英特爾一個玩家,但預計2年後PMem硬件市場將會迎來一輪爆發。
MemVerge 的軟件就是服務於這一爆發趨勢的。更精確地說,MemVerge 提供的是針對PMem 數據中心的企業級解決方案,讓現有的軟件更好地運行在即將來到的新的內存架構之上。
范承工介紹,首先,新的硬件需要新的編程模式,但對於現有的企業級軟件來說,重新編寫帶來的成本是巨大的,因此需要中間層的遷移工具;其次,儘管目前PMem 介質已經能夠提供較大的容量,但要完全勝任儲存大規模數據,還是需要跨機聯動,因此需要軟件將硬件池化;另外,基於存儲產生的數據服務一直是存儲行業的重要組成部分,它也構成了新架構的一大重要需求。
對標上述三種需求,MemVerge 發布了一款名為Memory Machine 的產品,基於英特爾傲騰硬件為企業提供軟件服務。目前,Memory Machine 已經被一些金融、AI 領域客戶使用。
誰在吃螃蟹
對於企業來說,嘗試新技術的動力往往源於實際業務中的痛點,在大內存這樣一個新的架構上更是如此。MemVerge 的客戶中,有一家位於華爾街的投資銀行最為典型。
每日股市盤中,這家投資銀行以平均每秒五萬筆交易的頻率進行股票買賣,這些交易數據需要被實時地分發到兩百多個賬戶。這些賬戶有些是交易相關,比如對沖基金、銀行、其他交易員,有些是系統相關,比如合法化管理、風險評估等。
在投行的這項業務中,系統延遲影響的是真金白銀的得失,因此在降低延遲這件事情上,他們不遺餘力。在傲騰出現之前,銀行系統內有一個非常成熟的解決方案,名為“發布/訂閱”(Pub/Sub),通過SSD 加傳統網絡的解決方案,延遲在幾百微秒的量級。MemVerge 為這家銀行構建了傲騰加RDMA 的解決方案,配合Memory Machine 的軟件技術,能夠將延遲降低至3 微秒左右。
同樣在金融領域,數據中心的宕機恢復一直是一個比較頭疼的問題。由於實時高並發的特性,目前而言,在交易過程中,數據難以被實時儲存到非易失的存儲中,也就是俗稱的難以“落盤”,而是被暫存在內存裡,等交易日結束後再統一落盤。
出於安全因素考慮,在交易過程中落盤的只有一個日誌。這樣一來,如果在交易中系統宕機,內存中的數據丟失,要想恢復就需要根據日誌從上一次“落盤”的時間節點開始回滾,也就是前一天晚上。這樣的宕機恢復往往在小時級,而交易卻在分秒進行。
PMem 介質的存儲能有效解決這一問題,因為所有的數據都被儲存在大內存中,斷電不易失,因此不存在落盤這一動作。通過高頻快照快速回滾,分鐘級解決宕機帶來的數據恢復問題。
另外,在近年來大熱的AI 領域,大內存也能發揮作用。范承工介紹,在深度學習的模型訓練中,當模型的大小大於內存的大小時,AI 模型的訓練速度會被數據的傳輸速度掣肘。影視動畫、遊戲等行業同理,也會遇到這樣的問題,大內存的應用能夠有效解決。
大內存改變了什麼?
目前,在MemVerge的客戶中,除金融機構外,還有LinkedIn、騰訊雲等互聯網公司,以及一些AI公司。這些對計算的效率及可靠性有要求的公司,成了大內存時代的嚐鮮者。
在存儲架構的升級所帶來的變化中,MemVerge所做的業務只是其中一個很小的部分。基於新架構的數據服務、網絡服務目前還處於藍海階段。另外,存儲架構的升級也為應用層面提供了更多的想像。比如更快的遊戲體驗是否能催生新的遊戲品類;AI計算速度的提高帶來了成本的降低,是否有助於AI技術在行業中的普及。
像內存介質這樣普通消費者看不見的技術仍在演進。在這樣的深海領域,一旦出現顛覆性創新,就將帶來新一輪浪潮。就像移動互聯網的催生來自電容屏的發明,AI 的廣泛應用得益於對馮·諾依曼架構瓶頸的突破,PMem 介質內存帶來的驚喜還未被揭開,這其中隱藏的機會也正等待被開啟。