亞馬遜收購晶片製造商和AI模型壓縮公司Perceive
亞馬遜已達成協議,以8,000 萬美元現金收購晶片製造商和AI 模型壓縮公司Perceive ,後者是上市公司Xperi位於加州聖荷西的子公司。 Perceive 是一家開發突破性神經網路推理解決方案的公司,專注於在邊緣設備上提供大型人工智慧模型的技術。
亞馬遜並未透露對這項技術的具體想法。亞馬遜發言人表示:“我們很高興簽署了收購Perceive 的協議,並引入其才華橫溢的團隊,加入我們的努力,為能夠在邊緣運行的設備帶來大型語言模型和多模式體驗。”
Xperi 自今年初以來一直在為Perceive 尋找買家。交易完成後,Perceive 的44 名員工中的大部分預計將加入亞馬遜。亞馬遜表示,預計該交易不需要監管部門批准,並稱這是常規收購。
Perceive的晶片介紹
資料顯示,Perceive 由聯合執行長Murali Dharan 和Steve Teig 領導。該公司的員工遍佈全球。該公司將在愛達荷州運營一個實驗室。 Teig 在擔任Xperi 首席技術長期間推動了Perceive 的創建,他負責監督技術開發,包括核心音訊和成像創新,同時也領導公司的機器學習團隊。 Dharan 之前負責Xperi 授權業務的策略方向、管理和成長,現在負責領導Perceive 的業務運營,包括銷售、行銷、客戶成功和營運。
Perceive 提供在邊緣設備上服務大型AI 模型的產品,窮旗艦產品是Ergo AI 處理器,它可以在各種環境中運行資料中心級神經網絡,即使在電力受限的情況下。
根據介紹,這是一款為邊緣設備帶來突破性效能和能源效率的AI 處理器。能夠以全幀速率運行大型神經網絡,並支援各種網路架構和類型,包括標準CNN、RNN、LSTM 等。 Ergo足夠靈活和強大,可以處理大量機器學習任務,從物件分類和偵測,到影像分割和姿勢,再到音訊訊號處理和語言。你甚至可以要求它執行多任務,因為Ergo 可以一次運行多個網路。
儘管Ergo 處理能力強大,但它不需要外部DRAM,其7 毫米x 7 毫米的小封裝使其非常適合用於相機、筆記型電腦或AR/VR 眼鏡等緊湊型設備。
Perceive表示,Ergo 的能源效率是其他產品的20 到100 倍,僅需9 mW 的運算能力即可對30 fps 的影片進行推理。這意味著您的設備可以提供無與倫比的電池壽命,並產生更少的熱量,從而實現更小、更多功能的封裝。
在2023年初,Perceive推出了新款Ergo 2 AI 處理器。根據介紹,該晶片可提供更複雜用例所需的效能,包括需要變壓器模型、更大的神經網路、同時運行的多個網路和多模態輸入的用例,同時保持業界領先的功率效率。
Perceive 創辦人兼執行長 Steve Teig 在闡述了最新Ergo 晶片的市場機會的時候表示:「借助新的Ergo 2 處理器,我們擴展了為設備製造商提供打造其最雄心勃勃的產品的途徑的能力,”“這些產品包括用於語言或視覺處理的變換模型、更高幀速率的視頻處理,甚至在單個應用程序中組合多個大型神經網絡。
Ergo 2 的運行速度比Perceive 的第一代Ergo 晶片快四倍,處理能力也遠超為微型ML 設計的典型晶片。現在,產品開發人員可以利用YOLOv5、RoBERTa、GAN 和U-Nets 等先進神經網路快速提供準確結果。所有Ergo 2 處理均在晶片上完成,無需外部記憶體,從而提高能源效率、隱私性和安全性。 Ergo 2 晶片可實現:
運行MobileNet V2 每秒進行1,106 次推理
運行ResNet-50 時每秒進行979 次推理
運行YoloV5-S 每秒進行115 次推理
為了提供運行這些大型網路所需的效能增強,Ergo 2 晶片採用管線架構和統一記憶體設計,從而提高了其靈活性和整體運作效率。因此,Ergo 2 可以支援更高解析度的感測器和更廣泛的應用,包括:
語言處理應用,例如語音轉文本和句子完成
音訊應用,例如聲學迴聲消除和更豐富的音訊事件檢測
要求苛刻的視訊處理任務,例如視訊超解析度和姿勢檢測。
Ergo 2 處理器尺寸為7 毫米x 7 毫米,由GlobalFoundries 使用22FDX平台製造,無需外部DRAM 即可運作。其低功耗也意味著它不需要冷卻。該晶片可同時運行多個異質網絡,為用於安全、存取控制、熱成像或零售視訊分析的企業級攝影機等設備提供智慧視訊和音訊功能;適用於包括視覺檢查在內的工業用例;或整合到筆記型電腦、平板電腦和高級穿戴式裝置等消費性產品。
AWS的自研晶片歷程
多年來, AWS 一直在為AI 工作負載和雲端優化建立自己的內部客製化矽片,這主要歸功於該公司在十多年前收購了Annapurna Labs。這讓AWS 在過去多年裡建立了自己的Graviton 處理器、Inferentia 晶片和Trainium 機器學習處理器,用於在雲端訓練AI 模型。
今年,亞馬遜在推動人工智慧(AI) 技術發展方面邁出了重要一步。
在其年度AWS re:Invent 大會上,AWS發布了兩款新型客製化晶片:AWS Trainium2 和Graviton4。這兩款晶片代表了亞馬遜網路服務(AWS) 為滿足日益增長的AI 功能需求而做出的大膽努力,尤其是在市場面臨主要由Nvidia 生產的高性能圖形處理單元(GPU) 嚴重短缺的情況下。
對增強運算能力的需求源自於生成式人工智慧的日益普及,這需要強大的基礎設施來訓練和部署模型。據報道,Nvidia 的GPU 直到2024 年都已售罄,包括台積電執行長在內的業內消息人士預測,這種供應危機可能會持續到2025 年。考慮到這一點,亞馬遜的新晶片旨在透過提供專門針對人工智慧工作負載量身定制的替代方案來減輕對Nvidia 的依賴。
Trainium2 晶片專為訓練大規模AI 模型而設計,性能比上一代晶片高出四倍,能源效率比上一代晶片高出兩倍。據亞馬遜稱,這款晶片在多達10 萬個單元的雲集群中使用時,可處理65 百億億次浮點運算。這項功能可將訓練複雜模型(例如具有數千億個參數的模型)的時間從數月縮短至數週。這些進步使Trainium2 成為AI 訓練基礎設施領域的領導者。
Trainium2 晶片因其潛力而受到認可,已經引起了許多行業參與者的興趣,其中包括專注於構建友好型AI 模型的公司Anthropic。聯合創始人Tom Brown 強調,Trainium2 將使他們能夠快速擴展,處理速度比之前的模型提高四倍。 AWS 與Anthropic 等公司之間的合作表明,利用專有雲技術簡化AI 操作的趨勢日益增長。
另一方面,Graviton4 晶片是亞馬遜迄今為止最強大、最高效的處理器,專為各種雲端工作負載量身定制。與上一代Graviton3 相比,這款第四代晶片的效能可望提高30%,核心數量增加50%,記憶體頻寬增加75%。這些改進使用戶能夠降低營運成本並提高資料處理速度,使其成為運行高效能資料庫和密集分析應用程式的企業的理想選擇。
Graviton4 的早期採用者包括Datadog、Epic Games 和SAP 等公司。例如,Epic 的首席雲端工程師Roman Visintine 就指出,該晶片在延遲敏感型工作負載方面表現出色,尤其有利於線上遊戲體驗。在競爭激烈的環境中,快速的資料存取和處理對於成功至關重要,這種雲端服務優化趨勢至關重要。
亞馬遜的聲明也凸顯了科技業更大的趨勢,即公司越來越多地投資客製化晶片解決方案,以滿足特定的運算需求,尤其是人工智慧和機器學習任務。透過開發專有硬件,亞馬遜希望脫穎而出,減少對Nvidia 和AMD 等老牌晶片製造商的依賴。
隨著人工智慧技術在各個領域(從醫療保健到娛樂)不斷發展和普及,對高效能、高性能晶片的需求只會越來越大。技術分析師預計,這些新的亞馬遜晶片的推出不僅將立即滿足當前的需求,還將為未來的人工智慧發展奠定基礎。
令人驚訝的是,這些晶片的推出正值戰略時刻,因為微軟也宣布了自己針對人工智慧和雲端服務的晶片開發。這在人工智慧硬體領域引發了激烈的競爭,促使企業迅速創新和突破界限。
AWS Trainium2 和Graviton4 晶片預計將在不久的將來向客戶提供,其中Trainium2 將於明年某個時候推出,而Graviton4 已處於預覽階段。隨著科技業繼續轉向雲端運算和人工智慧驅動的解決方案,亞馬遜有望在這場數位轉型中發揮重要作用。
AI晶片大有可為
AWS頻頻發力晶片,除了滿足公司業務需求以外,也再次證明了AI晶片大有可為,這不僅體現在雲端,也體現在端側。
根據Futurum Intelligence的數據,到2023 年,Nvidia 將佔據AI GPU 市場92% 的份額,並佔據整個資料中心AI 半導體市場75% 的份額。在這個已經非常龐大的市場中,這種主導地位仍將持續,預計到2024 年市場規模將成長近一半。
該分析公司估計,資料中心人工智慧應用的處理器和加速器的總市場價值將達到563 億美元,與2023 年的377 億美元的年度市場價值相比增長49.3%。市場分析師預測,未來五年,該市場的複合年增長率將達到29.7%,使市場規模在2026 年達到984 億美元,在2028 年達到1,383 億美元。
Futurum 將AI 資料中心處理器市場分為四類:CPU、GPU、專用加速器(稱為XPU)以及Google、AWS 和微軟等公司生產的專有雲端加速器。
2023 年,CPU 佔20.5% 的市場,GPU 佔73.5% 的市場,XPU 和雲端專有產品各佔3%。
1、2023 年,CPU 佔資料中心AI 處理的20%,並將繼續發揮重要作用。 Futurum 估計,它們的五年複合年增長率將達到28%,從2023 年的77 億美元增長到2028 年的260 億美元。 Futurum 估計,2023 年,Nvidia 的市佔率為37%,其次是英特爾,佔23%。
2、到2023 年,GPU 佔資料中心AI 應用中使用的晶片組的74%,並將經歷30% 的五年複合年增長率,從2023 年的280 億美元增長到2028 年的1020 億美元。 Futurum 估計Nvidia 佔據了AI GPU 市場的92% 份額。
3.XPU 將經歷31% 的五年複合年增長率,從2023 年的10 億美元成長到2028 年的37 億美元。
4.公有雲AI 加速器將經歷35% 的五年複合年增長率,從2023 年的13 億美元成長到2028 年的60 億美元。
如果AI 處理器和加速器無法在資料中心供公眾使用,Futurum 會將其排除在本研究之外,因此不包括為Meta、特斯拉和蘋果設計並使用的AI 晶片組。
從地理上看,北美佔據市場主導地位,到2023 年將佔據55% 的市場份額。歐洲、中東和非洲(EMEA) 和亞太地區(APAC) 緊隨其後,成為重要市場,而拉丁美洲(LATAM) 則代表具有巨大成長潛力的發展中地區。
視覺和音訊分析是2023 年最大的用例。 Futurum 預測2028 年的前三大用例將是視覺和音訊分析、模擬和建模以及文字生成、分析和摘要。
具體到邊緣AI方面,根據Omdia的新研究預測,到2028 年,邊緣AI 處理器市場將創造602 億美元的收入,複合年增長率為11%。
Omdia 最新的邊緣處理器預測指出,隨著各行各業和裝置採用人工智慧,對硬體的需求增加推動了營收的成長。推動市場成長的領域之一是個人電腦領域,英特爾、AMD 和蘋果等主要供應商的產品供應量不斷增加。據報道,PC 供應商正試圖將其設備中加入AI 處理器作為「獨特的賣點」進行行銷。
除了個人電腦領域外,該報告還強調人工智慧處理器在汽車、無人機、安全攝影機和機器人等領域的快速應用。
由此我們可以看到AWS收購背後的用心。