豪擲80億美元後，亞馬遜「綁死」Anthropic，要建全球最大AI運算集群。全球最大雲端運算巨頭，掏出硬核家底！在年度雲端運算產業盛會AWS re:Invent大會上，AWS（亞馬遜雲端科技）一口氣發表6款大模型、預告2款大模型，還推出3nm第三代AI訓練晶片Trainum3及其迄今最強AI伺服器Trn2 UltraServer。

這是Amazon Nova系列基礎模型首次亮牌。

包括Micro、Lite、Pro、Premier四個版本的語言模型，還有圖像生成模型Canvas、視訊生成模型Reel。其中Reel現支援生成6秒視頻，很快將會延長到2分鐘。

亞馬遜總裁兼CEO安迪·賈西現場劇透：明年，AWS不僅將發布語音轉語音模型，還有更高能的任意轉任意（Any-to-Any）模型——能輸入和輸出文本、圖像、音訊、視訊等任何模態的內容。

這些模型均在Bedrock中提供，可微調和蒸餾。

此外，AWS CEO馬特·加曼宣布推出最新生成式AI實例Amazon EC2 Trn2，比目前基於GPU的EC2執行個體的性價比高出30%~40%。

蘋果機器學習和人工智慧高級總監Benoit Dupin來到現場，稱蘋果在iPad、Apple Music、Apple TV、新聞、App Store、Siri等產品和服務上廣泛使用了亞馬遜服務。

他特別分享道，與x86實例相比，蘋果已用Amazon Graviton、Inferentia等AWS晶片在機器學習推理工作負載方面實現了40%以上的效率提升，並預計在Trainium 2上預訓練模型時，效率將提高50%。

被亞馬遜豪擲80億美元投資的Anthropic，宣布與AWS共同建構面向機器學習訓練的世界最大運算集群，其下一代Claude大模型將在擁有數十萬顆Trainium2晶片的集群上進行訓練。

整體來看，AWS的運算、儲存、資料庫、AI推理，四大板塊都迎來一大波重要更新。

01.全新自研大模型Amazon Nova系列登場！文字、圖像、影片齊活了

亞馬遜總裁兼CEO安迪·賈西現場分享了生成式AI如何貫穿亞馬遜不同業務，包括改善了電商客服、賣家詳情頁創建、庫存管理、機器人、Alexa、Amazon Lens、線上購物衣服尺碼匹配、 Prime Video等的效率與體驗。

然後，他公佈全新大模型系列－Amazon Nova！

Nova語言模式有四款：

（1）Micro：純文字模型，128k上下文窗口，延遲最低，反應速度最快。

（2）Lite：成本很低的多模態模型，300k上下文窗口，可快速處理圖像、視訊和文字輸入。

（3）Pro：多模態模型，300k上下文窗口，兼顧準確度、速度和成本，能進行視訊理解、生成創意素材。

（4）Premier：亞馬遜功能最強的多模態模型，可用於執行複雜的推理任務，並可用作蒸餾自訂模型的最佳老師（將於2025年第一季推出）。

據介紹，Micro、Lite和Pro的價格至少比Amazon Bedrock中各自智慧類別中表現最佳的模型便宜75%。它們也是Amazon Bedrock中各自智慧類別中速度最快的模型。

AWS稱到2025年初，某些Nova模型的上下文視窗將擴展以支援超過200萬個token。

在基準測試中，Micro版整體表現超過Gemini 1.5 Flash 8B和Llama 3.1 8B。

Lite在處理輕量級任務時是最低成本的多模態模型。

新發布的另外兩個Nova模型是圖形生成模型Canvas和視訊生成模型Reel，可用於提升宣傳廣告的創意。

Canvas支援生成和編輯圖像，提供配色方案和佈局控件，並內建有安全控件，可追溯性的浮水印和用於限制有害內容生成的內容審核。

Reel可根據關鍵字或可選的參考影像產生6秒視頻，支援使用者調整攝影機運動以產生具有平移、360度旋轉和縮放的視頻。可製作2分鐘影片的版本即將推出。

用Amazon Nova Reel創作的影片範例

這些模型支援自訂微調和蒸餾。

還有One More Thing：

AWS將在明年推出另外兩款Nova模型，一款是「語音轉語音」模型；另一款是「任意轉任意」多模態模型，其輸入和輸出可以是文字、圖像、音訊或視頻，也就是能用同一個模型執行各種任務。

除了發布自研模型，AWS也公佈了跟隨Anthropic的合作新進展。

AWS與Anthropic合作推出了Claude 3.5 Haiku延遲優化版，將推理速度提高60%。

客戶只要打開API的開關，請求就會被傳送到新的Trainium2伺服器上。

Amazon Bedrock提供的延遲最佳化選項，支援客戶存取其最新AI硬體和其他軟體最佳化，以獲得模型的最佳推理效能。除了Claude模型外，還包括Llama 405B和較小的Llama 270B模型，處理請求和產生相應的總耗時比其他產品低得多。

02.AWS Trainium2實例全面推出，發表第三代AI訓練晶片、最強AI伺服器

AWS全面推出由Trainium2晶片驅動的Amazon EC2 Trn2實例，相較目前基於GPU的EC2實例，性價比高出30%~40%。

全新Amazon EC2 Trn2執行個體專為包括大語言模型和潛在擴散模型在內的生成式AI高效能深度學習訓練而建構。

其AI硬體全家桶也哐哐上新，推出第三代自研AI訓練晶片Trainium3，也發表了其史上最強AI伺服器Trn2 UltraServer。

1.第三代自研AI訓練晶片

AWS發布了新一代AI訓練晶片Trainium3。這是首款採用3nm製程節點製造的AWS晶片，能源效率提升40%、效能翻倍提升。

搭載Trainium3的UltraServer效能預計將比Trn2 UltraServer高出4倍。首批基於Trainium3的實例預計將於2025年底上市。

2.最強AI伺服器，64顆Trainium2合體

AWS發布其史上最強AI伺服器AWS Trn2 UltraServer，能支撐兆參數AI模型的即時推理效能。

全新Trn2 UltraServer使用超高速NeuronLink互連，將4台Trn2伺服器連接在一起，形成1台巨型伺服器，實現更快的大模型訓練與推理。

單一Trn2實例結合了16顆Trainium2晶片，可提供20.8PFLOPS，適合訓練和部署有數十億個參數的大語言模型。

全新EC2產品Trn2 UltraServer則將64顆Trainium2晶片互連，可提供相比當前EC2 AI伺服器多達5倍的算力和10倍的內存，將FP8峰值算力擴展到83.2PFLOPS（單一實例的4倍）。

AWS已與Adobe、AI軟體開發平台Poolside、資料分析平台Databricks、高通等幾位早期客戶進行了Beta測試訓練。

3.與Anthropic擴大合作，要建全球最大AI運算集群

美國AI大模型獨角獸Anthropic的聯合創始人兼CTO Tom Brown現場分享說，就像俄羅斯方塊遊戲，機器內部構造越緊密，跑模型就越便宜越快。一年多來，Anthropic效能工程團隊與亞馬遜和Annapurna團隊密切合作，以應對這項挑戰。

他宣布AWS與Anthropic正合作建造一個名為Project Rainier的Trn2 UltraServers EC2 UltraCluster，它將在數十萬顆Trainium2晶片上擴展分散式模型訓練。

這些晶片與第三代低延遲PB級EFA網路互連，是Anthropic用於訓練其當前一代領先AI模型的百億億次浮點運算數量的5倍多。

建成後，預計它將成為迄今世界上最大的AI計算集群，可供Anthropic建置和部署其未來模型。

使用Project Rainer後，用戶將能夠以更低價格、更快速度獲得更多智慧、更聰明的Agent。

4.新一代AI網路結構tnp10

為Trainium2 UltraServer提供動力的是最新一代AI網路結構tnp10。 AWS在基於Trainium和NVIDIA晶片的叢集都使用了這個網路。它能在10微秒延遲下為數千台伺服器提供數十PB網路容量，實現了AWS迄今擴展速度最快的網路。

Tnp10網路的大規模並行、緊密互聯和彈性的，可縮小到幾個機架，也可以將其擴展到跨越多個實體資料中心園區的集群。

AI網路中最大的故障來源是光鏈路。多年來，AWS一直在設計和運行自家自訂光學系統，以持續降低故障率。為了進一步優化網絡，AWS在tnp10網路中建立了一個全新的網路路由協定“可擴展意圖驅動路由（CIDR）”，透過分散的速度和彈性提供了集中的計劃、控制和最佳化。

03.生成式AI平台Bedrock服務三大更新：自動推理檢查、多Agent協同、模型蒸餾

AWS Bedrock服務可協助企業建立和擴展生成式AI應用程序，今天發表關於自動推理檢查、多agent協作、模型蒸餾的新功能。

AWS將Bedrock標榜為「建構生成式AI應用的最簡單方式」。據加曼透露，每天都有成千上萬的客戶將Bedrock用於生產應用程序，這幾乎是去年一年增長率的5倍。

1.自動推理檢查，可預防AI幻覺

AI幻覺是妨礙AI應用進入企業實際生產的關鍵。 AWS在探索過程中發現，自動推理可以被應用於解決這個問題。自動推理通常用於證明系統是否按指定方式運作。這個工具可以自動檢查方案和軟體，驗證在遇到意外事件時如何正確回應等。

基於此，AWS推出了AWS Automated Reasoning checks，可驗證事實回應的準確性、產生可審計的輸出，並向客戶展示模型得出結果的確切原因。

同時，Amazon Bedrock會自動制定必要的規則，引導客戶對其進行迭代測試，以確保模型調整到正確的回應。

2、多Agent協作，1小時完成先前1週任務

Bedrock的新功能還有幫助企業輕鬆建置、部署、編排agent團隊，使其寫作解決複雜多步驟任務。

使用Amazon Bedrockmulti-agent collaboration，企業可透過為專案的特定步驟創建和分配專門Agent來獲得更準確的結果，並透過協調多個並行工作的Agent來加速任務。

例如企業可以在Bedrock上建立自己的專業Agent，然後創建主管Agent或協調Agent來協助管理其他Agent。

AWS的客戶稱，這種多Agent協作使其先前需要大約1週時間的相同任務，現在可以在1小時內完成。

3.模型蒸餾，速度最高提升500%

當下每週都有新版本的模型發布，企業需要基於自己的實際需求找到更適合的模型，需要適當的專業知識、適當延遲、適當成本以完成任務。

企業目前解決的方案之一是模型蒸餾，將性能強大的基礎模型中的數據和答案拿出來訓練更小的模型，這需要企業對訓練數據進行管理，並同時考慮到模型參數和權重的問題。

借助Amazon Bedrock Model Distillation，客戶只需針對給定用例選擇最佳模型，並從同一模型系列中選擇較小的模型，即可以合適的成本提供其應用程式所需的延遲。

與原始模型相比，蒸餾模型速度最高可提高500%，運行成本降低75%，對於檢索增強生成（RAG）等用例，準確度損失不到2%。

04.Amazon Q Developer超越程式碼，涵蓋更廣泛開發任務

Amazon Q Developer輔助編程平台此次升級的重點是超越程式碼完成，幫助開發人員完成端到端軟體生命週期中涉及的更廣泛日常任務。

Amazon Q Developer的新功能主要包括：

將Windows .NET應用程式現代化為Linux，速度提高4倍，並將授權成本降低多達40%。

將VMware工作負載轉變為雲端原生架構，agents自動規劃、鑑別、決定和轉換網路配置，在數小時內將本地網路配置轉換為AWS等效配置。

透過簡化程式碼分析、文件、規劃和重構應用程式等勞動密集型工作來加速大型主機現代化。

Q Developer現在可自動產生單元測試，並協助開發人員撰寫和維護程式碼文件。它可以產生第一個程式碼審查，供開發人員提交程式碼時使用。一旦程式碼投入生產，Q的新營運Agent就會自動從公司的監控服務AWS CloudWatch中提取數據，並在警報響起時立即開始調查。

AWS也推出了一款用於現代化COBOL大型主機應用程式的Agent。

此外，開發人員和安全平台GitLab和AWS宣布已聯手將GitLab的Duo AI助理與亞馬遜的Q自主Agent結合。 GitLab用戶可用Duo的聊天功能訪問Amazon Q Developer中提供的許多Agent，以幫助進行代碼審查、生成單元測試和現代化他們的Java應用程序，該功能現在已直接集成到GitLab聊天UI中。

05.與英偉達合作14年，明年初發布Blackwell架構P6實例

AWS將核心服務透過建置block提供，企業可以更容易將這些服務組合，並建立真正有趣的應用程式。這個建構Block的概念一直是AWS建置服務、支援客戶運作的基礎，目前已經提供了大量服務模組。

例如，在生物領域，AWS開發了ESM模型系列，幫助全球科學家理解和設計蛋白質。 ESM3已經被訓練了1兆兆次，計算了超20億個蛋白質序列，這意味著科學家可以像設計晶片一樣設計蛋白質，朝著生物可編程邁出一步。

加曼談到企業選擇AWS的一個重要原因就是安全。重視安全性是AWS開展業務的基礎，這關係到其如何設計資料中心、晶片、虛擬化堆疊以及服務體系結構。

在這之上，截至目前，AWS提供了比任何供應商更多的運算資源。亞馬遜EC2擁有更多選項、實例和功能，可讓企業找到適合其工作負載的應用程式的對應效能。

例如，企業正在運行一個用於分析工作流程的大型資料庫，AWS可以在任何地方運行最大的儲存系統；如果企業正在運行一個HPC集群、大模型以及所有集群，並需要快速的網路將這些東西進行連接，而AWS擁有訂購速度最快的熟練網絡。

AWS自研晶片為其提供了更大的靈活性，當其單獨移動Nitro系統中的虛擬化設計時，可以無需重做虛擬化堆疊。基於新的實例類型，快速、簡單的進行開發。

AWS的Graviton系列處理器目前已經被幾乎所有的AWS客戶廣泛使用，其性價比提高了40%。 Graviton可以處理更廣泛的工作負載，包括標量代碼、資料庫等。

目前，絕大多數的模型運行在英偉達的GPU之上，AWS和英偉達合作已經14年，加曼宣布其合作升級，發布P6實例。 P6系列將採用全新Blackwell晶片，明年初發布，P6實例將提供最多2個，運算速度比目前一代GPU快5倍。

06.Amazon S3儲存功能擴展，更快資料湖分析、自動元資料生成

AWS致力於推出簡單可擴充的儲存方式。它在2006年推出的Amazon S3從根本上改變管理數據的想法，這項服務過去十多年來爆炸式增長。 Amazon S3 Intelligent-Tiering智慧分層已為客戶節省40億美元。

在此基礎上，AWS推出Amazon S3 Tables功能，使S3成為首個完全託管支援Apache Iceberg的雲端物件存儲，可實現更快分析，並以最簡單的方式儲存和管理任何規模的表（Table）數據。

許多客戶將用於分析的數據組織為表數據，通常儲存在Apache Parquet中。 Parquet已是S3中成長最快的資料類型之一，Iceberg已成為管理Parquet檔案的最受歡迎的開放表格式（OTF）。

AWS將S3 Tables稱為「對S3中的Apache Iceberg表執行分析的最簡單快速的方法」。它專為管理資料湖的Apache Iceberg表而構建，是第一個具有內建Apache Iceberg表支援的雲端物件儲存並引入了一種新的儲存桶類型，來優化以Iceberg表形式儲存和查詢表資料。

與通用S3儲存桶相比，S3 Tables可提供3倍的查詢效能、10倍的每秒交易數（TPS），並會自動管理表維護任務。

AWS也推出了Amazon S3 Metadata，可以近乎即時地自動產生可查詢的目標元資料（metadata），並使其可透過新S3 Tables進行查詢，讓發現和管理S3中的海量資料變得更簡單快捷。

S3 Tables（正式發布）、S3 Metadata（預覽版）現已推出，與Apache Iceberg表格相容，支援使用AWS分析服務和開源工具輕鬆查詢資料。

07.兩大資料庫上新：能跨區域運行，具備強一致性

AWS今日宣布推出Amazon Aurora DSQL和Amazon DynamoDB global tables新功能，以支援一些工作負載對跨區域運作、強一致性、低延遲、高可用性的嚴苛需求，兩個資料庫的跨區域強一致性功能現已推出預覽版。

今年是Amazon Aurora發布的十週年。它是迄今發展最快的AWS服務。每天有數十萬客戶依賴的Amazon Aurora，提供了企業級商用資料庫的效能以及開源的靈活性和經濟性。

如今AWS再次重新構想關聯式資料庫，讓客戶無需在低延遲或SQL之間做選擇。

Amazon Aurora DSQL是一種新型無伺服器分散式SQL資料庫，既可提供高階商用資料庫的所有效能和功能，又具有開源資料庫的靈活性和成本效益。

與其他流行的分散式SQL資料庫相比，Aurora DSQL的讀寫速度快至4倍，多區域可用性高達99.999%，可擴充性幾乎無限，而且無需管理基礎設施，無需配置、修補或管理資料庫執行個體。

Aurora DSQL克服了分散式資料庫的兩個歷史挑戰—實現多區域低延遲強一致性，以及在全球範圍內以微秒精度同步伺服器。

該資料庫透過將事務處理與儲存分離來克服當前方法的局限性，僅在提交時檢查每個事務，並在提交時並行化所有區域的所有寫入，以提供具有強一致性和快速寫入的多區域資料庫，且所有更新和安全修補都無需停機，也不會對效能產生任何影響。

為了確保每個區域都能按照發生的確切順序看到每個資料庫操作，Aurora DSQL使用了Amazon Time Sync Service，該服務在每個Amazon EC2實例上新增了硬體參考時鐘，將它們同步到與衛星連接的原子鐘，以提供世界任何地方的微秒精確時間。

Amazon DynamoDB第一個完全託管的無伺服器NoSQL資料庫，透過重新定義效能和簡化操作，在任何規模下都無需基礎設施管理，並且始終保持個位數毫秒級的效能。

該資料庫現支援多區域強一致性，確保客戶的多區域應用程式始終讀取最新數據，而無需更改任何應用程式程式碼。

08.面向高密度AI工作負載，推出全新靈活資料中心組件

AWS宣布推出全新資料中心組件（電源、冷卻、硬體設計），旨在支援高密度AI工作負載。

（1）簡化電氣和機械設計​​：使基礎設施可用性達到99.9999%，也將可能受電氣問題影響的機架數量減少了89%。

（2）冷卻、機架設計和控制系統的創新：開發全新可配置液冷解決方案，透過優化資料中心機架的定位方式來最大限度利用電力，更新了標準化監控、警報和操作順序的控制系統。

（3）提高能源效率和永續性：與先前的設計相比，預計在峰值冷卻條件下機械能消耗可降低多達46%；與行業平均水平相比，資料中心建築外殼混凝土中的隱含碳減少35%；備用發電機將能夠使用可生物降解且無毒的再生柴油燃料。

09.結語：一場大型科技創新秀場

歷屆AWS re:Invent大會，都是運算、安全、儲存系統和AI基礎設施等的大型創新秀場。

從2003年秋天啟程開始，AWS不斷降低雲端服務的門檻，將大公司級成本結構和規模的基礎設施變成人人隨處可得，讓大中小型企業團隊不必在運算、儲存、資料庫、分析等方面重複造輪子。

在全端創新的深度和產品組合的廣度，使得這家雲大廠能夠持續鞏固高性能、節能、安全、合規、擴展性等方面的口碑，並跟上快速變化的AI需求，有更充足的經驗和儲備來幫助客戶更好地專注於自身業務和適應創新。

來源：智東西