OpenAI計劃用1000萬張顯卡訓練AI 10倍於NV年產能
在生成式AI領域,推出了ChatGPT的OpenAI是處於領先地位的,他們的GPT-4已經是萬億參數級別,還在訓練更先進的GPT-5,屆時又會在技術水平上甩開國內的追趕者。OpenAI能夠領先,先進AI顯卡用到的GPU是功不可沒的,背靠微軟這棵大樹,他們在算力資源上不會受到限制,GPT-4的訓練就使用了2萬張NVIDIA的AI顯卡訓練。
但是萬張顯卡級別的算力還不是終點,今年也投身AI創業的前搜狗CEO王小川日前在採訪中透露了OpenAI的動向,提到後者正在做更先進的訓練方法,設計能夠將1000萬張GPU連在一起的計算模型。
1000萬張GPU是什麼概念?目前NVIDIA每年的產量也就是100萬塊GPU(應該主要是指AI方面的GPU),OpenAI的規模相當於10倍於NVIDIA年產能的水平。
王小川稱OpenAI的1000萬張GPU算力的目標是登月級別的計劃,顯然認為它很偉大。
不說這些GPU顯卡能不能生產出來,購買花費多少,光是1000萬張顯卡互聯的難度都是不可想像的,OpenAI要是做到了就真的無敵於天下了。
不過這也非常讓人懷疑OpenAI是否表達錯了,還是王小川聽來的投行報告寫錯了,從幾萬張GPU到1000萬張GPU的互聯難度可不是一個級別的。