為什麼OpenAI更有可能在今年發布GPT-4.5而不是GPT-5?
儘管GPT-4 目前在日益錯綜複雜的生成式人工智慧世界中處於頂峰,但其競爭對手,包括Anthropic 的Claude 和Meta 的開源Llama都在不斷進步,因此OpenAI 的旗艦產品大型語言模型(LLM)有必要進行新一輪迭代。雖然不少人預計山姆-奧特曼的非營利組織將在2024 年發布GPT-5,但一些分析師現在斷言,這種預期仍然很牽強,尤其是考慮到所需的資源規模。
據人工智慧安全中心(Center for AI Safety)主任丹-亨德里克斯(Dan Hendrycks)稱,OpenAI 的GPT LLM 每迭代一次,所需的計算資源就增加10 倍。因此,如果OpenAI 跳過GPT-4.5,直接跳到GPT-5,那麼運算需求將比GPT-4 增加約100 倍,相當於約100 萬個H100 晶片連續運作三個月。
Anthropic公司執行長 Dario Amodei)最近指出,目前培養一名最先進的LLM 需要花費約10 億美元,預計到2025/26 年,這一成本將激增到50 億到100 億美元之間。重要的是,10 億美元的培訓成本與GPT-4.5 可以合理推斷出的10 倍計算資源激增相吻合。
我們最近注意到,英偉達今年部署的H100 設備預計年耗電量約為13,000 GWh,相當於立陶宛和瓜地馬拉等國的年耗電量。到2027 年,全球資料中心的耗電量預計將達到85 到134 太瓦時(TWh)!
我們之前提到過,GPT-4 的競爭對手正在迅速迎頭趕上。 Meta公司的Llama 3 LLM(700億參數)目前在Arena排行榜上排名前五名。重要的是,Llama 3 現在已經超越了所有其他開源LLM,這還是在沒有即將推出的4050 億參數模型的情況下。
此外,一些專家現在認為,GPT-5 必須改變”原始課程”,其中包括利用”不完善的人類對話”和整體”幼稚”的訓練過程。這與我們最初的觀點不謀而合,即OpenAI 很可能會在今年發布一個迭代的GPT-4.5 模型,而不是在GPT-5 中徹底改變賭注。