知名的SemiAnalysis最近再次爆料，稱Google大模型Gemini的訓練規模已達GPT-4的5倍。Gemini初代版本可能是在TPUv4上訓練，使用14個pod，訓練FLOPS達1e26，而GPT-4的FLOPS僅2e25左右。更令人震驚的是，Gemini的下一代版本已經開始在TPUv5上訓練，算力高達1e26FLOPS，是GPT-4的5倍。

Google擁有大量自主研發的TPU芯片，其中TPUv5的數量已經超過了OpenAI、Meta、CoreWeave等公司總GPU數量。相比GPU，單片TPUv5性能略弱，但Google可以利用龐大基礎設施發揮規模效應。此外，Gemini在模型架構上也較GPT-4優秀，如擁有增強的多模態能力。

Gemini一直在TPU上快速迭代，先是TPUv4，現已升級到TPUv5，性能表現也優於GPT-4。OpenAI的算力只是Google的一小部分，Gemini有望成為新一代頂級大模型，在與OpenAI的競爭中佔據優勢。總體來看，Google已經正式介入大模型競賽，憑藉雄厚算力優勢全面碾壓OpenAI。這場競爭才剛剛開始，未來幾個月將見證Google的勝利。