Google Gemini數學反超o1預覽版成本僅1/10、無需額外思考時間

數學擊敗o1-preview，成本僅為十分之一，幾乎沒有思考延遲！ OpenAI《Her》全量開放同一天，GoogleGemini 1.5迎來重大升級。除此之外，價格也是原來的一半，速度限制提升2-3倍；輸出速度提升2倍、延遲降為原來三分之一。

開發者可以透過Google AI Studio 和Gemini API免費存取。聊天版本還得再等等。

不過也有網友發現了華點，雖然數學能力很強，但還是沒有打敗o1-mini以及o1完整版（94.8）。

GoogleGemini 1.5大升級

此次更新的有兩款：Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。

總結來說，主要有這些更新：

首先，提升了整體效能，尤其在數學、長文字以及多模態方面。

在MMLU-Pro上表現提高約7%；而在MATH 和HiddenMath（內部保留的競賽數學問題集）基準測試中，兩種模型有約20% 的顯著改進，其中Pro版本以86.5%的成績超過了o1-preview（85.5%）。

除此之外，在視覺理解和程式碼產生的評估中也有2%-7%的提升。

根據開發人員的回饋，這兩個模型現在都採用了更簡潔的風格，目的是使這些模型更易於使用並降低成本。

對於摘要、問題解答和提取等用例，更新後模型的預設輸出長度比以前的模型短5-20%。

價格方面，1.5pro輸入token降價64%，輸出token降價52%，對增量快取token降價64%，10月1日開始生效。

速率限制也有所提升，1.5 Flash的付費速率限制從1000RPM提高到2000RPM；1.5 Pro速率限制從360RPM到1000RPM。

另外，輸出速度提高2倍，延遲減少為原來的三分之一。

對於新模型，過濾器已切換成可選，預設不會套用過濾器。

最後的最後，還有Gemini 1.5 Flash-8B實驗版本更新，在文字與多模態能力上都有顯著的提升。

有網友就這麼水靈靈地測試上了。

他測試了Gemini 1.5 Flash的音訊轉錄功能。後者能在50-60秒內轉錄13分鐘音訊。

在多個音檔測試結果中，轉錄準確率接近99%。如果音頻清晰，準確率能達到100%。

有網友測試了它的視覺理解能力，結果順利通過，之前難倒了一眾視覺模型。

不過討論最多的還是它數學能力的提升。

不過倒也有網友表示，數學基準也沒啥用。它已經飽和，而且污染了大多數模型的訓練資料。在現實世界的數學難題裡，這些還是沒辦法跟o1系列相提並論。

雖然但是，Google升級模型還有一個用處。

那就是push一下OpenAI，趕緊發布新模型，以此來「奪回王冠」。

什麼時候趕緊把o1完整版發了。（Doge）

參考連結：

[1]https://developers.googleblog.com/en/updated-production-ready-gemini-models-reduced-15-pro-pricing-increased-rate-limits-and-more/

[2]https://www.reddit.com/r/singularity/comments/1fohi2z/gemini_15_002_beats_o1preview_on_math_and_it_does/

WONGCW 網誌