這次，Google要憑「量」打敗其他競爭對手。當地時間本週二，Google在Google’s Cloud Next 2024 上發布了一系列AI 相關的模型更新和產品，包括Gemini 1.5 Pro 首次提供了本地音頻（語音）理解功能、代碼生成新模型CodeGemma、首款自研Arm 處理器Axion 等等。

Gemini 1.5 Pro

Gemini 1.5 Pro 是Google 功能最強大的生成式AI 模型，現已在Google 以企業為中心的AI 開發平台Vertex AI 上提供公開預覽版。這是Google面向企業的AI 開發平台。它能處理的上下文從12.8 萬個token 增加到100 萬個token。 100 萬個token 大約相當於70 萬個單詞，或大約3 萬行程式碼。這大致是Anthropic 的旗艦模型Claude 3 能作為輸入處理的資料量的四倍，也大約是OpenAI 的GPT-4 Turbo 最大上下文量的八倍。

官方原文連結：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

這個版本首次提供了本地音訊（語音）理解功能和全新的檔案API，使檔案處理變得更加簡單。 Gemini 1.5 Pro 的輸入模態正在拓展，包括在Gemini API 和Google AI Studio 中增加對音訊（語音）的理解。此外，Gemini 1.5 Pro 現在能夠對Google AI Studio 中上傳的視訊的圖像（幀）和音訊（語音）進行推理。

可以上傳一個講座的錄音，例如這個由Jeff Dean 進行的超過117000 個token 的講座，Gemini 1.5 Pro 可以將其轉換成一個帶有答案的測驗。 （演示已加速）

Google在Gemini API 方面也進行了改進，主要有以下三個：

1. 系統指令：現在可以在Google AI Studio 和Gemini API 中使用系統指令來指導模型的回應。定義角色、格式、目標和規則，以針對您的特定用例指導模型的行為。

在Google AI Studio 中輕鬆設定係統指令

2.JSON 模式：指示模型僅輸出JSON 物件。這種模式使從文字或圖像中提取結構化資料成為可能。現在可以使用cURL，Python SDK 支援即將推出。

3. 函數呼叫的改進：現在可以選擇模式來限制模型的輸出，提高可靠性。選擇文字、函數呼叫或僅函數本身。

此外，Google將發布下一代文字嵌入模型，其性能優於同類模型。從今天開始，開發者將能夠透過Gemini API 存取下一代文字嵌入模型。這個新模型，text-embedding-004（在Vertex AI 中為text-embedding-preview-0409），在MTEB 基準測試中實現了更強的檢索性能，並且超越了具有可比維度的現有模型。

在MTEB 基準測試中，使用256 dims 輸出的Text-embedding-004（又稱Gecko）優於所有較大的768 dims 輸出模型

不過，需要注意的是，Gemini 1.5 Pro 對於沒有存取Vertex AI 和AI Studio 權限的人來說是不可用的。目前，大多數人透過Gemini 聊天機器人來接觸Gemini 語言模型。 Gemini Ultra 驅動了Gemini Advanced 聊天機器人，雖然它功能強大，也能理解長指令，但它的速度不如Gemini 1.5 Pro。

三大開源工具

在2024 年的Google Cloud Next 大會上，該公司推出多個開源工具，主要用於支援生成式AI 專案和基礎設施。其一是Max Diffusion，它是各種擴散模型參考實現的集合，可在XLA（加速線性代數）設備上運作。

GitHub 網址：https://github.com/google/maxdiffusion

其二是Jetstream，一個運行生成式AI 模型的新引擎。目前，JetStream 只支援TPU，未來可能會相容於GPU。 Google聲稱，JetStream 可為Google自己的Gemma 7B 和Meta 的Llama 2 等車型提供高達3 倍的性價比。

GitHub 網址：https://github.com/google/JetStream

第三個是MaxTest，這是一個針對雲端中的TPUs 和NVIDIA GPUs 的文本生成AI 模型的集合。 MaxText 現在包括Gemma 7B、OpenAI 的GPT-3、Llama 2 和來自AI 新創公司Mistral 的模型，Google表示所有這些模型都可以根據開發人員的需求進行客製化和微調。

GitHub 網址：https://github.com/google/maxtext

首款自研Arm 處理器Axion

Google雲端宣布推出首款自主研發的Arm 處理器，名為Axion。其基於Arm 的Neoverse 2，專為資料中心設計。 Google表示其Axion 執行個體的效能比其他競爭對手如AWS 和微軟的基於Arm 的執行個體高出30%，與對應的基於X86 的執行個體相比，效能提高了最多50%，能源效率提高了60%。

Google在周二的發布會上強調，由於Axion 建立在一個開放的基礎上，Google雲端的客戶將能夠將他們現有的Arm 工作負載帶到Google雲，而無需任何修改。

不過，目前Google還沒有發布對此進行詳細介紹的內容。

程式碼補全、生成利器——CodeGemma

CodeGemma 以Gemma 模型為基礎，為社群帶來了強大而輕量級的編碼功能。此模型可分為專門處理程式碼補全和程式碼產生任務的7B 預訓練變體、用於程式碼聊天和指令跟隨的7B 指令調優變體、以及在本機電腦上執行快速程式碼補全的2B 預訓練變體。

CodeGemma 具有以下幾大優勢：

智慧程式碼補全與產生：補全行、函數，甚至產生整個程式碼區塊，無論你是在本機或雲端上工作；

更高準確性：CodeGemma 主要使用來自網頁文件、數學和程式碼的5000 億token 的英語語言資料進行訓練，產生的程式碼不僅語法更正確，語意也更有意義，有助於減少錯誤和debug 時間；

多語言能力：支援Python、JavaScript、Java 和其他流行程式語言；

簡化工作流程：將CodeGemma 整合到你的開發環境中，以減少編寫的樣板程式碼，並更快地編寫重要、有趣且差異化的程式碼。

CodeGemma 與其他主流程式碼大模型的一些比較結果如下圖所示：

CodeGemma 7B 模型與Gemma 7B 模型在GSM8K、MATH 等資料集上的比較結果。

更多技術細節與實驗結果請參考Google同步放出的論文。

論文網址：https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

開放語言模型—RecurrentGemma

Google DeepMind 也發布了一系列開放權重語言模型—RecurrentGemma。 RecurrentGemma 基於Griffin 架構，透過將全局注意力替換為局部注意力和線性循環（linear recurrences）的混合，在產生長序列時實現快速推理。

技術報告：https://storage.googleapis.com/deepmind-media/gemma/recurrentgemma-report.pdf

RecurrentGemma-2B 在下游任務上實現了卓越的效能，可與Gemma-2B（transformer 架構）媲美。

同時，RecurrentGemma-2B 在推理過程中實現了更高的吞吐量，尤其是在長序列上。

影片編輯工具——Google Vids

Google Vids 是一款AI 影片建立工具，是Google Workspace 中新增的功能。

Google表示，借助Google Vids，使用者可以與文件和表格等其他Workspace 工具一起製作視頻，並且可與同事即時協作。

企業專用程式碼助理——Gemini Code Assist

Gemini Code Assist 是一款以企業為導向的AI 程式碼完成與輔助工具， 對標GitHub Copilot Enterprise。 Code Assist 將透過VS Code 和JetBrains 等熱門編輯器以外掛程式的形式提供。

圖源：https://techcrunch.com/2024/04/09/google-launches-code-assist-its-latest-challenger-to-githubs-copilot/

Code Assist 由Gemini 1.5 Pro 提供支援。 Gemini 1.5 Pro 擁有百萬token 的上下文窗口，這使得Google的工具能夠比競爭對手引入更多的上下文。 Google表示，這意味著Code Assist 能夠提供更準確的程式碼建議，並具備推理和更改大段程式碼的能力。

Google表示：“Code Assist 使客戶能夠對整個程式碼庫進行大規模更改，從而實現以前不可能實現的人工智慧輔助程式碼轉換。”

智能體建構器－Vertex AI

AI 智能體是今年一個熱門的產業發展方向。 Google現在宣布推出一款幫助企業建構AI 智能體的新工具－Vertex AI Agent Builder。

Google雲端執行長Thomas Kurian 表示：「Vertex AI Agent Builder 使人們能夠非常輕鬆、快速地建置和部署可用於生產的、由人工智慧驅動的生成式對話智能體，並且能夠以指導人類的方式指導智能體，以提高模型產生結果的品質和正確性。”