IBM發布開源模型Granite Code 在程式設計任務中超越Google模型
IBM 最近發布了一組名為”Granite Code”的開源型，旨在幫助企業完成各種軟體開發任務，並在基準測試中表現出色。這些模型不僅過了一些較大的開源競爭對手，而且在程式設計任務中展現了強大的效能。
IBM 最近發布了一組名為”Granite Code”的開源型，旨在幫助企業完成各種軟體開發任務，並在基準測試中表現出色。這些模型不僅過了一些較大的開源競爭對手，而且在程式設計任務中展現了強大的效能。
Granite Code 型分為基礎模型和指導模型，每種模型都有四個不同規模的變種，參數數量從30到340億不等。這些模型的上下文視窗相對較短，例如，其中一個模型的上下文視窗只有128K，這限制了其在包含特定文件或自己的程式碼庫等提示資訊時的有效性。不過，IBM 目正在開發具有更大上下文視窗的版本。
基礎模型的訓練分為兩個階段。第一階段使用自116種程式語言的3-4兆個標記進行訓練，以建立廣泛的理解能力。在第階段，這些模型使用來自高品質程式碼和自然語言資料的5000億個標記進行進一步訓練，以強邏輯推理能力。
指導模型是透過對基礎模型進行改進而創建的，改進方法包括篩選提交記錄、自然語言指令記錄和合成生成的程式碼資料集。
在包括程式碼合成、調試、解釋、編輯、學推理等多個基準測試中，Granite Code 模型在各個規模和基準測試中表現出色，常常超過開源模型兩倍以上的大小。例如，在HumanEvalPack 基準測試中，Granite-8B-Code-Base 的平均得為33.2%，超過Google最佳表現的CodeGemma-8B 模型的21.3%，儘管Granite-8-Code-Base 所使用的標記數量明顯較少。
這些模型的大部分訓練資料來自一個清理過的GitHub 集StarCoderData 和其他公開可用的程式碼庫。這一點非常重要，因為目前有一些關於其他程式碼型（包括GitHub 本身）涉嫌侵犯訓練資料版權的訴訟。
IBM 計劃定期更新這些模型，很快就會推出具有更大上下文視窗以及針對Python 和Java 的專業化版本。這些模型已經在Hugging FaceGitHub 上可用，並且也是IBM 的watsonx 企業平台的一部分。
IBM 的Granite Code 是專門用於程式設計的開源模型，它們在基準測試中表現優異，同時具有較少的參數數量。有些模型的特點包括靈活的規模選擇、基於廣泛訓練資料的邏輯推理能力和良好的效能未來，IBM 還計劃不斷改進和更新這些模型，以滿足不同程式設計任務的需求。
產品入口: