似乎是為了表明自己始終堅持對AI模型開源，馬斯克做出了與阿爾特曼全然不同的選擇。3月17日，馬斯克宣布開源Grok-1，這使得Grok-1成為目前參數量最大的開源大語言模型，擁有3140億參數，遠超OpenAI GPT-3.5的1750億。

有趣的是，Grok-1宣布開源的封面圖為Midjourney生成，可謂「AI helps AI」。

一直吐槽OpenAI不open的馬斯克，自然要在社交平台上含沙射影一番，“我們想了解更多OpenAI的開放部分。”

Grok-1遵照Apache 2.0協定開放模型權重與架構。這意味著它允許用戶自由地使用、修改和分發軟體，無論是個人還是商業用途。這種開放性鼓勵了更廣泛的研究和應用發展。該計畫發布至今，已在GitHub上攬獲6.5k星標，熱度仍在持續增加。

專案說明中明確強調，由於Grok-1是規模較大（314B參數）的模型，需要有足夠GPU記憶體的機器才能使用範例程式碼測試模型。網友表示這可能需要一台擁有628 GB GPU記憶體的機器。

此外，此儲存庫中MoE層的實作效率並不高，之所以選擇該實作是為了避免需要自訂核心來驗證模型的正確性。

目前已開源的熱門大模型包括Meta的Llama2、法國的Mistral等。通常來說，發布開源模型有助於社群展開大規模的測試和回饋，這意味著模型本身的迭代速度也能加快。

Grok-1是一個混合專家（Mixture-of-Experts，MOE）大模型，由馬斯克旗下的AI創企xAI在過去4個月裡開發。回顧此模型的開發歷程：

在宣布成立xAI之後，相關研究人員首先訓練了一個330億參數的原型語言模型（Grok-0），這個模型在標準語言模型測試基準上接近LLaMA2（70B）的能力，但使用了更少的訓練資源；

之後，研究人員對模型的推理和編碼能力進行了重大改進，最終開發出了Grok-1並於2023年11月發布，這是一款功能更為強大的SOTA語言模型，在HumanEval編碼任務中達到了63.2%的成績，在MMLU中達到了73%，超過了其計算類中的所有其他模型，包括ChatGPT-3.5和Inflection-1。

與其他大模型相比，Grok-1的優勢在哪呢？

xAI特別強調，Grok-1是他們自己從頭訓練的大模型，即從2023年10月開始使用自訂訓練堆疊在JAX和Rust上訓練，沒有針對特定任務（如對話）進行微調；

Grok-1的一個獨特而基本的優勢是，它可以透過X平台即時了解世界，這使得它能夠回答被大多數其他AI系統拒絕的辛辣問題。Grok-1發布版本所使用的訓練資料來自截至2023年第三季的網路資料和xAI的AI訓練師提供的資料；

3140億參數的Mixture-of-Experts模型，其對於每個token，活躍權重比例為25%，這一龐大的參數量為其提供了強大的語言理解和生成能力。

xAI先前介紹，Grok-1將作為Grok背後的引擎，用於自然語言處理任務，包括問答、資訊檢索、創意寫作和編碼輔助。未來，長上下文的理解與檢索、多模態能力都是此模型將會探索的方向之一。