微軟可能已經與OpenAI 及其GPT 大型語言模型合作，協助創建生成式人工智慧服務，例如Copilot（前身為必應聊天工具）。不過，該公司也在開發自己的語言模型。本週，微軟研究院宣布發布Orca 2，這是其Orca 語言的第二個版本。

微軟在一篇部落格文章中表示，Orca 2 是專為小規模LM 設計的，但仍可用於回答LLM 等複雜問題。Orca 2有兩種大小（70億和130億個參數），部分是利用今年早些時候微軟幫助Meta推出的Llama 2 LLM製作的。該公司”根據量身定制的高品質合成資料”對基於Llama 2 的模型進行了微調。

微軟表示，這使得Orca 2模型在處理問題時能夠與其他”5-10倍大”的語言模型相媲美：

Orca 2 使用擴展的、高度客製化的合成資料集進行訓練。這些訓練資料的生成，向Orca 2 傳授了各種推理技術，如逐步處理法、回憶然後生成法、回憶-推理-生成法、提取-生成法和直接回答法，同時也教會它針對不同的任務選擇不同的解決策略。

Orca 2 模型與Llama 2 和WizardLM 等大型語言模型進行了一系列基準測試，測試內容包括”語言理解、常識推理、多步驟推理、數學問題解決、閱讀理解”等。

微軟官方部落格表示：我們的初步測試結果表明，Orca 2 的效能大大超越了類似規模的模型。它還達到了類似或優於至少比它大10 倍的模型的性能水平，展示了為更小的模型配備更好的推理能力的潛力。

雖然微軟承認Orca 2確實存在局限性，但迄今為止的測試顯示了”未來進步的潛力”。微軟將把Orca 2 作為一個開源專案發布，以便其他人也能對其進行開發。