微軟推出了其輕量級人工智慧模型Phi-3 Mini 的下一個版本，這是該公司計劃發布的三款小型模型中的第一款。 Phi-3 Mini 可測量38 億個參數，其訓練資料集比GPT-4 等大型語言模型小。現在它可在Azure、Hugging Face 和Ollama 上使用。微軟計劃發布Phi-3 Small（7B 參數）和Phi-3 Medium（14B 參數）。參數指的是模型能理解多少複雜指令。

該公司於12 月發布了Phi-2，其性能與Llama 2 等更大的型號不相上下。微軟表示，Phi-3 的效能比前一版本更好，其反應速度接近比它大10 倍的機型。

微軟Azure人工智慧平台公司副總裁 Eric Boyd（Eric Boyd）介紹說，Phi-3 Mini的性能與GPT-3.5等LLM不相上下，”只是外形尺寸更小而已”。

與體積較大的同類，小型人工智慧模型的運行成本通常更低，在手機和筆記型電腦等個人。根據The Information今年稍早報道，微軟正在組建一個專門研究輕量級人工智慧模式的團隊。除了Phi，該公司還建立了一個專注於解決數學問題的模型Orca-Math。

微軟的競爭對手也有自己的小型人工智慧模型，它們大多針對文件摘要或編碼輔助等較簡單的任務。 Google的Gemma 2B 和7B適合簡單的聊天機器人和語言相關工作。 Anthropic 的Claude 3 Haiku可以閱讀帶有圖表的高密度研究論文並快速總結，而Meta 最近發布的Llama 3 8B可能會用於一些聊天機器人和編碼輔助工作。

博伊德說，開發人員用”課程”來訓練Phi-3。他們的靈感來自於兒童是如何從睡前故事、單字較簡單的書籍以及談論較大主題的句子結構中學習的。

Phi-3 只是在前幾個迭代學習的基礎上更進一步。 Phi-1 專注於編碼，Phi-2 開始學習推理，而Phi-3 則更擅長編碼和推理。雖然Phi-3系列模型知道一些常識，但它在廣度上無法擊敗GPT-4或其他LLM–從一個在整個互聯網上接受過訓練的LLM和一個像Phi-3這樣的小型模型中得到的答案差別很大。

Boyd 說，公司經常發現，像Phi-3 這樣的小型機型更適合他們的客製化應用，因為對於許多公司來說，他們的內部資料集無論如何都會偏小。而且，由於這些型號使用的計算能力較低，它們的價格往往要低得多。