一位開發人員獨自花了一個週末的時間，嘗試在老式的DOS 機器上運行Llama 2 大語言模型。由於隨時可用的開源程式碼，該專案最終成功了。然而，要將Llama 2 適配到古老的DOS 環境並非易事。

Yeo Kheng Meng 是一位程式設計師，曾因開發ChatGPT 的DOS 用戶端而聞名。最近，他啟動了一個新的AI 相關項目，專注於過去基於提示的運算環境。他的最新成果是一個完全基於DOS 的大型語言模型(LLM)，可以離線執行推理任務。

FreeDOS 計畫指出，孟使用Meta 於2023 年發布的Llama 2 模型開發了DOS LLM 用戶端。這位程式設計師在搭載新舊組件的系統上測試了該軟體，並在Thinkpad T42（2004 年）和東芝Satellite 315CDT（1996 年）之間進行了驚人的性能對比。不出所料，在舊系統上運作LLM 耗時許久。

他借助llama2.c（一個旨在快速將Llama 2 模型移植到各種系統和硬體平台的開源專案）開發了一個功能齊全的DOS LLM。Meng解釋說，儘管llama2.c 的編寫初衷是提高可移植性，但它仍然需要進行一些編碼調整，以應對傳統計算環境的挑戰。

程式設計師必須選擇合適的DOS 擴充工具才能存取超過傳統640KB 常規記憶體的更大RAM 池。他還必須修改OWC 編譯器，因為llama2.c 需要功能相對先進的C 編譯器。在調整編譯過程後，Meng 創建了一個可以在他的DOS 系統上運行的、功能齊全的llama2 二進位。

這位程式設計師對幾台運行MS-DOS 6.22 的系統進行了基準測試，從老式的486 DX2 66MHz PC 到現代的基於Ryzen 的桌上型電腦。不出所料，新系統提供了更快的推理速度。令人驚訝的是，搭載1.7GHz Pentium M 處理器的ThinkPad T42 的性能甚至超過了16 年後發布的ThinkPad X13G1。

Meng將llama2.c 的測試、文件編寫以及移植到DOS 的過程描述為一個週末的專案。他感謝開源llama2.c 的Andrej Karpathy 讓這一切成為可能。