軟體工程師在20 年前的PowerBook G4 上運行生成式人工智慧
在本週的一篇部落格文章中,軟體工程師Andrew Rossignol 詳細介紹了他如何在舊的PowerBook G4 上運行生成式人工智慧。雖然大型語言模型(LLM) 的硬體要求通常很高,但這款2005 年的PowerBook G4 型號僅配備了1.5GHz PowerPC G4 處理器和1GB RAM。
儘管硬體已有20 年歷史,但我的兄弟還是能夠在筆記型電腦上使用Meta 的LLM 模型Llama 2 進行推理。
實驗涉及移植開源llama2.c 項目,然後使用名為AltiVec 的PowerPC 向量擴充來加速效能。
他的完整部落格文章提供了有關該項目的更多技術細節。
類似的生成式AI模型在PlayStation 3、Xbox 360等舊設備上運行的例子也時不時出現在新聞中。
