郭明錤解密Apple Intelligence:端側模型對DRAM需求約2GB或更低
天風國際證券分析師郭明琪近日發布報告稱,從配備A16的iPhone 15無法支持Apple Intelligence,但M1的機型可以支持,這推論出能否支持目前Apple Intelligence裝置端模型的關鍵應該是DRAM大小,而較不是AI算力(TOPS)。
郭明琪表示,M1的AI算力約為11 TOPS,低於A16的17 TOPS。但A16的DRAM為6GB,低於M1的8GB。因此,目前的Apple Intelligence裝置端AI LLM對DRAM的需求約為2GB或更低。
他進一步指出,Apple Intelligence採用端側3B LLM(應為FP16,M1的NPU/ANE對FP16有很好的支援),經過壓縮後(採用2-bit與4-bit的混合配置),隨時需要預留約0.7-1.5GB DRAM來運作Apple Intelligence的端側LLM。
郭明琪的分析認為,對於現有的裝置端應用,如果要透過AI進行增強,至少需要部署3B LLM。在此基礎上,再根據壓縮方式決定DRAM規格。 (最有可能升級到7B LLM),屆時需要更大DRAM才能運作。蘋果是否會以此作為高低階機種的產品區隔策略值得觀察。