《教父》電影中有句話：“千萬不要讓外人知道你想幹什麼”，這句話似乎也可以用在蘋果2023年前11個月的AI表現上。今年5月，外媒通報蘋果擔心ChatGPT、Copilot等AI工具收集機密數據，禁止員工在工作上使用。今年6月，在蘋果全球開發者大會上，庫克甚至都沒提AI，而是同義替換為ML。

但如果說蘋果不在乎AI，顯然不可能。畢竟追溯到2010年，蘋果就以2億美元的價格收購了Siri團隊，雖然這麼多年過去了，它還是那麼「弱智」。

今年7月，彭博社通報，蘋果內部研發了自己的AI框架Ajax和聊天機器人AppleGPT。其中Ajax是基於Google Jax搭建，而AppleGPT則類似ChatGPT。不過，二者看起來沒有什麼創新之處。

今年10月，蘋果又拿出了開源多模態大模型Ferret，擁有70億和130億兩個參數版本。但因為目前只對研究機構開放，也沒激起什麼浪花。

同樣是10月，彭博社報道稱，蘋果非常“焦慮”，並已啟動一項龐大的追趕計劃。該計劃由機器學習和人工智慧主管John Giannandrea和Craig Federighi領導，服務部門高級副總裁Eddy Cue也參與其中，預算為每年10億美元。

有點諷刺的是，早在2020年，John Giannandrea就在訪談中肯定了蘋果的AI策略，並表示蘋果不會向外說太多自己的AI能力。

到底是不能說太多，還是其實沒有太多。總之，太多傳言吊足了大家的胃口。

雖然你可以說，作為一家主打硬體的公司，蘋果今年至少發布了Vision Pro，其中數位分身、場景與動作辨識等功能都和AI技術有關。

但驕傲止步於11月AI Pin的刷屏。半個煙盒大小的「領夾」只透過「聽」和「看」就能理解用戶需求，並用AI軟體執行任務，被一些人視為「天生的iPhone殺手」。更重要的是，AI Pin背後的金主爸爸包括微軟、OpenAI 等一系列讓蘋果「焦慮」的對象。

眼看狼群要全方位包抄了，蘋果終於在2023年即將結束之時，放了兩篇論文。

其中一篇題為《LLM in a flash:Efficient Large Language Model Inference with Limited Memory》的論文提出：蘋果透過一種創新的閃存利用技術，成功地在內存有限的iPhone 和其他蘋果設備上部署了LLM，這項成果有望讓更強大的Siri、即時語言翻譯以及融入攝影和AR的尖端AI 功能登陸未來iPhone。

在2024年，這條「大模型+硬體」路線或許會直接改變競爭格局。

01打破記憶體牆，將大模型放在快閃記憶體裡

先放數據結論。論文顯示，在Flash-LLM技術的加持之下，兩個關鍵領域得到最佳化：1、減少快閃記憶體傳輸的資料量；2、讀取更大、更連續的資料塊。

優化之後，設備能夠支援運行的模型大小達到了自身DRAM的2倍；LLM的推理速度在Apple M1 Max CPU上提高了4-5倍，在GPU上提高了20-25倍。

Flash-LLM是如何做到的呢？採用了兩種主要技術：

第一、 視窗化技術（windowing），透過重複使用先前活化的神經元來策略性地減少資料傳輸。大幅減少了從記憶體（快閃記憶體）到處理器（DRAM）的資料傳輸量。

第二、行列捆綁技術(row-column bundling)，根據快閃記憶體的時序資料的存取強度量身定制，增加從快閃記憶體讀取的資料區塊的大小，改變了資料的儲存方式。

舉個我們曾在《虧了幾億， AI專案到底怎麼投？看歐洲老牌風投Index如何押寶》中舉過的「圖書館」例子。

假設，你拿著列有20本書的書單去圖書館找書，但這家圖書館就像英劇《Black Books》一樣，書本擺放得雜亂無章。你幾乎要從頭走到尾，才能全部定位出你要找的所有書。

想像一下，你找書時，需要「眼睛」和「腦子」對帳。按照常理，你不會每看到一本書，就從書單裡找對應。因為你的大腦已經「閃存」了「重點書名」。

你要做的，只是從當下視線掃過的範圍內找出書單上的書。

視窗化技術（windowing）就是這樣，相當於先用一個演算法稀疏化LLM 的權重矩陣，只保留一部分重要的元素，進而減少計算量，提高計算效率。

同時，因為你一共要找20本書，總不能像狗熊掰玉米拿一本丟一本，因此你需要一個小推車。行列捆綁技術(row-column bundling)就是這個小推車，幫助每次從快閃記憶體讀取的資料塊更大，也提高了資料讀取效率。

速度和大小的雙重突破，或許很快可以讓大模型在iPhone、iPad和其他行動裝置上流暢運行。

儘管這種方法也存在一些局限性，包括主要針對文本生成任務，對其他類型任務的適用性還需進一步驗證，以及處理超大規模模型的能力有限等等。

02迎接Vision Pro 上市，30分鐘產生「數位人分身

第二篇論文《HUGS: Human Gaussian Splats》雖然不比上一篇驚艷，但也足夠讓人眼前一亮。

這篇論文詳細介紹了一項名為HUGS（Human Gaussian Splats）的生成式AI 技術，蘋果研究員兼HUGS論文作者之一的Anurag Ranjan介紹：HUGS僅需要一個約50-100幀的原始視頻，相當於2到4秒24fps的視頻，就能在30分鐘內生成一個「數位人分身」。

據悉，這比包含NeuMan、Vid2Avatar在內的其他方式快約100倍。

根據Ranjan在X上發布的視頻，畫面右方的三個數字人分身正在草坪上快樂跳舞，相當魔性。

蘋果表示，雖然目前的神經渲染技術比早期有了顯著的進步，但依然最適合用在靜態場景中，而不是在動態場景中自由移動的人類。

HUGS則是建立在3DGS（3D Gaussian Splatting）和SMPL身體模型技術的基礎上，創造數位人分身。當然，目前HUGS技術無法捕捉每個細節，但對於未能捕捉並建模的細節元素，HUGS會自動填滿。

而3D虛擬數位人是VR頭顯進一步發展的必然要求。

例如，在去年Meta發布了Codec Avatar 2.0版本，比1.0進一步完成了逼真的數位人效果。

今年，蘋果發表Vision Pro，可以透過前置鏡頭掃描使用者臉部訊息，基於機器學習和編碼神經網絡，為使用者產生一個數位分身。當使用者使用FaceTime通話時，數位分身就可以動態模仿使用者的臉部及手部動作，並保留數位人分身的體積感和深度。

根據彭博報道，蘋果正在為Vision Pro上市做最後的準備，發售預計提前至2024年1月下旬。

根據蘋果資深分析師Mark Gurman 爆料，2024年蘋果的精力將會專注於穿戴式產品（Vision Pro、AirPods、Apple Watch），一向佔據大頭的iPhone 或將讓位。

這篇論文或許就是迎接Vision Pro上市的準備動作。

03 結語

根據集邦諮詢，從2018年開始，蘋果就悄悄收購了20 多家AI公司，只有少數公開了交易價格。

也就是說，當你以為蘋果終於慢半拍時，大佬正在觀察、努力，悄悄佈局生態，然後像以前無數次那樣，突然一鳴驚人，驚艷所有人。

更可怕的是，此前蘋果所表現的“落後一步”似乎是“以退為進”，有兩個信息值得注意。

1、外媒報道，最近蘋果正討論“價值至少5000萬美元的多年期合作協議”，並與康泰納仕、NBC新聞和IAC等媒體接洽，以獲取他們過往新聞文章的使用授權。

跟別的科技公司拿了資料直接訓練不同，蘋果是先取得授權，才會拿資料來進行訓練。

這讓人不由聯想到，最近紐約時報指控OpenAI和微軟，未經授權就使用紐約時報內容訓練人工智慧模式。而此案可能是人工智慧使用知識版權糾紛的分水嶺。

同樣的還有近期Midjourney V6的版權麻煩──利用人類創作者的作品進行AI訓練是否合法？司法如何保護創作者的權益主張？

2.在「談AI安全色變」的氣候下，今年10月，蘋果供應鏈的香港海通國際證券分析師Jeff Pu發布報告顯示：蘋果可能在2023年已經建造了幾百台AI伺服器，而2024年將會顯著增加。

他認為，蘋果在推出生成式AI時前在謹慎考慮如何使用和處理個人數據，以符合其對客戶隱私的承諾。

也就是說，先前蘋果的「慢半拍」似乎是思考如何在尊重客戶隱私的前提下，使用和處理個人資料。在沒有完美的解決方案之前，蘋果則始終保持謹慎。

此外，Jeff Pu在報告中指出：蘋果計畫最早在2024年末開始在iPhone和iPad上實施生成式AI技術。如果計畫得以實現，2024年末的時間表將意味著蘋果可能會從iOS 18和iPadOS 18開始推出生成式AI功能。

至此，這兩篇論文的發布似乎啟動了蘋果王者歸來的時鐘，2024年，群雄逐鹿的人工智慧賽道將會更加精彩。

文｜適道