蘋果接入GPT-4o 但中國用戶可能用不到
蘋果的多個App都整合了GPT-4o,包括Siri;蘋果有超過22億台活躍設備,這使Siri有望成為超級入口;蘋果不想那麼依賴OpenAI,它在「Apple Intelligence」功能中對自研模型的呼叫優先級高於GPT-4o;「Apple Intelligence」功能免費對用戶開放,但iPhone 15 Pro以上設備才能使用,且「Siri和裝置語言都需設定為英語(美國)」;
整合了GPT-4o的Siri更強大了,用戶可能因Siri減少對ChatGPT的使用,但能否因它更換新款iPhone也要打個問號。
跟外界預期的一樣,北京時間6月11日凌晨,蘋果在其年度開發者大會WWDC 2024上推出了大量AI功能,包括圖像生成、表情符號生成、更加智能的書寫、郵件總結,以及更加聰明的Siri。
蘋果為這一系列AI功能命名為「Apple Intelligence」(蘋果智慧),簡稱與Artificial Intelligence一樣,都是AI。
蘋果新發布的一系列AI功能稱為「Apple Intelligence」。
為實現這些功能,蘋果整合了來自OpenAI的最新模型GPT-4o。不過蘋果軟體工程高級副總裁Craig Federighi在發布會後一個小型活動上稱,GPT-4o只是蘋果整合的第一個第三方模型,未來可能還有更多第三方模型被整合到蘋果設備中,包括Google旗下的Gemini。先前,《華爾街日報》也曾在3月報導,蘋果也曾與百度初步談判,以在其中國設備(如iPhone)中使用後者的生成式人工智慧技術。蘋果從未證實這項傳聞。
不過和外界預期不同的是,發表會結束後,蘋果股價一度下跌1.9%。有分析師稱,這場發表會缺乏亮點,不足以改變對今年iPhone出貨量的悲觀預期。
新Siri可以跨App理解使用者需求,但只有iPhone 15 Pro以上的使用者才能使用
新版Siri強大了許多。除了能夠理解更複雜的語言文本,即使用戶說話結巴或口誤也能理解其意圖,Siri還能訪問設備上的應用程序,讀取用戶屏幕上的內容,並綜合利用多個App的信息處理用戶需求。例如,如果收到朋友發送的地址,用戶可以要求Siri將其添加到聯絡人資訊中;或者在用戶想要改變一個會議的排期,但又想知道這是否會影響他按時參加女兒演出時, Siri也能跨App分析出「女兒」指的是誰,從相應App中獲取女兒發送的演出詳情、會議時間和地點,並預估辦公室和劇院之間的行程時間,幫助用戶做出合理安排。
Siri的圖示變了。
互動方式上,使用者可以繼續像過去那樣用語音呼喚Siri,它會在裝置螢幕邊緣以動態光暈效果現身;此外,更新後的Siri也支援使用者透過輸入文字的方式與其交互,就像使用ChatGPT那樣。
Siri的螢幕邊緣以動態光暈效果。
在Siri之外,「Apple Intelligence」提供的生成式AI功能也像微軟的Copilot那樣無所不在,提供幫助用戶校對、改寫文字、總結郵件或會議內容、產生相應的emoji表情或修改照片背景等一系列功能。
包括Siri在內的一系列「Apple Intelligence」功能都免費向用戶開放,將於今年秋季在iOS 18、iPadOS 18和macOS Sequoia等作業系統更新中推出。
一個更聰明、能夠跨App理解和調用應用程式的能力有望使Siri成為生成式AI時代的超級入口——至少降低不少應用程式的日活水平,包括ChatGPT本身的日活。蘋果2023年第4季財報顯示,其產品陣容中有超過22億台活躍設備正在使用中。即使只算iPhone,第三方機構Backlinko估計iPhone全球活躍用戶也有13.34億之多。而根據Sam Altman的說法,ChatGPT每週的使用者量約為1億。
不過,只有有限數量的設備可以存取蘋果的這一系列AI功能。蘋果稱,新功能適用於iPhone 15 Pro和15 Pro Max、iPad以及配備了M1或更新晶片的Mac。意味著用戶若想嚐鮮大概率需要更換設備, iPhone 15 Pro和15 Pro Max都是蘋果2023年9月才發布的最新手機。
而且,秋季上線的「Apple Intelligence」需要「Siri和裝置語言都設定為英語(美國)」。蘋果沒有對其他語言版本的「Apple Intelligence」功能何時上線給出時間表,也沒有說明中國用戶是否需要等蘋果與中國大模型公司談定合作才能用上相似功能。如果中國用戶不能用這些功能,下一代iPhone的銷售恐怕也不太樂觀。
自研模型呼叫優先權高於GPT-4o
發表會上,蘋果確認了與OpenAI的合作關係,用戶將能夠在蘋果裝置上呼叫GPT-4o的強大功能。但是,OpenAI的模型只是Apple Intelligence模型架構的一個部分,其所呼叫的優先權排在蘋果自研模型之後。
ChatGPT 將整合在iOS18、iPadOS18和macOS Sequoia 中。
Apple Intelligence的模型架構主要由3部分組成,分別為自研的端側模型、雲端模型及GPT-4o等第三方模型。為了讓模型處理多種類型的AI任務,Apple Intelligence還採用了適配器層(adapter layers)的模組組件,能夠嵌入到預訓練模型的不同層中,對模型進行特定任務的精細調整。
處理AI任務時,系統會優先呼叫設備端的模型,並利用自身晶片完成運算任務。蘋果官方發布的技術報告顯示,Apple Intelligence端側語言模型擁有約30億參數,其在iPhone 15 Pro上的處理速度達到每秒產生30個token,初始回應延遲僅約0.6毫秒。所有在端側處理的資料均保留在本地,從而最大限度地保障用戶隱私。
「新皮層」曾報導,今年2月以來,蘋果已發布了一系列小型模型,包括可以讀懂iPhone螢幕的多模態理解模型ReALM(Reference Resolution As Language Modelling)和Ferret-UI(雪貂-UI )。 4月,它還發布一系列名為OpenELM(開源高效語言模型)的語言模型,提供2.7億、4.5億、11億和30億等多個規格的參數量。
對於無法在端側處理的請求,Apple Intelligence會呼叫雲端算力來處理,也就是蘋果所稱的「私密雲運算」(Private Cloud Compute)。從蘋果官方發布的評測結果來看,蘋果雲端模式的處理能力與GPT-3.5相當。蘋果強調,只有與任務直接相關的數據才會被發送到雲端處理,並且這部分數據不會被存儲,蘋果只會在處理用戶的主動請求時上傳信息,並且通過可驗證的隱私機制來保證安全。
蘋果的模式能力不如OpenAI,這也正是蘋果選擇連結第三方模式的原因。具體任務執行中,當Siri判斷問題需要更深入的答案時,會自動提示使用者呼叫GPT-4o,取得使用者確認後,Siri才會將相關問題、圖片或文件傳送至GPT去處理。用戶無需創建新的OpenAI帳號或下載應用,就可在蘋果設備端免費使用GPT-4o的功能,蘋果強調用戶發送的數據和請求不會被OpenAI儲存。而且,ChatGPT高級訂閱用戶還能夠透過Siri和蘋果其他整合了ChatGPT的App存取ChatGPT的付費功能。
蘋果不想和OpenAI深度綁定,其想要整合的第三方模型不只OpenAI一家。 Craig在發布會後對外表示:“我們期待未來與其他模型集成,例如Google的Gemini模型。”
iMessage支援衛星連線。
目前,蘋果提供的Apple Intelligence套裝中並未包含Google那樣的「Circle to Search」服務。今年1月,Google與三星合作,首次提出這種AI搜尋功能,讓用戶無論聊天、瀏覽社交媒體,還是查看PPT文檔,只要對屏幕上的任何內容有進一步了解的意願,都可以伸出手指、圈中它,然後按下Home鍵──就可以一鍵召喚Google。
iPadOS 18上有了更強大的計算器
在這次更新中,iPad上不僅有了官方計算器,而且該計算器相較於iPhone版還新增了「數學筆記」功能,支援使用Apple Pencil手寫輸入。使用者只要在數學表達式後寫下「等號」或一系列數字後劃下一條橫線,計算器就能根據情境理解使用者是要做加法還是任何複雜計算。如果更改了計算變量,結果也會同步更新,應用甚至能夠即時繪製函數圖像。蘋果並沒有顯示這些數學能力是基於什麼樣的AI模型。
“數學筆記”功能示範。
這是iPad發布14年後內建的首個官方計算器,該發布也在WWDC上獲得了最多掌聲。自2010年iPad首次發布以來,用戶一直依賴網頁瀏覽器或第三方應用程式來完成基本的數學計算。一位自稱是蘋果前員工的用戶聲稱,在iPad發布的前一個月,蘋果創始人賈伯斯要求軟體部門高級副總裁斯科特·福斯托爾(Scott Forstall)重新設計計算器應用,拒絕了直接將iOS端的計算器應用程式放大到iPad上的方案。自此,多年來,設計一款更大螢幕上的計算器應用程式成了困擾蘋果的難題。 Craig在WWDC 2020時曾提到,“我們希望能夠把原生的iPad計算器應用做得更好,但老實說,我們還沒有達到那個水平。”
此外,iPadOS 18還引入了「智慧腳本」功能,利用機器學習技術優化手寫筆跡,使筆記和數學公式更加容易閱讀和理解。蘋果也宣布,這些計算器軟體的更新也將出現在新的macOS系統macOS Sequoia中,預計將在今年稍後與iPadOS 18一同推出。
在iPhone和iPad之外,蘋果也更新了Vision Pro和Mac的作業系統,不過除了統一的AI(Apple Intelligence)功能,其中值得關注的更新就沒有那麼多了。一個與中國市場有關的消息是,Apple Vision Pro將於6月28日在中國、日本、新加坡等地區發售,國行版售價高達2,9999元。
Apple Vision Pro將於6月28日在中國發售。
「Apple Intelligence」讓Siri更強大了,但中國用戶可能用不到。即使所有用戶都能用上了,能否因為它更換新款iPhone也要打個問號。發表會結束後,不僅蘋果股價一度下跌,其供應商LG和立訊精密的股價也大跌,跌幅分別為9.5%和4.1%。其中LG跌幅為2022年9月以來最大。