蘋果的AI訓練”突破”保護了隱私同時讓LLM的學習更有彈性
蘋果公司的研究人員發現了一種快速訓練大型語言模型（LLMs）的新型多模式方法，這種方法可以實現更靈活、更強大的機器學習和”人工智慧”系統。
該公司本週稍早在研究網站arxiv.org 上發布的一篇研究論文顯示，蘋果公司使用了一種所謂的”精心混合”圖像字幕、交錯圖像文字和純文字資料來訓練LLM。視覺和語言資料的混合使模型能夠處理智慧地為圖像添加標題或推斷自然語言含義等任務。
研究發現，影像編碼器的選擇及其處理影像的解析度對效能的影響比視覺語言連接器的設計更大。
在一個使用300 億參數MM1 模型的實例中，研發人員發現了強大的情境學習能力。這項發現意味著，只需很少的”思維鏈”提示，它就能對多幅圖像進行多步驟推理。
根據Venturebeat 報導，在突破性技術方面，蘋果公司正在延續其”快速追隨者”而非”先行者”的傳統。執行長 Tim Cook最近承認，公司每年花費10 億美元將”人工智慧”融入現有技術。
庫克表示，公司將在今年稍後分享”我們正在進行的人工智慧工作的細節”。預計蘋果將在今年6 月的WWDC 大會上宣布一些進展。
在使用人工智慧相關技術方面，該公司正在追趕競爭對手。它也正在開發既能保護用戶隱私，又能增強現有機器學習能力的方法。
後一種對隱私和安全的擔憂並不是現有”聊天機器人”類型服務的特點，這也增加了蘋果面臨的挑戰。
蘋果公司對神經網路的多模型訓練很感興趣，並因此獲得了最先進的性能，可以進行多步驟推理。這表明，該公司已經找到了一條快速提升機器學習能力並賦予其高級”智慧”能力的道路。
閱讀文獻了解更多：