經過23年的生成式AI之年，24年AI會有哪些新突破？大佬預測，即使GPT-5發布，LLM本質上仍然有限，在24年，基本的AGI也不足以實現。

23年是當之無愧的’生成式AI之年’。24年，AI技術會有哪些突破？

英偉達高級科學家Jim Fan稱，2024年將是視頻年。儘管機器人和具身智能體才剛起步，但我認為視訊AI將在未來12個月內迎來突破性進展的時刻。

OpenAI聯創Greg Brockman則預測：2024年，AI的能力、安全性、潛在影響的積極性上，都會是突破性的一年。

當然，從更長遠的角度看，這只是另一個指數級的一年，讓每個人的生活都比今天更好。

新的一年，人工智慧還會像2023年一樣，大放異彩嗎？

AI大佬2024預測

Meta的研究員Martin Signoux對2024年AI做出了8大預測，就連LeCun大佬表示深度贊同。

首先，人工智慧智慧眼鏡蔚然成風。隨著多模態技術的興起，領先的人工智慧公司將加倍努力開發人工智慧穿戴裝置。還有什麼比眼鏡外型更適合承載人工智慧助理呢？

ChatGPT之於人工智慧助手，就像谷歌之於搜尋一樣。2023年，ChatGPT開始大放異彩，Bard、Claude、Llama、Mistral和數以千計的衍生產品相繼問世。

隨著產品化的持續推進，ChatGPT將不再是這個領域的唯一參考標準，其估值也將面臨修正。

大模型模型再見，多模態模型你好。LMM將不斷湧現，並在多模態評估、多模態安全、多模態這個、多模態那個的爭論中取代LLM。此外，LMM是邁向真正通用人工智慧助理的墊腳石。

沒有重大突破，但各方面都有改進。新模型不會帶來真正的突破（GPT-5），LLM本質上仍然有限，而且容易產生幻覺。我們不會看到任何飛躍，使它們在2024年可靠到足以’解決基本的AGI’。

在RAG、資料整理、更好的微調、量化等方面的改進，將使LLM在許多用例中變得足夠強大/有用，從而推動各行業各種服務的採用。

小模型（SLM）已經出現，但成本效益和永續發展的考慮將加速這一趨勢。量化技術也將大大提高，從而推動消費服務的設備整合浪潮。

開源模型擊敗GPT-4，開源與封閉之爭逐漸平息。回顧過去12個月開源社群的活力和進步，很明顯，開源模型很快就會縮小效能差距。

基準仍然是一個難題。沒有一套基準、排行榜或評估工具能夠成為模型評估的一站式服務。相反，我們將看到一系列改進（如HELM）和新舉措（如GAIA），尤其是在多模態方面。

與現有風險相比，存在的風險不會引起太多討論。雖然X風險成為2023年的頭條新聞，但公眾討論將更關注與偏見、假新聞、用戶安全、選舉誠信等相關的現有風險和爭議。

Lightning AI的創辦人William Falcon對2024年的預測是：

– 1B模型性能將優於70B。

– 在CPU上部署模型幾乎是免費的，而不是API服務。

– 數據品質將使效能提升10倍。

– 開源模型的組合將擊敗最好的私有模型。

– 編譯器將使模型（訓練和推理）的速度至少提高80%。

– 立法將支持內容創建者，而非模型開發者。

開源工具平台LlamaIndex的創辦人Jerry Liu表示，

– RAG將繼續成為一個大焦點

– 每個AI工程師仍然需要強大的軟體工程基礎。

– 向量資料庫開始開發類別SQL介面並支援多模態

– 多模態模型在文件處理中得到更多使用（但首先，計算成本/延遲需要降低）

– 類似GPT-4的全部能力成為開源，並且更快/更便宜。

– 如果是這種情況，智能體的開發會重新蓬勃發展。

– 提示和以前一樣重要，但提示工程的重要性會下降

2023年，ChatGPT訪問量全球居首

過去一年裡，AI無所不在，甚至重新定義了整個產業。

線上內容寫作公司Writerbuddy AI使用SEO行業著名的工具SEMrush，透過抓取AI工具數據，研究了3000+種AI工具。

結果發現，從2022年9月-2023年8月，排名前50的AI工具，產生了超過240億次的驚人訪問量，平均每月增長2.363億次。

其中，ChatGPT獨佔了140億流量，佔分析流量的60%。

以下是報告中的關鍵發現：

– AI產業平均每月成長2.363億次造訪量。分析的50個人工智慧工具經歷了10.7倍的成長率，平均每月訪問量增加2.363 億次。

– 過去12個月中，AI應用每月平均訪問量達到20億次。過去6個月，每月平均訪問量激增至33億次。

– ChatGPT、Character AI和Google Bard的訪問量分別淨增長了18億次、4.634億次和6800萬次。

– 訪問量最高AI聊天機器人：ChatGPT處於絕對領先地位，佔AI聊天機器人類別總訪問量的76.31%。緊隨其後的是Character AI，以19.86%的訪問量位居第二。

– Craiyon、Midjourney和Quillbot面臨最大的流量下降。

– 美國貢獻了55億人次訪問量，佔總訪問量的22.62%，而歐洲國家合計貢獻了39億人次訪問量。

– AI 聊天機器人工具最受歡迎，訪問量達到191億次。

– 超過63%的AI工具用戶透過行動裝置存取。存在性別差異，69.5%為男性用戶，30.5%為女性用戶

除了風靡全球的ChatGPT，23年的這些技術也很驚艷

23年過去了，這一年的關鍵字，無疑就是’生成式AI’。

22年底ChatGPT的推出，以及23年3月發布的GPT-4，讓全世界見識到了大語言模型的廣泛可用性，讓23年變成了屬於文字、音訊和視訊生成式AI的一年。

除了今年的’寵兒’ChatGPT之外，其他公司的鋒芒也不應被忽視，比如放出了第一個開源語言模型的公司，和幾家新的AI初創公司，包括在年底發布了目前可用的最佳開源語言模型Mixtral 8x7B的Mistral。

除此之外，還有以下這些令人印象深刻的技術。

史丹佛小鎮與機器貓

‘斯坦福小鎮’，展示了令人印象深刻的文本和編碼任務的應用。

團隊創造了一個受模擬人生啟發的沙盒環境，其中的25名AI智能體，每個都有屬於自己的職業和個性，可以自主互動。

這些智能體展現了可信賴的個人和緊急社交行為，包括做計畫、參加情人節派對。這項工作展示了基於LLM的智能體如何相互交互，並產生了有趣的結果。

這個想法已被其他研究和開源專案所採用，例如Auto-GPT和BabyAGI，而OpenAI則透過Assistant API，將其大大簡化。

GPT-4等基礎模型，也已用於機器人技術，取得了一些進展，例如Google的機器人RT-2和RoboCat。

RT-2是一種用於機器人控制的AI模型，可以從機器人和網路資料中學習。該模型可以處理文字和圖像輸入，並利用其廣泛的網路知識來執行尚未經過明確訓練的任務。

在6000多次機器人測試中，RT-2在未經訓練的任務中的成功率，幾乎是其前身的兩倍。

另一方面，RoboCat是一種AI，可以產生訓練數據，以改善機器人的控制。

其他公司的技術，如英偉達的多模態VIMA模型，也在機器人技術中使用了基礎模型。

DreamerV3和FunSearch

在強化學習領域，研究者也取得了許多重要成果。

一個例子是DreamerV3，它可以處理完全不同的問題，而無需任何調整。

在沒有人類模型的情況下，DreamerV3就會學習如何在Minecraft中開採鑽石。

今年早些時候，DeepMind也展示了AdA（Adaptive Agent），這是DeepMind的一個基礎強化學習模式。

AdA遵循基礎模型的經典配方，在具有大量資料的任務上進行了訓練。AdA之所以意義重大，是因為它顯示了，強化學習中的擴展可以使模型在其他任務上表現更好。

在各個科學領域，深度學習展現越來越多的作用。

DeepMind開發了AlphaTensor，一種用於快速矩陣乘法的新演算法。

同時，DeepMind最新版本的AlphaFold蛋白質結構預測系統，克服了先前版本的許多弱點，為計算結構預測開闢了新的可能性。

此外，Google DeepMind也展示了FunSearch，這是首次使用程式碼產生語言模型與演化搜尋演算法結合，為數學問題找到先前未知的解決方案。

OthelloGPT、Q-Star和AI法案

2023年，也是AI監管的一年，和對AI存在主義風險發出警告的一年。

這種趨勢無疑也會刺激業界研究，好讓人類更能理解LLM的內部運作原理。

這段期間有一些有趣的論文，像是OthelloGPT，微軟的GPT-4體現了AGI火花，以及Google關於大模型’頓悟’的論文。

提示工程領域提供了對LLM的見解。

François Chollet將提示工程解釋為尋找正確的向量程式和Promptbreeder，這表明，提示在未來可能會變得更加自動化。

在年末，傳起了關於Q-Star的謠言，伴隨著人們的AI的恐懼、AGI的炒作、以及短短幾天多次反轉的OpenAI宮鬥鬧劇。

在2024年，或許我們會看到猜測變少，談判變多。

AI訓練所使用的數據，在哪些範疇內是合理的？最近紐約時報對OpenAI發起的訴訟，引起了全社會範圍內的廣泛探討。

類似的辯論，也將在歐盟上演，在今年底前，歐盟各國就《歐盟人工智慧法案》達成協議。這項法案的細節將在明年決定，並對歐洲的人工智慧市場產生重大影響。

2024 AI展望

在經歷了爆炸性的2023年之後，2024年的人工智慧領域將會有哪些進展？

毋庸置疑，在這個新的一年裡，我們仍將看到領先的AI在許多新的創意方式中應用，推動整個產業的進步。

Copilot AI登台：智能體時代來臨

OpenAI在首屆開發者大會上發表的GPTs、Assitants等工具，微軟產品全線更名Copilot等等，智能體在今年迎來了大爆發。

這些工具已經開始在一個又一個行業中產生影響，但我們迄今所看到的與即將到來的相比微不足道。

今年早些時候，來自普林斯頓、Google團隊發表的ReAct論文展示了大模型如何有效地學習如何使用工具，並推動了這方面的大量研究。

OpenAI、Anthropic在內的公司已經花了一年的時間來調整自家模型，以便更好地使用這種技術。

例如，OpenAI的函數調用，以及Anthropic的Claude XML支援。

還有一些研究機構專門訓練了專門的大模型，像是柏克萊的Gorilla LLM。

另外，開源程式碼庫Langchain、Rivet等都讓智能體變得容易得多。

看得見，AI智能體比以往任何時候都更容易開發，成本也更低。它們在發揮人類聰明才智的同時，也能深入連結對使用者和公司最重要的數據。

2024年，我們將看到’智能體時代’的到來，這是透過軟體滿足需求和與技術互動的一個全新方向的開端。

多模態大模型突破視覺障礙

ChatGPT能夠理解和表達人類自然語言，這是吸引使用者和開發者的突破性功能。

但是，2024年將看到AI視覺可能會更加重要，影響更加深遠。

文字固然強大，但影像、視訊、音訊能以更集中的方式傳遞訊息和情感。思想的空間表達是一種非常強大的工具，可以簡單地傳達複雜的概念。

LLM不僅能對文字資料進行訓練，還能對視覺資料進行訓練，多模態能力更加明顯。

我們已經看到，Ai Pin、Apple Vision等穿戴式裝置的發展，它們有望為我們的日常生活提供幫助。

例如，它們可以提供與交流的人的背景資訊、與工作相關的視覺提示，或完成任務的即時建議。

創新將走向何方？速度有多快？現在還很難說，但能夠解讀圖像和影片並對環境中的物理變化做出即時反應，為智慧人工智慧只能以如何幫助人類增添了一個極其重要的維度。

AI操控達到危險等級

AI爆發為各個領域帶來翻天，覆地的變化的同時，也讓我們看到AI生成假訊息給生活帶來了困擾。

在人類歷史上，大規模影響和操縱AI從未如此強大，也從未如此普及。

人工智慧已經讓人們幾乎無法辨別’真實’的社交互動與內容，因為圖像，甚至視頻都可以輕鬆生成。

未來一年，人工智慧操縱可能會大行其道，從自動勒索和詐欺到陰謀論的傳播。

總而言之，2024年，人工智慧將為世界帶來許多令人難以置信的東西，但它也將以新的方式挑戰我們。

知友預測

關於此話題的暢想，也上了知乎熱榜。

知友’引線小白’預測，在24年，模型效果會進一步突破，可能只要7B的模型推理資源，就能與現在的GPT-4持平。

隨著部署成本大幅下降，24年可能就會成為AI Agent元年，出現一個爆款。

多模態進多模態出一統江湖的模型，有可能出現。

第一部AI電影，也有望在24年出現。

清華自動化系在讀博士認為，’多模態大模型取得進一步突破，圖片和視頻生成能力進一步提升。更多的人力工作，特別是需要部分創造力的工作被​​取代。部分領域大模型的湧現能力進一步凸顯，表現出一些更具創造性的行為。’

AI架構師’春陽CYang’預估，2024年應該是AI大模型應用落地的元年。

2023一整年，雖然大模型火爆，但真正能落地的產品還很少，只集中在改寫文案等淺層的應用上。

但現在，有很多大模型領域的創意產品在落地了，可以期待一波。

程式設計師@小五哥預測道——

大語言模型將在手機端運算推理；Agent將代替人們做一些更實用的事情；最令人開心的是，人形機器人很可能幫我們洗衣、拖地、做飯、收拾房間了！