MIT華人女科學家融資2億美元1萬塊H100訓超千億參數AI智能體
又一家AI獨角獸在矽谷誕生!這家華人女科學家創辦的公司名為Imbue,近日獲得了2億美元融資,估值已達10億美元。而Imbue也是少數創始人為女性的獨角獸之一。
不僅如此,Imbue還手握1萬張英偉達H100顯卡,硬通貨已經不愁了。
是的,你沒猜錯,這家AI獨角獸,英偉達又投了!
英偉達高級科學家Jim Fan也開心地發推祝賀:去年我們還一起在NeurIPS上一起談論Avalon和MineDojo呢,現在Avalon背後的公司,已經成為獨角獸了!
這個故事告訴我們,不要忽視你在頂會上遇到的每個其貌不揚的研究者,說不准在哪天,他們的公司就會獲得頂級融資,誕生下一個Sam Altman。
沒有一份錢創收,但已籌集數億,這樣的奇蹟,只有在矽谷才會發生。
00:24
英偉達看好
目前,Imbue正在訓練的“超大規模”大模型,參數已經超過1000億,並且,Imbue目前手握1萬張英偉達H100 GPU。
公司還未發布任何產品,僅在去年秋天發布了Avalon開源訓練環境。
Imbue聯合創始人Kanjun Qiu和Josh Albrecht
不過,Imbue的此輪融資金額,是先前已籌集金額的10倍。
由億萬富豪Jed McCaleb成立的非營利組織Astera Institute領投,參投方包括英偉達、通用汽車旗下自動駕駛公司Cruise首席執行官Kyle Vogt、Notion聯合創始人Simon Last等。
現在,Imbue的融資總額已經達到2.2億美元,已躋身為最近幾月融資狀況最好的初創公司之一。少數在它前面的,就是Cohere(4.35億美元),Adept(4.15億美元),以及AI21 Labs(2.83億美元)。
參投方中最引人注目的名字,無疑就是英偉達。
就在今年,英偉達已經連投7家AI獨角獸,包括Adept、Coreweave、Cohere、Inflection、Runway、AI21 Labs,以及Imbue。
瞄準AI智能體
一家還處於早期階段的初創公司,只有20名員工,還未發布任何面向公眾的產品,卻贏得諸多矽谷知名AI投資人的青睞,這是為什麼?
原因就是,Imbue選擇的路線並非AI基礎模型,而是——AI智能體!
大模型導致的生成式AI爆火之後,市場被徹底盤活,信心滿滿的投資人也在急切地四處尋找下一個熱點。
AI智能體,就是被諸多AI大佬和科技巨頭看好的方向。
今年加入OpenAI的大牛、前特斯拉AI總監Karpathy曾表示:AI智能體,代表了AI的一種未來!
Karpathy曾將AutoGPT稱為下一個前沿
AI智能體是一種自動的智能體,以最簡單的形式中在循環中運行,每次迭代時,它們都會生成自我導向的指令和操作。因此,它們不依賴人類來指導對話,並且是高度可擴展的。
作為模擬人類抉擇來完成複雜任務的計算系統,AI智能體無疑是比大語言模型更具想像力的路線。
其實,早在今年三、四月,就有過一輪AI智能體的大爆發,彷彿巧合一樣,在短短兩週內,斯坦福西部世界小鎮、BabyAGI、AutoGPT、GPT-Engineer等多個智能體,就如雨後春筍一般冒出來。
甚至有人發出號召:別卷大語言模型了,咱們是卷不過OpenAI的,但要說起AI智能體,他們並不比我們有經驗多少。說不定一不小心,自己就能捲成AI智能體賽道上的“OpenAI”!
這不,Imbue這就來了。
投資人:慢慢探索,不著急落地
不過,創始人表示,Imbue雖然在開發一些產品,但並不打算將大部分產品投入生產。
Imbue希望,這些模型和工具是一種方式,幫我們在未來通向AGI,讓人們能有一個創建自己定制模型的平台。
對於市場,Imbue的態度並不急切,這一點,從融資上也可以看出——
主要投資方,是致力於科技項目的非營利組織Astera Institute,而非趁熱一擁而入AI項目的風投公司。
兩位創始人表示,在融資過程中,他們有意避免了與風投公司會面。
這是因為,在他們看來,Imbue的工作離真正商業化落地或許還需數年,風投公司不會有這種耐心,而非營利組織會對他們的商業化時間表更加寬容。
最大投資人、億萬富豪Jed McCaleb表示,自己在看完Qiu和Albrecht建立AI智能體的PPT後,覺得非常滿意,因此大手一揮,拍板決定投資。
當然,他也明白,這是一場豪賭:為了把研究推進到下一個階段,把實驗室的工作產品化,光GPU的投入,就要燒掉不少錢。
Qiu和Albrecht也非常有信心,在十年後,PPT上的成果,很可能就變為人們日常的應用,而且,很可能用不了十年。
訓練推理基礎模型
在Imbue的官方博客裡,他們是這麼解釋的——
目前,AI系統在代替用戶完成簡單任務方面,能力非常有限。這其中的一個重要阻礙因素就是“推理”。
可以說,強大的推理能力是AI智能體實現有效行動的必要條件。
對此,我們可以進一步細分成:處理不確定性的能力、知道何時改變方法的能力、提出問題和收集新信息的能力、推演情景和做出決策的能力、提出和放棄假設的能力,以及處理現實世界複雜而難以預測的本質的能力。
要想為“會推理的AI智能體”量身定制基礎模型,就意味著不僅要利用LLM所提供的強大功能,同時還要以詳細、實用的方式了解這些模型是如何訓練的,以及它們在哪些方面會出錯。
也就是說,一方面需要創建專門用於強化模型推理的預訓練數據,另一方面還要開發出能夠讓推理結果更加可靠的技術。
為此,團隊採用了全棧式的方法:訓練基礎模型、製作實驗智能體和界面原型、構建穩健的工具和基礎設施,以及了解模型如何學習的理論基礎。
– 模型
訓練並優化超大規模的模型(>1000億參數),進而在推理基準測試中獲得出色的表現。
而最新一輪的融資讓Imbue獲得了其他公司難以企及的能力:搭載著約1萬張H100的計算集群,可以實現從訓練數據到架構和推理機制等所有內容的快速迭代。
– 智能體
在模型之上,Imbue設計了內部使用的智能體原型(主要用於編碼)。同時,也在嘗試各種各樣其他的智能體,進而獲得強大、可靠的通用智能體。
– 界面
如今的AI聊天界面基本都是擬物化的。而團隊認為,有很多關於智能體穩健性、信任和協作的核心問題,是可以通過重新發明交互界面重來解決的。
此外,可以理解世界的AI智能體,也提供了一個重新思考人類與計算機交互方式的機會,從而創造出更能支持並賦予我們能力的系統。
– 工具
優秀的工具能加速迭代的循環。
為此,團隊在為自己構建工具方面投入了大量精力:無論是用於修復類型檢查和線程錯誤的簡單智能體原型,還是智能體和模型之上的調試和可視化界面,抑或是更加複雜的系統(比如CARBS可以自動完成大部分超參數調整和網絡架構搜索)。
– 理論
要想為智能體創建一個既能提供穩健基礎,又能保持長期安全的模型,就必鬚髮展深度學習理論。
為此,團隊將研究重點集中在特徵學習,以及理解大語言模型學習過程背後的核心機制上。
目前,團隊已經發表了不少關於自監督學習的理論基礎,以及神經網絡等系統學習的基本規律的文章。
會推理和碼代碼的AI智能體
不過,在開發出人人可用的AI智能體之前,團隊首先針對自己的使用場景進行了深入的研究。
並以此了解如何才能不斷地改進專門為智能體設計的推理模型,以及如何才能構建出讓智能體更加可靠的工具。
於是,在首批智能體原型中,有很大一部分都是圍繞著團隊的核心工作——代碼。
具體原因如下:
– 使用是發明的必要條件
要想讓AI智能體與人類一起穩定地工作,最佳途徑就是製造能夠用於日常工作的AI智能體,並在此過程中解決各種問題。
– 代碼可以提高推理能力
首先,在代碼上進行訓練有助於模型更好地學會推理。其次,由於編程問題非常客觀(代碼要么通過測試,要么不通過),因此可以為更廣泛的推理能力測試提供了一個相對理想的平台,從而讓團隊能夠了解到他們對底層系統的改進是否有效。
– 代碼對於行動非常重要
生成代碼是智能體與計算機上進行交互的有效方式。更強的編碼能力可以直接轉化為更有可能成功完成複雜任務的智能體。例如,會編寫SQL查詢從表格中提取信息的智能體,要比直接嘗試匯集相同信息的智能體更有可能滿足用戶的需求。
– 具有重要的戰略意義
隨著不斷的改進,智能體可以接管更多的工作,從而加快研究和工程的速度。這樣,不僅有助於軟件系統的構建,而且還能幫助建立起一個組織的原型,看看真正可用的AI智能體會是什麼樣子。
目前,團隊並沒有把這些“代碼智能體”投入生產的打算。不過,他們預計會在一段時間之後,公開這些工具和模型,讓任何人都能創建出自己的AI智能體。
真正的個人計算機,讓我們自由、有尊嚴、有能力做自己喜歡的事情
真正有用的AI智能體,實際上就是一個能理解目標、會主動溝通並在背後為我們工作的計算機——從而消除想法與執行之間的障礙。
而我們也不必再盯著屏幕,而是可以自由地探索自己的好奇心,發現宇宙的規律,創造藝術傑作,更深入地了解彼此,或者只是花時間享受生活。
團隊成員
雖然只有20人左右,但Imbue的團隊成員可謂臥虎藏龍。
聯合創始人兼首席執行官Kanjun Qiu在MIT獲得了學士和碩士學位,其他成員除了AI外,甚至還具有神經科學、等離子體物理學等背景。
創始人Kanjun Qiu和Josh Albrecht認為,團隊所具有的背景知識廣度,是他們的一項優勢。
雖然根據華爾街見聞報導,矽谷有幾位投資者懷疑這支小團隊是否有能力運營一家真正的AI研究實驗室。
部分投資者和顧問但在了解Imbue創始人的人看來,風投偏向於支持幾個有著名背景的創始人,因此這種擔憂並不重要。