至少在接下來的兩三年內，「規模法則」在提供超預期表現方面的進度不會有任何放緩。在近日的訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智慧領域的最新趨勢。他認為，未來幾年AI模型將呈現大小模型「齊頭並進」的趨勢。

一方面，大型模型的規模化競賽仍將持續，並融入更多模態的數據，例如影片、影像等。另一方面，利用大型模型訓練小型模型的技術（如蒸餾）興起，高效的小型模型將在特定場景中發揮巨大作用。 Suleyman補充稱，未來，知識將濃縮到更小、更便宜的模型中，嵌入各種設備，實現真正的環境感知革命。

對於創業者而言，Suleyman認為，理解並利用提示工程至關重要。透過提供高品質的指令集，創業者可以引導預訓練模型，使其符合自身品牌價值觀，打造獨特產品。此外，小型模型蘊藏著巨大機會，創業者可以利用其低成本和高效性，開發針對特定用例的應用。

在訪談中，Suleyman也強調了資料整合的重要性。合成資料將成為訓練模型的關鍵，但如何取得、整合這些資料仍需深入探討。

此外，這位微軟AI主管也談到了新模式的加入，例如影片和影像的整合，以及跨複雜數位介面的動作軌蹟的理解和資料收集。他認為，這將帶來許多令人印象深刻的結果。對於企業家來說，如何利用這些新趨勢和技術進行創新，將是未來成功的關鍵。

以下為全文內容：

Q：未來幾年，在不斷發展的模型（models） 格局中，有哪些事情值得關注？

A：模型的規模既在變大，也在變小，這種趨勢幾乎肯定會持續下去。

去年開始流行一種新方法，稱為蒸餾。這類方法利用大型、高成本模型來訓練小型模型。這種監督效果相當不錯，目前有充分的證據支持這一點。

因此，規模仍是這場競爭的關鍵因素，未來將有很大的發展空間，數據量也將持續成長。

至少在接下來的兩三年內，「規模法則」在提供超預期表現方面的進度不會有任何放緩。

Q： 還有哪些新的模式可以加入？

A：人們也考慮將影片、影像以及跨複雜數位介面的動作軌跡等新的模態融入模型中。

但我們真正感興趣的是跨複雜數位介面的動作軌跡，例如從瀏覽器跳到桌面，再轉移到手機，從不同的生態系統中切換，無論是在封閉的花園還是開放的網路中。

我們試著理解這些軌跡，收集大量數據，使用監督學習和微調等方法。我認為這將帶來許多令人印象深刻的結果。

Q： 在數據方面，人們在哪些方面思考得不夠多？

A： 數據的討論角度很多，經典的問題是哪些數據可以使用及其品質。我認為網上已經有大量討論。

但人們沒有花足夠時間思考新數據的來源，以及如何整合這些數據。

例如，合成數據是一個有趣的領域，如果我們有這樣的數據，可以訓練出更好的小模型和大模型。如何取得這些數據並確保其整合是一個關鍵問題。但是如何獲得這些數據並確保它們被整合起來，這一點還沒有得到足夠的討論。

Q：在處理模型時，提示（prompt） 和問題（question） 之間有什麼區別？

A：提示不只是你問聊天機器人的問題。當你問聊天機器人一個問題，那是一個問題；當你寫一個三頁的風格指南並附上模仿的例子，那是一個提示。

提示是你的高品質指令集，指導預訓練模型以特定方式行為。令人驚訝的是，模型只需幾頁指令就能表現得非常不同。

為了讓模型表現出細微、精準和符合品牌價值的行為，你需要展示成千上萬個良好行為的例子，並將這些例子微調到模型中。這是預訓練過程的延續，使用高品質且準確的數據。

好消息是，成千上萬個例子對許多細分領域或特定垂直領域來說是非常容易獲得的。這是一個優勢，新創公司在高品質微調預訓練模型方面有很大的空間。

Q：小模型會帶來哪些機會？創業者如何利用它們做一些有趣且獨特的事情？

A：小模型無疑代表未來。

大型模型在處理查詢時會啟動數十億個不相關的神經表示，儘管它們非常有效率地進行搜尋和引用數億個節點，但並不總是必要的。

我們將把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種裝置上，如耳塞、穿戴式裝置、耳環、植物或感測器。

這場環境感知革命長期以來一直被人們所期待，它將帶來功能性設備，例如冰箱磁鐵，冰箱磁鐵是我能想到的最小的數位設備。它可以在早上迎接你，告訴你天氣狀況，告訴你冰箱裡可能有什麼或沒有什麼，並提醒你查看日曆。

它可以在早上歡迎你，告訴你天氣，告訴你冰箱裡可能有什麼或沒有什麼，並提醒你查看日曆。

這種模型可能只有幾千萬個參數。雖然目前還沒有人真正推動這一點，但任何兩人團隊都可以探索這一領域。

Q：人們在接下來的兩天應該思考什麼問題？

A：問題是，技術人員需要為設計一個更人性化的未來做些什麼。

這包括思考科技如何進化人類，以及我們的情感、激情和同情心如何透過我們與科技不斷變化的關係來表達。

Q：為什麼說這是一個轉型時刻？

A：我們有足夠的證據表明，過去五十年的大技術轉型重塑了事物的結構。

我認為這是一個創辦公司、擴展公司、甚至轉變職業的時刻。即使你不是企業家，無論你是活動家、組織者還是學者，現在是關注的時刻。

到2050年，列車將離站，情況會大不相同。我們現在有機會共同塑造和影響未來，沒有什麼是預定的。我們非常幸運能在這個時刻活著，這既是巨大的責任，也是令人振奮的機會。