生成式人工智慧（如OpenAI 的ChatGPT）正在改變機器學習的面貌，從簡單的預測模型轉變為能夠創建新的現實數據的複雜系統。麻省理工學院的專家重點介紹了生成式人工智慧的歷史背景、深度學習架構的進步和廣泛應用。

像ChatGPT 這樣強大的生成式人工智慧系統是如何運作的，它們與其他類型的人工智慧有何不同？

快速瀏覽一下頭條新聞，就會發現生成式人工智慧如今似乎無所不在。事實上，有些頭條新聞可能真的是由生成式人工智慧撰寫的，例如OpenAI 的ChatGPT，它是一個聊天機器人，展示了一種不可思議的能力，可以產生看似由人類撰寫的文字。

但是，當人們說”生成式人工智慧”時，到底是什麼意思呢？

在過去幾年的生成式人工智慧熱潮之前，人們在談論人工智慧時，通常是在談論機器學習模型，這些模型可以學會根據資料進行預測。例如，這種模型透過數百萬個實例的訓練，可以預測某張X 光片是否顯示出腫瘤跡象，或者某個借款人是否有可能拖欠貸款。

人們說”生成式人工智慧”是什麼意思？為什麼這些系統似乎正在進入幾乎所有可以想像的應用領域？麻省理工學院的人工智慧專家將為您解析這項日益流行、無所不在的技術的來龍去脈。資料來源：Jose-Luis Olivares，麻省理工學院

生成式人工智慧（Generative AI）可以被認為是一種機器學習模型，它被訓練來創建新數據，而不是對特定數據集進行預測。生成式人工智慧系統可以學習產生更多與訓練資料相似的物件。

「說到生成式人工智慧和其他類型人工智慧的實際基礎機器，它們之間的區別可能有點模糊。」麻省理工學院電子工程與電腦科學副教授、電腦科學與人工智慧實驗室（CSAIL）成員菲利普-伊索拉（Phillip Isola）說：”很多時候，同樣的演算法可以用於這兩種人工智慧。”

歷史背景與模型複雜性

儘管ChatGPT 及其同類產品的發布引起了熱議，但技術本身並不是全新的概念。這些強大的機器學習模型借鑒了50 多年前的研究和計算進展。

生成式人工智慧的早期範例是一種被稱為馬爾科夫鏈的簡單得多的模型。該技術以俄羅斯數學家安德烈-馬爾科夫（Andrey Markov）的名字命名，他於1906 年引入了這種統計方法來模擬隨機過程的行為。在機器學習中，馬可夫模型長期以來一直被用於下一個單字的預測任務，例如電子郵件程式中的自動完成功能。

在文本預測中，馬爾科夫模型透過查看前一個詞或前幾個詞來產生句子中的下一個詞。麻省理工學院電機工程與電腦科學托馬斯-西貝爾（Thomas Siebel）教授托米-雅科拉（Tommi Jaakkola）說，但由於這些簡單的模型只能回溯那麼遠，因此它們並不擅長生成可信的文本，他同時也是CSAIL 和資料、系統與社會研究所（IDSS）的成員。

他解釋說：”在過去十年前，我們就已經在生成內容了，但現在的主要區別在於我們可以生成的物件的複雜性以及我們可以訓練這些模型的規模。”

就在幾年前，研究人員往往專注於尋找一種能最好地利用特定資料集的機器學習演算法。但現在，研究重點發生了一些變化，許多研究人員開始使用更大的資料集（可能有數億甚至數十億個資料點）來訓練模型，從而取得令人矚目的成果。

最近人工智慧研究的重點轉移

ChatGPT 和類似系統的基礎模型與馬可夫模型的工作方式基本相同。但一個最大的差異是，ChatGPT 的規模更大、更複雜，擁有數十億個參數。而且它是在海量資料的基礎上訓練出來的–在這種情況下，海量資料就是網路上大部分的公開文字。

在這個龐大的文本語料庫中，單字和句子以具有一定依賴性的序列出現。這種遞歸性有助於模型理解如何將文字切割成具有一定可預測性的統計區塊。它可以學習這些文字區塊的模式，並利用這些知識提出下一步可能出現的內容。

深度學習架構的進步

雖然更大的數據集是催生人工智慧熱潮的催化劑之一，但各種重大研究進展也帶來了更複雜的深度學習架構。

2014 年，蒙特婁大學的研究人員提出了一種稱為生成對抗網路（GAN）的機器學習架構。GAN 使用兩個協同工作的模型： 一個學會產生目標輸出（如影像），另一個學會從生成器的輸出中分辨真實資料。生成器試圖欺騙鑑別器，並在過程中學會產生更真實的輸出。影像生成器StyleGAN 就是基於這類模型。

一年後，史丹佛大學和加州大學柏克萊分校的研究人員引入了擴散模型。透過迭代改進輸出，這些模型學會產生與訓練資料集中的樣本相似的新資料樣本，並用於創建逼真的圖像。擴散模型是文字到圖像生成系統”穩定擴散”的核心。

2017 年，Google的研究人員推出了轉換器架構，該架構已被用於開發大型語言模型，例如為ChatGPT 提供動力的模型。在自然語言處理中，轉換器將文字語料庫中的每個單字編碼為一個標記，然後產生一個注意力圖，該圖捕捉每個標記與所有其他標記的關係。當轉換器產生新文字時，此註意圖有助於轉換器理解上下文。

以上只是可用於生成式人工智慧的眾多方法中的一小部分。

生成式人工智慧應用

所有這些方法的共同點是，它們都能將輸入轉換為一組詞塊，即資料塊的數字表示。只要你的資料可以轉換成這種標準的標記格式，那麼理論上，你就可以應用這些方法來產生類似的新資料。

伊索拉說：”具體情況可能會有所不同，這取決於資料的雜訊程度和訊號提取的難度，但它確實越來越接近通用CPU 接收任何類型資料並開始統一處理的方式。”

這為生成式人工智慧開闢了大量的應用領域。例如，伊索拉的研究小組正在利用生成式人工智慧創建合成影像數據，這些數據可用於訓練另一個智慧系統，例如教導電腦視覺模型如何識別物體。

Jaakkola 的研究團隊正在利用生成式人工智慧設計新的蛋白質結構或有效的晶體結構，以指定新的材料。他解釋說，生成模型學習語言依賴關係的方式與此相同，如果給它展示晶體結構，它就能學習到使結構穩定和可實現的關係。

不過，雖然生成模型可以取得令人難以置信的結果，但並不是所有類型資料的最佳選擇。麻省理工學院電子工程與電腦科學安德魯-維特比和埃爾納-維特比教授、IDSS 和資訊與決策系統實驗室成員德瓦夫拉特-沙阿（Devavrat Shah）說，對於涉及對結構化資料（如電子表格中的表格資料）進行預測的任務，生成式人工智慧模型的表現往往會優於傳統的機器學習方法。

“在我看來，它們的最高價值在於成為人類友好的機器介面。以前，人類必須用機器的語言與機器對話，才能使事情發生。現在，這個介面已經知道如何與人類和機器對話了。”

挑戰和倫理考慮

生成式人工智慧聊天機器人目前正被用於呼叫中心，回答人類客戶的問題，但這種應用凸顯了實施這些模型的一個潛在風險–工人失業。

此外，生成式人工智慧可能會繼承和擴散訓練資料中存在的偏見，或放大仇恨言論和虛假陳述。這些模型具有剽竊能力，可以產生看起來像是由特定人類創作者製作的內容，從而引發潛在的版權問題。

另一方面，沙阿提出，生成式人工智慧可以增強藝術家的能力，他們可以使用生成式工具來幫助他們製作創意內容，否則他們可能沒有辦法製作這些內容。

生成式人工智慧的未來

在未來，他認為生成式人工智慧將改變許多學科的經濟學。

伊索拉認為，生成式人工智慧的一個前景廣闊的未來方向是用於製造。與其讓模型製作椅子的圖像，也許它可以產生一個可以生產的椅子計劃。他也認為，生成式人工智慧系統未來還可用於開發更普遍的智慧人工智慧代理。

“這些模型的工作方式與我們認為的人腦工作方式存在差異，但我認為也有相似之處。我們有能力在頭腦中思考和夢想，提出有趣的想法或計劃，我認為生成式人工智慧是一種工具，它將使代理商也能做到這一點，」伊索拉說。