在眾多對生成式人工智慧進行過測試的領域中，法律領域或許是它最明顯的短板。當阿迪・羅伯森要求ChatGPT總結一份關於《通訊規範法》第230條的裁決清單時，它竟遺漏了去年一整年的裁決。而去年發生的事，對這項法律的發展影響很大。

像ChatGPT這樣的工具已經導致了律師受到處罰、專家當眾出醜等尷尬的現象，因為它會依據編造的案例和不存在的研究文獻生成法律文件。所以，當阿迪的同事獲得ChatGPT「深度研究」功能的使用權限時，他的目標很明確：讓這個號稱功能強大的工具，來寫一篇人類經常誤解的一項法律。

他請同事告訴ChatGPT：整理一份過去五年裡，聯邦法院和最高法院做出的與《通訊規範法》第230條相關的裁決清單，並總結法官在解釋該法律時出現的所有重大進展。

ChatGPT 展示其工作成果

好消息是：ChatGPT恰當地挑選並準確地總結了一系列近期的法院裁決，而這些裁決都是真實存在的。一般的消息是：它遺漏了一些更宏觀的要點，而稱職的人類專家可能會提及這些要點。壞消息是：它忽略了去年整整一年的法律判決，而不幸的是，這些判決恰恰顛覆了該法律的現狀。而他在The Verge的至少兩位同事拿到的報告，同樣遺漏了去年有用的資訊。

由於阿迪不是律師，所以他請了法律專家埃里克・戈德曼（Eric Goldman）來評估結果，他的部落格是關於第230條新聞最可靠的來源之一。

拿到報告後，阿迪做的第一件事是核對每個法律案例的名稱。有幾個案例他已經熟悉，其他的也在ChatGPT之外進行了核實，它們看起來都是真實的。戈德曼也認同沒有編造的案例，而且ChatGPT選擇納入的案例也合理。

但最大的問題是，ChatGPT的報告標題宣稱涵蓋2019年至2024年，然而它提到的最新案例是在2023 年裁決的，之後它冷靜地得出結論，稱該法律仍然是“強有力的保護屏障”，其界限正在“完善”。一個外行人很容易認為這意味著去年什麼都沒發生。而了解狀況的讀者會意識到出了大問題。

「2024年對第230條來說是動盪的一年，」戈德曼指出。這段期間，第三巡迴上訴法院出人意料地做出裁決，拒絕給予TikTok 該法律的保護，此外還有幾項裁決可能會大幅縮小該法律的適用範圍。

戈德曼本人在年中宣稱，在大量案件和更大規模的政治攻擊下，第230條正迅速衰退。到2025年初，他寫道，如果該法律能撐到2026年，他會「感到震驚」。並非所有人都如此悲觀，但在過去一年裡，戈德曼與多位法律專家交談過，他們都認為第230條的保護屏障正變得不那麼牢不可破。至少像第三巡迴上訴法院對TikTok案的判決這類觀點，「肯定」 應該納入過去五年該法律「任何恰當的評估」中。

結果是，ChatGPT的輸出有點像是一份關於2002年至2007年手機發展趨勢的報告，卻以黑莓手機的崛起作為結尾：事實並無錯誤，但遺漏的內容確實改變了整個故事的走向。

阿迪不確定他的測試對「深度研究」功能的整體實用性有多大代表性，但可以說，ChatGPT在複雜的技術解釋方面表現出色，卻在描繪全局上失敗了。

作為一項技術，深度研究給阿迪留下了深刻印象。但從目前他有限的視角來看，它可能仍然是為那些願意相信它的人準備的產品，而不是為那些只希望它能切實發揮作用的人準備的。

深度研究是OpenAI的一項新功能，旨在針對特定主題生成複雜且成熟的報告；要獲得「不限量」 訪問權限，需訂閱每月200美元的ChatGPT專業版。與最基礎版的ChatGPT不同，基礎版依賴有截止日期的訓練數據，而這個系統會在網路上搜尋最新資訊來完成任務。