Skip to content
WONGCW 網誌
  • 首頁
  • 論壇
  • 微博
  • 壁紙下載
  • 免費圖床
  • 視頻下載
  • 聊天室
  • SEO工具
  • 支援中心
  • 表格製作
  • More
    • 在線名片
    • 網頁搜索
    • 天氣預報
    • 二維碼生成器
    • WordPress 插件及主題下載
  • Search Icon

WONGCW 網誌

記錄生活經驗與點滴

ChatGPT爆火LeCun心態崩了稱大語言模型是邪路

ChatGPT爆火LeCun心態崩了稱大語言模型是邪路

2023-02-07 Comments 0 Comment

最近,LeCun連續發推,舌戰各位推友,瘋狂diss大語言模型是邪路,也為自家匆忙下線的Galactica酸了一把ChatGPT。而LeCun態度的大反轉,也讓曾經的對頭馬庫斯喜出望外。不僅頻頻轉發LeCun推文,還高調宣布兩人的’世紀大和解’。

這兩天,圖靈獎得主Yann LeCun心態有些崩了。自從ChatGPT大火之後,微軟憑著Open AI腰板挺得很直。

被啪啪打臉的Google,也不說什麼’聲譽風險’了。

所有旗下的語言模型,無論是L AMD A,還是DeepMind的Sparrow,以及Apprentice Bard,是能加快的加快,能上架的上架。然後再狂投近4億美元給Anthropic,想趕快扶出自己的Open AI。(微軟有的我也要)

然而,有一個人看著微軟Google各領風騷,卻只能急得原地跳腳。

這個人就是Meta的首席AI科學家——Yann LeCun。

他在Twitter中十分意難平:’ChatGPT滿嘴胡謅,你們卻對它如此寬容,但我家的Galactica,才出來三天,就被你們罵到下線了。’

是誰酸到了,我不說

作為深度學習三巨頭之一、圖靈獎得主,LeCun的一舉一動,都十分引人注意。

1月27日,在Zoom的媒體和高管小型聚會上,LeCun對ChatGPT給出了一段令人驚訝的評價:’就底層技術而言,ChatGPT並不是多麼了不得的創新。雖然在公眾眼中,它是革命性的,但是我們知道,它就是一個組合得很好的產品,僅此而已。’

‘除了Google和Meta之外,還有六家初創公司,基本上都擁有非常相似的技術。’

另外他還說,ChatGPT用的Transformer架構是Google提出的,而它用的自監督方式,正是他自己提倡的,那時Open AI還沒誕生呢。

此番言論一出,公眾嘩然。Open AI的CEO Sam Altman疑似因為這句話直接取關了LeCun。

隨後,LeCun繼續舌戰眾位推友。

1月28日,LeCun發推稱,’大型語言模型並沒有物理直覺,它們是基於文本訓練的。如果它們能從龐大的聯想記憶中檢索到類似問題的答案,他們可能會答對物理直覺問題。但它們的回答,也可能是完全錯誤的。’

2月4日,LeCun再次發推,更加直白地表示’在通往人類級別AI的道路上,大型語言模型就是一條歪路’。

他這話一說,網友們可high了,紛紛衝到評論區留言。

LeCun隨後補充說:’依靠自動回歸和響應預測下一個單詞的LLM是條歪路,因為它們既不能計劃也不能推理。’

‘但是SSL預訓練的Transformer是解決方案,因為它所處的現實係統有推理、計劃和學習的能力。’

LeCun舉了個有趣的例子:自己在參加播客節目時,展示過ChatGPT的回答,它看上去很有道理,卻錯得離譜。然而主持人在讀完ChatGPT的回答後,卻沒有第一時間發現它錯了。

LeCun對此解釋道:’我們的思維方式和對世界的感知讓我們能預想即將發生的事物。這是我們獲得常識的基礎,而LLM並沒有這種能力。’

他再次發推稱:’在我們做出人類級別的AI之前,我們需要先做出貓貓/狗狗級別的AI。而現在我們甚至連這都做不到。我們缺失了十分重要的東西。要知道,連一隻寵物貓都比任何大型語言模型有更多的常識,以及對世界的理解。’

在留言區,有網友毫不客氣地懟起LeCun:’你說得不對吧,本人親測,Galactica的錯誤率接近100%,而ChatGPT的錯誤率差不多在15%左右。’

對於網友的痛擊,LeCun再次發推表明態度:’我從來沒說大型語言模型沒用,其實我們Meta也推出過Galactica模型,只是它不像ChatGPT那麼好命罷了。ChatGPT滿嘴胡謅,你們卻對它如此寬容,但我家的Glacatica,才出來三天,就被你們罵到下線了。’

對此,評論區有網友諷刺道:’你可真棒棒啊。不如回實驗室去,把你說的東西給做出來。’

LeCun回复:’今天可是周日,Twitter大辯論是我周末最愛的消遣了。’

自家的模型只活了3天

LeCun如此意難平,可以理解。

去年11月中旬,Meta的FAIR實驗室曾提出一個Galactica模型,它可以生成論文、生成百科詞條、回答問題、完成化學公式和蛋白質序列的多模態任務等等。

Galactica生成的論文

LeCun也很開心地發推盛讚,稱這是一個基於學術文獻訓練出的模型,給它一段話,它就能生成結構完整的論文。

然而,由於Galactica滿嘴跑火車,它才上線短短三天,就被網友噴到下線。

LeCun轉發了Papers with Code的通知,像個’大怨種’一樣說道:’現在我們再也不能和Galactica一起愉快地玩耍了,你們開心了?’

雖然Galactica的demo才上線幾天,但當時的用戶都感覺如臨大敵。

有網友警示道:想想這個’寫論文’神器會被學生們拿來做什麼吧。

有網友表示,’Galactica這個模型的回答錯漏百出,充滿偏見,可是它的語氣卻十分自信權威。這太恐怖了。’

馬庫斯也表示,這種大型語言模型可能會被學生用來愚弄老師,非常令人擔心。

這熟悉的配方,熟悉的味道,真是令人感慨萬千:曾經Galactica引起的恐慌和質疑,不正是ChatGPT後來所經歷嗎?

看著這段歷史的重演,卻有著截然不同的結局,LeCun這麼酸,確實不能說是毫無來由。

那為什麼ChatGPT就能在質疑的聲浪中人氣愈發高漲,Galactica卻只能慘兮兮地被罵到下線呢?

首先,Galactica由Meta提出,大公司確實比Open AI這樣的小初創公司,面臨更多的’聲譽風險’。

另外,Open AI的產品定位策略十分聰明,從ChatGTP的名字就可以看出,它主打的概念是聊天。

你可以和它聊知識、聊論文,但既然是’chat’,自然可以放飛一些,誰規定聊天一定要聊’準確”嚴謹’的東西呢?

但Glactica則不同,它的官方定義是:’這是一個用於科研的模型。”這是一個受過人類科學知識訓練的人工智能。您可以將它用作一個新界面,來訪問和操作我們對宇宙的知識。’

這當然就給自己埋了大雷了。

雖然從技術層面來看,ChatGPT的確沒有太多創新,但是從產品運營的角度,Open AI這一招,打得十分出色。

LLM為什麼會滿嘴胡話?

所以,大語言模型為什麼會滿嘴胡話呢?

在LeCun點讚的一篇文章中,作者做出了解釋:’我曾嘗試用ChatGPT來幫忙寫博客文章,但都以失敗告終。原因很簡單:ChatGPT經常會整出很多虛假的“事實”’。

自然語言不等於知識

要知道,LLM是為了在與其他人類的對話中聽起來像一個人,而且它們也很好地實現了這個目標。但問題是,聽起來自然與評估信息的準確性是兩種完全不同的事情。

那麼,這個問題該如何解決呢?

舉個例子,我們可以藉助已經對物理學理解進行了編碼的機器——物理學引擎:

  • 修改LLM,使它能識別出自己被問到的是一個關於物理的問題
  • 將問題轉換為一個物理場景
  • 用一個物理引擎來模擬這個場景
  • 用文字描述該場景的輸出

而對於’假論文問題’,我們同樣也可以採用類似的修正。

也就是讓ChatGPT認識到它被問到了關於科學論文的問題,或者它正在寫關於論文的東西,並強迫它在繼續之前查閱一個可信的數據庫。

但是請注意,如果真的這樣做了,那就意味著你把一種特定的額外’思維’嫁接到了LLM身上。而且還必須考慮到一大堆特殊的情況。這時,人類工程師知道真相來自哪裡,但LLM卻不知道。

此外,隨著工程師們把越來越多的這樣的修復方法嫁接在一起,越來越明顯的是,LLM不是一種人工通用智能的形式。

不管人類的智能是什麼,我們都知道它不僅僅是能說會道的能力。

人類語言的多種用途

為什麼人類要互相交談,或為對方寫下東西?

其中一個目的是直接傳達事實信息,比如’我在商店’、’它沒有插電’等,但這遠不是我們使用語言的唯一原因:

  • 勸說、請求、命令、指示
  • 傳達情感
  • 娛樂他人(包括小說、笑話等)、自娛自樂
  • 欺騙(撒謊)
  • 建立關係(與朋友建立聯繫,調情)

……

看得出來,人類交流的目的是非常多樣化的。而且,我們通常也不會在寫作的內容中表明它的目的是什麼,作者和讀者也對這些內容的作用有著不同的認知。

如果ChatGPT想要成為一個值得信賴的事實傳播者,它可能要學會如何區分它所訓練的人類寫作的各種目的。

也就是說,它將不得不學會不認真對待廢話,區分說服和宣傳與客觀分析,獨立判斷一個來源的可信度與它的受歡迎程度,等等。

即使對於人類,這也是一個非常困難的技巧。有研究表明,虛假信息在Twitter上的傳播速度是準確信息的數倍——往往更具有煽動性、娛樂性或看起來很新穎。

那麼問題來了,為什么生成式人工智能在計算機代碼上表現很好?為什麼編寫功能代碼的準確性不能轉化為傳達事實的準確性?

對此可能的回答是,計算機代碼是功能性的,而不是交流性的。以正確的語法編寫某段代碼會自動執行一些任務,而編寫一個語法正確的句子卻不一定能達到任何目的。

此外,我們很容易將計算機代碼的訓練語料庫限制在’好’的代碼上,也就是完美地執行其預期目的的代碼。相比之下,要製作一個成功實現其目的的文本語料庫幾乎是不可能的。

因此,為了將自己訓練成可信賴的事實傳播者,LLLM必須完成一項比訓練自己提出功能性計算機代碼更難的任務。

雖然不知道對於工程師來說,建立一個能夠區分事實和廢話的LLM有多難,但這即便對於人類來說,都是一項困難的任務。

馬庫斯:世紀大和解

LeCun的一大串言論,讓大家紛紛疑惑:這不是馬庫斯會說的話嗎?

熱(chi)情(gua)的網友紛紛@馬庫斯,期待他對此事的銳評。

苦GPT久矣的馬庫斯自然喜出望外,立刻轉發LeCun的帖子,還評論道’100昏’。

馬庫斯還在自己的博客上發文,回顧自己與LeCun的’愛恨情仇’。

馬庫斯稱,自己與LeCun本是多年老友,因為嘴了Galactica幾句使得兩人交惡。

實際上,馬庫斯與LeCun的嘴仗打了好幾年了,可不是光只因為Galactica下線的事情。

與另外兩位圖靈獎得主Bengio和Hinton的相對低調不同,近幾年,LeCun在社交媒體上的活躍在AI圈子裡也是出了名的。不少工作在掛了Arxiv之後就第一時間在Twitter上宣傳一波。

同樣高調的馬庫斯也是一向視Twitter為自己的主場,當LeCun的宣傳和馬庫斯的看法產生矛盾時,雙方都不打算憋著。

在社交媒體上,兩人可以說達到了有架必吵的地步,彼此間話講的毫不客氣,見面說不定都能直接掐起來那種。

而且要說梁子,2019年LeCun與Hinton和Bengio一起獲得圖靈獎後,有一張合影,原本馬庫斯站在LeCun的邊上,但在LeCun分享的照片中,Marcus被無情地剪掉了。

然而,ChatGPT的誕生改變了一切。

ChatGPT爆火,Galactica三天后便落魄下架。在LeCun對LLM瘋狂輸出時,馬庫斯自然樂於看到此景。

正所謂敵人的敵人就是朋友,不論LeCun的言論是自家產品失敗後的大徹大悟,還是對競品頂流現狀的眼紅,馬庫斯都願意添一把火。

馬庫斯認為,他和LeCun達成一致的,不僅是關於LLM的炒作和局限性。他們都認為Cicero應該得到更多的關注。

最後,馬庫斯@了懂的都懂的那個人,並說’該給家人們福利了’。

可以說,LeCun在Twitter上掀起的罵戰,不僅讓馬庫斯的反GPT軍團多了一員猛將,還給了兩人握手言和的契機。

這麼看來,或許馬庫斯才是最終贏家。

分享此文:

  • 分享到 Twitter(在新視窗中開啟)
  • 按一下以分享至 Facebook(在新視窗中開啟)
  • 分享到 WhatsApp(在新視窗中開啟)
  • 按一下以分享到 Telegram(在新視窗中開啟)
  • 分享到 Pinterest(在新視窗中開啟)
  • 分享到 Reddit(在新視窗中開啟)
  • 按一下即可分享至 Skype(在新視窗中開啟)
  • 按一下即可以電子郵件傳送連結給朋友(在新視窗中開啟)
  • 點這裡列印(在新視窗中開啟)

相關


網絡資訊

Post navigation

PREVIOUS
中國互聯網行業收入同比下降1.1% 創十年來首次
NEXT
FF達成1.35億美元融資3月底量產FF 91 Futurist

發表迴響 取消回覆

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。

More results...

Generic filters
Exact matches only
Search in title
Search in content
Search in excerpt
Filter by 分類
網站公告
Featured
限時免費
ESET NOD32
WINDOWS 10 &11 INSIDER PREVIEW
Windows 軟件下載
系統軟件
辦公軟件
圖像處理
影音媒體
網絡軟件
應用軟件
Mac 軟件下載
安卓軟件下載
網絡資訊
Mac資訊
Linux資訊
VPS資訊
NASA資訊
金融資訊
WhatsApp Stickers教學
WordPress資訊
WeChat資訊
PHP資訊
Plesk資訊
TensorFlow
教學資源
開源程序
網頁工具
SEO工具
醫療健康
旅遊及消閒
其他資訊
Content from
Content to
2023 年 2 月
一 二 三 四 五 六 日
 12345
6789101112
13141516171819
20212223242526
2728  
« 1 月   3 月 »

分類

  • 網站公告
  • 限時免費
  • ESET NOD32
  • WINDOWS 10 &11 INSIDER PREVIEW
  • Windows 軟件下載
  • 系統軟件
  • 辦公軟件
  • 圖像處理
  • 影音媒體
  • 網絡軟件
  • 應用軟件
  • Mac 軟件下載
  • 安卓軟件下載
  • 網絡資訊
  • Mac資訊
  • Linux資訊
  • VPS資訊
  • NASA資訊
  • WhatsApp Stickers教學
  • WordPress資訊
  • WeChat資訊
  • PHP資訊
  • Plesk資訊
  • TensorFlow
  • 教學資源
  • 開源程序
  • 網頁工具
  • SEO工具
  • 醫療健康
  • 旅遊及消閒
  • 其他資訊

彙整

近期文章

  • 芯擎科技宣布中國首款7納米車規級座艙芯片“龍鷹一號”正式量產供貨 2023-03-30
  • 第69次遠征任務在國際空間站正式啟動 2023-03-30
  • “最強算力”洗衣液男子瓶子藏104片CPU入境被海關查獲 2023-03-30
  • 用戶吐槽下載視頻會員到期不能看客服回復稱需重新開通會員 2023-03-30
  • 谷歌向歐盟投訴微軟:雲業務存在反競爭行為 2023-03-30
  • 《龍貓》舞台劇11月再次演出英國倫敦比肯中心上演 2023-03-30
  • 北海道高中生開發超小型衛星10月發射到國際空間站 2023-03-30
  • 澳大利亞多地暴雨洪災泳池頻現劇毒漏斗蜘蛛最快15分鐘致死 2023-03-30
  • 《小飛俠》全員角色海報首發精靈不是唯一黑人主角 2023-03-30
  • 騰訊數據庫性能破世界紀錄每分鐘處理8.14億筆交易 2023-03-30

熱門文章與頁面︰

  • ESET NOD32 LICENSE KEY (UPDATED 2023-01-17)
  • 打車叫到特斯拉不會開門很尷尬?官方介紹開關門方法
  • 世界上有多少個國家
  • DP vs HDMI 誰才是遊戲玩家最佳選擇?
  • Autodesk AutoCAD 2021 正式版註冊版-簡體/繁體中文/英文版
  • Chrome開啟硬體加速, 顯示顏色變淡
  • Windows及OFFICE激活密鑰+電話激活教程–自用
  • 盜版Windows 7還能免費升級Windows 10嗎?
  • NVIDIA H100 Hopper加速計算卡上市:配備80GB顯存價格超24萬元
  • 韓國大韓航空將推出機上Wi-Fi服務

投遞稿件

歡迎各界人士投遞稿件到admin@wongcw.com

請提供以下資料:

1.你的名字

2.你的電郵

3.分類目錄

4.文章標題

5.文章摘要

6.文章內容

7.文章來源

 

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

快帆

MALUS

極度掃描

DMCA.com Protection Status

WONGCW 網誌

  • 免責聲明
  • 捐助我們
  • ThemeNcode PDF Viewer
  • ThemeNcode PDF Viewer SC
  • Events

服務器提供

本站使用之服務器由ikoula提供。

聯繫我們

查詢,投稿,商務合作:
​admin@wongcw.com
​技術支援:
​support@wongcw.com
​客户服務:
​cs@wongcw.com

QQ群:833641851

© 2023   All Rights Reserved.