湯曉鷗最後一次公開發言:每晚睡前,都聽於謙相聲並思考
中國AI領導人物、商湯科技創辦人湯曉鷗離世,享年55歲。他最近一次公開發言是在7月6日世界人工智慧大會的開幕式上,作為人工智慧領域前沿的知名學者與實踐者,湯曉鷗說,自己每天晚上睡覺前,都是一邊聽著於謙老師的相聲,一邊在想:“機器怎麼可能超過這樣有趣的靈魂?我不相信。”
在當天的演講中,他分享了三位學生王曉剛、何愷明、林達華在深度學習領域追夢的故事,強調了中國年輕學者在大模型研究中所做出的原創貢獻。他同時感慨:在人工智慧領域,新一代的學生已經在上海成功起步。
回溯歷史,湯曉鷗提到,2018年度圖靈獎授予了約書亞·本吉奧(Yoshua Bengio)、杰弗裡·辛頓(Geoffrey Hinton)和楊立昆(Yann LeCun) 三位深度學習之父,而摁下這扇大門第一聲門鈴的,是2011年杰弗裡·辛頓和微軟的中國學者鄧力在深度學習語音識別上劃時代的突破,此後2012年,在圖像識別比賽中同樣取得了劃時代的突破。
在深度學習剛開始的幾年,湯曉鷗和他的學生在做什麼?他講到了第一個學生:王曉剛。
王曉剛本科是中國科大少年班,並且是00班的第一名,碩士期間他在湯曉鷗實驗室就讀,後來去了MIT讀博士,博士畢業後回到湯曉鷗在香港中文大學的實驗室做教授。 2011至2013年期間,在CVPR(國際電腦視覺與模式識別會議)和ICCV(電腦視覺國際大會)兩個視覺領域頂尖會議上,全球共有29篇文章做了深度學習,其中有14篇出自湯曉鷗的實驗室,全世界其他的實驗室做了15篇。
「我們有18項工作在全世界第一次將深度學習用到視覺問題上,包括人臉辨識、人臉偵測、人臉重建、物件偵測、人體姿態、影像超分、三維形狀辨識等電腦視覺最核心的問題。在深度學習的大門上,我們按了18次門鈴。」湯曉鷗說。
他介紹,王曉剛還有一項工作是讓機器做的人臉辨識超過了人的眼睛,這比Facebook做得還要早。 2015年,王曉剛帶隊打敗了Google團隊,取得了中國學者史上第一個ImogeNet(一個基於影像分類和物件辨識的國際競賽)世界冠軍。
第二位學生是何愷明是2003年廣東高考狀元,本科在清華大學就讀物理專業,博士是在湯曉鷗的香港中文大學實驗室取得的。湯曉鷗說,何愷明在實驗室讀碩士期間就發了第一篇文章,取得了CVPR最佳論文,這是CVPR25年歷史上從亞洲出來的第一篇最佳論文。當時的湯曉鷗和何愷明開玩笑,說他一出手就到了巔峰,從此以後的學術生涯就只能往下走了。結果他去微軟和Facebook工作後一路走高。
何愷明第一項工作是在MSR(微軟研究院)進行。在2015年之前,深度學習最多只能訓練到20多層,何愷明在網路的每一層引入了一個直聯通道,從而解決了深度網路梯度傳遞的問題,獲得了2016年的最佳論文。在這之後可以有效的訓練超過百層的深度學習。在大模型時代,以Transformer為核心的大模型,包括GPT系列,也是普遍採用了這個結構,以支撐上百層的堆疊。
湯曉鷗總結起來,何愷明把網路做深了,Google把網路的入口拉大了,這才成就了今天的大模型。
何愷明的第二項工作Mask R-CNN是在Facebook做的,他首次提出了一個真正高效能的物體偵測和演算法框架,獲得了ICCV2017年最佳論文。湯曉鷗表示,何愷明是世界上唯一一個在畢業不到十年內,三次以第一作者的身份獲得CVPR、ICCV最佳論文的人。他首次把基於原碼的自編碼思想用於視覺領域的非監督學習,開啟了電腦視覺領域自監督學習的大門,並被推廣到三維、音頻甚至是AI領域。
第三個學生林達華本科就讀中國科大,碩士在香港中文大學,博士是MIT。他2010年在MIT讀博士期間,獲得NIPS最佳學生論文,2014年回到湯曉鷗的實驗室擔任教授。
林達華的第一項工作是OpenMMLab,在2018年從一個小團隊開始,在沒有推廣投入的情況下,以口耳相傳的形式成為國際上最具影響力的視覺演算法開源體系,目前用戶遍及全球140多個國家和地區。
湯曉鷗還介紹了林達華的其他兩項工作成果,即將正式發布的千億參數、8K的多語種大語言模型“書生·浦語”,和有2000億參數、覆蓋100平方公里的城市級實景三維大模型LandMark。
對於三名學生在人工智慧領域的成就,湯曉鷗評價:王曉剛在深度學習興起的最初幾年,灑下了很多原創的種子;何愷明將深度學習的根基打得非常牢、非常深;林達華通過開發和大模型讓它枝繁葉茂。
湯曉鷗表示:“讓我非常欣慰的是,這顆大樹已經開始開花結果。就在兩週前,我們的自動駕駛大模型從9155篇文章中脫穎而出,獲得了CVPR2023年的最佳論文獎。”
他引用谷歌學術統計,稱這是改革開放40多年來第一篇全部由中國學者完成的國際計算機視覺三大頂會的最佳論文,文章的牽頭作者是王曉剛帶出來的博士。此外,OpenMMLab是林達華帶出來的博士陳愷做出來的,當年湯曉鷗實驗室做的另一篇超過人眼的人臉識別的文章的作者陸超超,也從劍橋大學博士畢業回到了上海,正在和中國唯一的圖靈獎得主姚期智先生在上海期智研究院合作,從事AI基礎理論研究。 “新一代的學生已經在上海成功起步。”
在演講的最後,湯曉鷗再一次感謝上海,感謝這些學生,並援引了他認為AI難以超越的“有趣靈魂”於謙在電影《老師好》裡的一句台詞:“我不是在最好的時光遇見了你們,而是遇見了你們,才有了這段最好的時光。”