「AI大咖」再認識Yann LeCun，一個可能是擁有最多中文名的男人

上一期扒了扛起深度學習大旗的Hinton先生，今天聊一位他的學生，深度學習中CNN的崛起離不開的男人——Yann LeCun。

一位陪伴Hinton三十年磨一劍，最終笑傲AI界的法國人。讓我們一起記住這張面孔。

作者 | 小滿 言有三

編輯 | 言有三

1 30秒瞭解LeCun

Yann LeCun，CNN之父，紐約大學終身教授，與Geoffrey Hinton、Yoshua Bengio併成為“深度學習三巨頭”。前Facebook人工智慧研究院負責人，IJCV、PAMI和IEEE Trans 的審稿人，他建立了ICLR（International Conference on Learning Representations）會議並且跟Yoshua Bengio共同擔任主席。

1983年在巴黎ESIEE獲得電子工程學位，1987年在 Université P&M Curie 獲得計算機科學博士學位。1998年開發了LeNet5，並製作了被Hinton稱為“機器學習界的果蠅”的經典資料集MNIST。2014年獲得了IEEE神經網路領軍人物獎，2019榮獲圖靈獎。

2 代表性研究論文

1、使用反向傳播和神經網路識別手寫數字

LeCun Y， Boser B， Denker J S， et al。 Backpropagation applied to handwritten zip code recognition［J］。 Neural computation， 1989， 1（4）： 541-551。

2、早期權值剪枝的研究

LeCun Y， Denker J S， Solla S A。 Optimal brain damage［C］//Advances in neural information processing systems。 1990： 598-605。

3、將siamese網路用於簽名驗證

Bromley J， Guyon I， LeCun Y， et al。 Signature verification using a“ siamese” time delay neural network［C］//Advances in neural information processing systems。 1994： 737-744。

4、LeNet5卷積神經網路提出

LeCun Y， Bottou L， Bengio Y， et al。 Gradient-based learning applied to document recognition［J］。 Proceedings of the IEEE， 1998， 86（11）： 2278-2324。

5、對max pooling和average pooling的理論分析

Boureau Y L， Ponce J， LeCun Y。 A theoretical analysis of feature pooling in visual recognition［C］//Proceedings of the 27th international conference on machine learning （ICML-10）。 2010： 111-118。

6、DropConnect方法

Wan L， Zeiler M， Zhang S， et al。 Regularization of neural networks using dropconnect［C］//International conference on machine learning。 2013： 1058-1066。

7、OverFeat檢測框架

Sermanet P， Eigen D， Zhang X， et al。 Overfeat： Integrated recognition， localization and detection using convolutional networks［J］。 arXiv preprint arXiv：1312。6229， 2013。

8、CNN用於立體匹配

Zbontar J， LeCun Y。 Computing the stereo matching cost with a convolutional neural network［C］//Proceedings of the IEEE conference on computer vision and pattern recognition。 2015： 1592-1599。

9、三巨頭深度學習綜述

LeCun Y， Bengio Y， Hinton G。 Deep learning［J］。 nature， 2015， 521（7553）： 436。

10、EBGAN

Zhao J， Mathieu M， LeCun Y。 Energy-based generative adversarial network［J］。 arXiv preprint arXiv：1609。03126， 2016。

Lecun總的論文引用量為100000+，近年來發表文章較少了。

所有的論文，在以下GitHub專案中可以獲取，或者給公眾號傳送關鍵詞訊息“LeCun”，即可獲得下載連結。

https：//github。com/longpeng2008/Awesome_DNN_Researchers

3 代表性個人成就

2014年IEEE神經網路先驅獎

2015年IEEE PAMI傑出研究員獎

2016年墨西哥IPN榮譽博士學位

2018年被授予圖靈獎

4 法國，一位AI大牛的誕生

58年前的7月8日，一位偉大的人工智慧科學家橫空出世，這個人就是本篇的主人公——Yann LeCun，一個我遇見過被音譯成很多版本中文名的法國人，楊立昆，楊樂春，燕樂存，揚·勒丘恩等等。

從出生一直到博士畢業LeCun一直生活在浪漫之都巴黎。23歲的他獲得了巴黎高等電子工程師學校的工程師學位，4年後又取得了巴黎第六大學的計算機科學博士學位。讀博期間，他拜讀了Hinton關於玻爾茲曼機的論文，並提出了神經網路的反向傳播演算法的原型。

1988年，他飄洋過海到多倫多大學投靠Hinton，並在其實驗室做博士後，一直深受Hinton大師的影響。當時的深度神經網路學科是個大冷門，博士後期間LeCun一直在做共享權值網路的研究試驗。未能早點進行卷積網路相關研究原因有兩個：一是缺乏軟體，二是沒有足夠的資料。就像是火箭發射，裝備和火藥都不完全具備。

每一位優秀的人工智慧科學家都會深藏著一份執念，對於LeCun而言，他的執念起源於大二時無意間翻到的一本有關哲學的書，主題是一場圍繞人類語言是先天還是後天的辯論。持有語言是後天練習觀點的皮亞傑一直在研究感知器模型。當了解到這是一個能學習的機器，LeCun覺得太讚了，於是乎他瘋狂地遊竄於各個大學的圖書館，尋找一切關於感知器的內容。這個觀點一直影響著他一步步的選擇。

5 貝爾實驗室，一場著名的學術賭注

LeCun學術生涯中有20多年的時間是在貝爾實驗室度過的。

大名鼎鼎的貝爾實驗室，坐落在美國新澤西州茉莉山，1925年由AT&T公司創立。建立之初，便致力於數學、物理學、材料學、計算機程式設計、電信技術等各方面的研究。上世紀70年代-90年代中期，貝爾實驗室可謂是這個星球上最偉大的實驗室，沒有之一。

具體有多厲害呢？有一個段子是這麼說的，當年給美國公司排名，AT&T第一，IBM第二，有一天AT&T被解體為七個公司，IBM終於排第八了。

在其過往的光輝歲月中，貝爾實驗室共獲得了30000多項專利，幾乎每天一個，專利獎項拿到手軟。像今天我們用到的電晶體 、太陽能電池、C語言，在課本上見到的克勞德·夏農、威廉·肖克利、肯·湯普生，還有今天的主人公都來自於貝爾實驗室。

當時的貝爾實驗室之所以這麼厲害，一方面不差錢，有美國政府爸爸拿錢撐腰，另一方面進入這裡的都是真正做事，滿腦子idea的人才，就像LeCun一樣。

1988年，年僅27歲的LeCun走進了貝爾實驗室，接觸到了大量資料集和執行飛快的電腦，一個擁有5000個訓練樣本的USPS資料集——在當時算是數一數二的龐大資料集了。

在這個資料集的幫助下，次年LeCun便打造並訓練了第一個版本的LeNet 1，在字母識別上取得了有史以來最高的準確率！

1993年，LeCun在電腦上展示識別手寫字，將CNN與BP反向傳播結合閱讀“手寫”數字，結果優於以往任何模型，很快便應用到ATM識別讀取支票上的數字，小有成就的是，上世紀90年代末期已經處理了美國10％-20％支票識別。

LeCun進入貝爾實驗室的伯樂是Larry Jackel，一位人工智慧祖師級人物，英偉達的機器學習顧問，Jackel也是Vladmir Vapnik的伯樂，Vapnik（萬普尼克）與LeCun既是“戰友”也是“冤家”。

貝爾實驗室的自適應系統研究部Adaptive Systems Research Department，分別在1988年和1992先後開發了卷積神經網路和支援向量機，LeCun和Vapnik就是這兩類團隊的代表人。

雖然同為兩位優秀學者的伯樂，Jackel還是心向LeCun的。1995年3月14日，有一個以一頓高階豐盛的晚餐為賭注的賭書誕生。具體打了什麼賭呢？

這場賭局分為兩段，上半段，Jackel認為5年後（也就是2000年），人們可以在理論上明確解釋人工神經網路的工作機理，會和SVM一樣有很好的理論支撐。但Vapnik並不認可，賭局下半段是Vapnik認為到2005年，沒人會使用他們在10年前就擁有的神經網路架構，然而每個人都會使用SVM。隨即當下，口說無憑，立字為據，LeCun便是這場賭局的見證人。以下就是三人蠻正式的賭書。

時針秒針嘀嗒走過，2000年3月14日，Jackel輸了比賽，其實到了2019年也沒有真正找到人工神經網路的理論解釋框架。

Vapnik這邊呢，他猜對了開頭，卻沒有預測對後面，時間推移到2005年，越來越多的人還在研究神經網路，而SVM已時過境遷，開始涼涼了。這場賭局最大的勝利者就是見證人LeCun，不過賭注的兌現是在2000年的暹羅花園餐廳，最後Jackel 和 Vapnik 平分了帳單。

為什麼沒有等到2005年？或許在賭局進行到一半時，大家彼此心照不宣，不失和氣地預設中止。一場神經網路的著名打賭，表現出AI能成為主流技術是歷經了多少年才被眾人所接受及應用。

LeCun的學術命運與AT&T公司一起改變著。1996年，AT&T公司進行了一輪拆分，通訊運營業務保留在新AT&T中，一部分貝爾實驗室和AT&T的裝置製造部門被剝離出來形成了朗訊科技，另一部分負責計算機業務的部門則組建了NCR公司。

LeCun在新AT&T實驗室擔任影象處理研究部門負責人，他的組員就包括AI界另一位大神Bengio，下一次我們就要介紹他。

然而不幸的是，卷積神經網路的專利卻被律師團隊最終決定分給了NCR公司。LeCun回憶到，“當時NCR手握卷積神經網路的專利，卻沒人知道卷積神經網路到底是什麼”，而自己卻因為身處另一家公司而無法繼續進行相關研究。

無助。在此期間也正是神經網路所處的冰點期。2003年，LeCun為自己的重生打下了基礎。那一年，他成為紐約大學教師，並與Hinton和Bengio結成非正式的聯盟，共同重啟對神經網路的研究。

LeCun說：“我們開始了我一直稱之為‘深度學習陰謀集團’的合作。”

直到2012年Hinton的團隊在ImageNet比賽中遙遙領先於其他對手，人們對卷積神經網路的興趣飛速提升。那時，很多搞計算機視覺的人都不知道卷積神經網路。

6 跨界AI大神，可愛的一面

2013年，在Lecun 53歲的冬天帶給扎克伯格一份暖陽，加盟Facebook組建FAIR並任職第一任主任。不久後，他把老同事Vapnik也挖過去了。

同時兼任紐約大學教授的LeCun，開始了他橫跨工業界和學術界雙重聯盟的模式。LeCun一直保持研究員的狀態，FAIR整體研究也會有學術的味道。幾年的時間LeCun將FAIR逐步打造成一個全球最大的跨文化、多模態、結構化、有組織的人們互動的資料庫，高度開源並發表所有的技術以供行業使用。

正如Lecun所說：如果把深度學習從Facebook去掉，Facebook就是塵埃。

FAIR專注於一個目標：創造跟人類具有同等智商的計算機。以下總結了幾項目前的研究亮點：

1、透過半監督和無監督訓練促進人工智慧學習：雜湊標籤幫助計算機視覺系統識別影象中的特定的子類別和附加元素；在無監督資料上訓練自動翻譯NMT，使用多種方法來規避標記資源比較少的語言訓練資料的相對稀缺性。

2、釋出PyTorch並被AI社群廣泛採用，併成長為GitHub增長速度第二快的開源專案。

3、構建造福所有人的AI系統：建立能生成照片音訊描述的系統，造福於視障人士；使用文字分類技術來識別表達自殺想法言論的帖子；Rosetta每天從超過10億個公共影象和影片幀中提取文字，理解文字；fastMRI專案改善影像診斷技術等。

4、AI三件套——Facebook的2。0版硬體夢：能夠進行大規模神經網路計算的訓練平臺Zion；能夠執行推理任務的AI伺服器Kings Canyon；可以定製轉碼的Mount Shasta。

去年一月份LeCun卸任了FAIR的負責人一職，將作為首席AI科學家繼續待在Facebook。

這些年LeCun一直扮演者人工智慧科普大使的角色，他頻頻出現在全球高校，與中國的交流也頗為頻繁，他參觀過中科院模式識別國家重點實驗室，在上海交大、清華大學、臺大先後做過演講。LeCun說“中國佔全球五分之一人口，這裡擁有非常多的人才，扎克伯格非常重視中國市場。”

LeCun與條條框框的大部分普通法國人不同，為人十分隨和，不過對一位神經科學家卻有所不同。

自2017年起，LeCun與紐約大學的著名心理學、神經科學家Gary Marcus維持在推特上透過@進行”學術互掐“，兩人一直樂此不疲。

每每Gary Marcus遇見和自己觀點一致的文章，就會第一時間@LeCun讓他表態，LeCun也見招拆招，樂此不疲，新增理論並回@Gary Marcus，兩位活寶的隔空傳書一直沒有停下來。

7 LeCun經典語句

“我是鑽到一群比我聰明的人裡面去，所以在很多方面我都根本沒覺得自己有什麼天賦。”

“如果我都不知道你為什麼大笑，我們的生活將沒有太多的共鳴。”

“深度神經網路既漂亮，又光亮透明。”

“資料對於把機器學習變成一門生意很重要。”

”智慧＋常識＝感知＋預測模型＋記憶＋推理及計劃“

一位生於巴黎，成就在美國；呆過最牛的實驗室，領導Facebook AI 研究院；一腳在工業界，一腳在學術界；坐過冷板凳，又化身AI大牛的親切隨行的LeCun，你喜歡麼？