第349期：神經網絡算法的發明者

上週的《李飛飛自傳》讀後感，還有後續。那篇文章的結尾是，2012年一支加拿大團隊使用神經網絡算法，奪得了 ImageNet 比賽冠軍。今天就來說說，這支加拿大團隊的故事。大家看了就知道了，神經網絡算法是怎麼誕生的，背後的推手又是誰。（1）傑弗裏·辛頓（Geoffrey Hinton，1947-）辛頓出生於英國，後移居加拿大。他是神經網絡算法的奠基人和主要發明者。

神經網絡的概念，是上世紀40年代後期提出的（提出人不是辛頓）。當時的想法是，既然人類通過神經網絡進行思考，那麼只要讓機器模擬神經網絡，機器就能思考了。但是，那只是一個概念，並沒有具體的算法。機器怎麼模擬思考，人們並不知道。1984年，辛頓在加州大學擔任博士後，與兩個同事一起提出了反向傳播算法。這個算法可以建立多層網絡，產生一個輸出結果，讓神經網絡變成了現實，也是後來更高級算法的基礎。

由於它需要多層計算，後一層在前一層的結果上學習，所以被稱爲“深度學習”，辛頓因此成爲“深度學習之父”。辛頓後來因爲這個貢獻，獲得了圖靈獎（2018年）和諾貝爾物理學獎（2024年）。（2）楊立昆（1960-）楊·安德烈·勒坎（Yann André Le Cun，中文名楊立昆）是法國人。上個世紀80年代，他是多倫多大學博士後。這一時期，辛頓也來到了多倫多大學任教，擔任他的指導教師。

所以，楊立昆是辛頓的大弟子，繼承和發展了辛頓的算法。他的主要成就是，爲神經網絡引入了卷積算法，並且做出了第一個有實際用途的神經網絡。1990年代，他用神經網絡識別銀行支票的手寫數字，成功獲得了企業的採用。但是，這個應用也暴露了卷積神經網絡的弱點：它需要大量樣本的訓練，耗費巨大的算力。銀行支票只需要識別10個阿拉伯數字，如果是更多樣化的場景，當時的計算能力難以做到。

學術界因此認爲，卷積神經網絡只適用特定的、計算量較小的場景，不具備推廣的價值。這導致這種算法，以及辛頓和楊立昆，被冷落了二十年。這二十年，楊立昆一直混跡於企業實驗室和大學教研室。等到世界重新認識卷積神經網絡，他在2018年與辛頓一起獲得了圖靈獎，現在是 Meta 公司的副總裁和 AI 首席科學家。（3）亞歷克斯·克里澤夫斯基（Alex Krizhevsky，1986-）

亞歷克斯·克里澤夫斯基是烏克蘭人，少年時隨家人移民到加拿大。2007年，他進入多倫多大學，成爲辛頓的博士生。這時距離楊立昆提出卷積神經網絡，已經過去快20年了。辛頓始終沒忘記它，他鼓勵亞歷克斯和稍後要提到的伊爾亞·蘇茨克維，使用這種算法，去挑戰李飛飛的 ImageNet。

亞歷克斯就寫了一個程序，用 ImageNet 的1500萬圖片，來訓練他的卷積神經網絡。但是，計算量太大了，他的個人計算機根本跑不動，他就買了兩塊 Nvidia 顯卡，每天24小時一刻不停地運算。事實證明，卷積神經網絡+大訓練集+高速計算硬件，超過了其他一切已知的算法。最終，他們的三人團隊以巨大優勢，奪得了2012年第三屆 ImageNet 算法比賽冠軍。

這件事轟動了業界，各大互聯網公司紛紛邀請辛頓和他的學生加入。百度也伸出橄欖枝，邀請辛頓擔任首席科學家，但是最後輸給了谷歌。2013年，谷歌以4400萬美元收購了辛頓成立的空殼公司，將辛頓、亞歷克斯、伊爾亞三個人一起招入麾下。2017年，亞歷克斯辭職，現在一家創業公司研究 AI 技術。（4）伊爾亞·蘇茨克維（Ilya Sutskever， 1986-）

伊爾亞·蘇茨克維出生於前蘇聯，後去了以色列，然後來到加拿大。他是亞歷克斯·克里澤夫斯基在多倫多大學的博士同學，也是辛頓的博士生。他與亞歷克斯組成團隊，共同贏得了2012年的 ImageNet 算法比賽。辛頓作爲指導老師，也是團隊一員。他在2013年跟隨辛頓加入谷歌，2015年辭職，成爲 OpenAI 的聯合創始人和首席科學家，後來是 ChatGPT 的主要作者之一。2024年，他離開 OpenAI，現在創立了自己的 AI 公司。

（5）安德烈·卡帕斯（Andrej Karpathy，1986-）安德烈·卡帕斯出生於斯洛伐克，15歲隨家人來到加拿大，在多倫多大學讀完了本科。他跟伊爾亞·蘇茨克維很可能大學裏就認識。但是，他沒在多倫多大學讀博士，而是去了斯坦福大學，指導老師就是李飛飛。他的方向也是卷積神經網絡，博士期間開設了斯坦福大學第一門深度學習課程，擔任主講。2015年，他跟隨伊爾亞一起加入 OpenAI，成爲主要研究人員。

2017年，他離開 OpenAI，去了特斯拉，擔任特斯拉 AI 總監，2022年離職。（6) 總結上面五人是神經網絡算法的主要創立者和推動者。沒有他們，就不會有今天的 AI 大模型。但是，單單靠他們的算法，AI 不會成功。因爲算法需要大量的數據進行訓練，而訓練需要高速計算的硬件。這三者缺一不可。只有等到2012年，才萬事俱備。神經網絡算法 + 李飛飛的 ImageNet 訓練集 + Nvidia 高速顯卡，同時出現了。

歷史於是翻開了新的一頁，AI 時代正式來臨。

來源｜阮一峯科技愛好者週刊第 349 期，