54歲的Jürgen Schmidhuber出生於德國，是瑞士人工智慧實驗室（IDSIA）的研發主任，被稱為遞歸神經網路之父。Schmidhuber本人創立的公司Nnaisense正專注於人工智慧技術研發。此前，他開發的算法讓人類能夠與計算機對話，還能讓智慧型手機將國語翻譯成英語。
基本介紹
- 中文名：于爾根·施密德胡伯
- 外文名：Jürgen Schmidhuber
- 別名：LSTM之父
- 國籍：德國
- 出生地：德國
- 出生日期：1963年1月17日
- 畢業院校：慕尼黑工業大學
- 職業：計算機科學家
- 代表作品：長短期記憶（Long short-term memory）、哥德爾機（Gödel machine）、人工好奇心（ artificial curiosity）、元學習（meta-learning）
學術生涯,學術論戰,榮譽,
學術生涯
于爾根·施密德胡伯（Jürgen Schmidhuber）在德國慕尼黑慕尼黑工業大學完成了本科（1987 年）和博士（1991 年）學習，並從 2004 年到 2009 年在那裡任教。自 1995 年以來，他一直擔任瑞士人工智慧研究所 (IDSIA) 的主任。從 2009 年起，他同時擔任瑞士盧加諾大學的人工智慧教授。
在 20 世紀 80 年代，反向傳播對於人工神經網路中具有長信用分配路徑的深度學習效果不佳。為了克服這個問題，Schmidhuber（1991）提出了一種循環神經網路（RNN）層次結構，它使用預測編碼來學習多個自組織時間尺度的內部表示，這可以極大地促進下游深度學習。
1991 年，Schmidhuber 發表了對抗性神經網路，它們以零和博弈的形式相互競爭，其中一個網路的收益就是另一個網路的損失。 其中第一個網路是一個生成模型，用於對輸出模式的機率分布進行建模。第二個網路通過梯度下降學習來預測環境對這些模式的反應，這被稱為“人工好奇心”。 2014 年，這一原理被用於生成對抗網路（GAN）發揚光大。
Schmidhuber 指導了他的學生 Sepp Hochreiter 於1991 年完成的畢業論文，並稱其為“機器學習史上最重要的文獻之一”。 它不僅測試了神經歷史壓縮器（the neural history compressor），還分析並克服了梯度消失問題。這催生了稱為長短期記憶（LSTM）的深度學習方法，這是一種循環神經網路（RNN）。LSTM 已成為 20 世紀被引用最多的神經網路。 到 2010 年代，LSTM 成為包括語音識別和機器翻譯在內的各種自然語言處理任務的主導技術，並廣泛套用於 Google Translate 和 Siri 等商業技術中。
2009年至2012年9月期間，Schmidhuber 團隊開發的深度/循環神經網路（NN）贏得了八次國際模式識別競賽。 2017年，他的一個團隊還獲得了NIPS強化學習大賽的冠軍。
自 2018 年以來，Transformers 通過 ChatGPT 等大型語言模型取代了 LSTM，成為自然語言處理領域的主導神經網路架構。早在 1992 年，Schmidhuber 也發表了與之有共通之處的神經網路架構，目前被稱為具有線性自注意力的 Transformer（a Transformer with linearized self-attention）。
學術論戰
Schmidhuber 認為，他和其他研究人員對深度學習領域的貢獻沒有得到足夠的認可，而傑弗里·辛頓 (Geoffrey Hinton)、約書亞·本吉奧 (Yoshua Bengio) 和揚·勒昆 (Yann LeCun) 則因在深度學習方面的工作而分享了 2018 年圖靈獎。他在 2015 年寫了一篇“嚴厲的”文章，認為 Hinton、Bengio 和 Lecun“大量引用了對方”，但“沒有讚揚在他們之前的先驅者”。
同為AI領域的前輩級人物，Schmidhuber開創性成果等身，但獲得的聲譽和認可度似乎總與期望值有很大差距。2018年深度學習三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun榮獲圖靈獎時，也有不少的人質疑：圖靈獎為什麼沒頒給LSTM之父Jürgen Schmidhuber？
一些人認為，Schmidhuber的重大成就由於他的對抗性性格而被低估。“schmidhubered”一詞在人工智慧領域中被開玩笑地用來形容Schmidhuber公開挑戰其他研究人員工作是否具備原創性的習慣，這種做法被人工智慧領域的一些人視為年輕研究人員的“成人禮”。
榮譽
Schmidhuber 於 2013 年獲得國際神經網路協會亥姆霍茲獎（the Helmholtz Award），並於 2016 年獲得 IEEE 計算智慧型協會神經網路先鋒獎 ，以表彰其“對深度學習和神經網路等人工智慧領域的開創性貢獻”。他也是歐洲科學與藝術學院（the European Academy of Sciences and Arts）的院士。2017年他被任命為瑞士技術科學院院士。
他被人稱為“LSTM之父”，也被稱為“（現代）人工智慧之父”或類似稱號，然而，Schmidhuber 本人將 Alexey Grigorevich Ivakhnenko 稱為“深度學習之父”，並讚揚了許多更早期的人工智慧先驅的工作。
