《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

2019-03-29
關鍵詞: ACM2018 LSTM DNN

昨日,ACM 2018 圖靈獎得主公布,深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒布,一方面讓人感嘆「終于」、「實至名歸」之外,也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER,他是否也應該獲此榮譽呢?

微信圖片_20190329142253.jpg


在官方公告中,ACM 介紹說,「因三位巨頭在深度神經網絡概念和工程上的突破,使得 DNN 成為計算的一個重要構成,從而成為 2018 年圖靈獎得主。」

微信圖片_20190329142310.jpg


確實,在這波 AI 浪潮中,深度學習扮演著主力角色。在人工神經網絡歷經寒潮之時,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持,帶來了如今深度學習的崛起。


正如 ACM 主席 Cherri M. Pancake 所說,「人工智能如今是整個科學界發展最快的領域之一,也是社會上討論最廣的主題之一。AI 的發展、人們對 AI 的興趣,很大程度上是因為深度學習的近期進展,而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎……」


因此,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow(捂臉)獲此殊榮實至名歸。


然而,在我們感嘆有「計算機界諾貝爾獎」之稱的 ACM 圖靈獎「終于」頒發給深度學習時,也有學者發出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應獲得此榮譽。


Jurgen 也該得獎?


2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持,并引領學界走向深度學習爆發的三位先驅,這是 AI 領域的一件喜事。在大獎結果正式公布后,社交網絡上的討論也在熱烈開展,不過人們的焦點卻有些文不對題:

微信圖片_20190329142325.jpg

(圖注)在 Reddit 上,有關圖靈獎的帖子被頂最多的幾個回復:「Schmidhuber 哭暈在廁所」。


對此,人工智能著名學者,南京大學人工智能學院院長周志華第一時間也表示:「要論對深度學習的貢獻,Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票,人緣也重要。。。不過沒關系,有 LSTM 這樣教科書級的貢獻足以淡定。」


在知乎問答上,也有眾多網友肯定 Schmidhuber 的成就,感興趣的讀者可查看該知乎帖子:

微信圖片_20190329142355.jpg

鏈接:https://www.zhihu.com/question/317715156


看來大家紛紛對 Jurgen Schmidhuber 在人工智能領域里的貢獻表示肯定。不過此人在業內人緣似乎的確不夠好,在 2015 年還曾發文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。


作為一個例子,讓我們看看《自然》雜志 2015 年的人工神經網絡(NN)文章《Deep Learning》,它是深度學習的一篇標志性文章,目前引用量已經達到了 13886。該文章是 LeCun、Bengio 和 Hinton (簡寫LBH)聯合寫的,他們從當下的卷積、循環和反向傳播算法等核心概念概覽了深度學習,并表示無監督學習、深度學習結合強化學習等方向才是發展趨勢。


然而,Schmidhuber 在當年的一篇批判性文章中表示,作者在這篇文章中引用了很多自己的研究工作,而忽視了半個世紀以前開創領域的先驅者。此外,Schmidhuber 在文章中還說了一句「They heavily cite each other」。


如下展示了Schmidhuber 批判的前三條觀點,他對該論文一共提出了九條批判性意見。

微信圖片_20190329142414.jpg

截自:http://people.idsia.ch/~juergen/deep-learning-conspiracy.html


總體而言,Schmidhuber 列舉了三人對于深度學習、反向傳播、前饋學習、無監督學習、卷積神經網絡等等方面對于前人研究的忽視,可謂詳盡。


如此耿直,難怪不受人待見。不過另一方面,我們評判一位學者的成就不應該看他的性格,而更應該以學術成就作為標準。


正如人們所說的,Jurgen Schmidhuber 是一名人工智能先驅。


Jurgen 的學術成就


作為 LSTM 發明人、深度學習元老,Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號就是「LSTM 之父」了:早在 1997 年,他和 Sepp Hochreiter 共同撰寫了一篇論文,其中提出了一種利用記憶功能來增強人工神經網絡(模擬人類大腦的計算機系統)的方法,即根據之前獲得的信息,添加解釋文字或圖像模式的循環。他們稱之為「長短期記憶(LSTM)」。


LSTM 解決 RNN 存在的短板,在隨后的多年中被人們廣泛采用。然而遺憾的是,當時 LSTM 也并沒有受到業界更多的重視,在 1995 年,首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年,關于 LSTM 的論文被麻省理工學院退稿。「即便是美國、加拿大及其他地區的著名的神經網絡專家,都沒能意識到我們自 1990 年代起于高山上實驗室研發的深度循環神經網絡的潛能。」Schmidhuber 多次在媒體采訪時表露出遺憾。


語音識別最重要的模型之一——Connectionist temporal classification(CTC),是由 Graves、Schmidhuber 等人在 2006 年提出的,該論文出現在 2006 年的 ICML 上。CTC 是一種改進的 RNN 模型,可以讓網絡自動學會對齊,十分適合語音識別和書寫識別。


Jurgen 貢獻的重要研究還不止于此。2018 年,由谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環境的未來狀態進行預測的新方法,而論文的名字也非常霸氣:

微信圖片_20190329142441.jpg


今天人工智能的形態,是由眾多學者共同打造的。在恭喜三巨頭獲得圖靈獎的同時,不要忘了另外一些人的貢獻。


最后,網友實力「皮」了一波:兩彈元勛黃仁勛是不是離圖靈獎也不遠了……


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:[email protected]
主站蜘蛛池模板: 一色屋色费精品视频在线观看 | 日韩一级性生活片 | 亚洲久久网| 在线亚洲精品视频 | 亚洲国产精品ⅴa在线观看 亚洲国产精品aaa一区 | 韩日一级毛片 | 午夜在线观看cao | 91免费看视频| 伊人黄色片 | 成人永久福利在线观看不卡 | 免费看国产精品久久久久 | cao美女视频网站在线观看 | 亚洲精品线在线观看 | 香蕉久久网站 | 91寡妇天天综合久久影院 | 免费看欧美成人性色生活片 | 欧美一级看片a免费观看 | 岛国伊人| swag国产精品一区二区 | 毛片网站大全 | 一级一级特黄女人精品毛片 | 欧洲免费无线码一二区 | 精品国产91在线网 | 亚洲国产毛片aaaaa无费看 | 亚洲成a人片在线观看中 | 久草视频大全 | 美女毛片大全 | 欧美高清一级毛片免费视 | 精品国产91久久久久 | 久久久精品免费观看 | 高清午夜看片a福利在线观看琪琪 | 国产浮力第一页草草影院 | 一级毛片免费不卡 | 久久久久久久久一级毛片 | 天天亚洲 | 高清国产美女一级a毛片 | 韩国一级免费视频 | 欧美一级毛片片aa视频 | aa级毛片毛片免费观看久 | 成人免费影院 | 日韩 国产 欧美 精品 在线 |