刚刚,图灵奖揭晓:授予深度学习三巨头

2019-03-28 13:19:31 来源:未知
昨天晚间,美国计算机协会(ACM)宣布,2018年图灵奖颁发给被誉为“深度学习三巨头”的Yoshua Bengio、Yann LeCun、Geoffrey Hinton。

三位科学家发明了深度学习的基本概念,在实验中发现了惊人的结果,也在工程领域做出了重要突破,帮助深度神经网络获得实际应用,共同造就了2006年开始的深度学习复兴。

今天,深度学习已经是人工智能技术领域最重要的技术之一,计算机视觉、语音识别、自然语言处理、机器人近些年取得的爆炸性进展都离不开深度学习

ACM也给予了极高的评价:“他们在概念和工程上取得的巨大突破,使得深度神经网络成为计算的关键元素。”(For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.)

Yoshua Bengio是蒙特利尔大学教授,发表了包括《Learning Deep Architectures for AI》(AI学习深度架构)、《A neural probabilistic language model》(神经概率论语言模型)两篇经典之作在内的300多篇论文,对深度学习的发展起到了巨大的推动作用,2017年曾获得加拿大总督功勋奖。

Yann LeCun出生在法国,曾在多伦多大学跟随深度学习鼻祖Geoffrey Hinton进行博士后研究,20世纪80年代末就作为贝尔实验室的研究员提出了卷积网络技术,并展示如何使用它来大幅度提高手写识别能力。

20世纪末21世纪初,神经网络失宠时,Yann LeCun是少数几名一直坚持的科学家之一,2003年成为纽约大学教授,从此引领深度学习的发展,目前是Facebook首席人工智能科学家,并创立了Facebook人工智能研究院(FAIR)。

Geoffrey E. Hinton是加拿大认知心理学家和计算机科学家、多伦多大学特聘教授、爱丁堡大学人工智能博士,以他的人工神经网络(artificial neural networks)而出名,被称为“神经网络之父、“深度学习鼻祖”,2013年加入Google AI团队,将神经网络带入应用一线。

他获得的重要奖项包括:2001年“Rumelhart奖”(国际认知科学领域最高学术荣誉,Geoffrey E. Hinton 是获得该奖项的第一人);2005年IJCAI“卓越研究奖”;2011年“加拿大自然科学与工程研究委员会吉勒斯?布拉萨德博士奖”(Herzberg Canada Gold Medal for Science and Engineering);2012年加拿大“基廉奖”(Killam Prizes,有“加拿大诺贝尔奖”之称的国家最高科学奖);2016年欧胜、RSE和IEEE 联合颁发的“James Clerk Maxwell 奖”等。

三位获奖者介绍及其主要成就

Geoffrey Hinton

Geoffrey Hinton,1947年生,现年72岁,谷歌的副总裁和工程师,也是AI研究机构Vector Institute的首席科学顾问和多伦多大学的名誉教授。

在ACM颁奖辞博文中,主要提到了Hinton的三个贡献,如果你做过AI项目,肯定不会陌生,它们分别是:

反向传播(Backpropagation):1986年,在Learning Internal Representations by Error Propagation这篇论文里,Hinton证明了,反向传播能让神经网络发现自己内部的数据表征,这样便可以处理以往无法解决的问题。

如今,反向传播已经是神经网络的标准操作,Hinton也有了“反向传播之父”的名号。

玻尔兹曼机(Boltzmann Machines):1983年,Hinton和同伴一起发明了玻尔兹曼机,那是最早能够学习神经元内部表征的网络之一:那些表征既不来自输入,也不来自输出。

改进卷积神经网络:2012年,Hinton和学生们一起,利用线性整流神经元(Rectified Linear Neurons)和dropout 正则化改进了卷积神经网络。

在ImageNet比赛上,他们几乎把物体识别的错误率降到了从前的一半,让计算机视觉领域焕然一新。

在获得图灵奖之前,Hinton就已经获得了大量的荣誉,手握加拿大最高荣誉勋章(Companion of the Order of Canada),是顶级认知科学奖鲁梅哈特奖的首位获奖者,也获得了人工智能国际联合会(IJCAI)杰出学者奖终生成就奖等等。

此外,他也是英国皇家学会成员、美国工程院外籍院士。

一个有趣的轶事是,Hinton的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者,因“布尔检索“而闻名于世。

而即将出场的人,曾经在Hinton的实验室里做过博士后。

Yann LeCun

Yann LeCun,1960年生,58岁,现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父,是他最为人熟知的名号。

ACM列举的成就,也是从这里开始。
 


卷积神经网络 (CNN) :1989年,在AT&T贝尔实验室工作的LeCun,以反向传播为基础,发表了一项研究,叫做“将反向传播用到手写邮编的识别上”。CNN的第一次实现,就是在这里诞生。

如今,CNN已经成为深度学习的基础技术了,不止在计算机视觉领域,在语音合成、语音识别这些应用中,也是行业标准操作。

反向传播雏形:1985年,Hinton还没有成为反向传播之父的时候,LeCun在巴黎六大读博期间,发表过反向传播的一个早期版本,根据变分原理给出了一个简单的推导过程。

他用两种加速学习的方法,让反向传播变得更快了。

拓展了神经网络的视野:LeCun不止把神经网络用在图像识别上,还解锁了许多其他任务。他提出的一些概念,如今已经成了AI领域的基础。

比如,在图像识别上,他研究了神经网络怎样学习分层特征表示 (Hierarchical Feature Representation) ,这也成为了如今许多识别任务中常用的概念。

另外,他和同伴Léon Bottou一起提出,学习系统可以由复杂的神经网络构成。在这样的系统里,反向传播是靠自动微分来实现。他们还提出,深度学习架构可以对结构化数据 (比如图形) ,进行处理。

LeCun博士毕业后,只在Hinton的实验室做了一年博士后,就进入了工业界。

不过,他在2003年成为了纽约大学的教授,还在2012年创办了纽大数据科学中心。即便加入Facebook之后,也继续在纽大兼职。

而下一位巨头,也和LeCun一样,横跨学界和产业界。并且,他也在赫赫有名的贝尔实验室工作过。

Yoshua Bengio

Yoshua Bengio,1964年生,55岁,现在是蒙特利尔大学计算机科学与运筹学系教授。


Bengio创建了蒙特利尔学习算法研究所(MILA),担任研究所的科学主任,主持加拿大高等研究院(CIFAR)机器与大脑学习项目的研究。同时,Bengio也担任着数据评估研究所(IVADO)的科学联合主任。

同样,ACM也总结了Bengio的三个主要贡献。

序列的概率模型:上世纪90年代,Bengio提出了序列的概率模型。他把神经网络和概率模型(例如隐马尔可夫模型)相结合,用新技术识别手写的支票。外界认为,这是20世纪90年代神经网络的巅峰之作,当下语音识别技术就是在它的基础上扩展的。

高维词汇嵌入和注意机制:Bengio参与发表了一篇里程碑式的论文,A Neural Probabilistic Language Model(神经概率语言模型),把高维词嵌入 (High-Dimentional Word Embeddings) 作为词义的表征。这对NLP研究(如翻译、问答和视觉问答等任务)产生了深远的影响。

生成对抗网络(GAN):2014年,Bengio与Ian Goodfellow一同发表的生成对抗网络 (GAN) ,引发了计算机视觉和图形学的革命。

据统计,Yoshua Bengio发表的300多篇学术文章的累计引用次数已经超过137000次。

作为教授,Bengio曾经和Ian Goodfellow、Aaron Courville等业界大神一起写出了Deep Learning,成为人手一本的“AI圣经”,不少人将这本书亲切称之为“花书”。

除了学术界,Bengio也活跃在产业界。

曾经,Bengio联合Jean-François Gagné创立了Element AI,为那些想给自家业务寻找机器学习解决方案的公司,找到AI领域的专家。

除此之外,Bengio也有许多荣誉在身。他不仅成为了加拿大皇家学院(RSC)及加拿大高等研究院(CIFAR)的院士,还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。

关于图灵奖

图灵奖由ACM设立于1966年,纪念著名的计算机科学先驱艾伦·图灵,是计算机科学领域的最高奖,获奖者必须在计算机领域具有持久重大的先进性技术贡献。

人工智能领域的先驱马文·明斯基(Marvin Lee Minsky)、约翰·麦卡锡(John McCarthy)、艾伦·纽厄尔(Allen Newell)、司马贺(Herbert Alexander Simon)等人都曾获得图灵奖。2000年,华人科学家姚期智因在伪随机数生成等计算领域的重要贡献而摘得图灵奖。

艾伦·图灵雕像

 
  1. EETOP 官方微信

  2. 创芯大讲堂 在线教育

  3. 创芯老字号 半导体快讯

相关文章

全部评论

@2003-2024 EETOP