ACM通信
最后一个字节
用人工神经网络达到新高度
信贷:亚历山大·伯格
2018年ACM A.M.的人工神经网络曾被业界质疑(如果不是彻底的嘲笑)图灵奖获得者Geoffrey Hinton, Yann LeCun和Yoshua Bengio在他们的职业生涯中发展成为今天从搜索到内容过滤的一切不可或缺的组成部分。那么，现在炙手可热的深度学习和人工智能(AI)领域又如何呢?在这里，三位研究人员分享了他们发现的令人兴奋的事情，以及仍然存在的挑战。
现在关于人工智能的噪音比你刚开始职业生涯时多得多——有些人消息灵通，有些人则不然。你希望人们不要再问你什么?
杰弗里•辛顿:“这只是一个泡沫吗?”在过去，人工智能领域的人提出了一些冠冕堂皇的主张，但有时它们只是一个泡沫。但是神经网络远远超出了承诺的范围。这项技术确实有效。此外,它鳞片。当你给它更多的数据和更快的计算机时，它会自动变得更好，而不需要任何人编写更多的代码行。
数字杰弗里•辛顿
:雅安·勒存这是真的。深度学习的基本思想不会消失，但当人们问我们是否只需要扩大现有方法的规模就能让机器变得更智能时，这仍然令人沮丧。我们需要新的模式。
YOSHUA BENGIO:目前的技术还有许多年的工业和科学应用。也就是说，我们三个都是研究人员，我们总是迫不及待地想要更多，因为我们距离人类水平的人工智能还很远，梦想着了解智能的原理，无论是自然的还是人工的。
数字Yoshua Bengio
什么是讨论不够的?
辛顿:这告诉我们大脑是如何工作的?人们会这样问，但没有足够多的人这样问。
数字Yann勒存
BENGIO:这是真的。不幸的是，尽管深度学习从大脑和认知中获得灵感，但如今许多参与其中的工程师并不关心这些话题。这是有道理的，因为如果你把东西应用到工业中，那就不重要了。但就研究而言，我认为如果我们不能与试图了解大脑如何工作的人保持联系，这将是一个巨大的损失。
辛顿:也就是说，神经科学家现在正在认真对待它。多年来，神经科学家们一直说，“人工神经网络与真正的大脑如此不同，它们无法告诉我们大脑是如何工作的。”现在，神经科学家们正在认真研究大脑中发生反向传播的可能性，这是一个非常令人兴奋的领域。
勒存:目前几乎所有的人类和动物视觉研究都使用卷积网络作为标准的概念模型。这种情况直到最近才出现。
辛顿:我认为它也会慢慢地对社会科学产生巨大的影响，因为它会改变我们对人的看法。我们过去认为人是理性的存在，而人的特别之处在于他们用推理来得出结论。现在我们更好地理解了人类基本上是巨大的类比制造机器。他们发展这些表述非常缓慢，然后他们发展的表述决定了他们可以做出的类比。当然，我们可以进行推理，如果没有推理，我们就不会有数学，但这不是我们思考的基本方式。
作为开创性的研究人员，你似乎不太愿意躺在过去的成就上。
辛顿:我认为那些发明了现在标准技术的人有一些特别之处。它们不是上帝赐予的，很可能还有其他更好的技术。然而，当人们来到一个领域时，已经有了一种标准的做事方式，他们不太理解这种标准方式是多么武断。
BENGIO:学生们有时谈论神经网络就好像他们在描述《圣经》。
勒存:这造就了一代狗狗主义。尽管如此，一些最具创新性的想法很可能来自比我们年轻得多的人。
这个领域的进步是惊人的。如果是在20或30年前，你会惊讶地发现什么是可能的?
勒存:有太多让我惊讶的事了。我惊讶于深度学习革命来得如此之晚，但也惊讶于它一开始发展得如此之快。我本以为事情会发展得更循序渐进，但人们在20世纪90年代中期到2000年代中期之间放弃了神经网络的整个想法。我们有证据表明他们之前在工作，但是，一旦演示变得无可争议，革命发生得非常快，首先在语音识别，然后在图像识别，现在在自然语言理解。
辛顿:20年前，如果有人说，你可以用一种语言找一个句子，把它切成小的单词片段，把它输入一个随机连接的神经网络，然后训练神经网络把这个句子翻译成另一种语言，而不需要任何语法或语义知识——只是不需要任何语言知识——它翻译得比其他任何语言都好。它不是完美的，它没有双语者那么好，但它已经接近了。
勒存:同样令人惊讶的是，这些技术在如此多的行业中如此迅速地变得如此有用。如果你今天把深度学习从谷歌或Facebook中拿出来，这两家公司都会崩溃;它们完全是围绕着它建造的。当我加入Facebook时，有一件事让我很惊讶，那就是有一个小组使用卷积网络进行人脸识别。关于卷积网络，我的第一反应是认为它们可能会对分类级别的识别有用:汽车、狗、猫、飞机、桌子，而不是像人脸这样精细的东西。但结果证明它工作得很好，现在它是完全标准的。另一件让我惊讶的事是Yoshua的实验室关于生成对抗网络的研究，你基本上可以使用神经网络作为生成模型来生成图像和声音。
BENGIO:当我在攻读博士学位的时候，我一直在努力扩展这样一个想法:神经网络可以做的不仅仅是模式识别，将一个固定大小的向量作为输入并产生类别。但直到最近我们的翻译工作才将这个模板转义。正如Yann所说，创造新事物的能力确实具有革命性。所以有能力操作任何类型的数据结构，而不仅仅是像素和向量。传统上，神经网络仅限于人类能够快速且无意识地完成的任务，比如识别物体和图像。现代神经网络在本质上不同于我们在20世纪80年代的想法，它们可以做的事情更接近于我们推理时做的事情，和我们给计算机编程时做的事情。
尽管取得了这些进步，Yoshua，你谈到了让发展中国家更容易使用这项技术的紧迫性。
BENGIO:我认为这很重要。我过去不怎么思考政治，但机器学习和人工智能已经走出大学，我认为我们有责任去思考这些，并参与到关于如何使用它们的社会和政治讨论中。其中一个问题是，专门知识、财富和技术将集中在哪里。它们会集中在几个国家、几家公司和一小群人手中吗?或者我们能找到让它们更容易获得的方法，尤其是在那些它们能为更多人带来更大改变的国家?
辛顿:谷歌已经开源了它用于开发神经网络的主要软件，称为TensorFlow，您也可以使用特殊的谷歌硬件用于云上的神经网络。所以谷歌试图让尽可能多的人可以使用这项技术。
勒存:我认为这是非常重要的一点。深度学习社区一直非常善于推广开放研究的理念，不仅在学术界(会议公开分发论文、评论和评论)，而且在企业界(像谷歌和FB这样的公司将他们编写的绝大多数软件开源，并为其他人提供工具以其为基础进行构建)。因此，任何人都可以复制其他人的研究成果，有时只需要几天。在任何一个特定的话题上，没有哪个顶级研究小组比其他任何研究小组领先超过几个月。重要的问题是这个领域整体的发展速度有多快。因为我们真正想要构建的东西虚拟助手可以回答我们提出的任何问题，可以在我们的日常生活中帮助我们，我们不只是缺少技术，我们缺乏基本的科学原理。我们越快地培养整个研究界在这方面的工作，对我们所有人就越好。
数字观看接受者在独家讨论这一工作通信视频。//www.eqigeno.com/videos/2018-acm-turing-award
©2019 0001 - 0782/19/06 ACM
如果您不是为了盈利或商业利益而制作或分发本作品的部分或全部，并在第一页注明本通知和完整引用，则允许您免费制作本作品的部分或全部数字或纸质副本，供个人或课堂使用。本作品的组成部分必须由ACM以外的其他人享有版权。信用文摘是允许的。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org或传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2019 ACM股份有限公司
评论
来自Korbee
谷歌和Facebook基本上都是广告公司。他们卖广告是为了让人们消费更多。遗憾的是，这些绅士认为这对社会有任何好处，发展中国家需要更好的针对性广告活动。获得一个更好的Alexa或谷歌助手的基本科学原理?计算机科学家更多地参与社会科学是值得称赞的，因为他们对社会世界的理解似乎仅限于增加债务驱动的消费。如果人工智能可以用于增加疫苗接种的可及性，增加粮食产量而不产生更多的浪费，减少污染，增加清洁水的可及性，我不知道，任何与养活人类而不破坏地球有关的事情?Siri，我的宝宝饿了，还出了麻疹，我该怎么办?“到最近的医生那里去。”然后放几个你买不起的婴儿奶粉广告。
显示1评论