ACM通信
部门
研究的长期博弈
位于加利福尼亚州帕洛阿尔托的未来研究所(IFTF)是一家总部位于美国的智库。它成立于1968年，是兰德公司的一个分支机构，旨在帮助组织规划长期的未来。罗伊·阿马拉于2007年去世，他从1971年到1990年担任国际乒联主席。阿玛拉最著名的是提出了关于技术影响的阿玛拉定律:“我们倾向于高估一项技术在短期内的影响，而低估其在长期内的影响。”高德纳公司的“炒作周期”(Gartner Hype Cycle)最能说明这一规律，一个其特征是“膨胀期望的顶峰”，接着是“幻灭的低谷”，然后是“启蒙的斜坡”，最后是“生产力的平台期”。
当我听说2018年图灵奖授予了约书亚·本吉奥、杰弗里·辛顿和扬·勒昆，以表彰他们“在概念和工程上的突破，使深度神经网络成为计算的关键组成部分”时，我想起了阿玛拉定律。这个决定并不令人惊讶。毕竟，很难想象还有什么其他计算技术在过去十年中有如此引人注目的表现和影响。引用图灵奖的公告:“近年来，深度学习方法在计算机视觉、语音识别、自然语言处理和机器人等应用领域取得了惊人的突破。”
但是，为了把这一贡献放在适当的历史背景中，回顾神经网络的漫长历史是值得的。1943年，神经生理学家沃伦·麦卡洛克(Warren McCulloch)和年轻的数学家沃尔特·皮茨(Walter Pitts)写了一篇关于大脑神经元可能如何工作的论文。他们建立了一个带有电路的简单神经网络模型。弗兰克·罗森布拉特，康奈尔大学的神经生物学家，发明了感知器1958年，他发明了一种单层神经网络。《纽约时报》据报道，感知器是“电子计算机的雏形，[海军]希望它能够走路、说话、看、写、自我复制并意识到自己的存在。”不幸的是，感知器是非常有限的在Marvin Minsky和Seymour Papert 1969年的书中得到了证明，感知器。炒作的顶峰之后是幻灭的低谷。这个所谓的“第一个人工智能冬天”表现为，除其他外，人工智能研究经费的下降，一直持续到20世纪80年代初。
1982年，加州理工学院的约翰·霍普菲尔德(John Hopfield)发表了一篇论文，其重点不是建模大脑，而是创造有用的设备。他用清晰的数学方法展示了这种网络是如何工作的以及它们能做什么。大约在同一时间，a美日合作/竞争神经网络联合会议在日本京都举行。日本随后宣布了第五代计划。美国的期刊报道了这一消息，引发了美国可能被甩在后面的担忧。很快，资金又开始流动起来。神经信息处理系统年会于1987年启动。然而，在炒作的新高峰之后，又出现了幻灭的低谷。再次引用图灵奖的公告:“到21世纪初，LeCun、Hinton和Bengio等少数人仍然致力于这种方法。”事实上，他们重新点燃人工智能社区对神经网络兴趣的努力最初遭到了怀疑。这种幻灭导致了“第二个人工智能冬天”，一直持续到20世纪90年代。
直到本世纪初，改进的算法、改进的硬件(gpu)和非常大的数据集(ImageNet有超过1400万张标记图像)的结合才带来了令人印象深刻的突破，而且很明显，深度(多层)神经网络在效率和速度方面对机器视觉具有显著的优势。Hinton和他的同事的想法导致了重大的技术进步，他们的方法现在是该领域的主导范式，并获得了2018年的图灵奖。
这个故事的寓意是，研究是一场漫长的游戏;耐心和耐力是必要的组成部分。然而，我记得上世纪90年代初在一个工业研究实验室举行的一次研究评估会议上，有人在数据挖掘方面的开创性工作没有得到赞赏，因为“他已经做了两年了，不知道会有什么发展。”我和普林斯顿高级研究所创始人亚伯拉罕·弗莱克斯纳一样担心;在无用知识的有用性，b在1939年出版的书中，弗莱克斯纳探讨了一种危险的倾向，即放弃纯粹的好奇心，转而追求所谓的实用主义。
成功的研究没有单一的公式。有时，把短期注意力集中在眼前的问题上是有道理的，但是，通常情况下，把研究看作是一个长期的游戏，才能获得巨大的突破。
数字图书馆是由计算机协会出版的。版权所有©2019 ACM, Inc.
评论
Rajesh古普塔
优秀的那样Moshe !我很高兴你们花点时间写了这篇文章，并以中国华人华侨协会为平台把这个词传播出去。它也需要在《高等教育纪事报》上看到(这个专栏有联合吗?)
拉杰什
摩西·瓦迪
谢谢你的夸奖，拉杰什。这个专栏是非常特定于CS的。为了更广泛的读者，它必须写成不同的形式。
显示所有2评论