acm-header
登录

ACM通信

研究突出了

技术角度:当对手是你的朋友


卷积神经网络(2010年更名为深度学习)的大多数基本思想实际上已经有几十年的历史了。只是硬件、数据和研究团体需要一段时间才能赶上。但如果有人问,什么是最重要的毫无疑问,它就是生成对抗网络(GANs)。和大多数好的论文一样,它当然也有一些先驱者,然而,当它在2014年发表时,有一种明显的感觉,某种新的、令人兴奋的东西正在酝酿之中。毕竟,这篇论文很容易让人喜欢,因为它有所有正确的成分:一个聪明的想法,漂亮的数学,与进化的有趣联系。如果最初的论文没有因其结果的视觉质量而令人眼花缭乱,那么一长串的后续工作已经展示了该方法令人印象深刻的力量,这可能会在计算之外产生相当大的影响。

最近机器学习的大部分成功都来自于所谓的有识别力的模型:给定一些输入数据,如一张图像,这些模型试图寻找相关的信息碎片,以确定它是什么。例如,条纹的出现可能表明图像中有斑马。另一种选择是生成模型,旨在近似生成数据的过程。虽然判别模型只会告诉你某物是斑马,但生成模型实际上可以为你画出一匹斑马。

然而,生成模型对于真实世界的图像还不是很成功,很大程度上是因为它很难自动评估生成器。如果我们有一种方法来衡量一个模型的输出有多好——称为目标函数或“损失函数”——我们就可以根据这个指标来优化生成模型。但是,如何量化一个模型是否能很好地生成人们从未见过的逼真的新图像呢?以下GAN论文的关键见解是在学习生成模型的同时学习损失函数。这种同时学习的想法发电机和一个鉴频器以一种对抗的方式被证明是非常强大的。该模型导致了生动的拟人化类比:一些研究人员将GANs解释为两个演员之间的竞争,就像艺术家和评论家,学生和老师,或者伪造者和侦探。

uf1.jpg
数字马里奥•Klingemann不要杀死信使(2017);https://bit.ly/3iYhvxU

在最初发表时,这篇论文导致了GAN模型的质量和通用性的令人眩晕的快速进步;在几年之内,研究人员证明了他们有能力生成看似无穷无尽的新图像集,这些新图像几乎与真实图像无法区分。此外,习得的对抗损失在许多其他情况下被证明是非常有用的,例如,为图像编辑提供“训练轮”,使图像在编辑过程中保持真实。

基于gan的模式可能很快会对社会产生相当大的文化和政治影响,无论是积极的还是消极的。许多著名的艺术家,包括Sofia Crespo, Scott Eaton, Mario Klingemann, Trevor Paglen, Jason Salavon和Helena Sarin,都使用过GAN, GAN艺术已经出现在几个主要的画廊,节日和拍卖行。12事实上,我们可以通过Joel Simon的游戏体验到GANs作为艺术工具的威力Artbreeder.com的网站。许多电影工作室和初创公司目前正在探索利用GAN损耗来创建虚拟角色、虚拟形象和场景的技术,为讲故事和交流提供新的艺术工具。GANs可以帮助我们拍摄更好的照片,用3D捕捉世界的记忆,也许有一天,我们的视频电话会议将被GANs改进,使我们在共享的虚拟空间中成为现实或幻想的化身。与此同时,基于gan的技术引发了人们对错误信息和各种恶意使用深度造假的担忧,以及图像合成算法中的各种数据偏差和它们的使用方式。除了对计算做出重要的基础性贡献外,GANs还引领了我们对成像算法如何改变社会的一些希望和担忧。

回到顶部

参考文献

1.生成艺术的工具,从Flash到神经网络。艺术在美国8(2020年1月);https://bit.ly/2EQqna9

2.GAN艺术中的视觉不确定性。莱昂纳多53, 4(2020年8月),424-428;https://bit.ly/3lJ2KkA

回到顶部

作者

阿列克谢·埃弗罗斯是加州大学伯克利分校EECS系的教授,他是加州大学伯克利分校人工智能研究实验室的一部分。

亚伦Hertzmann是美国加州旧金山Adobe公司的首席科学家。

回到顶部

脚注

要查看随附的论文,请访问doi.acm.org/10.1145/3422622


版权由作者/所有者持有。
向所有者/作者请求(重新)发布权限

数字图书馆是由计算机协会出版的。版权所有©2020 ACM, Inc.


没有找到条目

Baidu
map