尽管在人工智能(AI)和深度学习中取得了巨大的成功,但对当前的深度学习方法进行了关键评估。8.深度学习是数据饥饿,具有有限的知识转移能力,不迅速适应改变任务或分布,并不充分地融入世界或先前的知识。1那3.那8.那14.虽然深入学习在自然语言处理和视觉基准中擅长,但它通常在现实世界的应用中表现不佳。在新数据,新应用程序,野外部署和压力测试中显示了深度学习模型。4.那5.那7.那13.那15.因此,从业人员怀疑这些模型,犹豫雇用他们在现实世界中。
广泛的AI是一种复杂和自适应的系统,凭借其感官感知,以前的经验和学习技巧,成功地执行了任何认知任务。
目前的AI研究试图克服深度学习的批评和局限性。AI研究和机器学习尤其适用于AI-A“广泛”的新水平 - 为技能获取和问题解决方案的显着增强和更广泛的能力。3.我们将“广泛AI”对比“狭窄的AI”,这是目前应用的AI系统。广泛的AI在以下基本属性中显着超过了一个狭窄的AI:知识转移和互动,适应性和鲁棒性,抽象和高级推理,以及效率(如伴随所示)(如伴随所示)数字)。广泛的AI是一种复杂和自适应的系统,凭借其感官感知,以前的经验和学习技巧,成功地执行了任何认知任务。
数字。AI系统认知能力的层次模型。3.
提高适应性和稳健性,广泛的AI利用少量学习,自我监督的学习通过对比学习,使用上下文和内存处理感觉输入。使用现有知识或以前的经验,少量学习培训具有少量数据的模型。少量学习具有夸张的真实应用程序,例如,当学习模型必须快速适应新的情况时,为新客户,新产品,新进程,新工作流或新的感官输入。
随着愿景和语言中的未标记数据的大公司出现,自我监督学习对比学习变得非常受欢迎。图像的视图与其他图像的视图形成对比,或者图像的文本描述与其他图像的文本描述对比。对比语言 - 图像预训练(剪辑)10.在零拍摄转移学习中产生了非常令人印象深刻的结果。剪辑模型有可能成为最重要的基础模型之一。2具有高零点传输学习性能的模型非常适应性,非常稳健,因此应该在现实应用程序中部署时表现良好,并将被从业者信任。
广泛的AI应该使用上下文和以前的经验来处理输入。概念短期记忆9.是认知科学的概念,其指出人类在感知刺激时,立即将其与存储在长期存储器中的信息相关联。像人类,机器学习和AI方法应该“激活大量可能相关信息”9.储存在情节内或长期记忆中。非常有希望现代Hopfield网络那11.那12.那16.这揭示了数据中的协方差结构,从而使深度学习更加强大。如果在数据中共同发生功能,那么现代Hopfield网络在检索的样本中放大了这种共同发生。现代Hopfield网络是一种学习方法的补救措施,这些方法遭受了“解释”问题。解释的是确认观察到的事件的一个原因,这可以防止该方法找到替代原因。解释是短切学习的一个原因5.和聪明的汉斯现象。7.现代Hopfield网络避免通过丰富的协方差结构解释。
图形神经网络(GNN)是一种非常有前途的研究方向,因为它们在图形结构上运行,其中节点和边缘与标签和特性相关联。GNN是神经象征性计算的主要模型。6.它们描述了分子的性质,模拟社交网络,或预测具有粒子粒子相互作用的物理和工程应用中的未来状态。
广泛AI最有希望的方法是神经象征性的AI,即双边AI.将方法与符号和子符号AI组合。与其他地区相比,欧洲在象征性和亚象征性的AI中都有强大的研究群体,因此有前所未有的机会为下一级别的AI-A广泛的AI做出基本贡献。
欧洲在象征性和亚象征性的既有强大的研究群体,因此有前所未有的机会为下一级别的AI-A广告奠定基本贡献。
AI研究人员应努力通过相结合符号和亚象征性AI的双边AI方法来努力提供大大提高和更广泛的技能和问题解决能力。
1. Bengio,Y.,Lecun,Y.和Hinton,G.图灵讲座:深度学习AI。安排。ACM 64.,7(7月2021年),58-65;DOI:10.1145 / 3448250
2. Bommasani,R.等人。论基础模型的机遇和风险(2021年);arxiv:2108.07258。
3. Chollet,F.关于智力的衡量标准(2019);arxiv:1911.01547。
4. D'Amour,A.等人。缺点呈现出现代机器学习中可信度的挑战(2020年);arxiv:011.03395。
5. Geirhos,R.,Jacobsen,J.-H.,Michaelis,C.,Zemel,R.S.,Brendel,W.,遭受抵抗,M.和Wichmann,F.A.深度神经网络中的快捷方式学习(2020);arxiv:2004.07780。
6.羊肉,L.C.,Garcez,A。,Gori,M.,Pratated,M.,Avelar,P.和Vardi,M.图神经网络符合神经象征性计算:调查和观点(2020);arxiv:2003.00330。
7. Lapuschkin,S.等人。揭开聪明的汉斯预测器并评估机器真正学习的机器。自然通信10.(2019)。
8.马库斯,G.深度学习:批判性评估。(2018);arxiv:1801.00631。
9.波特,M.在感知和思想中概念短期记忆。心理学中的前沿3(2012),113。
10. Radford,A.等。从自然语言监督学习可转让的视觉模型。在38的诉讼程序钍实习生。Conf。机器学习。2021。
11. Ramsauer,H.等人。Hopfield网络是您所需要的(2020);arxiv:2008.02217。
12. Ramsauer,H.等人。Hopfield网络是您所需要的。在2021实习生的诉讼程序。Conf。学习陈述;https://openreview.net/forum?id=tl89rnziicd.。
13. reht,b。,roelofs,R.,Schmidt,L.和Shankar,V.(2019)。ImageNet分类器概括到Imagenet吗?36的诉讼程序钍实习生。Conf。机器学习97.(2019),5389-5400。
14. Sutton,R.苦课。2019年;http://www.incompleteideas.net/incideas/bitterlesson.html.
15. Taori,R.,Dave,A.,Shankar,V.,Carlini,N.,Recht,B.和Schmidt,L.测量自然DDistibution的鲁棒性在图像分类中的变化。在第33次的诉讼程序。神经信息处理系统的进步。Curran Associates,Inc.,2020,18583-18599
16. Widrich,M.等。现代Hopfield网络和免疫曲目分类的关注。神经信息处理系统的进步33(2020);https://bit.ly/3jppi5y.。
数字图书馆由Computing Machinery协会发布。版权所有©2022 ACM,Inc。
没有发现任何条目