ACM通信
设计情感感知代理
资料来源:MDI Digital
今天，人们在生活中越来越依赖计算机代理，从搜索信息到与机器人聊天，再到执行日常任务。这些基于代理的系统是我们第一次进入一个机器将帮助、教育、咨询、照顾和娱乐我们的世界。尽管人们可以想象纯理性的代理人扮演这些角色，但由于几个原因，这种前景并不具有吸引力，我们将在本文中概述这些原因。情感计算领域涉及计算机系统的设计和开发，该系统能够感知、解释、适应并对人类情感作出适当的潜在反应。在这里，我们特别关注情感代理和助手的设计。情绪在我们的决定、记忆和幸福中扮演着重要的角色。此外，它们对于促进有效的沟通和社会互动至关重要。因此，围绕计算机代理设计的情感成分应该处于设计讨论的前沿是有道理的。
关键的见解
考虑以下例子:个人助理(pa)在我们的日常计算生活中已经无处不在。从亚马逊(Amazon)的Alexa、苹果(Apple)的Siri、微软(Microsoft)的Cortana或谷歌Assistant等知名服务，到客户服务和培训等领域的聊天机器人，消费者对电脑化PA的概念都很熟悉。我们认为，要让PA真正对用户有价值，它必须自然地与用户互动和参与。我们如何设计一个讨人喜欢，有趣，易于合作，最重要的是，值得信赖的私人助理?几位研究人员已经表明，如果一个助手能够感知用户的社交线索和情感信号以及她所处的环境，并做出适当的回应，那么这个助手就会更有价值，被认为更聪明，并且会让用户产生更强烈的与它互动的愿望。4，17
随着步入数字时代，医疗保健和精神卫生保健正从技术和机器学习的涌入中获得巨大好处。然而，很少有系统能有效地跟踪用户的情绪健康状况——大多数情况下，这是通过在医生或治疗拜访之前填写的纸质表格来完成的。问题是，记忆的限制使这些方法在较长时间内变得不那么有效，并且与需求效应(由构成适当行为的线索引起的行为变化)有关。计算机程序现在可以跟踪消费者和患者的健康状况，允许挖掘这些数据，以确定理想的干预时机，并让个人用户反思是什么让他们感到积极或消极。24最近的努力已经成功地使用会话代理来自动化心理治疗的评估和评价。25会话代理可以帮助提供社会支持、健康咨询、任务完成和安全，如果它们具有感知和管理情感和社会互动的能力的话。例如，这个有希望的新方向可以避免老年人普遍存在的孤独问题。31
研究人员认为，导师和学习者之间的关系在提高教育效果方面起着重要作用。39新的教育平台(例如EdX和Coursera)是异步和分布式的。能够理解学生情感反应的自动化教学系统非常有前途。11也有越来越多的文献在训练模拟中使用情感代理(例如军事)，以提高现实主义，唤起同理心，甚至激起恐惧。15这些模拟对士兵、医务人员和其他人员应对战区现实情况和环境灾难至关重要。
情感计算为娱乐应用带来了新的现实主义和沉浸感，如游戏、互动媒体展览和表演。事实上，在体育赛事期间，当观众看到各种各样的广告和其他类型的娱乐节目时(例如Affectiva, Inc.和Emotient, Inc.)，许多公司最近都在追踪他们的观众的情感反应。这种做法在市场营销和广告领域变得越来越普遍，以驱动有关营销内容的决策(例如，什么内容最有效，何时以及在哪里播放广告)。
除了这些例子，情商系统还可能影响零售、交通、通信、治理和警务。在许多情况下，计算机可能会取代人力服务专业人员，情感将在这些互动中发挥作用。大量的例子说明了这项技术可能对社会产生的影响。因此，仔细的设计是至关重要的。许多人目前表示，他们不会信任机器来做重要的决策(即金钱或健康管理)，即使有证据表明，机器可以执行许多任务，如数据收集、数值分析和计划，比人类更有效。一个这进一步加强了围绕产生信任和个性化情绪智力的系统进行研究的必要性，这样它们可能被认为更值得信任，更有同理心，更适合社交，更有说服力。然而，制作情感系统并不总是合适的。例如，如果一个PA执行了基本的功能，那么它就被认为是有价值的，而不管它是如何自然地与之交互的。举个例子，看看人类空中交通管制员以及他们与航空公司飞行员互动的高度分析和符号化方式。因此，重要的是要考虑什么时候让技术具有情感意识是合适的。
作为我们立场的基础，我们参考了拜伦·里夫斯最近写的一篇文章29关于交互的、在线的字符，它们可能比其他系统实例化有一些优点。里夫斯声称，由于人类与媒体的互动从根本上来说是社会性的，因此对具体者来说，利用社会智能来获得成功是很重要的。他指出，社交智能界面增加了记忆和学习，明确地奠定了社交互动的基础。他认为，人们对这些在线角色(代理)的反应是作为社会演员的。代理还可以在它们的交互中增加信任，这在未来可能变得更加重要，因为我们将与人相适应的设计方面纳入其中。
20年前，罗莎琳德·皮卡德(Rosalind Picard)出版了关于情感计算主题的开创性著作。28然而，与人工智能(AI)的其他领域一样，她的愿景取得了起伏不定的进展。更小的电子设备改变了可穿戴计算，使信号可以在舒适的腕戴设备上捕捉和分析。许多消费级智能手表现在都包含了可用于情感检测的微型化生理传感器。包括深度学习在内的机器学习显著改进了基于计算机的语音和视觉理解算法，如语音到文本、面部表情识别和场景理解。
就像其他形式的计算机技术一样，过度夸大情感计算系统的能力存在危险。情感计算的许多引人注目的应用尚未实现，部分原因是设计情感感知系统比简单地感知情感信号要复杂得多。对情感线索的理解和适应高度依赖于语境，依赖于隐性知识。更复杂的是，人们表达情感的方式存在着巨大的人际差异。对于代理如何回应他们，人类也有不同的偏好。个性化对于创建更有吸引力的系统非常重要。最成功的情感代理可能是能够了解一个人微妙的表达和反应，并适应不同的情况和环境。
要做到这一切，我们必须开发出可以计算的情感模型。这很有挑战性，因为情绪很难定义，观察到的信号和状态之间的关系通常需要多对多映射。此外，人类对情感的认知主要是隐性的，由不成文的、习得的社会规则定义。这些规则也具有文化依赖性13也不是普遍的。科学家们提出了许多情感模型，每个模型都有自己的优点和缺点。尽管如此，情感定义的选择对于感知系统的设计具有重要意义。
在这篇文章中，我们描述了情感感知系统可以为社会带来的众多好处。然而，忽视围绕这项技术发展的重大伦理挑战和公众关切将是疏忽的。从业员应考虑我们的建议，以保障市民的安全，维持市民对他们的信任。
总而言之，对社会和情感线索做出反应的系统更吸引人，9建立更好的关系，16也更值得信赖。4，17不出所料，研究人员还发现它们更像人类，更聪明。33然而，就像外表一样，代理人的情绪反应和它的可爱程度之间可能并没有线性关系。具体来说，就是“恐怖谷”21可能是为了情感表达而存在。人类非常擅长检测那些看起来“不正常”的行为。
我们认为，要让PA真正对用户有价值，它必须自然地与用户互动和参与。
尽管构建情感感知系统存在许多挑战，但它仍然是一个非常激励人的目标。除了简单的任务外，高情商的个体有可能改善我们的健康和生活质量。举个例子，这些系统可以帮助那些难以获得传统治疗的人提供心理健康治疗，b一个越来越重要的领域。
在这里，我们解决了开发情感感知系统的关键设计挑战，即情感感知、解释和适应。虽然不可能深入调查每个挑战，但我们强调了最先进的研究，并讨论了研究人员和实践者面临的最紧迫的机会。
情感感知
情感感知和跟踪本身就有好处。例如，人们可以跟踪一个人的情绪如何随着时间的推移而变化，以了解他的情绪触发因素。24然而，在大多数情况下，用户会希望系统能够以一种智能的方式适应和响应情感线索，比如根据玩家的情绪设计难度变化的电脑游戏(例如Flying Mollusk, Inc.的《Nevermind》)。此外，如果需要交互，人们很可能会希望系统能够以适当的情绪作出反应。27
感知情感状态是设计情感感知系统不可或缺的一部分。25年来，计算机科学方法已经应用于视觉、音频和语言数据来推断情感。在许多情况下，这涉及到在高维数据中检测微妙的信号。虽然语言和非语言线索都包含了关于一个人的情绪状态的丰富信息，但研究人员发现，通过结合来自多种模式(如语音、手势和语言)的信号，对非语言行为的自动化理解有了显著提高。10虽然本文的目的不是调查影响传感方法，但是讨论它们是很重要的，因为它们影响许多实际的设计考虑因素。例如，设计师应该如何选择适当类型的传感器信号来测量情绪?融合不同模式信号的最佳方法是什么?如何判断传感器测量对于给定的用例是否足够准确?系统如何区分情感表达和其他社交线索?在本节中，我们将讨论信号的检测。接下来，我们将讨论如何对它们进行建模和解释。
言语。语言模式和词汇选择可以告诉我们很多关于用户情感状态的信息。语言风格匹配是在自然的社会交往中发生的。26通常情况下，风格匹配是人与人之间融洽或联系的标志。随着时间的推移，人们甚至可能在没有意识到的情况下改变自己的说话风格。
LIWC软件是一个能够自动提取语言风格特征的软件包26通过捕捉不同类别词汇的使用频率。例如，肯定词、否定词和虚词就特别重要。匹配一个人的语言风格(例如，通过词的选择)可能是设计代理与一个人建立情感联系的最简单方法之一。对于没有实体的聊天机器人，这是可以使用的少数技术之一。有许多用于文本和语音情感分析的软件包，它们应用起来很简单。我们可以设计一个系统，通过语音到文本的引擎来分析语音或文本中的言语情感。设计者应该意识到，这些系统可能无法捕捉人类语言的全部复杂性。尽管这些系统中的许多都是针对研究人员可用的大规模语料库(例如，tweet)进行训练的，但它们可能并不总是能很好地推广到其他领域(如电子邮件消息)。
非语言。面部表情、肢体动作和姿势是情感信息最丰富的来源。我们使用自动面部动作编码和表情识别系统来测量视频中的这些信号。自动面部动作编码可以使用高度可扩展的框架来执行，23允许分析非常大的数据集(例如，数百万个个体)。这些分析揭示了情绪表达的跨文化和性别差异的观察证据23这是第一次可以被量化。像Kinect传感器这样的深度感应设备大大提高了姿势、手势、姿势和步态分析的能力，使得使用现成的低成本硬件设计系统成为可能。设计师现在可以使用软件sdk进行自动面部和手势编码，这相对容易集成到其他应用程序中。这些甚至可以在资源受限的设备上运行，从而支持面部表情分析的移动应用程序，如响应视觉线索的移动代理。
从用户的脸上识别困惑或沮丧的表情是一种实用的方式，代理可以利用面部线索来促进互动。在一个已知的上下文中(即，一个信息搜索任务)，当这些类型的否定表达出现时，可以检测到它们。一般来说，如果用户能够理解代理使用的推理，那么对错误检测到的情感状态的响应就不会让用户感到沮丧。24
使用相机或麦克风来测量情感信号(无论是在公共场所还是私人场所)是一个特别敏感的话题，特别是在受试者没有意识到传感器的存在和活动的情况下。设计师需要仔细考虑他们的应用最终可能如何影响社会规范，即视频和音频分析和记录在何时何地被接受。
语音韵律。随着对话界面(如Cortana和Siri)的兴起，非语言语音信号成为越来越有价值的情感信息来源。与面部编码一样，该公司非常注重设计在实验室设置之外工作的系统。许多公司都有提供韵律特征提取和影响预测的相关软件开发工具包(SDK)和应用程序编程接口(API)(例如BeyondVerbal、audEERING、Affectiva)。就像面部表情一样，对言语中情绪的感知可能有某种程度的普遍性(类似的一组“基本”情绪)，但在语言和文化之间存在着大量的变化。许多这些“非基本”状态将在日常互动中发挥更大的作用。
生理学和脑成像。虽然表达的情感信号是那些在社会互动中使用最多的信号，但生理学在情感反应中起着重要作用。自主神经系统的神经支配对人体的许多器官都有影响。计算机系统可以测量这些信号中的许多，而没有辅助的人类无法做到这一点。大脑活动(例如脑电图(EEG)、功能性近红外(fNIR))、心肺参数(例如心脏和呼吸频率和变异性)以及皮肤电导都可用于测量神经系统活动的各个方面。虽然可穿戴设备只得到了部分采用，但使用更普遍的硬件测量心血管(心脏)和肺(呼吸)信号有几种令人信服的方法。手机上的加速计和陀螺仪可以用来检测脉搏和呼吸信号，几乎任何一个网络摄像头都足以远程测量同样的信号。虽然人们在对面部表情和语调进行社交控制方面很有经验，但他们对生理反应却没有同样的控制能力，这意味着测量对他们来说可能更有威慑力和侵入性。在设计代理时应该认识到这些问题，因为它们可能会影响代理的感知，从他们有多可爱，到他们有多值得信任。
采用的设计挑战。尽管在情感感知方面取得了进步，但在基本的客观测量方面仍存在许多挑战。许多这些测量方法还没有被描述出来，或者在自然环境中失败了。例如，面部表情识别可能是可靠的视频行为简单，当脸是正面的相机，但在情况下，头部旋转出平面和同时发生的面部动作，识别可能会很差。生理感知方法在身体活动中受到严重阻碍。随着机器学习和情感计算研究的进展，客观测量技术将得到改进。与此同时，基于自动面部和语音分析的实用系统仍然可以部署。然而，设计师需要考虑到这些限制。
现实世界中对情绪做出反应的系统面临的一个挑战是，情绪的表达通常非常微妙或稀疏。这可能意味着开发具有高召回率(即检测到的情绪反应的比例)和低假阳性(报警)率的自动检测系统具有挑战性。在社会互动中，许多非语言行为(例如，微笑)会比人们独处时更频繁。因此，设计对社会和情感线索都做出反应的系统可能更实际。
单模态线索(即面部表情)的稀疏性和特异性的缺乏是多模态情感计算系统始终优于单模态情感计算系统的关键原因。10在某些设置中(例如，呼叫中心分析)，视觉提示的可用性可能是有限的。在其他情况下，可能无法使用各种模式。最有效的系统将是那些利用最多信息的系统，包括关于个人和她所处环境的信息。
很大的人际差异存在于非语言行为中。因此，针对个人的模型可以带来很多好处。这种类型的建模需要纵向研究。到目前为止，这样的研究还很少。我们需要设计新的机制来激励个人与系统交互，或者长时间被动地接受监控。最终，最成功的情感计算技术将能够建立个性化的模型，利用在线学习随着时间的推移而更新。
情感标签
在设计情感计算系统时，最重要的选择之一是如何表示或分类情感状态。长期以来，情绪理论家一直在争论情绪的确切定义，并提出了许多情绪的模型和分类。常见的方法包括离散模型、维度模型和认知-评价模型;其他方法包括情感的理性、交际和解剖表征。22
离散模型。情感的离散分类假定存在“影响”程序，驱动一系列核心基本情感和相关的认知、生理和行为过程。39已经提出了几种分类，但到目前为止，最常用的是所谓的“基本”情绪列表，包括愤怒、恐惧、悲伤、厌恶、惊讶和快乐。这些状态可以表示为维度空间中的区域。在实践中，离散情感模型的挑战来自于状态定义。即使是“基本”状态在许多情况下也不会频繁出现。设计人员必须先验地考虑哪些状态可能是相关的和/或在其上下文中通常观察到的。
维模型。最常用的情感维度模型是一个环形的二维空间，其中彼此靠近的点高度相关。效价(愉悦感)和唤醒(激活)是最常被选择用来描述循环的两个轴的描述，然而，合适的主轴仍然存在争议。另一个模型使用“积极影响”(PA)和“消极影响”(NA)，每个都有一个激活组件。维度模型很有吸引力，因为它们不将输出限制在特定的标签上，而是可以以更连续的方式解释。例如，在某些应用中，没有一个“基本”情绪标签可以应用于观察到的情绪反应，但该反应仍然位于维度空间的某个地方。然而，设计师仍然需要仔细考虑哪些轴最适合他们的用例。
评价模型。认知-评价模型考虑了情绪对决策的影响。具体来说，情绪是根据一个人对刺激(即事件或物体)的评价而产生和区分的。在这种情况下，一个人对情况的评价会影响他们对刺激的情绪反应。不同环境下的人们在经历相同的刺激时，不一定会体验到相同的情绪。
评估模型对上下文使用了一种更形式化的方法。这一点非常重要，因为只有很少一部分行为是可以被普遍解释的(甚至这些理论也被激烈争论过)。一个混合的维度评价模型很可能是最有用的方法。
尽管学者们一直在广泛地试验情感的计算模型，但目前还没有商业上可用的软件工具来识别情感(无论是口头的还是非口头的)，使用基于评估的情感模型。对于希望识别用户情绪的商业软件系统来说，将情境和个性化融入个人情绪状态的评估可以说是下一个重大的技术和设计挑战。
情感上的代理
关于会话代理对于更自然的人机交互的好处，已经写了几篇文章。7，8这一研究运动部分源于一种信念，即传统的WIMP(窗口、图标、鼠标和指针)用户界面太难导航和学习14而且不够自然。在这里，我们将重点放在为代理添加情感感知，以探索添加智能情感感知和适当的基于代理的响应可能获得的额外好处。
对话系统。情感代理的第一个例子是对话系统。在20世纪60年代，伊丽莎是一名只能理解有限自然语言的代理37它模拟了一个心理治疗师。最近，聊天系统变得流行起来，并以多种形式被使用，从心理健康治疗到客户支持。自然语言处理(NLP)的进步使这些对话系统的实际应用成为可能。现在创建机器人的门槛已经降低了很多，就像一个14岁的男孩创建了他自己的作业提醒机器人一样。c许多情感线索是非语言的，因此要求行为主体具有表达非语言情感的能力。最近的对话系统，如Xiaoicedd)，利用文本转语音技术，通过语音韵律实现更大范围的表达。然而，有效地合成非语言线索仍然是一个非常具有挑战性的问题。目前，逼真的语音合成需要记录数千行对话。生成式机器学习方法可能最终有助于取代这种劳动密集型数据收集的需要，并提供现实的语音合成。
虚拟代理。虽然目前大多数虚拟的、对话式的个人助理都不依赖于情感识别或传递(例如，Siri、Cortana等)，但已经有大量文献研究了对话式代理的个性和其他情感成分，以及使用它们所产生的社会和个人利益。从里夫斯和纳斯的研究开始30.在他们的里程碑式著作《媒体方程式》中，提出了一种传播理论，认为人类对待计算机和其他形式的媒体就像他们在交谈中对待另一个人一样具有社交性。他们还声称，人类的这种反应是自动的(也就是说，没有有意识的努力)。里夫斯和纳斯认为，人们会对新形式的媒体做出反应，而他们的感知现实，而不是他们所知道的真实(例如，这是一台计算机)。这允许用户向会话代理分配个性，以及其他功能。通过一系列的研究，里夫斯、纳斯和他们的同事们表明，礼貌、个性、情感、社会角色等都会影响人们对待和回应各种媒体的方式，包括计算机系统。辅导社区的研究人员11已经表明，情感感知系统提高了人机交互的有效性，而缺乏情感响应会降低性能。Kraemer19提供了足够的证据证明教学会话代理的社会情感效益。
进一步的研究强调了这一点体现与非实体对话系统相比，代理提供了几个优势。具有物理存在的代理意味着用户可以查看它。卡塞尔8写过很多这方面的文章，包括代理的表示和它的形式如何比普遍存在的计算的早期梦想有更大的好处36它的目标是嵌入的(不可见的)交互。她的论点的核心是认识到人类之间是如何相互作用的是很重要的。人体让我们能够“定位”智能，既包括所需的典型领域知识，也包括我们需要的关于对话参数的社交和互动信息，如轮流发言、发言、打断等等。因此，在这个愿景中，与用户对话的具体化社会代理比传统用户界面需要更少的导航和搜索(因为您知道在哪里查找信息)。多模态手势，如指示、眼神凝视、言语模式和点头等非语言手势，是支持可信度的社会智力的外在表现。3.例如，早期的研究表明，为了使对话更清晰，人们在谈话嘈杂时更依赖手势暗示。32从这个角度来看，具体化的社会代理可能是人们与计算交互的一种更自然的方式。
因此，会话代理为用户提供了一个心理模型。设计良好或拟人化的特征可以帮助创建一个理解如何使用这些代理的框架。具体来说，会话代理可以为可用的交互质量、功能和限制提供支持。我们的观点是，如果设计师能够利用用户与代理进行社交互动的天然亲和力，这也将导致用户与代理之间的更高层次的亲和力和互动。这最终会带来信任。如果我们设计的代理不仅能按照我们的期望行事，还能遵守社会规范和价值观，那么我们就能放大信任。12
今天，专注于虚拟助手的研究，无论是否包含在内，都取得了积极的成果:提高用户的任务表现，29在房地产交易中建立信任和亲和力，3.通过适当的情绪改善互动的自然性，29以及推进导师制。11，39这在很大程度上可以归因于人类对这些系统的社会反应，即使它们不是。增加情商只会增强这种自然的社会反应，但还需要更多的研究。
“社会照顾”问题6(也就是说，使用情感代理来照顾年轻人、体弱多病者或老年人)是一个正在研究的新领域。研究发现，积极主动的情感代理可以帮助老年用户更舒适地使用科技，甚至可以在一定程度上缓解孤独感。31还有Lucas等人的研究。20.显示了在临床访谈中使用对话代理的真正前景。他们从更愿意透露信息的患者那里得到了更诚实的回答，因为在某些情况下，患者觉得与代理交谈比与人交谈更舒服。虽然这一领域的研究人员已经证明了代理的好处，但他们也指出，人类会参与种族主义、撒谎、嫉妒，以及更多的情感代理。因此，随着我们越来越善于设计情感系统，这是一个需要继续探索的关键领域。
然而，有人担心这些具体化的情感代理的出现缺乏自然性，特别是非语言的手势和提示，如不准确的眼神凝视或情绪化的面部手势。2如果人类开始模仿或模仿他们与情绪不恰当的代理的互动，这可能会导致消极的情绪学习。在上面提到的社会照顾场景中，这个问题是最值得关注的，尤其是儿童，他们通过社会学习来模仿行为。1虽然情感建模社区在创造更自然、更像人类的具身代理方面取得了巨大进步，这些代理具有真实的、类似人类的交流模式，39要消除这些担忧，我们还有很多工作要做。
机器人。物理系统比虚拟代理有优势。最明显的是，机器人系统可以在现实世界中执行物理动作和任务。他们可以用手臂搂住一个人来安慰他们，或者移动一个物体或做饭。同样，在这一领域，研究揭示了机器人在不同情况下表达适当情感的好处，比如礼貌地请求某事或在犯错误后道歉。研究人员发现，表现出类似人类表情和积极礼貌的机器人更能获得人类的帮助，而在犯错误后表现出悲伤或悲伤的机器人被视为更亲密，尤其是在用户认为机器人是自主行动的情况下。17Hammer等人。18报告几项关于老年人对社交机器人接受度的研究。他们发现，外表、智力、友好和善良等属性对接受度很重要。此外，如果机器人同伴模仿了适合情境的社会行为，他们可能会被更积极地看待。
这些系统总是存在不完美的可靠性问题，一个优秀的设计原则需要公开结果的透明度，并让人参与到修复中来。
另一项著名的研究还观察了用户在完成良好或错误的任务后与机器人互动时的反应，以及机器人是否有情绪反应。17这些研究人员对机器人在协作任务中发生意外行为的问题很感兴趣，这种行为极有可能发生。目前关于这个话题的研究很少。这些研究人员认为，情感互动可能比更有效、更不像人类的互动更有用、更能增进信任。他们发现，一个能表达情感的类人机器人，比如通过语言和非语言手势道歉，比没有这些技能的机器人更受青睐，尽管它在这项任务上花费了更多的时间，并会犯错。他们还发现，表现出更像人类的情感信号的机器人可能会让人类更有可能对机器人感同身受，而不想伤害它的感情。最重要的是，人类更加信任这些机器人，因为它们在沟通和情感表达方面增加了透明度和反馈。这些发现表明，当人与智能体交互过程中出现错误或其他问题时，能够表达类似人类、礼貌、情感信号的机器人可以显著减轻人们的不满。这些发现也可以为人-机器人或其他类型的人-智能体对话系统的设计者提供良好的设计指导。这些系统总是存在不完美的可靠性问题，一个优秀的设计原则需要公开结果的透明度，并让人参与到修复中来。然而，正如作者所指出的，将可靠性与表达性并置是具有挑战性的，在短期内设计一个无错误的系统是不可能的。
当然，也有关于恐怖谷的担忧，因为它已经表明，如果机器人看起来太像人类，但在行为方面不符合社会期望，那么人们就不喜欢，甚至可能更不信任这些系统。此外，反机器人情绪可能是一个真正的担忧。人们可能会感到威胁，机器人的扩散和机器人将不会关心人类，行为道德或伦理。
未来情感系统
智能代理的部署广泛应用于移动设备和桌面。然而，大多数被设计具有一定情感感知能力的代理都被限制在受限的实验环境中。虽然“认知”代理通常可以单独使用NLP有效地执行任务，但情感感知代理需要多模态感知能力和以更复杂的方式表达情感的能力，这在现实环境中是非常具有挑战性的。然而，考虑到这里的回顾，这些助手/代理之间的下一个竞争领域很可能是它们与用户情感连接的能力。
拥有基本面部表情识别功能的社交机器人(例如，软银公司的Pepper)现在已经上市。与为信息检索而设计的认知代理的典型交互相比，这些设备可能会引发更丰富的情感集合。因此，它们为大规模的现场实验和用户体验测试提供了令人兴奋的潜力。情感数据的大规模收集和分析对于改善情感计算系统很重要，在日常环境中部署系统是实现这一目标的一种方法，但前面提出了明显的警告。
机器人可以表达丰富的情感，除了有定制的硬件来感知情感信号。莱奥纳多5是一个拥有接近人类表情的机器人的例子。市面上可以买到的机器人，比如Cozmo(由Anki, Inc.开发)，有表达有限的身体情感行为的引擎。然而，这样的机器人在近期内不太可能无处不在。最常见的情感媒介仍可能是虚拟的。这些代理人不需要人类的外表;角色的抽象表示仍然可以传达大量的情感信息。我们可以回到r2 - d2中可能最著名的机器人，它通过脚本成功地通过颜色和声音传达了许多情感。像Cortana这样的代理可以使用类似的抽象来传达情感并从用户那里引出情感;身体运动并不是复杂情感表达的先决条件。
对于设计师来说，理解单纯从人与人的行为中学习并不总是最有效的方法也是很重要的。35当用户试图完成已经需要大量认知处理的任务时，考虑如何呈现和感知信息是很重要的。
具体化的社会主体可以帮助表达和调节情绪，这在任何社会交往中都是重要的。我们知道，情商是智力的一个关键因素，可以强烈影响行为。里夫斯,29研究表明，与积极的体验相比，与技术有关的消极体验更容易被记住，也更容易被采取行动，因此自动化系统在设计时需要考虑消极的交互作用，因为忽略这些消极事件可能会导致同样的糟糕感觉，或者更糟糕的是，拒绝自动化系统。具体化的社会代理是处理这类体验的首选方式。例如，面部表情可以表明什么反应是合适的，或者什么时候需要更多的信息。这比仅仅使用文字或文本要快得多。同样的，智能的社会代理可以用来展示重要的社会和文化礼仪，它在设计中的影响也不容忽视。里夫斯的总体观点和卡塞尔的很像，3.，9如果设计得当，尊重人与人交互协议的嵌入式社交代理可以让用户界面更容易使用。
在短期内，机器不太可能理解人类通常遵循的所有复杂的社会规范，也不太可能高精度地检测人们的情绪状态和回忆。因此，代理人有时会表现出不恰当的社会行为。理想情况下，智能系统应该设计成能够从这些错误中学习，或者至少在检测到错误时道歉。在一项为期一周的研究中，我们发现，当电脑准确地反映出人们的情绪时，人们通常会感到高兴，而当电脑不能准确地反映出他们的情绪时，人们会相当原谅。24然而，对于一个将使用两周以上的商业系统来说，一个经常出错、无法纠正或在线学习的系统可能会考验用户的耐心。
设计能够测量(通常是被动地)并记录情感信号的系统，带来了伦理上的挑战。与任何技术一样，它也有被滥用的可能。许多用于感知情感信号的硬件都很小，而且无处不在(例如，麦克风或网络摄像头)。甚至可以使用这些设备进行生理信号的测量，而不需要与身体接触。因此，人们可能没有意识到代理正在测量和响应他们的情绪状态。
正如Becker等人所描述的，2今天，我们在代理中呈现情感表达的能力是极其有限的，尽管这正在迅速改善。不过，应该注意的是，实体代理和机器人永远不会体验到它们投射的生理反应或实际情绪(例如，心跳加速或放松)。于是，问题就变成了人类如何对这种有限的情感表现做出反应，以及我们对这些代理人不是人类的明显理解。我们必须进行更多实验去识别恐怖谷并找到设计甜点，即更自然的表达能力和易用性不会转化为负面体验。
有一种危险是，一个人可能被能够解读他们情绪状态的特工操纵。例如，人们倾向于相信那些看起来更有吸引力的代理人，即使他们并不可靠。38这种欺骗必须避免。如果我们要越来越多地与计算机代理进行交互，我们就有可能改变自己的行为来模仿系统，就像人类一样。26其他证据也支持这一观点，比如数据显示，使用互联网搜索引擎后，人们的思维方式正在发生改变。具体来说，儿童与一个不能准确模仿人类情感线索和理解的代理进行广泛互动，最终可能会“烙印”这些社会代理的行为和互动风格。另一个不受欢迎的结果是，孩子长大后粗鲁地对待代理，这些行为会渗透到人际交往中。设计师应该研究并考虑如何将这些负面场景的发生几率降至最低。
最后，情感代理可以提高用户对系统可能不具备的能力或常识的期望。在可能导致挫败感或其他负面结果的情况下，可能不适合让系统对情感信号做出响应。
结论
虽然情感感知计算机系统的研究和开发已经有50年的历史，但直到最近这些系统才被应用到现实世界中。感知、解释和适应人类情感的代理正在影响医疗保健、教育、媒体和通信、娱乐和交通。然而，关于管理这些系统的设计原则仍然存在根本性的问题。从测量的信号类型，到使用的情绪模型，再到他们执行的任务类型和他们表达的情绪，仍有一些基本的研究问题需要回答。
代理可以有多种形式，从对话系统到具有肢体表现力的类人机器人。虽然智能代理在移动设备和台式电脑上广泛应用，但那些带有情感感知功能的智能代理被限制在受限的实验设置中。然而，有人可能会说，情感感知系统的部署正处于一个转折点。开发的下一个主要进展将由这些系统在现实环境中的大规模和纵向测试所激发。这部分是由于智能助手(如苹果的Siri、微软的Cortana、亚马逊的Alexa或谷歌Assistant)的日益普及，部分是由于社交机器人的可用性。
我们强调了目前限制这些系统采用的设计挑战，包括如何考虑巨大的人际差异、稀疏性、行为和情绪之间的多对多映射，以及如何创建一个避免社交失礼的系统。情感感知系统会引发伦理问题，这需要非常认真、仔细的设计考虑。
数字观看作者在独家报道中讨论这项工作通信视频。//www.eqigeno.com/videos/designing-emotionally-sentient-agents
参考文献
1.社会认知理论中的人类代理。美国心理学家44， 9(1989)， 1175。
2.社交机器人-情感代理:归化人机交互的几点评论。实习生。信息审查。道德6，12(2006)， 3745。
3.比克莫尔，t，卡塞尔，j，天气怎么样?带有具体对话主体的社会对话。在AAAI秋季社会研讨会论文集,2000年。
4.关系代理:建立用户信任的模型与实现。在计算系统中的人为因素。2001 SIGCHI会议论文集。ACM, 396403年。
5.布雷齐尔，C.，布赫斯鲍姆，D.，格雷，J.和盖登比。D.向他人学习:利用模仿引导机器人对他人的社会理解。人工生命11， 12(2005)， 3162。
6.设计社交机器。社会智能代理。Kluwer学术出版社，波士顿，麻州，2002,149156。
7.对话主体情绪状态和个性建模。和谐技术MSR-TR-98-41。微软的研究。
8.具体化会话代理:用户界面中的表示和智能。AI杂志22， 4(2001)。
9.卡塞尔，J.和索里松，K.R.点头和一瞥的力量:动态对话代理中的信封与情绪反馈。应用人工智能13， 45(1999)， 519538。
10.D'Mello, S.和Kory, J.一致但适度:来自30个研究的单峰和多峰影响检测准确性的荟萃分析。在14国会议记录thACM会议实习生。多通道交互， 2012, 3138。
11.D'Mello, S.， Picard, R.W.和Graesser, A.研究情感敏感型自动导师。IEEE智能系统22， 4(2007)。
12.德鲁里，j.l.，肖尔茨，J.和杨科，H.A.人与机器人互动的意识。IEEE实习生。系统、人与控制论， 2003, 912918。
13.情绪识别的普适性与文化特异性:一个元分析。心理通讯128， 2(2002)， 203235。
14.黄泰，琼斯，P.和卡西夫，S.以人为中心的系统:信息，交互和智能。国家科学基金会报告，1997年。
15.眼泪和恐惧:合成制剂中情绪和情绪行为的建模。在五人会议记录th实习生。自治代理， 2001, 278285。IEEE。
16.Gratch, J.， Wang, N.， Gerten, J.， Fast, E.和Duffy, R.与虚拟代理建立融洽关系。在《实习生会议录》智能虚拟座席， 2007, 125138。施普林格。
17.Hamacher, A.和Bianchi-Berthouze, N.相信BERT:在人-机器人物理交互中，使用表达性沟通来增强信任和抵消操作错误。机器人与人的互动交流， 2016, 493500。
18.Hammer, S.， Lugrin, B.， Bogomolov, S.和Janowski, K.调查老年人机器人助理的礼貌策略及其说服力。有说服力的，(2016)， 315326。
19.Krämer, N.和Bente, G.个性化的电子学习。教育媒介的社会效应。教育心理学修订版， 1(2010)， 7187。
20.卢卡斯，g.m.，格拉奇，J.，金，A.和莫伦西，L.P.。这只是一台计算机:虚拟人类增加了披露的意愿。计算机与人类行为(2014), 94100。
22.Marsella, S.， Gratch, J.和Petta, P.情绪的计算模型。情感计算蓝图-资料手册和手册。牛津大学出版社，2010,2146。
23.McDuff, D, Girard, J.M，和el Kaliouby, R.面部行为跨文化差异的大规模观察证据。J.非语言行为1573(2016)， 119。施普林格。
24.D. McDuff, Karlson, A. Kapoor, A. Roseway, A. AffectAura:情感记忆的智能系统。在计算系统中的人为因素， 2012, 849858。ACM。
25.Miner, A.， Chow, A.， Adler, S.， Zaitsev, I.和Tero, P.会话代理和心理健康:基于理论的语言和影响评估。在四人会议记录th实习生。Conf.人机交互， 2016, 123130。ACM。
26.社会互动中的语言风格匹配。语言与社会21， 4(2002)， 337360。
27.P. Paredes, Giald-Bachrach, R. Czerwinski, M. Roseway, A. Rowan, K.和Hernandez, J.流行疗法:通过流行文化应对压力。在八人会议记录th实习生。用于医疗保健的普适计算技术， 2014, 109117。
28.皮卡德,美国情感计算。麻省理工学院出版社，1995,116。
30.里夫斯b，纳斯C。媒体方程式:人们如何对待电脑、电视和新媒体，就像对待真实的人和地方一样。CSLI出版社和剑桥大学出版社，1996年。
31.Ring, L.， Barry, B和Totzke, K.解决老年人的孤独和孤立:主动情感因子提供更好的支持。在2013年Humaine协会会议记录。情感计算与智能交互。IEEE 6166。
32.运动插画家对理解话语中的言语行为的贡献。人类传播研究5， 1(1978)， 5462。
33.沙米希，A.，切尔温斯基，M.，马克，G.和诺沃特尼，M.对兼容虚拟代理首选对话风格的探索性研究。在《实习生会议录》智能虚拟座席。施普林格，2016,4050。
34.斯里尼瓦桑，V.和高山，L.请帮帮我:机器人寻求人类帮助的礼貌策略。在ACM SIGCHI会议论文集。计算系统中的人为因素， 2016, 4944955。
35.语音识别的局限性。Commun。ACM 43， 9(2000年9月)，6365。
36.沃尔特斯，m.l.，西达尔，d.s.和道滕哈恩，K.避免恐怖谷:机器人伴侣在寻求关注的家庭场景中，机器人的外观、个性和行为的一致性。自主机器人/， 2(2008)， 159178。
37.21世纪的计算机圣世纪。科学美国人265， 3(1991)， 94104。
38.eliza研究人与机器之间自然语言交流的计算机程序。Commun。ACM 91(1966年1月)，3645。
39.Yuksel, B.F, Collisson, P和Czerwinski, M.智慧还是美丽:如何在用户-代理交互中产生信任。ACM反式。互联网技术， 1(2017)。ACM, 2。
40.赵，R.， Sinha, T.， Black, a.w.，和Cassell, J.社会意识虚拟代理:从行为的时间模式自动评估二元和谐。在智能虚拟代理国际会议论文集。，施普林格，2016,218233。
脚注
一个。https://hbr.org/2017/02/the-rise-of-ai-makes-emotional-intelligence-more-important?utm_campaign=hbr&utm_source=linkedin&utm_medium=social
c。http://www.christopherbot.co/
d。https://thestack.com/world/2016/02/05/microsoft-xiaoice-turing-test-china/
数字图书馆是由计算机协会出版的。版权所有©2018 ACM, Inc.