ACM通信
研究突出了
利用无线信号进行情绪识别
来源:盖蒂图片社
这篇论文展示了一项新技术，它可以通过一个人身体反射的射频信号来推断他的情绪。EQ-Radio发射射频信号并分析其从一个人的身体反射来识别他的情绪状态(快乐，悲伤等)。EQ-Radio的关键使能器是一种从无线信号中提取个人心跳的新算法，其精度可与人体心电图监测器相媲美。然后，得到的节拍被用来计算与情绪相关的特征，这些特征为机器学习情绪分类器提供信息。我们描述了EQ-Radio的设计和实现，并通过用户研究证明，它的情绪识别准确度与最先进的情绪识别系统(需要人连接到心电监护仪)相当。
1.简介
情感识别是一个新兴的领域，受到了工业界和研究界的广泛关注。13，18，22，35，40它的动机是一个简单的愿景:我们能造出能感知我们情绪的机器吗?如果我们能做到，这些机器将使智能家居能够对我们的情绪做出反应，并相应地调整灯光或音乐。电影制作者会有更好的工具来评估用户体验。广告商可以立即了解顾客的反应。计算机将自动检测抑郁、焦虑和双相情感障碍的症状，允许对这些情况做出早期反应。更广泛地说，机器将不再局限于明确的命令，并可以以更类似于我们彼此互动的方式与人互动。
现有的推断一个人情绪的方法要么依赖于视听线索，比如图像和音频片段，22，42，48或要求患者佩戴像心电图监测器这样的生理传感器。7，21，26，36这两种方法都有其局限性。视听技术利用了情感的外在表达，但无法衡量内心的感受。12，16，36例如，一个人可能很开心，即使她没有笑。此外，人们在表达内心情绪的程度上存在很大差异，这进一步使这个问题复杂化。25第二种方法是通过监测随我们情绪状态变化的生理信号来识别情绪。直觉上，一个人的心率会随着愤怒或兴奋而增加;还有更复杂的变化，表现为心跳持续时间的可变性。12，39这种方法使用身体上的传感器——例如，心电图监测器——来测量这些信号，并将它们的变化与高兴、愤怒等联系起来。这种方法与人的内心感受更相关，因为它利用了自主神经系统和心率之间的相互作用。27，39然而，身体传感器的使用很麻烦，会干扰用户的活动和情绪，使这种方法不适合常规使用。
在本文中，我们介绍了一种新的情感识别方法，它实现了两全其美——即直接测量情感和生理信号的交互作用，而不需要用户在身上携带传感器。我们的设计使用射频(RF)信号感知情绪。具体来说，射频信号会被人体反射，并与身体运动相适应。最近的研究表明，这种射频反射可以在没有身体接触的情况下测量一个人的呼吸和平均心率。6，15，19，23，33然而，心脏信号的周期性(即其运行平均)不足以用于情感识别。为了识别情绪，我们需要测量细微的变化每一个节拍的长度。12，29，39
然而，从射频信号中提取单个心跳会带来多重挑战，这可以在图1．首先，人体反射的射频信号由呼吸和心跳共同调节。呼吸的影响通常比心跳的影响大几个数量级，并倾向于掩盖单个的心跳(见上图)图1）;为了将呼吸与心率分离，过去的系统运行时间为数秒(如Ref. Adib等人的30秒)。6)在频域，放弃了测量拍对拍变化的能力。其次，射频信号中的心跳缺乏ECG信号特征的尖锐峰值，使其难以准确识别心跳边界。第三，inter - beat - interval (IBI)的差异只有几十毫秒。因此，单个的节拍必须被分割到几毫秒之内。在没有清晰的特征来识别心跳开始或结束的情况下，获得这样的准确性是特别困难的。我们的目标是解决这些挑战，实现基于rf的情感识别。
图1。射频信号与心电信号的比较。上面的图表描绘了人体反射的射频信号。射频信号的包络线跟随吸气-呼气的运动。信号上的小凹痕是由于心跳造成的。下图是射频信号同时测量的受试者心电图。每个节拍都以灰色和白色为标志。这些数字以秒为单位报告拍长。注意连续拍长的小变化。
我们推出了EQ-Radio，这是一种无线系统，可以根据人们身体反射的无线电信号来推断他们的情绪。EQ-Radio的关键使能器是一种从射频信号中提取单个心跳及其差异的新算法。我们的算法首先减轻了呼吸的影响。虽然吸气-呼气过程引起的胸部位移比心跳引起的微小振动大数量级，但呼吸的加速比心跳的加速小。这是因为呼吸缓慢而稳定，而心跳涉及到肌肉的快速收缩(这发生在局部时间)。因此，EQ-Radio通过加速射频信号来抑制呼吸信号，强调心跳。
接下来，EQ-Radio需要将射频反射分割成单独的心跳。与ECG信号相比，ECG信号有一个已知的预期形状(见图2图1)，射频反射中心跳的形状是未知的，并会因人的身体和使用该设备的确切姿势而变化。因此，我们不能简单地寻找一个已知的形状，我们分割信号;我们在进行分割时需要学习拍的形状。我们将问题表述为一个联合优化，我们在两个子问题之间迭代:第一个子问题学习给定特定分割的心跳模板，而第二个子问题找到与学习到的模板最大相似度的分割。我们在两个子问题之间不断迭代，直到我们收敛到最佳拍模板和最优分割，以最大的相似性模板。最后，我们注意到我们的分割考虑到节拍可以收缩和扩大，因此在节拍长度上有所不同。因此，该算法找到了节拍分割，在连续的节拍间最大化心跳信号形态学上的相似性，同时允许对节拍信号进行灵活的扭曲(收缩或扩展)。
我们已经将EQ-Radio建成了一个成熟的情感识别系统。EQ-Radio的系统架构有三个组成部分:第一个组成部分是频率调制载波(FMCW)无线电，传输射频信号并接收它们的反射。无线电利用了Ref. Adib等人的方法。6放大人类的反射，忽略场景中其他物体的反射。接下来，将所得到的射频信号传递给上述节拍提取算法。该算法返回与每个心跳对应的一系列信号片段。最后，心跳——连同从射频反射中捕获的呼吸模式——被传递到情绪分类子系统，就像从心电图监测器中提取的一样。情感分类子系统计算了文献中推荐的基于心跳和呼吸的特征12，26，36并使用支持向量机(SVM)分类器来区分不同的情绪状态。
我们通过对30名受试者进行用户实验来评估EQ-Radio。我们根据现场文献设计实验。12，26，36具体来说，受试者被要求通过回忆相应的记忆(例如，悲伤或快乐的记忆)来唤起特定的情感。她/他可能会使用音乐或照片来帮助唤起适当的记忆。在每个实验中，被试报告她/他所感受到的情绪，以及她/他感受到这种情绪的时间。在实验过程中，使用EQ-Radio和商用心电图监测器对受试者进行监测。此外，拍摄受试者的视频，然后传递给微软基于图像的情感识别系统。1
我们的实验表明，EQ-Radio的情绪识别与最先进的基于ecg的系统相当，后者需要身体上的传感器。21具体而言，如果系统分别对每个被试进行训练，EQ-Radio的情绪分类准确率为87%，ecg为88.2%。一个
我们的结果还表明，EQ-Radio的性能是由于它能够准确地从射频信号中提取心跳。其中，即使在估计心跳间隔时出现40-50ms的误差，情绪识别的准确率也会降低到44%。相比之下，我们的算法实现了3.2ms的平均IBI误差，小于平均拍长的0.4%。
2.背景及相关工作
2.1.情感识别
现有的情绪相关信号提取方法分为两类:视听技术和生理技术。视听技术依赖于面部表情、语言和手势。17，48这些方法的优点是它们不需要用户在他们的身体上佩戴任何传感器。然而，由于他们依赖于外在表达的状态，他们往往会忽略微妙的情绪，很容易被控制或抑制。26此外，基于视觉的技术要求用户面对摄像头，以便他们正确操作。另一方面，生理测量，如心电图和脑电图信号，更可靠，因为它们是由自主神经系统(ANS)的不自主激活控制的。10然而，现有的传感器可以提取这些信号，需要与人的身体接触，因此干扰用户体验，影响她的情绪状态。相比之下，EQ-Radio完全依靠身体反射的无线信号，可以在不需要佩戴任何传感器的情况下捕捉生理信号。
2.2.RF-based传感
射频信号由人体反射，并由身体运动调节。过去的研究利用这种现象来感知人类的运动:它传输射频信号并分析其反射来跟踪用户的位置，5手势,4，8，38，43活动,46和生命体征。6，15我们的工作是最接近现有技术的，使用射频信号提取一个人的呼吸频率和平均心率。6，15，19，23，33与过去的研究相比，情感识别需要提取每个人的心跳，并以毫秒级的精度测量心跳间隔的微小变化。不幸的是，之前旨在将射频反射分割成单个节拍的研究也无法达到足够的情感识别精度11，20.，31或者要求被测者屏住呼吸。41特别是，过去不需要用户屏住呼吸的工作，其平均误差为30-50ms，11，20.，31而EQ-Radio达到3.2ms的平均精度。
3.eq收音机概述
EQ-Radio是一个纯粹依靠无线信号的情感识别系统。它的工作原理是发射一种射频信号，然后捕捉人体对其的反射。然后它会分析这些反映来推断这个人的情绪状态。它根据已知的唤起-效价模型将人的情绪状态分为四种基本情绪之一26，30.愤怒、悲伤、喜悦和快乐(即满足)。
EQ-Radio的系统架构由三个组件组成，它们以流水线方式工作，如图所示图2：
图2。eq收音机架构。EQ-Radio有三个组成部分:一个用于捕获射频反射的无线电(第4节)，一个心跳提取算法(第5节)，以及一个分类子系统，它将学习到的生理信号映射到情绪状态(第6节)。
- 无线传感器它能传输射频信号并捕捉人体反射的信号。
- 一种节拍提取算法，它将捕捉到的反射信号作为输入，并返回与个人心跳相对应的一系列信号片段。
- 一个emotion-classification子系统该系统从捕捉到的生理信号(即人的呼吸模式和心跳)中计算出与情绪相关的特征，并利用这些特征来识别人的情绪状态。
4.捕获射频信号
EQ-Radio依靠人体的射频反射来运作。为了捕捉这种反射，EQ-Radio使用了一种称为FMCW的雷达技术。5有关于FMCW无线电及其用于获得由呼吸和心跳调制的射频信号的重要文献。6，9，37我们推荐读者参考Ref. Adib等人。6对于这种方法进行了详细的描述，并总结了下面与本文相关的基本资料。
无线电发射低功率信号并测量其反射时间。它根据反射时间将不同物体/物体的RF反射分成不同的桶。然后，它消除了静态物体的反射，这些物体不会随着时间的推移而改变，并将人类的反射放大。它关注的是人处于准静态的时间段。然后它观察射频波的相位，它与移动的距离有关，如下所示45：
(在哪里t)为信号的相位，λ是波长,d（t)是移动的距离，和t是时间变量。相位的变化对应的是呼吸引起的胸部扩张和收缩引起的复合位移，心跳引起的身体振动。
射频信号的相位如图所示图1．包络图显示了吸气呼气过程中的胸部位移。这些小凹痕是由于与血液脉动相关的微小皮肤振动造成的。EQ-Radio工作在这个相位信号上。
5.击败提取算法
一个人的情绪与她/他的心跳间隔的微小变化有关;因此，为了识别情绪，EQ-Radio需要从上述RF相位信号中提取这些间隔。
提取心跳间隔的主要挑战是反射射频信号中的心跳形态是未知的。换句话说，EQ-Radio并不知道这些节拍在反射的射频信号中是什么样子的。具体来说，这些跳动会导致反射信号的距离变化，但测量到的位移取决于许多因素，包括人的身体和她与EQ-Radio天线的确切姿势。这与ECG信号相反，ECG信号的心跳形态具有已知的预期形状，简单的峰值检测算法可以提取心跳间隔。然而，由于我们事先不知道RF中这些心跳的形态，我们无法确定心跳何时开始和何时结束，因此我们无法获得每个心跳的间隔时间。从本质上讲，这就变成了一个先有鸡还是先有蛋的问题:如果我们知道心跳的形态，这将有助于我们分割信号;另一方面，如果我们对反射信号进行分割，我们可以用它来恢复人体心跳的形态。
另外两个因素加剧了这一问题。首先，反射信号有噪声;其次，呼吸引起的胸部位移比心跳位移高几个数量级。换句话说，我们是在一个低信噪比(SINR)的环境下工作的，“干扰”是由于呼吸导致的胸部移位造成的。
为了应对这些挑战，EQ-Radio首先对射频信号进行处理，以减少呼吸的干扰。然后，它制定和解决一个优化问题，以恢复节拍间隔。这种优化既不假设也不依赖于呼吸作用的完全分离。在接下来的内容中，我们将描述这两个步骤。
5.1.减轻呼吸的影响b
预处理的目的是抑制呼吸信号，提高心跳信号的信噪比。回想一下，射频信号的相位与由于吸气-呼气过程和脉冲效应而产生的复合位移成比例。由于吸气-呼气过程引起的位移比心跳引起的微小振动大数量级，因此RF相位信号主要由呼吸控制。但是，呼吸的加速比心跳的加速要小。这是因为呼吸通常是缓慢而稳定的，而心跳涉及肌肉的快速收缩。因此，我们可以抑制呼吸和强调心跳，通过操作与加速度成正比的信号，而不是位移。
根据定义，加速度是位移的二阶导数。因此，我们可以简单地对射频相位信号的二阶导数进行运算。由于我们没有射频信号的解析表达式，我们必须使用数值方法来计算二阶导数。有多种这样的数值方法，它们的性质各不相同。由于二阶微分器对噪声有较强的鲁棒性，我们采用了下面的二阶微分器2：
在哪里
表示某一特定样本处的二阶导数，f我表示时间序列的值我样品,h为连续采样之间的时间间隔。
在图3，我们展示了一个示例RF相位信号与相应的加速度信号。从图中可以看出，在RF阶段，呼吸比心跳更加明显。相反，在加速度信号中，每个心跳周期对应一个周期模式，呼吸的影响可以忽略不计。
图3。射频信号和估计加速度。图中显示了射频信号(上)和信号的加速度(下)。在射频加速信号中，呼吸运动被抑制，心跳运动被强调。请注意，虽然我们可以观察到心跳信号在加速中的周期性，但由于信号是嘈杂的，缺乏鲜明的特征，划定心跳的边界仍然是困难的。
5.2.心跳分割
接下来，EQ-Radio将加速信号分割成单独的心跳。回想一下，关键的挑战是我们不知道心跳的形态来引导这个分割过程。为了解决这一挑战，我们制定了一个优化问题，联合恢复心跳的形态和分割。
这种优化背后的直觉是，连续的人类心跳应该具有相同的形态;因此，虽然它们可能会因为不同的拍长而拉伸或压缩，但它们应该具有相同的整体形状。下面我们将这种直觉形式化。
让x= (x1，x2，……xn)表示长度序列n。一个分割年代= {年代1，年代2…的x是否将其划分为不重叠的连续子序列(段)，其中每个段年代我由|年代我|点。我们算法的目标是找到最优分割年代*这样可以使分段方差最小化，可以正式表示如下:
我们可以把它改写成下面的优化问题
这个词μ在上面的定义中表示了节拍形状的模板(即它的形态)，和ω（μ、|年代我|)为线性翘曲μ在长度|年代我|。条款b最小值而且b马克斯是对每个心跳周期长度的限制。优化的目的是找到最优分割年代和模板μ这使分段与模板之间的平方差之和最小化。这是一个复杂的组合优化问题年代和数值优化μ．
求解优化问题c．而不是估计分割年代和模板μ同时，我们的算法在更新分割和模板之间交替进行，同时修复另一个。在每次迭代中，我们的算法在给定当前模板的情况下更新分割，然后在给定新的分割的情况下更新模板。对于这两个子问题，我们的算法都能得到具有线性时间复杂度的全局最优解。
更新分割。在lth迭代,分割年代l+ 1更新给定模板μl如下:
虽然可能的分段的数量随着长度的指数增长x，利用动态规划可以有效地求解上述优化问题。动态程序的递归关系如下Dt表示分段序列的最小代价x1：t,那么:
在哪里τt，B指定τ基于分段长度的约束。基于式5的动态程序的时间复杂度为O（n)，保证全局最优。
更新模板μ。在lth迭代,模板μl+ 1在给定分割条件下更新年代l+ 1如下:
在哪里米是模板所需的长度。上述优化问题为加权最小二乘问题，其封闭解如下:
图4显示数据的最终节拍分割图3．图中还显示了受试者的心电图数据。分段的拍长与受试者的ECG相匹配，误差在几毫秒之内。由于ECG测量心脏的电信号，因此有一个小的延迟，而射频信号在对电信号做出反应时捕捉心脏的机械运动。47
图4。分割结果与ECG相比较。从图中可以看出，我们在RF(上)中的分段拍的长度与ECG(下)中的分段拍的长度非常相似。由于ECG测量心脏的电信号，因此有一个小的延迟，而射频信号在对电信号做出反应时捕捉心脏的机械运动。
6.情感分类
EQ-Radio从射频反射中恢复每个人的心跳后，它利用心跳序列和呼吸信号来识别人的情绪。
- 2 d情感模型:EQ-Radio采用二维情感模型，其坐标轴为价而且唤醒；这个模型是过去文献中最常用的对人类情感进行分类的方法。26，30.该模型分为四种基本情绪状态:悲伤(负效价和负唤醒)、愤怒(负效价和正唤醒)、快乐(正效价和负唤醒)和喜悦(正效价和正唤醒)。
- 特征提取:EQ-Radio从心跳序列和呼吸信号中提取特征。关于从人类心跳中提取依赖情绪的特征，有大量的文献，3.，26，36而过去的技术使用的是身体传感器。这些特征可分为时域分析、频域分析、时频分析、Poincaré plot、24样本熵,28趋势波动分析。34EQ-Radio从IBI序列中提取了27种特征，列于表1．这些特征是根据Ref. Kim和André的结果选定的。26我们建议读者参考参考阿查里亚等人。3.；金裁判和André。26查看这些特性的详细说明。
EQ-Radio还采用了呼吸功能。为了提取呼吸的不规则性，EQ-Radio首先通过低通滤波后的峰值检测来识别每个呼吸周期。由于过去研究呼吸特征的工作推荐了时域特征，36EQ-Radio提取第一行的时域特征表1．
表1。EQ-Radio使用的功能。
- 处理的依赖:同样的情绪状态，人与人的生理特征是不同的。此外，这些特征在不同的日子对同一主题可能是不同的。这是由多种因素引起的，包括咖啡因摄入、睡眠和一天的基本情绪。为了提取出更好的用户独立和日独立的特征，EQ-Radio纳入了一个基线情绪状态:中性。这个想法是利用生理特征的变化，而不是绝对值。因此，EQ-Radio通过为每个特征减去其在中性状态下为给定的人在给定的一天计算出的相应值来校准计算出来的特征。
- (d)特征选择与分类:正如前面提到的，文献中有许多特征将IBI与情绪联系起来。在有限的训练数据中使用所有这些特征可能会导致过拟合。因此,eq收音机使用l1支持向量机50在训练SVM分类器时选择相关特征子集。表1分别以粗体和斜体显示所选的IBI和呼吸特征。所得到的分类器的性能在7.2节中进行评估。
7.评价
这部分的所有实验都得到了IRB的批准。
7.1.心跳提取的评估
首先，我们评估了EQ-Radio的分割算法从射频信号中提取心跳的准确性。
实验设置。参与者:我们招募了30名参与者(10名女性)。受试者年龄在19岁到77岁之间。实验对象的衣着没有限制。
实验环境:我们在标准办公大楼的五个不同的房间里进行实验。评估环境包括办公桌、椅子、沙发和电脑等办公家具。实验是在其他用户在场的情况下进行的。实验环境的变化和其他用户的存在对结果的影响可以忽略不计，因为第4节中描述的FMCW无线电消除了来自静态物体(如家具)的反射，并隔离了来自不同人的反射。6
指标:为了评估EQ-Radio的心跳提取，我们使用了情绪识别中常见的指标:
- Inter-Beat-Interval (IBI):IBI衡量的是识别每个节拍边界的准确性。
- 连续差异均方根(RMSSD):这个度量侧重于连续拍之间的差异。RMSSD通常用于测量控制心脏的副交感神经活动。44我们在2min的窗口内计算了IBI序列的RMSSD。
- NN区间标准差(SDNN):NN-interval指的是IBI。因此，SDNN测量拍长在一段时间内的标准差。我们使用2分钟的窗口。
基线:我们使用商业心电图监测器获得上述指标的基本事实。我们采用AD8232评估板和3导联心电监护仪来获取心电信号。ECG设备和FMCW收音机连接到一个共享时钟，以保持它们的同步。
与心电图比较的准确性。我们有30个参与者进行实验，收集了超过13万次心跳。通过EQ-Radio和ECG设备同时监测每个受试者。我们处理数据来提取上述三个指标。
我们首先将EQ-Radio估计的ibi值与心电监护仪得到的ibi值进行比较。图5(一个)显示一个散点图，其中x而且y坐标分别为EQ-Radio和ECG的IBIs。颜色表示特定区域内点的密度。在EQ-Radio和ECG中，对角线上的点具有相同的ibi，而到对角线的距离与误差成正比。可以直观地观察到，所有点都聚集在对角线周围，因此EQ-Radio可以准确地估计IBIs，不管它们的长度。
图5。EQ-Radio与商用心电监护仪的IBI估计比较。图中显示了评估EQ-Radio与fda批准的心电监护仪心跳分割准确度的各种指标。注意(b)中的CDF以4ms间隔跳变，因为RF信号每4ms采样一次。
我们对误差进行定量评估图5 (b)，它显示了EQ-Radio的每拍IBI估计和基于ecg的IBI估计之间差异的累积分布函数(CDF)。CDF以4ms的间隔跳跃，因为每个FMCW扫描需要4ms。CDF显示第97百分位误差为8ms。我们的结果进一步表明EQ-Radio的平均IBI估计误差为3.2ms。由于在我们的实验中平均IBI是740ms，平均而言，EQ-Radio估计拍长在其正确值的0.43%以内。
在图5 (c)，我们报告了通常用于情绪识别的节拍变化指标的结果。图中显示了与基于接触的ECG传感器相比，从射频反射恢复SDNN和RMSSD的误差的CDF。这些图显示，每个指标的中值误差小于2%，甚至第90个百分位误差也小于8%。这些情绪相关指标的高准确性表明EQ-Radio的情绪识别准确率将与基于接触的技术持平，正如我们在7.2节中所展示的那样。
7.2.情绪识别评价
我们评估EQ-Radio识别情绪的能力。
实验设置。参与者:我们招募了12名参与者(6名女性)。其中6名(3名女性)有3 ~ 7年的表演经验。有表演经验的人更擅长情绪管理，这有助于收集高质量的情绪数据，并提供参考群体。36所有受试者的参与都得到了补偿，所有的实验都得到了IRB的批准。
实验设计:获取高质量的情绪分析数据是困难的，特别是在识别地面真实情绪方面。36因此，仔细设计实验是至关重要的。我们的实验是根据以往利用生理信号进行情绪识别的工作来设计的。26，36具体来说，在实验前，受试者分别准备刺激物(如个人记忆、音乐、照片和视频);在实验过程中，受试者独自坐在五间会议室中的一间，利用准备好的刺激物引发某种情绪状态。其中一些情绪与笑、哭、笑等小动作有关。实验结束后，被试报告她/他感觉到这种情绪的时间段。在相应时期收集的数据被标记为受试者报告的情绪。
在这些实验中，每个受试者都使用三个系统进行监测:(1)EQ-Radio， (2) AD8232 ECG监测器，和(3)聚焦于受试者面部的摄像机。
地面的真相:如上所述，受试者被要求唤起一种特定的情绪，并报告他们感受到这种情绪的时间。研究对象报告的情绪被用来标记相应时期的数据。这些标签为分类提供了基本事实。
指标和可视化:当在特定的数据点上进行测试时，分类器会为每种情绪状态输出一个分数。数据点被分配给与最高分对应的情绪。的分类精度是分配正确情绪的测试数据的百分比。
回想一下，我们的系统中的四种情绪可以用坐标轴为的2D平面来表示价而且唤起。每种情绪都占据四个象限中的一个:悲伤(负效价和负唤醒)、愤怒(负效价和正唤醒)、快乐(正效价和负唤醒)和喜悦(正效价和正唤醒)。因此，我们可以将特定测试数据的分类结果可视化，将其显示在2D价差-唤醒空间中。如果这个点分类正确，它就会落在正确的象限内。
对于任何数据点，我们计算效价和唤醒分数如下:年代价= max (年代快乐，年代快乐) - - - max (年代悲伤，年代愤怒),年代唤醒= max (年代快乐，年代愤怒) - - - max (年代快乐，年代悲伤),年代快乐，年代快乐，年代悲伤,年代愤怒是分类器对四种情绪输出的分类得分。例如，考虑一个具有以下分数的数据点年代快乐= 1,年代快乐= 0,年代悲伤= 0,年代愤怒= 0 -也就是说，这个数据点是一个单位的纯粹快乐。这样的数据点落在右上角象限的对角线上。一个快乐得分高但其他情绪得分低的数据点仍然会落在快乐象限，但不在对角线上。
EQ-radio的情绪识别精度。为了评估EQ-Radio的情绪分类准确性，我们从12名受试者中收集了400个2分钟的信号序列，每个序列对应100个情绪。我们训练了两种类型的情感分类器:人依赖分类器和人独立分类器。每个依赖于个人的分类器都根据特定主题的数据进行训练和测试。使用留一交叉验证在互斥数据点上进行训练和测试。14独立于人的分类器，在11个被试上训练，在剩下的被试上测试，对不同的被试重复这个过程。
我们首先报告了以人为依附性的分类结果。以效价和激励得分为坐标，我们将个体依赖的分类可视化图6．不同类型的点表示不同的情绪。我们观察到情绪很好地聚集和隔离，这表明它们在效价和唤醒中被明确编码，并且可以从EQ-Radio捕捉到的特征中解码。我们还观察到，点倾向于沿着对角线和反对角线聚集，这表明我们的分类器在预测中有很高的可信度。最后，个体依赖分类对每个被试的准确率也如图所示，平均准确率为87.0%。
图6。EQ-Radio个人分类结果的可视化。图中显示了12个被试中每个人依赖的情绪分类结果。每个散点图中的x轴对应的是效价，y轴对应的是激发。对于每个数据点，标签是我们的地面真实值，坐标是分类结果。在每个子图的底部，我们显示了相应主题的分类精度。
个体独立情绪分类结果如下图7．EQ-Radio完全基于其他受试者的数据，可以识别受试者的情绪，平均准确率为72.3%，这意味着EQ-Radio在学习独立于个人的特征进行情绪识别方面取得了成功。
图7。EQ-Radio个体独立分类结果的可视化。图中显示了独立于人的情绪分类结果。x轴对应效价，y轴对应激醒。
与预期的一样，个体独立分类的准确率低于个体依赖分类。这是因为独立于个人的情绪识别在本质上更具挑战性，因为情绪状态是一种相当主观的意识体验，在不同的主体之间可能会有很大的不同。然而，我们注意到，我们对人依赖和人独立的情感分类的准确性结果与文献一致。21此外，我们的结果首次展示了基于rf的情绪分类。
为了更好地理解分类错误，我们将人依赖和人独立的分类结果的混淆矩阵分别表示为图8．我们发现EQ-Radio在识别四种类型的情绪方面达到了相当的准确性。我们还观察到，EQ-Radio在效价和唤醒度都不同的情绪对(即喜悦vs.悲伤和快乐vs.愤怒)之间通常出错更少。
图8。人依赖与人独立分类结果混淆矩阵。每个矩阵的对角线表示分类精度，非对角线网格点表示混淆误差。
与ECG和视觉系统的比较。表2与基于ecg的情感分类器相比，EQ-Radio的准确率更高。这两个分类器使用相同的特征集和决策过程。然而，基于ECG的分类器使用直接从心电监护仪提取的心跳信息。此外，我们允许心电监护仪访问EQ-Radio的呼吸信号，并使用EQ-Radio的呼吸特征。的结果表2结果表明，EQ-Radio达到了与使用身体传感器的情感识别系统相当的准确性。因此，通过EQ-Radio，可以在不影响基于生理信号的情绪识别准确性的情况下消除身体传感器。
表2。与基于ecg的方法的比较d．
接下来，我们将EQ-Radio与基于视觉的情感识别进行比较。我们使用Microsoft Project Oxford Emotion API对实验过程中收集到的受试者图像进行处理，并根据面部表情分析受试者的情绪。由于Microsoft Emotion API和EQ-Radio使用了不同的情绪模型，我们使用了以下两种系统共享的情绪进行比较:喜悦/愉悦、悲伤、愤怒和中性。对于每个数据点，Microsoft Emotion API输出8种情绪的得分。我们考虑他们对以上四种共同情感的得分，并使用得分最高的标签。
图9将EQ-Radio(个人依赖和个人独立)的准确性与微软Emotion API进行了比较。从图中可以看出，Microsoft Emotion API对于前三类情绪的准确率并不高，但是对于中性状态的准确率非常高。这是因为基于视觉的方法只能识别一个人在脸上明确表达的情绪，而不能识别内心深处的情绪，因此他们认为这种情绪是中性的。我们还注意到，微软情感API对于积极情绪的准确率要高于消极情绪。这是因为积极的情绪通常有更多的可见特征(如微笑)，而消极的情绪在视觉上更接近中性状态。
图9。EQ-Radio与基于图像的情感识别的比较。图中显示了准确性y-轴)和微软的情感API在区分四种情感(在x设在)。
8.结论
本文提出了一种通过人体反射的无线信号来推断一个人的情绪的技术。我们相信，这标志着在情感识别这一新兴领域迈出了重要的一步。此外，虽然我们使用心跳提取算法来确定心跳间隔，并利用这些间隔来进行情感识别，我们的算法从射频恢复整个人类心跳，心跳显示了非常丰富的形态学。我们设想，这一结果将为在情绪识别和非侵入性健康监测和诊断的背景下理解心跳形态的令人兴奋的研究铺平道路。
数字观看作者在这篇独家文章中讨论他们的工作通信视频。//www.eqigeno.com/videos/emotion-recognition-using-wireless-signals
参考文献
1.Microsoft project oxford emotion api。https://www.projectoxford.ai/emotion．
2.二阶导数估计的噪声鲁棒微分器。http://www.holoborodko.com/pavel/downloads/NoiseRobustSecondDerivative．
3.Acharya, u.r.， Joseph, K.P, Kannathal, N.， Lim, C.M, Suri, J.S.心率变异性:综述。医学与生物工程与计算， 12(2006)， 1031-1051。
4.Adib, F.， Katabi, D.用wifi看墙!2013年ACMSIGCOMM会议记录(纽约，纽约，美国，2013)，ACM, 75-86。
5.Adib, F.， Kabelac, Z.， Katabi, D.， Miller, R.C.通过人体无线电反射进行3d跟踪。第11届USENIX网络系统设计与实现研讨会(2014)。
6.第33届计算机学会计算机系统人为因素年会论文集ACM(2015), 837 - 846。
7.Agrafioti, F.， Hatzinakos, D.， Anderson, a.k。情感计算，IEEE Transactions on 31(2012), 102 - 115。
8.刘亚旭，王伟，刘亚旭，王伟，刘亚旭。基于wifi信号的击键识别。第21届移动计算与网络国际年会论文集ACM(2015), 90 - 102。
9.Anitori, L.， de Jong, A.， Nennie, F. Fmcw生命迹象探测雷达。雷达会议，2009年IEEE(2009), IEEE, 1 - 6。
10.心率变异性作为调节情绪反应的指标。普通心理学评论， 3(2006)， 229。
11.Boric-Lubecke, O.， Massagram, W.， Lubecke, v.m.， Host-Madsen, A.， Jokanovic, B.使用线性解调多普勒雷达评估心率变异性。微波会议,2008。EuMC 2008。38欧洲(2008)、IEEE 420 - 423。
12.影响检测:模型、方法及其应用的跨学科回顾。情感计算，IEEE Transactions on 1， 1(2010)， 18-37。
13.Cowie, R.， Douglas-Cowie, E.， Tsapatsoulis, N.， Votsis, G.， Kollias, S.， Fellenz, W.， Taylor, J.G.人机交互中的情感识别。信号处理杂志，IEEE 18， 1(2001)， 32-80。
14.Devijver, p.a.， Kittler, J。模式识别:一种统计方法761年,体积。新世纪,伦敦,1982年。
15.多普勒雷达系统中用于心率和呼吸频率测量的信噪比。微波理论与技术，IEEE Transactions on 57， 10(2009)， 2498-2507。
16.埃克曼，P，弗里森，W.V.埃尔斯沃斯，P。人类面孔中的情感:研究指南和研究结果的整合。爱思唯尔,2013年。
17.El Ayadi, M.， Kamel, M.， s.， Karray, F.语音情感识别研究:特征，分类方案和数据库。模式识别44， 3(2011)， 572-587。
18.情绪认知的普遍性与文化特异性:一项元分析。心理公告128， 2(2002)， 203。
19.Fletcher, R.， Han, J.多普勒雷达生命体征监测的低成本差动前端。微波研讨会文摘，2009。麻省理工的09年。IEEE MTT-S国际(2009)、IEEE 1325 - 1328。
20.胡文伟，赵志勇，王勇，张宏，林峰。一种基于正交多普勒雷达传感器的非接触式精确心肺活动测量方法。生物医学工程，IEEE Transactions on 61， 3(2014)， 725-735。
21.Jerritta, S.， Murugappan, M.， Nagarajan, R.， Wan, K.基于生理信号的人类情感识别:综述。信号处理及其应用，2011年IEEE第7届国际学术会议(2011)、IEEE 410 - 415。
22.Kahou, s.e.， Bouthillier, X.， Lamblin, P.， Gulcehre, C.， Michalski, V.， Konda, K.， Jean, S.， Froumenty, P.， Dauphin, Y.， Boulanger-Lewandowski, N.等。Emonets:用于视频情感识别的多模态深度学习方法。多模式用户界面杂志(2015), 1-13。
23.Kaltiokallio, O.， Yigitler, H.， Jantti, R.， Patwari, N.无创呼吸频率监测使用单胶床x-rx对。传感器网络的信息处理，第13届国际学术会议论文集(2014), IEEE, 59 - 69。
24.卡门，p.w.，克鲁姆，H，东京，A.M.庞加莱心率变异性图允许定量显示人类副交感神经活动。临床科学91， 2(1996)， 201-208。
25.Kashdan, t.b.， Mishra, A.， Breen, w.e.， Froh, J.J.感恩的性别差异:评估、叙述、表达情绪的意愿和心理需求的变化。77年j·珀耳斯。， 3(2009)， 691-730。
26.Kim J.， André， E.基于听音乐时生理变化的情绪识别。模式分析与机器智能，IEEE Transactions on 30， 12(2008)， 2067-2083。
27.情绪中的自主神经系统活动:综述。生物心理学84， 3(2010)， 394-421。
28.Lake, d.e.， Richman, j.s.， Griffin, m.p.， Moorman, J.R.新生儿心率变异性的样本熵分析。美国生理调节杂志，综合和比较生理学， 3 (2002)， r789-r797。
29.陈坤，陈坤，艾亨，g.l.e，塞耶，J.F.情绪过程中心率变异性的神经相关性。神经影像学44， 1(2009)， 213-222。
30.情绪探测:动机与注意力的研究。美国心理学家50， 5(1995)， 372。
31.Massagram, W.， Lubecke, v.m.， Host-Madsen, A.， Boric-Lubecke, 0。多普勒雷达评估心率变异性和呼吸窦性心律失常。微波理论与技术，IEEE Transactions on 57， 10(2009)， 2542-2549。
32.三次样条插值。45 . the College of the Redwoods大学， 1(1998)， 1049-1060。
33.Patwari, N.， Brewer, L.， Tate, Q.， Kaltiokallio, O.， Bocca, M..Breathfinding:一种无线网络，可以监测和定位家中的呼吸情况。信号处理学报，2006,26 (4)， 1(2014)， 30-42。
34.Penzel, T.， Kantelhardt, j.w.， Grote, L.， Peter, j.h。，Bunde, A. Comparison of detrended fluctuation analysis and spectral analysis for heart rate variability in sleep and sleep apnea.生物医学工程，IEEE Transactions on 50， 10(2003)， 1143-1151。
35.情感计算:从笑声到ieee。情感计算，IEEE Transactions on 1， 1(2010)， 11-17。
36.李彦宏，李彦宏，李彦宏。机器情绪智能:情感生理状态分析。模式分析与机器智能，IEEE Transactions on 2310(2001)。1175 - 1191。
37.Postolache, O.， Girão, p.s.， Postolache, G.， Gabriel, J.基于嵌入式在轮椅上的fmcw多普勒雷达的心肺和日常活动监测仪。医学与生物工程学会，EMBC, 2011年IEEE年度国际会议(2011)、IEEE 1917 - 1920。
38.Pu, Q.， Gupta, S.， Gollakota, S.， Patel, S.使用无线信号的全家庭手势识别。第19届移动计算与网络国际年会论文集(2013), ACM, 27-38。
39.Quintana, d.s.， Guastella, a.j.， Outhred, T.， Hickie, i.b.， Kemp, A.H.心率变异性与情绪识别有关:自主神经系统与社会认知之间关系的直接证据。国际心理生理学杂志86， 2(2012)， 168-172。
40.萨哈，d.p.，马丁，t.l.，纳普，R.B.致力于将情感反馈融入情境感知智能环境。情感计算与智能交互(ACII)， 2015(2015), IEEE, 49-55。
41.Sakamoto, T.， Imasaka, R.， Taki, H.， Sato, T.， Yoshioka, M.， Inoue, K.， Fukuda, T.， Sakai, H.基于特征的相关性和拓扑相似性用于超宽带雷达拍间区间估计。生物医学工程，IEEE Transactions on(2015)。
42.声音情感交流:研究范式述评。言语交际40， 1(2003)， 227-256。
43.孙，L.，森，S.，库索尼克拉斯，D.，金，K.-H。Widraw:在商用wifi设备上实现空中免提绘图。第21届移动计算与网络国际年会论文集ACM(2015), 77 - 89。
44.Sztajzel, J.，等。心率变异性:一种测量自主神经系统的无创心电图方法。瑞士医学周刊134(2004), 514 - 522。
45.谢，D，维斯瓦纳特，P。无线通讯基础。剑桥大学出版社，2005年。
46.王伟，刘爱霞，沙赫扎德，林凯，陆绍，基于wifi信号人体活动识别的理解与建模。第21届移动计算与网络国际年会论文集ACM(2015), 65 - 76。
47.Wiens, a.d.， Etemadi, M.， Roy, S.， Klein, L.， Inan, O.T.对心室功能和血流动力学进行持续的、无创的评估:可穿戴弹道心脏造影。生物医学与健康信息学， 4(2015)， 1435-1442。
48.曾宗志，潘迪奇，黄天生，黄天生。情感识别方法:听觉、视觉与自发表达。模式分析与机器智能，IEEE Transactions on 31， 1(2009)， 39-58。
49.赵M.， Adib, F.， Katabi, D.基于无线信号的情绪识别。第22届移动计算与网络国际年会论文集ACM(2016), 95 - 108。
50.朱军，罗塞特，S.，黑斯蒂，T.， Tibshirani, R. 1-范数支持向量机。神经信息处理系统研究进展， 1(2004)， 49-56。
脚注
a.基于ecg的系统和EQ-Radio使用完全相同的分类特征，但它们获得心跳系列的方式不同。
b.当血液从心脏喷射出来时，它会对身体的其他部位产生一种力量，引起头部和皮肤的轻微抖动，这被射频信号接收到。6
c.线性翘化通过三次样条插值实现。32b最小值而且b马克斯捕捉这样一个事实:人类的心跳不可能无限地短或长。的默认设置b最小值而且b马克斯分别为0.5s和1.2s。
d.表格中比较了EQ-Radio对人依赖和人独立的情绪分类准确率与使用ECG信号(结合提取的呼吸特征)实现的情绪分类准确率。
这篇论文的原始版本出现在第22届移动计算与网络国际年会论文集。ACM, 2016年。
数字图书馆是由计算机协会出版的。版权所有©2018 ACM, Inc。
没有发现记录