人类的情感是体感计算的内驱力，情感影响着人的行为。体感计算的最大需求不仅是用人体运动行为来改善计算机的交互方式，而是可以有效地证实和促进人的内在情感能力的发展，本章将从认知心理学、情感计算方法、情感计算模型等角度，围绕体感计算研究的第二个重要方面“情”，来归纳总结情感计算的相关研究工作。
3.1情感计算的研究现状
40年前，诺贝尔奖得主H·Simon在认知心理学方面强调，思想和解决问题的基础理论要结合情感的影响。情感的识别和表达对于理解的交流是必需的，也是人们最大的心理需求之一。美国麻省理工学院的Minsky第一个提出让计算机具有情感的能力，他认为智能计算机应该具有情感。从此，赋予计算机情感能力，并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多专家的兴趣，在计算机领域中情感研究的理论和实验应用方面积累了很多经验。
MIT媒体实验室的R·Picard在1995年首先提出通过识别人体的情感信号，来创建一种能够感知、识别和理解人的情感，并且做出智能、灵敏和友好反应的计算机系统。情感赋予计算机像人一样的观察、理解和生产各种情感特征的认知能力。他认为目前情感研究主要分为三个方面，即让机器拥有情感驱动力、让机器表现得富有情感以及让机器能够理解识别人类的情感。在情感的表达和识别方面，随着多媒体技术和人工智能技术的不断发展和广泛应用，机器的识别水平在不远的将来一定会有长足的进步。
当前，情感的应用大多还局限于人类商业活动的范围之外，在信息社会中，现有的情感研究的应用课题正在发生根本的变革。新的应用环境正在产生，这些新的应用环境包括传感器和摄像头的普及、3G网络、电子通信、数字化信息库、电子商务、网络健康服务、电子学习(E-Learning)、网络社区、通过网络的公共和管理服务、电子的民主建设(E-Democracy)、远程工作和远程会面(Tele-Presence)、网络娱乐等。情感研究正在面临寻求更多的应用突破，这些新的应用在不久的将来，会对人类的生活产生惊人的影响。
情感研究可以从两个方面来理解，一是基于生理学的角度，通过各种测量手段来记录人体的各种生理参数，比如，人体运动数据，脸部表情、心跳、脉搏、脑电波等，并以此为根据来计算人体的情感状态；二是基于心理学的角度，通过各种传感器接收并处理信息，并以此为根据计算人造机器所处的情感状态。R·Picard以人类情绪的生理信号处理为基本出发点，研究取得了很多进展，其应用领域逐渐地扩大，如图3.1所示，MIT媒体实验室对于情感计算的研究内容及关系，MIT媒体实验室情感研究报告已经涉及到了好几十种应用。
计算机通过识别用户的情感，并根据用户情感特征来调整界面和服务，对于提高计算机的可用性和人性化十分重要。目前国际有很多情感计算的初级研究，其中极少数是可以产品化的，大部分还处在初步探索阶段。不久的将来，情感计算将为人们工作和生活的方式以及交互本身都带来巨大的变化，若干年内，随着人们获取情感信息和个性化服务需求的提高，人机交互技术将演化到一个完全智能的阶段。为了迎接这一变化，积极探索情感计算研究。未来的人机交互技术将具有全面的可及性和可用性，它不受人、地点和时间的限制，能够根据每个人不同的情感需要，提供更为个性化的服务。人是通过接触交互式产品、应用程序和信息技术等体验科技进步的，人类有望在人机交互中可以涉及到更多个人的情感互动因素，所以，人机交互领域在推广情感计算上起到了非常重要的作用。
从认知心理学的角度，人对周围情况反映出来的情感影响着人的行为。例如，积极的情感会使人富有想像的思考更多的东西去解决复杂的问题；而消极的情感则使得我们目光短浅，盯着一点去思考问题。当人的心情放松时，问题可能很容易解决；如果灰心或者害怕，那么问题会变得很难解决。
心理学家研究情感反应的历史已经有几十年了，并且提出了很多理论，探讨我们有某种情感时会发生什么，以及为什么会有这种反应。
情感作为一个强有力的促进因素大大影响着人类的感知、认知、处事和创造力。神经科学、认知科学和心理学的一些研究成果表明，情感在注意力、计划、推理、学习、记忆和决策方面扮演着关键角色。一些科学家认为在不可预知的环境下，仅以有限的资源系统会自然地导致对情感的需求，需要以灵活、智能和有效的方式表达多重情感。
在上世纪八十年代，Plutchik和Kellerman等人提出了一些关于情感和认知的理论综述的研究成果，以及一些着名的情感理论学家所写的书，提出了情感在身体方面的调整，情感的认知，情感的诱导等一些研究成果。
计算机的情感研究课题，已经被很多学术界和工业界的顶级研究实验室所接受，并引起了国际上的重大关注。目前，情感在人机交互中的作用将会日益得到重视。全世界都在付出极大的努力来构建更为智能的人机交互模式。尽管现在仍然没有成熟情感应用的市场化产品，也还没有一个电子设备能够和人类一样的具有丰富和细腻的情感，但是人机交互已经在世界范围内向智能化增强发展。
情感交互研究的任务是要使计算机具有情感的功能，又不给用户带来烦恼、激怒、刺激或者因为违反他们的情感和心愿。情感计算研究目的并不是以接近于和人类一样的情感智能作为终极目标，当前的计算机制只是低层次的模仿，从人类和动物情感系统天赋的功能中取得灵感。而且，尽管人类具有最高等智能的系统，人类情感在调节人机交互效率中起到了至关重要的作用，这并不意味着在机器中实现其中的一些目标时不会找出一些更好的方法。虽然带有情感的计算机是致力于创建人类系统，但是不能限制我们考虑充分发掘人类的能力。
情感计算机的构成不应该只具有情感能力，而是需要具有逻辑推理能力。此外，情感计算机应该具有识别情感的能力，并能够机智的做出反应，成为人类情感的表达和传递工具。
大多数人不了解计算机的工作原理，并且计算机软件是很难理解的，当用户手册的重量超过了硬件的重量的时候，用户会陷入越来越多的苦恼中。相比之下，改变用户想做的事比改变机器使得它去做用户想做的事情要更容易。计算机在满足用户需求的同时，也给用户带来太多的不方便使用的苦恼。计算机是僵化和不灵活的，或者是充满了大量的选择，用户不得不花费大量的时间来考虑如何学会并把它们都设置好。因此，在计算机技术发展前提下，存在着这样的问题：当用户对当前的交互感到恼怒时，计算机并不会理会更不可能智能的解决，目前的计算机与“以用户为中心”的情感系统差别太大了。所以，计算机需要改变不关心用户的想法或情感的状况。
关于情感目前仍然是个有待研究的课题，随着时间的推移，现在许多有关情感的问题都开始被正面认识和理解，其价值被不断发掘和应用。
计算机可以模仿人类的情感能力，为人们提供了一个更容易使用的计算机，从而产生情感行为的机会。
但是，情感也有很多不利的方面，例如，设计者不能盲目热衷于追求计算机和其他相关设备的情感化。在有些情感下，计算机设备不带情感可以工作的更好，其实很多情况下是不需要计算机有情感的。另一方面，计算机也分别需要多种多样的情感能力。有一些不需要任何情感，而对于另一些，如与人类交互的软件智能体，就需要类似与人类的所有的情感。
对于情感计算研究的进展，当前，人机交互领域的专家和实验室在如何设计出能够展示情感共鸣能力的计算机方面已经有了相当程度的进步。此外，在人机交互系统中模拟社交情感能力的工作也在大力开展着，比如，自动辅导的教师学习系统、智能机器人伴侣、健康状态监视的个性化的可穿戴计算机和软件智能体，用来感知和模拟用户情感并对人做出反应，甚至是包括会对用户表示歉意和产生情感共鸣。
计算机学习系统的关键问题就是要很容易地为学习者提供正确的反馈和出错的反馈，并且准确地理解学习者的意图，以及不断地激励用户的学习积极性，这些能力的智能化和自动化将极大地提升计算机系统和人类学习的效率。总之，通过计算机进行情感交流，或者与计算机进行情感交流的工具已经成为新的热点。
在情感计算研究领域中，最显而易见的重大提高就是对人类情感的识别计算：人类的身体姿态、表情以及与这些体态相关联的肌肉活动的自动识别的准确率在稳步的提高，在多通道生理信息下的情感状态分类识别率也有了很大的提高。有很多新的情感的识别方法，如已经可以用压力感知识别，即通过鼠标的使用来感知紧张和沮丧等情感；如姿势运动的检测，现在可以通过对身体运动来识别感兴趣或者厌烦等状态。情感识别技术在不断的进化。
以下几个经典实验，可以让我们更具体地来了解情感计算是什么：
SenToy：
比较早的情感交互应用是Adrian提出的SenToy，是一个作为输入设备的游戏玩具娃娃，如图3.2，用户手拿玩具来做运动来表示各种各样的感情交互，使用SenToy做运动与游戏交互，进行游戏时候的玩家视角。例如，为了表示生气，用户需要前后摇晃玩具娃娃，如图3.3所示，用来表达愉快、悲伤、生气、害怕、惊讶和自满的手势。
情感短信服务MMS：
情感信息服务研究情感信息的表达，比如，多媒体短信服务（MMS），用户可以在信息中增加可以表达情感的色彩，照片，声音和动画，PetraFagerberg等人提出了基于MMS技术的交互信息服务，提升了信息表达力，并且对于情感内容保持模糊并且开放的阐释。但是目前的技术非常耗时，也很难快速创作，并且不一定能得到恰当的表达。
图3.4情感短信使用方法（源自Petra）
实验通过使用索爱P800手机的手写笔，结合脉搏测量一起做的情感手势，渲染出符合文字信息内容的带有情感表达的动画背景，情感表达在信息的外观提供了直观反馈。通过增加或减少手写笔的压力，手拿着笔摇晃并做出运动。当用户做情感手势时，系统对应情感的表达阈值范围，通过提供色彩、形状和动画的形式以做出情感反应。如图3.4所示使用的情境，用户通过按笔上的一个按钮激活情感手势的输入。一旦用户找到她想要的表达，就释放笔上的按钮。
Petra提出的情感环的目的是把这些交互应用紧密的连接用户的情感的通道，以至于用户的情感能够被这些情感表达所影响，并且反之亦然。通过设计终端用户的生理的表情（例如，身体姿势、手势，通过手机的输入语言）来示进行交互，设计的目的是尽量让用户全身心的参与进来。通过在与系统交互时让用户表达他们的感情，他们能够积极地参与到情感的环，他们的情感既是被强化了，也被处理为一个输出的情感反应。
图3.5情感手势输出展示和快乐手机短信（源自Petra）
结合了笔上压力的脉搏模型，就像使用场景中展示的一样，决定了用户初始开始的情感的环形空间，如图3.5所示情感手势输出展示，脉搏决定了平台的宽度。如果你的脉搏很高，你坚定的手握着手写笔，那么你就会在高度的精力和对应的数值处开始。高脉搏和握笔，对应相对高的情感状态，就是在对应的数值处结束。低脉搏和坚定的握笔就是让你处于低的精力情感和对应的数值。低脉搏和轻的握笔，就会让你处于低精力和对应的数值。图3.5的右边是表达愉快的一个手机短信的截图。
用户从一个轻微的感情表达开始写信息，用户在写信息文字时，脉搏决定了情感的环状空间的宽度，这就代表了作为情感表达的力量——从微弱到强烈的变化，如图3.5所示。这个环状情感手势和脉搏感应器的结合，称之为情感手势平台模型。目的是为了获得一个千变万化的效果。所以，例如“悲伤”有悲伤的特征，但是并不总是要用相同的表达。这就有望保持用户的兴趣。
如果脉搏的信号是用户唯一的作为系统输入的方法，用户就可能根本不会控制所有的交互。因此，在大多数的时间，既可能是令人沮丧的，也会有不确定的用户情感状态的表达。但是，既然环状的情感手势让用户绕着情感手势平台的圈转，用户就仍然有很大程度的控制能力。系统能够表达对于用户输入的反应。那些模式，如，颜色、形状、运动或者音乐等，很大程度上可能是因为我们的生理体验。
色彩的情感：
Ryberg提出，人类对于颜色有相同的直觉和反应。根据Ryberg的理论，红色代表最有力和最强的感情。沿着以蓝色为终结的色彩尺度运动，将会是向着冷静和平的感情运动。情感状态的力量可以用加深的色彩所表达。
音乐情感：
Bordwel认为电影中的音乐被用作把我们置于不同的情感状态中。Bresin等人创作了一个系统，可以给出一个音乐片段，能够重播以表达不同的情感。动画可以让感情在不同的用户之间传达和互动，这与Russell认为的情感彼此混合，并且没有任何特定区别的界限的观点相似。
电子游戏机器猫：
GinevraCastellano等人提出了电子游戏机器猫，如图3.6所示，是面向关于与机器人的任务和社会交互的用户状态的建模，研究了非语言的行为作用，进行面向基于多重模式非语言行为分析的游戏伴侣的情感识别的系统设计，并且提出一个能够超时工作的情感感知框架设计方法，检测关于在真实的时间和环境中系统工作的问题。用户与机器猫的体验的感觉和参与层级被作为状态，为了能够保持长期的与用户交互和非语言的智能行为，机器猫应该是敏感的。结果表明，用户在使用时表现出喜欢微笑看着机器猫，更愿意参与到交互中。