多模态情感数据采集与分析平台构建文献综述

 2022-10-31 11:10

文献综述(或调研报告):

早在1985年,人工智能的奠基人之一Minsky就提出了计算机与情感的问题,他在《The Society of Mind》一书中写到:问题并不在于智能机器是否能够拥有情感,而是没有情感的机器怎么能称之为智能的?“情感计算”一词最早是由美国麻省理工学院的Picard教授在年出版的《Affective Computing》一书中提出来的,她把“情感计算”定义为“与情感有关、由情感引发或者能够影响情感的因素的计算。”情感计算的研究目的是通过赋予计算机识别、理解、表达和适应人的情感的能力,以实现和谐高效的人机交互,并使计算机具有更高更全面的智能。情感计算在远程教学、汽车驾驶、智能电器、可穿戴计算机等人机交互场合具有重要应用价值。

情感计算的实现涉及情感信息的获取与建模,情感识别与理解,情感表达这三个主要方面的问题。在情感识别与理解方面,只有具备真实自然的情感数据才能够进行情感识别的研究。理论研究表明:人类情感主要通过面部表情、语音、身体姿态以及各种生理信号表现出来,比如高兴时会微笑并且手舞足蹈、生气时会瞪着眼睛,说话的声音以及各种生理信号也会随之变化,这些因素成为了情感信息获取的对象。在当前的情感识别领域,研究者们多针对某一情感(单一模态)进行情感识别的研究,例如面部表情识别、语音情感识别、姿态情感识别以及基于多种生理信号的情感识别,并且通过使用各种特征提取特征选择和识别算法来提高情感识别的准确率。与此同时,部分研究者开始对语音表情、语音生理信号等双模态信号进行情感识别研究。Gunes和Piccardi使用面部表情和身体姿态进行多层次的融合来进行情感识别的研究。Kaliouby和Robinson提出了基于头部运动和面部表情的视觉信息的行为情感状态计算模型。Alepis等人的研究表明面部表情和情感语音在很大程度上是互补的,利用两种模态的信息,可以在决策层进行融合以更好地区分情感状态。黄程韦等对于语音信号与心电信号的多模态研究发现,在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%,通过特征层融合,双模态分类器的识别率能够达到90%以上,显著提高了识别率。

进行人脸面部表情识别的前提就是面部特征定位。人脸识别是目前计算机视觉与模式识别领域的热门技术,其在多种场合下都有广泛的应用。然而,实际场景中,摄像机或照相机拍摄到的人脸,可能会出现各种背景、光照、姿态、视角,给人脸识别算法带来很大的难度。为了提高人脸识别的准确度,有必要在运行人脸识别算法之前,先对人脸进行归一化,也就是人脸对齐。消除以上这些不利因素对人脸识别的干扰。人脸对齐算法的核心在于检测人脸特征点,从而估计出人脸的位置与姿态。有了这些信息以后,就可以对人脸进行相应的对齐,从而提高人脸识别的准确率。

人脸特征点定位的方法有很多,早期最具代表性的方法是主动形状模型ASM(Active Shape Model),该方法是典型的人脸轮廓特征提取方法,从标注好的人脸训练数据中,通过主分量分析(PCA),得到人脸形状模型,但因为只保留对应较大特征值的特征向量,因此在应用到新样本上时会产生一些偏差。之后的主动外观模型AAM(Active Appearance Model)在ASM 的基础上,加入了全局纹理模型,因此相比ASM 模型,提高了人脸对齐的准确度。但AAM 模型仍有缺陷,在处理光照和姿态变化时,对特征点的初始值要求较高,否则容易陷入局部最优值,影响人脸对齐的结果。CLM(Constrained Local Model)模型则继承了ASM/AAM 的一些优点,改进了局部特征的概率假设和优化算法的选择,取得了较好的准确率。SDM 算法近年来在人脸对齐上取得了很好的准确率。SDM 算法通过计算每个特征点周围的SIFT 特征,得出下一步迭代过程中每个特征点的运动方向和步长,通过少量的几次迭代就能取得非常好的效果。

【参考文献】

[1] Cootes T F, Taylor C J, Cooper D H, Graham J. Active Shape Models-Their Training and Application[J]. Computer Vision and Image Understanding, 1995, 61(1): 38–59.

[2] Milborrow S, Nicolls F. Locating facial features with an extended active shape model[C]. Proc. of ECCV2008. Marseille, France: Springer, 2008: 504-513.

[3] Behaine C A R, Scharcanski J. Enhancing the Performance of Active Shape Models in Face Recognition Applications[J]. IEEE Transaction on Instrumentation and Measurement, 2012, 61(8): 2330-2333.

[4] Cootes T, Edwards G, Taylor C. Active appearance models[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2001, 23(6): 681-685.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。