自发表情识别方法综述*(南昌大学信息工程学院，南昌330031)摘要：表情识别研究热点正从摆拍表情转移到自发表情，本文介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起大家对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取:****文献标志码:A：（作者可不填）doi:10.3969/j.issn.1001-3695(作者可不填)ASurveyofSpontaneousFacialExpressionRecognition（InformationandEngineeringcollege,NanchangUniversity,Nanchang,330031,China)Abstract:ResearchFocusonfacialexpressionrecognitiontransformsfromtheposingexpressionintothespontaneousexpression.Theactualityandthedevelopinglevelofspontaneousfacialexpressionrecognitionatthepresenttimeisintroducedinthispaper,andthekeytechnologyontheresearchofspontaneousfacialexpressionrecognitionarepaidparticularattentionto.Thispaperaimstoarousepeople’sattentionandinterestsintothisnewfield,toparticipateinthestudyofthespontaneousfacialexpressionrecognitionproblemsactively,andtoachievemoresuccessescorrelatedtothisproblem.Keywords:facialexpressionrecognition;spontaneousfacialexpression;Featureextraction0引言表情识别被视为未来情感人机交互的重要技术[1]，吸引了国内众多高校和科研机构参与研究[2-6]。但目前国内外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ekma提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利挤眉弄眼方可解锁手机。荷兰开发的诺达斯（Noldus）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的非正面表情识别研究在国外日益受到重视[7][8]。近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学，卡耐基梅隆大学机器人研究所，匹兹堡大学心理学系,伊利诺伊大学，沃森研究中心，贝克曼研究所，伦斯勒理工学院，麻省理工大学媒体实验室，丹佛大学，德克萨斯大学计算机视觉研究中心，新泽西技术学院，芬兰的奥卢大学计算机科学与工程系机器视觉组，荷兰的阿姆斯特丹大学信息学院，澳大利亚的昆士兰科技大学科学与工程学院，加拿大的麦吉尔大学，日本的庆应义塾大学，爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议如计算机视觉与模式识别会议（InternationalConferenceonComputerVisionandPatternRecognition,CVPR）、模式识别会议（InternationalConferenceonPatternRecognition,ICPR）、人脸与姿态自动识别会议（InternationalConferenceonAutomaticFaceGestureRecognition,FGR）。关于非正面表情识别的研究文章逐年增多，但国内刚开始涉足该领域的研究[9],一些非正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初始阶段。对自发表情识别的研究还需要我们这一代人共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。1.自发表情数据库•USTC-NVIE数据库USTC-NVIE(NaturalVisibleandInfraredFacialExpressions)数据库[10][11]是由中国科学技术大学安徽省计算与通讯软件重点实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在17—31周岁的215名被试者的自发和人为六种表情。•VAM数据库VAM数...