基于红外热成像和卷积神经网络的生理表征分析殷丹晨郭滢张东良张雅美刘浩月---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---【摘要】为提高通过分析视频或图像中人的面部信息判断其生理及心理表征的准确性和可靠性，以OlivettiFaces人脸数据库中人脸数据为数据源，利用红外热成像对温度细微变化的感知以及卷积神经网络算法来对测谎过程中的视频和图像进行分析，通过分析提取参与测试者的生理表征参数，进而做出正确判定。实验结果表明：基于红外热成像和卷积神经网络的生理表征分析方法提高了测试分析的精确度。【关键词】视频图像;红外热成像技术;卷积神经网络;生理表征【项目来源】本论文由大学生创新创业训练计划项目（项目名称：基于红外热成像技术和卷积神经网络的多种疾病检测系统）支持。：G212：ADOI：10.12246/j.issn.1673-0348.2021.01.078通過分析视频或图像中人的面部信息判断其生理及心理表征的应用非常广泛，研究表明，面部捕捉到的信息越多，综合分析后的准确率就越高。---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---以测谎为例，人在说谎时面部表情的变化体现为瞳孔、眼睛以及嘴角等微表情的变化。微动作心理学家指出，人在撒谎时眼睛表现最为明显，一般表现为不断晃动或飘忽不定;当大脑在编织谎言时，人的眼球运动方向是右上方;如果是回忆确实发生过的事情，会看向左上方。同时说谎者喜欢假笑，真正的微笑是均匀的，来的快消失得慢。伪装的笑容来的会比较慢，而且有些不均衡，眼部肌肉没被充分调动。说谎会脸红，同时鼻子真的会变大几毫米，肉眼极难观察，但说谎者会觉得鼻子不舒服，从而去触摸它。在说谎时，说谎者会由于心理紧张以及其他原因导致一些系列植物神经系统功能的变化，具体反映在身体局部体温的变化。本文采用可见光摄像头与红外热成像摄像头共同对被测者进行实时监测，从而获取面部微表情及局部红外热谱图，采用红外热成像对温度细微变化的感知以及卷积神经网络算法对面部表情识别相结合，进而实现对被测者的生理及心理表征进行准确判断。1.基于红外热成像技术的生理表征分析红外热成像将物体表面的热辐射显示成二维的可视图象。正常人体的温度分布具有一定的稳定性和特征性，机体各部位温度不同，形成了不同的热场。当人体某处发生疾病或功能改变时，该处血流量会相应发生变化，导致人体局部温度改变，表现为温度偏高或偏低。根据这一原理，通过热成像系统采集人体红外辐射，并转换为数字信号，形成伪色彩热图等。研究结果表明：说谎者说谎时，大脑前部区域的活动较为活跃，说谎者说谎时脑部总共有7个区域在活动，而说实话的人则只有4个区域在活动，说谎应该比说实话更耗费脑力。脑部进行高速运转从而导致脑力温度略有升高，通过热图显示出来的结果，经过算法对图像进行细微之处温度的变化进行分析，进而作为我们判定说谎的依据之一;此外，说谎者进行说谎时伴随心跳加快，导致其机体代谢增加，调动机体产能增加，会升高体温，且说谎时会出现紧张感，人---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---在紧张的状态下，也会出现脸红脸部皮温升高。此时若对被测者的面部进行扫描，同样通过观察比较被测者面部热图是否温度增高来判断。撒谎时人脸的红外热成像图如图1所示。在正常人体状态下，鼻子的温度高于我们面部的温度，然而在撒谎时，体内的激素分泌会导致人体面部周围的温度升高，并且高于鼻子的温度。2.基于卷积神经网络的面部表情分析2.1卷积神经网络的基本结构卷积神经网络CNN由特征提取网络和分类器网络两大部分组成。典型的卷积神经网络主要由输入层、卷积层、下采样层（池化层）、全连接层和输出层组成。CNN的优势主要表现为局部感知、权重共享和多卷积核。测试系统装有可见光摄像头和红外热成像摄像头，可见光摄像头录制被测试者的肢体和面部信息，通过深度学习算法分析被测者的微小生理变化，使用滑动窗口的卷积神经网络进行逐帧的姿态估计。比如瞳孔的放大与缩小、眼球的转动、嘴角的变化等。2.2数据采集及实验环境实验采用的数据集是Olivett...