基于LHPN算法的手势姿态估计方法研究周全甘屹何伟铭孙福佳杨丽红摘要：随着广大用户越来越追求人工智能产品的体验，手势姿态估计存在广阔的应用前景，但也是当今计算机视觉的难题。针对目前自顶向下的姿态估计模式容易受视觉传感器与目标检测精度的影响，本文提出基于轻量级手势姿态网络（LightweightHandPoseNet，LHPN）算法的手势姿态估计方法，该算法采用ConvolutionalPoseMachines（CPM）算法的多层次顺序结构，在每个阶段后隐式地将上下文信息融合，并设计了轻量级主干网络，以提升手势姿态估计的综合性能。基于STB数据集对比分析不同内部结构的LHPN算法性能，并与典型算法进行对比。实验结果表明，LHPN算法能够对手势姿态进行准确估计，与CPM算法相比，在AUC方面提升了0.5%，在每帧图像运算时长方面减少了0.1358s。关键词：手势姿态估计;LightweightHandPoseNet;ConvolutionalPoseMachines;轻量级：TP391.41：ADOI：10.3969/j.issn.1003-6970.2020.07.013本文著录格式：周全，甘屹，何伟铭，等.基于LHPN算法的手势姿态估计方法研究[J].软件，2020，41（07）：66-71ResearchonHandPoseEstimationUsingLHPNAlgorithmZHOUQuan1，GANYi1，2，HEWei-ming1，2，SUNFu-jia1，YANGLi-hong1（1.CollegeofMechanicalEngineering，UniversityofShanghaiforScienceandTechnology，Shanghai200093，China;2.DepartmentofPrecisionMechanics，FacultyofScienceandEngineering，ChuoUniversity，Tokyo〒112-8551，Japan）【Abstract】：Asusersincreasinglypursuetheexperienceofartificialintelligenceproducts，gestureposeestimationhasbroadapplicationprospects，butitisalsoadifficultproblemincomputervision.Inviewofthefactthatthecurrenttop-downhandposeestimationmodeiseasilyaffectedbyvisualsensorsandobjectdetectionaccuracy，thispaperproposesahandposeestimationmethodbasedon（LightweightHandPoseNet，LHPN）algorithm.Thealgorithmusesthemulti-levelsequencestructureofConvolutionalPoseMachines（CPM）algorithm，implicitlycombinesthecontextinformationaftereachstage，anddesignsalightweightbackbonenetworktoimprovethecomprehensiveperformanceofhandposeestimation.BasedonSTBdataset，theperformanceofLHPNalgorithmwithdifferentinternalstructuresisanalyzedandcomparedwithtypicalalgorithms.TheexperimentalresultsshowthatLHPNalgorithmcanaccuratelyestimatehandpose.ComparedwithCPMalgorithm，itimprovesAUCby0.5%andreducescomputationtimeofeachframeofimageby0.1358s.【Keywords】：Handposeestimation;Lightweighthandposenet;Convolutionalposemachines;Lightweight0引言所谓姿态估计，就是将关节点联系起来判断人体部位的状态和行为[1]。姿态估计分为自顶向下[17]与自底向上[16]的方法，自顶向下的方法相對来说比较流行且容易实现。目前大多数研究者借助特殊的视觉传感器进行自顶向下手势姿态估计，文献[2]提出利用多摄像头系统来训练关键点检测器，分析视图的相关联性，生成图像上手势的关键点。文献[3]提出基于单个深度帧将姿态参数分解为一组单个像素的估计，使用均值漂移来聚集局部的像素实现2D的手势姿态估计。但自顶向下姿态估计方法在很大程度上取决于视觉传感器的可靠性，且很容易受目标检测精度的影响，一旦检测目标过多，运行时间会呈线性增长[16]。针对以上不足，本文提出一种自底向上的RGB图像手势姿态估计方法——基于轻量级手势姿态网络（LightweightHandPoseNet，LHPN）算法的手势姿态估计方法。LHPN算法采用ConvolutionalPoseMachines（CPM）算法[4]的多层次顺序结构，利用调节阶段数的方式来保证算法的精度;为了提升手势姿态估计的综合性能，本文还设计了轻量级的主干网络来保证算法的实时性。1CPM算法基本原理CPM算法由一系列的多阶段卷积神经网络组成，形成一个多层次的结构，如图1所示。经过每个阶段卷积神经网络生成置信度图之后，用来预测阶段中每个关节点P的图像位置其中Z为图像中所有坐标（u，v）位置预测值的二维...