人脸表情动画与语音的典型相关性分析范懿文1,2+,柳学成1,2,夏时洪11(中国科学院计算技术研究所前瞻研究实验室北京100190)2(中国科学院研究生院北京100049)TheCanonicalCorrelationAnalysisofFacialExpressionAnimationandSpeechFANYi-wen1,2+,LIUXue-cheng1,2,XIAShi-hong11(AdvancedComputingResearchLaboratory,InstituteOfComputingTechnology,ChineseAcademyOfSciences,Bei激ng100190,China)2(GraduateUniversityofChineseAcademyofSciences,Bei激ng100049,China)+Correspondingauthor:E-mail:fanyiwen@ict.acReceived2004-00-00;Accepted2004-00-00Abstract:Speechdrivenfacialanimationtechniqueisanapproachtosynthesizethecorrespondingfacialanimationaccordingtothespeechinput.Thelipsmotion,asacomponentofthespeechdrivenfacialanimation,hasalreadybeendevelopedtoarelativelymatureextent.Thefacialexpressionanimation,asanothercomponent,whichplaysaveryimportantroleofenhancingtherealismoffacialanimation,becomesincreasinglyvaluedbyresearchersrecently.Somepreviousworksproposedmethodsofspeechdrivenfacialmotionwhichreachedcertainachievement,buttheydidn’tquantitativelyanalyzetherelationshipbetweenfacialexpressionmotionandspeech,thatresultedinthepoorexpansibilityofthesemethods.Inordertosolvethisproblem,thisadoptsCanonicalCorrelationAnalysis(CCA)toquantitativelyanalyzethecorrelationsbetweenfacialexpressionmotionandspeech,andreachestheintuitiveandquantitativeconclusionsofthem.Theanalysisresultshowsthatthetwoarestronglycorrelatedandrevealsthespecificinternalrelationsbetweenthecomponentsoffacialexpressionmotionandtheacousticfeatures.Thiscanbeusedastheoreticalreferenceandjudgingcriterionforspeechdrivenfacialanimationtechnique.Keywords:FacialExpressionAnimation;CanonicalCorrelationAnalysis(CCA)摘要:语音驱动的人脸动画技术是以语音为输入，合成与之匹配的人脸动画的技术。唇形动画作为语音驱动人脸动画的一个组成部分，发展至今已较为成熟。而表情动画作为另外一个组成部分，在增加人脸动画逼真性方面起着重要的作用，在近来受到了越来越多的重视。一些工作提出了语音驱动人脸表情动画的方法，并取得了一定的成果。但它们没有定量分析人脸表情动画与语音之间的关系，导致这些方法的拓展性差。针对此问题，本文研究人脸表情动画与语音的相关性，采用典型相关性分析方法（CanonicalCorrelationAnalysis,CCA）定量分析两者之间的内在联系，得出这些关系直观的量化的结论。分析结果表明两者具有强相关性，并揭示了人脸表情动画各成分与语音声学特征之间的具体内在联系。本文成果可为语音驱动人脸动画技术提供理论参考及结果评价依据。关键词:人脸表情动画，典型相关性分析（CCA）中图法分类号:TP391.41文献标识码:ASupportedbytheNationalNaturalScienceFoundationofChinaunderGrantNo.60970086,(体现性格特征的语音驱动人脸动画合成新方法);theNationalNaturalScienceFoundationofChinaunderGrantNo.U0935003,(三维戏曲动画合成技术研究)作者简介:范懿文(1986-),女,硕士研究生,主要研究领域为计算机图形学,虚拟现实;柳学成(1981-)，男，博士研究生,主要研究领域为计算机图形学,虚拟现实;夏时洪(1974-),男,博士,副研究员,博士生导师,主要研究领域为人体动画、人体运动捕获、人体运动分析以及用户接口等.---本文于网络，仅供参考，勿照抄，如有侵权请联系删除---1介绍语音驱动的人脸动画合成是计算机图形学研究的热点与难点之一，其成果可广泛应用于虚拟现实、影视特效、人机交互、电脑游戏等众多领域。随着计算机图形学的发展和市场需求的增大，语音驱动人脸动画技术因其应用价值和广阔前景而倍受重视。鉴于语音和唇部动作之间存在直观的确定性的关系，语音驱动的唇形动画合成已较为成熟。而在现实的人际交流中，除了语音和唇形包含语言内容信息外，人脸表情也...
