基于稀疏视差的虚拟视点合成算法#张蔷，侯春萍，鹿凯宁，王来花**（天津大学电子信息工程学院，天津300072）5101520253035摘要：虚拟视点绘制是利用基于模型的绘制方法和基于图像的绘制方法将双视点图像或视频生成多视点图像或视频的过程。本文首先利用图像的显著特征计算出参考图像之间的稀疏视差；然后再利用非线性映射函数计算出虚拟视点的坐标，获得基于左右视图的虚拟视点图像；最后对获得虚拟视点图像进行融合得到最终的虚拟视点图像。实验结果表明，合成的视点图像质量良好，对图像的显著特征有很好的保持，能够正确地反映原有左右视点内容，并且具有良好的立体视觉效果。关键词：虚拟视点合成；稀疏视差估计；立体显示中图分类号：TN919.81VirtualviewpointsynthesisalgorithmbasedonsparseparallaxZhangQiang,HouChunping,LuKaining,WangLaihua(ElectronicInformationEngineeringSchool,TianjinUniversity,Tianjin300072)Abstract:Virtualviewpointrenderingistocapturetwo-viewimageorvideotogeneratemulti-viewimageorvideobymodel-basedandimage-basedrenderingmethod.Inthispaper,thesparseparallaxbetweenreferenceimageisfirstlycalculatedwhichreliesonimagesalientfeatures.Thenvirtualviewpointimagebasedontheleftandrightviewisgeneratedbyusingthenonlinearmappingfunctiontocalculatethecoordinatesofthevirtualviewpoint.Inordertogetthefinalvirtualviewpointimage,theimageobtainedaboveareusedtoblend.Experimentalresultsshowthatsyntheticviewimagehasgoodquality,whichcanmaintainthesalientfeaturesofimage,anditcanrightlyreflectthecontentoftheoriginalviews.Italsohasagoodvisualeffect.Keywords:Virtualviewpointsynthesis;sparsedisparityestimation;stereoscopicdisplay0引言随着视频技术的发展，2D视频技术虽然日臻成熟，但其已不能满足人们对立体感和沉浸感的需求，从而使得3D视频技术得到越来越多的关注。3D视频的应用包括三维电视、远程视频会议、3D视频监控等诸多领域，其中虚拟视图生成是实现多视点自由立体显示的关键技术。利用虚拟视点生成技术可以由已获取的M个参考视点图像生成N个虚拟视点（M<N）图像，解决了采集过程中数据量过大，不利于传输和存储的问题[1][2]。目前已存在的虚拟视图生成算法的系统框架如图1所示，该方法主要分为两步：（1）对左右两幅参考图像进行立体匹配，提取特征点匹配信息，得到视差矩阵；（2）根据获取的视差矩阵计算新的视差矢量，通过图像变形技术得到新的虚拟视图；基金项目：国家自然科学基金重点资助项目（60932007）；教育部博士点基金资助项目（20110032110029）；天津市科技支撑计划资助项目（11ZCKFGX02000）作者简介：张蔷（1988年），女，研究生，立体图像传输与处理通信联系人：侯春萍（1957年），女，教授，一、无线通信关键理论与技术；二、通信SOC设计与实现技术；三、立体图像传输与处理.E-mail:hcp@tju.eud.cn-1-40图1虚拟视图生成框图Fig.1Virtualviewgenerationflowdiagram虚拟视图的生成算法主要在于获得准确可靠的视差信息。目前视差估计的方法可以分为基于区域和基于特征两大类方法[3][4]。庄克成提出了使用基于区域的方法得到密集视差矩阵，利用二次匹配设计了一种基于视差更新的算法[5]。杨嘉琛首次使用图像中物体边缘进行特征点4550556065提取生成立体图像中间视点[6]，虽然计算简单但是不能很好地保持图像的显著性。在视图生成方法的研究中，MiquelFarre提出了逆向映射算法[7]，很好的解决了空洞问题，但该方法是一种线性的插值方法。JROhm提出了基于对象分割的算法[8]，提高了图像绘制速度。M.Lang最近提出了非线性的视差映射技术[9]，可以应用于许多3D视频处理应用。这种方法采用图像域变形（IDW），不依赖于密集的深度视差估计。在此基础上。WNLie采用了基于图像域的图像变形技术[10]，但是算法复杂度较大。本文提出了一种基于图像显著特征的虚拟视点生成算法。该方法首先利用图像的显著特征，进行特征点提取匹配，生成稀疏视差矩阵，然后通过非线性映射函数计算出虚...