信息与电子工程第9卷第1期2011年2月Vo1．9，No．1Feb．，201INFORMATIONANDELECTRONICENGINEERING：1672-2892(2011)01-0001-06视频超分辨率重建技术综述何小海，吴媛媛，陈为龙，卿粼波(四川大学电子信息学院，四川成都610064)摘要：在获取视频过程中，有许多因素会导致视频质量的退化，使得视频的空间分辨率降低；而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法，已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性，并较全面地回顾了超分辨率技术近年来的发展历程，对视频超分辨率重建中关键问题进行了较为深入的分析，指出了当今研究难点和今后的研究方向，对视频超分辨率重建的应用前景进行了展望。关键词：视频重建；空间超分辨率；时间超分辨率；帧间配准；时空对齐：TN911.73文献标识码：AAsurveyofvideosuper-resolutionreconstructiontechnologyHEXiao-hai，WUYuan-yuan，CHENWei-long，QINGLin-boAbstract：Intheprocessofobtainingvideo，manyfactorsleadtothedegradationofthevideoquality，andlowerthespatialresolutionofvideo；ontheotherhand，theexposuretimeandtheframerateofcameralimitthetimeresolutionofvideo.Videosuper-resolutionreconstructionisaneffectivewaytoimprovethetemporalresolutionandthespatialresolutionofvideo，whichhasarousedwideconcernincomputervisionandimageprocessingfields.Inthispaper，theconceptofvideosuper-resolutionisdescribedandthedevelopmentphasesinrecentyearsarereviewed.Inaddition，someofthekeytechnologiesareanalyzed.Furthermore，thechallengesinthisfieldarepointedout.Finally，theapplicationofvideosuper-reconstructiontechnologyisprospected.Keywords：videoreconstruction；spacesuper-resolution；timesuper-resolution；frametoframemovementregistration；spatialtemporalalignment随着CCD和CMOS图像传感器的飞速发展，数字视频摄像技术和处理技术被广泛运用到数字电视、网络播放、视频监控、医学诊断、交通管理等与人们生活息息相关的领域，也成为了天文探测、宇航、遥感、制导、预警等军事和科研领域中不可缺少的技术。近年来，人们对视频质量的要求不断提高，希望摄像机能捕捉到更多的细节信息和动态信息，换言之，就是希望获得的视频拥有更高的空间分辨率和时间分辨率。然而，摄像机的空间分辨率和时间分辨率是有限的。视频的空间分辨率取决于图像传感器的空间密度，以及视频采集过程中由光的像差、大气扰动、运动、散焦、欠采样和系统噪声等因素引入的模糊。视频的时间分辨率则取决于摄像机的拍摄帧率和曝光时间，这决定了视频中能正确观察到动态事件的最快变化速度。当时间分辨率较低时，将会出现运动模糊现象和运动混叠现象。图1为运动模糊的示意球拍存在严重拖尾和变形；图1(b)为行驶车辆视频的某一帧，道路上高速行驶的车辆已变得十分模糊。图2为运动混叠现象示意图，由于采集帧率过低，拍摄得到(a)fuzzytennisballandracket(b)fuzzycarandmotorcycleFig.1Sketchofmotion-blurred图1运动模糊现象示意图收稿日期：2010-11-12；修回日期：2010-12-30基金项目：国家自然科学基金资助项目(No.61071161)；教育部科学技术研究重点资助项目小球是在做直线运动而不是真实的正弦运动。如何提高视频的时空分辨率成为了一个亟待解决的问题。由于光衍射极限的存在以及工艺水平的限制，通过改进硬件设备来提高成像质量的难度较大，实现起来比较困难。因此，通过数字图像处理技术来提高视频分辨率既节约成本又具有可实(a)aballdoingsinemovement(b)tocapturetheballimagesequencewithlowframerateFig.2Sketchofmotion-aliasing图2运动混叠现象示意图现性，一种行之有效的方法就是超分辨率重建技术。该技术建立在解析延拓理论、信息叠加理论以及非线性操作理论的基础上，利用1个或多个低分辨率视频的互补信息，对成像过程中损失掉的部分高频细节信息进行复原，重建出1个具有...