基于内容的视频检索基于内容的视频检索曹亚光(北京理工大学现代远程教育学院，北船院，计算机专升本2001级，2001023011076)摘要：视频检索有着广泛的应用和广阔的发展前景，是当前多媒体研究领域的热点。系统地介绍了基于内容的视频检索的一般实现步骤。从分析基于内容的视频检索的系统结构出发，全面地探讨了系统中所涉及的视频结构的构造、镜头切变检测技术、关键帧提取技术、从视频流中构造场景或组的技术、特征提取技术以及视频检索、浏览和检索反馈技术，重点分析了其中一些关键技术中各种实现方法的优缺点，并介绍了一些新的技术方法。最后提出了一些需要进一步研究的问题。关键词：视频数据库，基于内容，视频检索，镜头切变检测，关键帧提取，特征提取，检索反馈1前言随着多媒体技术和网络技术的飞速发展，视频在多个领域得到广泛地应用。对这些海量的而且包含大量非结构化信息的数据进行组织、表达、管理、查询和检索成为迫切的需求。因此基于内容的视频检索(Content-BasedVideoRetrieval，CBVR)成为近年来研究的热点。基于内容的视频检索系统如图1所示。图1基于内容的视频检索系统框图首先要进行视频结构分析，将视频序列分割为镜头，并在镜头内选择关键帧，这是实现一个高效的CBVR系统的基础和关键。然后提取镜头的运动特征和关键帧中的视觉特征，作为一种检索机制存入视频数据库。最后根据用户提交的查询按照一定特征进行视频检索，将检索结果按相似性程度交给用户，当用户对查询结果不满意时可以优化查询结果，自动根据用户的意见灵活地优化检索结果。2视频结构的构造及有关的算法为了对视频数据库进行基于内容的查询，首要要构造便于检索的视频结构。视频数据可以按照由粗到细的顺序划分为四个层次结构：视频(Video)、场景(Scene)、镜头(Shot)和图像帧(Frame)。镜头是视频数据的基本单元，它代表一个场景中在时间上和空间上连续的动作，是摄像机的一次操作所摄制的视频图像，任何一段视频数据流都是由许多镜头组成的。镜头的切换有两种：突变和渐变。突变是指从一个镜头直接切变到另一个镜头；而渐变根据视频编辑手法的不同可以分为3种：淡化(Fade，又细分为Fadein和Fadeout)、融化(Dissolve)和滑变(Wipe)。渐变是切变检测中的难点。整个视频结构构造过程分以下三个步骤：从视频流中提取镜头、从镜头中选择关键帧和从视频流中构造场景或组。2.1从视频流中提取镜头（即对视频流的切变检测）镜头是视频数据的基本单元，视频处理首先就需要把视频自动地分割为镜头，以作为基本的索引单元，这一过程就称为镜头边界的检测。它是实现基于内容的视频检索的第一步，其核心处理是镜头切变检测。视频结构的构造中，镜头切变检测是重点，而且其算法和思想可用于其它步骤，故应重点研究。2.1.1基于颜色特征的方法(1)模板匹配法(对应像素法)模板匹配法是将两帧对应像素差的绝对值之和作为帧间差，当帧间差大于某个阈值t时，则认为有镜头的切换。模板匹配法的缺点是，由于与像素的位置密切相关，因此对噪声和物体运动十分敏感，容易造成误识别。张宏江等人[3]提出将各帧划分为8×8像素的子块，并对每个块取平均，再用这个平均值对前后帧的对应子块进行比较，这种方法对小的噪声和运动不敏感。(2)直方图法直方图法是使用得最多的计算帧间差的方法，它丢失了颜色的位置信息，因而抗噪声能力要比模板匹配强。颜色直方图法的缺点是，两幅图像可能内容完全不同但直方图相似，也容易造成误识别。一种改进的方法是将图像划分成若干子块分别对各子块进行匹配。A.Nagasaka和Y.Tanaka[4]提出了一种将视频帧划分为4×4相同大小的子块并比较相应子块的方法。其它改进方法还有X2直方图匹配法[5]和Swanberg等人[6]采用的模板匹配法和直方图匹配法相结合的方法。2.1.2基于边缘的方法由于在镜头切变时新旧边缘应在不同的位置，所以可先提取两幅图像的边缘，计算新边缘在旧边缘的基础上增加和减少像素比例，当大于某一个阈值时便认为发生镜头切换。缺点是计算量大，当边缘不明显时效果差。2.1.3光流检测法张宏江等人[3]还提出了光流检测法，该方法的原理是镜头切换时无光流，而镜头运动应适合某种特...