等设计了一个文本区域检测器来定位文字区域，后建立一个条件随基于小波变换的新闻视频字幕提取李娟，赵衍运**（北京邮电大学信息与通信工程学院，北京100876）510152025303540摘要：新闻视频的字幕检测与提取在新闻视频检索领域占有重要的地位。通过分析新闻字幕的纹理信息，本文提出了一种基于小波变换和SVM的文字检测与定位算法。首先，对视频帧进行Haar小波变换，融合各高频子带得到能量图，对能量图进行二值化得到一幅包含候选文本信息的边缘图，然后对边缘图像进行数学形态学运算得到连通域图，最后提取小波共生矩阵特征，送入SVM分类器进行文本和非文本的分类。实验结果表明，该方法能快速地定位字幕区域，具有较高的文本提取率。关键词：字幕提取；小波变换；形态学；SVM中图分类号：TP391.43NewsvideocaptionextractionbasedonwavelettransformLiJuan,ZhaoYanyun(SchoolofInformationandCommunicationEngineering,BeijingUniversityofPostsandTelecommunications,Beijing100876)Abstract:Captiondetectionandextractioninnewsvideoplaysanimportantroleinnewsvideoretrievalfield.Throughtheanalysisofthetextureinformationofnewscaption,atextdetectionandextractionapproachbasedonwavelettransformandSVMisproposed.Firstly,weperformHaarwavelettransformonvideoframesandthenmergethehighfrequencysubbandstoobtainacompositeenergymap.Thresholdingtheenergymapresultsinanedgemapconsisitingofcandidatetextpixels.Thentheedgeimageisprocessedbymorphologyprocessingtogetaconnected-componentmap.Finally,extractingwaveletco-occurrencematrixfeatures,andsendingthemtoSVMclassifierfortextandnon-textclassificaion.Theexperimentalresultsshowthattheproposedmehodcanquicklylocatenewscaptionandhasahighprecisionrateandrecallrate.Keywords:CaptionExtraction;WaveletTransform;MathematicalMorphology;SVM0引言随着多媒体技术的快速发展，大量的音视频信息出现在我们的生活中。新闻视频中的字幕信息不仅有利于观众对视频内容的理解，而且在一定程度上反应了当前的新闻内容。而新闻视频中的字幕通常嵌在比较复杂的背景中，文字的形态、颜色、尺寸等变化非常大，经过数字化、有损压缩编码后的重建图像分辨率会下降，这都会影响字幕提取的准确性。因此，如何快速有效地标注、检索和存储这些信息，对传统的数据检索提出了极大的挑战。近年来，已经有很多关于图像或视频中的文本检测的研究，现有的方法主要分为三种：基于纹理的方法、基于区域的方法和基于综合的方法。基于纹理的方法[1,2]将文本视为一种特殊的纹理，充分利用它们的特性来分割文本，如局部紧致性、滤波响应、小波系数等。JulindaGllavata[1]等提出了一种基于高频小波系数的无监督的文本定位方法。基于区域的方法首先通过边缘检测、颜色或聚类提取候选文本区域，然后利用启发式规则排除非文本区域，如李朝晖[3]等提出了一种基于边缘信息和局部直方图的方法检测文本在图像中的位置，B.Epshtein[4]等提出了一种基于笔画宽度变换的方法。基于综合的方法是指综合使用上面两种方法，如PanYiFeng[5]作者简介：李娟，（1988-），女，学生，主要研究方向：图像处理。通信联系人：赵衍运，（1964-），女，副教授，主要研究方向：图像处理与识别、视频监控等。zyy@bupt.edu.cn-1-(,)，a表示尺度因子，b12表示平移因子。1x−b1y−b2机场模型滤除非文本区域。综合考虑性能和速度等因素，本文提出了一种基于Haar变换的纹理特征提取算法，使45505560用支撑向量机作为文本的分类器，得到候选文本区域。由于新闻字幕可能是多行，一次需要进行文本行分解。最后根据边缘点密度等信息精确定位文本区域的边界。1文本区域检测与定位近年来，小波分析在图像处理中得到了广泛的应用，包括图像压缩，图像去噪，图像分解，图像增强等。不同于傅里叶变换，小波变换是一种信号的时间-尺度分析方法，在时域和频域都具有表征信号的局部特征的能力，因而能有效地从信号中提取信息。通过伸缩和平移等运算功能可以对信号...