基于Gabor分解和二维熵的视觉注意#吕琦，王斌，张立明**（复旦大学电子工程系，上海200433）510摘要：视觉注意力广泛应用于计算机视觉和图像处理的领域中，例如图像分割、图像压缩、目标跟踪和目标检测等等，都会涉及到注意力选择的范畴。基于现有模型的优缺点，本文从频率域的角度提出一种基于显著图的计算模型。通过两个主要步骤可以得到显著图：首先对输入图像在特定的尺度上进行Gabor小波分解，以得到特征图；接下来以二维熵作为度量来融合及挑选这些特征图。本文所提出的算法在视觉注视点的预测上要优于大多数的现有算法，无论是对于心理图像还是包含不同大小显著物体的自然图像。除此之外，Gabor的生物特性使得本文的方法更加可靠，并且能更好地适应不同的情况。关键词：视觉注意力；扩展的经典感受野；Gabor分解；二维熵中图分类号：请查阅《中国图书馆分类法》15GaborDecompositionand2-DEntropyBasedVisualAttentionLVQi,WANGBin,ZHANGLiming(DepartmentofElectronicEngineering,FudanUniversity,Shanghai200433)2025303540Abstract:Visualattentionisanimportantmechanismasitappliestomanybranchesofcomputervisionandimageprocessingsuchasimagesegmentation,compression,targetdetection,trackingandsoon.Basedonbothcapabilitiesanddefectsofexistingmodels,thepaperproposesacomputationalsaliency-orientedmodelfromtheperspectiveoffrequencydomain.Asaliencymapcanbegeneratedbytwomainsteps:firstlyGaborwaveletdecompositionoftheinputimageatcertainlevelsisusedtoproducethefeaturecomponents,andthenthesecomponentsareselectedandfusedinthesenseof2Dentropy.Theproposedalgorithmoutperformsmostofstate-of-the-artalgorithmsathumanfixationpredictionforbothpsychologicalpatternsandnaturalimagesincludingsalientobjectswitharbitrarysizes.Beyondthat,biologicalplausibilityofGaborfiltermakesourapproachmorereliableandadaptivetovariousstimuli.Keywords:VisualAttention;ExtendedClassicalReceptiveField(ECRF);GaborDecomposition;2DEntropy0引言人类高度进化的视觉系统使我们能够快速地注意到图像中显著的区域，而这正是由于注意力机制的作用而得以实现的。Tsotsos[1]等人将注意力选择定义为大脑控制和调节信息处理的过程。因此，最常见的对注意力建模的方法就是模仿人脑的功能和机制。通过设计这样的人工视觉注意力模型，许多视觉任务都能简单地由机器实现。Borji和Itti[2]将现有的计算模型分为两类：滤波器模型和神经元模型。对于滤波器模型而言，基于数据的自底向上模型和基于任务的自顶向下模型是两个主要的分支。在不同的模型中，作为包含了全局的显著信息的拓扑图，显著图[3]通常被假设和使用，主要在于它能够在空间上直观地展示出被注意的区域。绝大多数的模型都是基于显著图，并且是自底向上的，基金项目：高等学校博士学科点专项科研基金（博导类）（20110071110018)；国家自然科学基金（NSF:61071134）作者简介：吕琦（1989年），男，硕士研究生，主要研究方向：注意力选择通信联系人：王斌（1964年），男，教授，主要研究方向为智能信息处理、图像处理等.E-mail:wangbin@fudan.edu.cn-1-,,)Ae21Ae22Ae23ECRF(123123111我们的模型也不例外。Itti[4]等人提出了一种自底向上的模型，它通过在亮度、颜色、方向等低级特征上进行线性滤波和中心-周边差异计算，然后将不同尺度的特征图融合起来得到显著图。该算法有455055606570较大的计算量，无法处理大显著物体的情况。另一种模型[5]是在频率域实现的，通过四元数结合亮度、颜色、运动等特征来相位谱的傅里叶变换(PQFT)。这种模型的缺点在于没有考虑幅度谱的信息，因而仅仅是物体或区域的边缘被突出。在文章[6]中，作者提出了一种频率调节的显著性算法(FTS)，它保留了图像绝大部分的频率信息来实现更好的图像分割。该算法仅仅是通过计算高斯滤波后的图像与其自身均值的差值来计算显著性。该模型与前两者相比，...