用户定制主题聚焦爬虫的设计与实现闵钰麟１，２，黄永峰１，２（１．清华大学电子工程系信息认知与智能系统研究所，北京１０００８４；２．清华大学信息科学与技术国家实验室，北京１０００８４）摘要：传统的聚焦爬虫在主题未知或者缺少相应训练集的情况下无法完成主题爬行。为让聚焦爬虫具有更好的主题适应性，提出基于聚类算法的自适应主题模型，指导聚焦爬虫在只有少量相同主题（主题未知）初始ｕｒｌ的情况下完成主题爬行。通过对初始页面聚类得到主题中心向量，寻找相关网页更新主题中心位置；基于ｂｅｓｔ－ｆｉｒｓｔ策略实现ｕｒｌ排序；基于该模型实现用户定制主题聚焦爬虫。通过对比实验验证了使用该模型的爬虫具有较高的收获比（ｈａ－ｖｅｓｔｒａｔｅ）。关键词：聚焦爬虫；ｋ－ｍｅａｎｓ；ｂｅｓｔ－ｆｉｒｓｔ策略；自适应主题模型；用户定制主题爬虫中图法分类号：ＴＰ３１１文献标识号：Ａ：１０００－７０２４（２０１５）０１－００１７－０５ｄｏｉ：１０．１６２０８／ｊ．ｉｓｓｎ１０００－７０２４．２０１５．０１．ＤｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｕｓｅｒｃｕｓｔｏｍｉｚｅｄｔｏｐｉｃｆｏｃｕｓｅｄｃｒａｗｌｅｒＭＩＮＹｕ－ｌｉｎ１，２，ＨＵＡＮＧＹｏｎｇ－ｆｅｎｇ１，２（１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＣｏｇｎｉｔｉｏｎａｎｄＩｎｔｅｌｌｉｇｅｎｃｅＳｙｓｔｅｍ，ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ；２．ＴｓｉｎｇｈｕａＮａｔｉｏｎａｌＬａｂｏｒａｔｏｒｙｆｏｒＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｅｔｒａｄｉｔｉｏｎａｌｆｏｃｕｓｅｄｃｒａｗｌｅｒｃａｎｎｏｔｗｏｒｋｗｉｔｈｏｕｔｔｒａｉｎｓｅｔｓｏｆｃｏｒｒｅｓｐｏｎｄｔｏｐｉｃｓ．Ｔｏｍａｋｅｔｈｅｆｏｃｕｓｅｄｃｒａｗｌｅｒａｄａｐｔｔｏｍｏｒｅｔｏｐｉｃｓａｃｌｕｓｔｅｒｉｎｇ－ｂａｓｅｄａｄａｐｔｉｖｅｔｏｐｉｃｍｏｄｅｌｗａｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｈｅｌｐｅｄｔｈｅ不依赖于主题训练集，仅在用户提供少量未知主题的种子ｕｒｌ（同一主题）的情况下完成主题爬行，得到针对该主题引言０互联网时代用户的个性化需求越来越高，在实际应用场景下，不同用户的需求通常存在差异，他们希望在其特定领域及方向上进行“定制化”的主题爬行。传统的聚焦爬虫在开始工作之前需要对指定主题进行建模和训练，在缺乏相应主题训练集的情况下无法完成任务，不能满足用户“个性化”需求。本文设计并实现的定制主题聚焦爬虫较高的收获率（ｈａｖｅｓｔｒａｔｅ）。相关工作分析１聚焦爬虫通过对ｕｒｌ的优先级进行计算和排序，优先访问较高概率指向相同主题网页的ｕｒｌ，从而得到较高的收获率［１］。目前改进聚焦爬虫的思路主要有４种：第１种是基收稿日期：２０１４－０１－２２；修订日期：２０１４－０３－２４基金项目：国家８６３高技术研究发展计划基金项目（２０１２ＡＡ０１１００４）；清华大学自主科研基金项目（２０１１１０８１０２３）；国家基金委前瞻计划基金项目（６１１６１１４０４５４）作者简介：闵钰麟（１９８７－），男，四川成都人，硕士研究生，研究方向为ｗｅｂ数据挖掘；黄永峰（１９６７－），男，湖北赤壁人，博士，教授，ＣＣＦ会员，研究方向为网络ｗｅｂ信息挖掘及应用和网络隐蔽通信与监测。Ｅ－ｍａｉｌ：ｍｉｎ．ｙｕｌｉｎ＠ｆｏｘｍａｉｌ．ｃｏｍ计算机工程与设计·１８·２０１５年于网页链接分析的方法，在论文［２］中，Ｈａｔｉ定义了链接距离的计算方法并使用其对链接排序，Ｔａｙｌａｎ在其论文中提出了基于朴素贝叶斯分类器的链接评分方法［３］。第２种思路是基于网页文本分析的方法，主要思路是计算网页文本或锚文本与主题的相关度，并使用相关度作为ｕｒｌ排序的基准，例如Ｇ．Ａｌｍｐａｎ...