基于大规模复杂网络社区发现的科研合著网络分析#武森，卢丹，冯小东，杜彦南*510（北京科技大学东凌经济管理学院,北京100083）摘要：针对基于极大团的社区发现算法，设计适应大规模数据的MapReduce并行计算框架，提出基于大规模复杂网络社区发现的科研合著网络分析算法，并用于对我国管理科学与工程领域2012年的科研合著网络进行社区结构划分。实验结果表明，基于MapReduce的并行社区发现算法在保证正确性的同时能够有效地提高计算效率，适用于大规模复杂网络的社区发现，针对我国管理科学与工程领域2012年科研合著网络的社区划分结果展现了我国管理科学与工程领域科研合作的特点和问题。关键词：科研合著网络；社区发现；MapReduce；中图分类号：TP39115ScientificCo-authorshipNetworkAnalysisBasedonCommunityDetectioninLarge-ScaleComplexNetworkWUSen,LUDan,FENGXiaodong,DUYannan(DonglingSchoolofEconomicsandManagement,UniversityofScienceandTechnologyBeijing,2025303540Beijing100083)Abstract:Inthispaper,wedesignaparallelcomputingframeworkusingMapReduceandpresentascientificco-authorshipnetworkanalyticalalgorithmbydetectingcommutitiesinlarge-scalecomplexnetworkwithreferencetothecommunitydetectionalgorithmbasedonmaximumclique.Thenweusetheproposedalgorithmtodetectthecommunitystructureofdomesticscientificco-authorshipnetworkinthefieldofmanagementscienceandengineeringin2012.ExperimentalresultsshowthattheparallelcommunitydetectionalgorithmbasedonMapReducecannotonlyensurethecorrectnessbutalsoimprovetheefficiencyofthecomputation.Thus,thisalgorithmcanbeusedtodetectcommunitystructureinlarge-scalecomplexnetwork.Thecommunitystructuredetectionresultsofdomesticscientificco-authorshipnetworkinthefieldofmanagementscienceandengineeringin2012illustratethefeaturesandproblemsofdomesticscientificcollaborationinthefield.Keywords:scientificco-authorshipnetwork;communitydetection;MapReduce0引言在现实世界中，存在着各种各样具有复杂连接关系的网络，如因特网、交通网、人际关系网等。许多研究表明，复杂网络除了无标度[1]和小世界[2]等特性外，还具有社区结构特性[3]区结构逐渐引起研究者的关注。社区发现算法主要包括图分割算法和分层聚类算法。图分割算法主要包括Kernighan-Lin算法[4]和谱平分算法[5]；分层聚类算法中，Newman等人提出的GN算法[6]最为经典，但GN算法虽然准确度较高，可其算法复杂度比较大，因此仅仅局限基金项目：教育部科技发展中心网络时代的科技论文快速共享专项研究资助课题/高等学校博士学科点专项---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---，每个社区内部联系紧密，而社区间联系则相对稀疏。如何在大规模的复杂网络中发现社科研基金博导类资助课题（20120006110037）；国家自然科学基金（71271027）；中央高校基本科研业务费专项资金(FRF-TP-10-006B)作者简介：武森(1971-),女,教授,博士生导师,主要研究方向为数据仓库与数据挖掘.wusen@manage.ustb.edu.cn-1----本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---于研究中小型规模的复杂网络。此外，很多学者从不同的角度提出了社区发现算法及各种改进算法，比如对加权网络进行社区发现的算法[7]；利用局部网络信息进行社区发现的算法[8]；基于GPU的并行社区发现算法[9]。还有学者从极大团的角度提出社区发现算法[10]，利用找出的极大团确定网络核心，并通过计算距离将非核心节点归入最近的核心。由于极大团发现4550556065过程中每个搜索树基本相互独立，因此基于极大团的社区发现适合分布式计算。然而随着数据规模的越来越大，只提升单台计算机的性能或者追求算法的优化来适应大规模数据分析处理已经很难满足需要，分布式计算则为大规模数据处理提供了另一个思路，其中MapReduce框架在大规模数据并行计算方面得到了广泛应用。MapReduce是2004年由Google公司的Je...