大数据的惩罚整合分析方法【摘要】：大数据具有数据来源差异性、高维性及稀疏性等特点，如何挖掘数据集间的异质性和共同性并降维去噪是大数据分析的目标与挑战之一。惩罚整合分析（PenalizedIntegrativeAnalysis）同时分析多个独立数据集，避免因地域、时间等因素造成的样本差异而引起模型不稳定，是研究大数据差异性的有效方法。它的特点是将每个解释变量在所有数据集中的系数视为一组，通过惩罚函数对系数组进行压缩，研究变量间的关联性并实现降维。本文从同构数据整合分析、异构数据整合分析以及考虑网络结构的整合分析三方面梳理了惩罚整合分析方法的原理、算法和研究现状。统计模拟发现，在弱相关、一般相关和强相关三种情形下，GroupBridge、GroupMCP、CompositeMCP都表现良好，其中GroupBridge的假阳数最低且最稳定。最后，将GroupBridge整合分析用于农村新农合的家庭医疗支出分析，发现不管在总体还是各个地区，它都比单数据集分析的预测效果更好。关键词：大数据；惩罚整合分析；变量选择；医疗支出中图分类号：F222.3文献标识码：APenalizedIntegrativeAnalysisApproachesforBigDataAbstract:Thedifferenceofdatasource,highdimensionalityandsparsityarethemaincharacteristicsofBigData.HowtominingtheheterogeneityandassociationofdifferentdatasetsandtoachievingdimensionreductionisoneofthegoalsandchallengesofBigdataanalysis.IntegrativeanalysisprovidesaneffectivewayofanalyzingBigData.Itsimultaneouslyanalyzesmultipledatasets,avoidingthemodelinstabilityfromindividualvariationscausedbyregionalandtimefactorandsoon.Thecoefficientsofeachcovariateacrossalldatasetsaretreatedasagroupandusepenaltyfunctiontoshrinkagethesegroupsofcoefficientstoachievevariableselection.Inthispaper,wereviewtheexistingresearchofpenalizedintegrativeanalysisfromthreeaspectsofhomogeneityintegrativeanalysis，heterogeneityintegrativeanalysisandnetworkintegrativeanalysis.Threesimulationsareconductedtoverifytheperformanceofintegrativeanalysis,includingweak,moderateandstrongcorrelations.ItshowsthatGroupBridge、GroupMCP、CompositeMCPperformwell,whilethefirsthasthelowestfalsepositiveandismoststable.Finally,GroupBridgeintegrativeanalysisisadoptedtoanalyzethenewruralcooperativemedicalexpendituredatasets.Theresultsshowthatithasbetterpredictionperformancethansingledatasetanalysis.Keywords:BigData;PenalizedIntegrativeAnalysis;VariableSelection;MedicalExpenditure一、引言21世纪是信息爆炸的时代，计算机技术的飞速发展，极大地便利了数据的获取和储存，使得很多部门每天都有大量的数据产生。大数据通常是由来源、主体或格式不同的数据合并而成，例如来自不同地区的调查数据；来自不同市场的金融数据等。这种基于多个数据集的建模十分常见，了解不同子样本间的异构---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---性和共同性是大数据分析的两个重要目标（Fan等，2014）[1]。但它的建模比较特殊，一方面，由于不同来源的数据存在差异，各不同数据源的同一变量的系数显著性和估计值可能存在差异，传统的处理方法是简单合并所有样本，建立统一模型，但是这种方法过于笼统，忽略了数据间的异质性（heterogeneity）；另一方面，也不能分开各自建立模型，因为这样会忽略各个数据集间的关联性。整合分析(IntegrativeAnalysis)方法同时兼顾这两方面，通过目标函数综合不同地区的数据，从统计角度考虑数据的异质性和同一性，以多个变量为研究目标，充分考虑了不同地区间相互影响，同时求解多个模型。整合分析方法起源于20世纪60年代，把不同来源、格式、特点性质的数据集中起来，相对于单一数据集模型，整合了更多的原始信息，能解决因地域、时间等因素造成的样本差异而引起的建模不稳定性，在模型解释性和预测方面都有显著优势。整合分析也是解决“大小”问题的有效方法。它综合...