基于PLSA模型的观点句聚类算法研究摘要：针对互联网评论文本中观点句情感特征的稀疏性及低频性，提出一种基于概率潜在语义分析（PLSA）模型的观点句聚类算法。利用PLSA对语料库中的观点句进行数据预处理与数据聚类，并以微平均F1为评价指标设计与采用潜在语义分析（LSA）方法的对比实验。分析与研究结果表明：（1）主题数在20附近时，聚类效果最为显著；主题数超过20时，聚类效果随着主题数的增加呈递减趋势，之后聚类效果趋于稳定；（2）与LSA算法相比，PLSA算法显示岀较好的聚类效果，数据测试结果验证了该模型的有效性。研究结果对提高信息检索速度与个性化推送服务具有重要意义。Abstract：AviewsentenceclusteringalgorithmcalledProbabilisticLatentSemanticAnalysis（PLSA）modelispromotedconsideringtheinsufficientcharacteristicsofsparsityandlowfrequencyofemotionalcharacteristicsintheInternetcommenttextview.PLSAmethodisusedfordataintheviewsentencesofcorpuspre-processandcluster,andthecontrastexperimentbetweenPLSAandLatentSemanticAnalysis(LSA)takingmicro-averagingFlastheevaluationindexiscarriedout・Analysisandresearchresultsshowthat：(1)Clusteringeffectisthemostsign讦icantwhenthethemestoriesnearby20；clusteringeffectdecreaseswiththeincrementofthemestories,thentendstobestable；(2)ComparedwithLSAalgorithm,PLSAalgorithmshowsbetterclusteringeffect,anddatatestresultsverifythevalidityofthemodel.Resultspresentedinthispapermaybehelpfulfortheimprovementofinformationretrievalspeedandpersonalizedpushservice・关键词：观点句；聚类分析；PLSA；微平均F1；对比实验Keywords：opinionsentences；clusteringanalysis；PLSA；micro-averagingFl；contrastexperiment中图分类号:TP391.1文献标识码：A文章编号：1006-4311(2015)31-0167-030引言随着web技术应用的日渐成熟，越来越多的人在互联网上以各种各样的形式发表自己的观点。宽泛的主题覆盖度和海量的观点评论使得网络成为挖掘互联网用户对各种主题的意见观点的极其有价值的资源库。由于这些信息资源具有分散性和海量性，将各种不同形式和不同来源地的信息进行集成并形成摘要并非易事⑴。自动观点集成技术的迅速发展，使之成为可能。该文对观点集成中的观点句聚类问题进行研究，提出一种基于PLSA聚类的观点句聚类算法。针对网络评论中观点句的特点，使用SVD降维，消除同义词现象。然后使用PLSA聚类算法将观点句聚合为多类，从而实现观点句的聚类。1概率潜在语义分析(PLSA)自然语言处理和文本处理中一般来说存在两个问题：①一个单词可能有多个意思，多种使用法；②同意词，近意词在不同的使用上下文中可能表示不同的意思。LSA(LatentSemanticAnalysis)潜在语义分析[2]对处理这种问题是一种比较有效的方法。LSA的主要思想是将高维向量空间数据通过映射，得到潜在语义空间中的数据，这种降维可以消除同义词和多义词问题。LSA的目标就是找到这样一种空间映射，来得到最后可以进行使用的潜在语义空间中的数据。LSA(LatentSemanticAnalysis)潜在语义分析就是找到一种空间映射来得到最后可以进行使用的潜在语义空间中的数据。它是建立在特征项/文本共现矩阵的基础上的，而矩阵中的行向量表示文本，列向量表示特征项，每一个向量值是特征项在文本中的统计值，而这个是基于词频的统计值，会出现过拟合(overfit)现象一一即只对训练数据集效果很好而对于新的数据集则效果不好。为了解决这个问题，人们给LSA模型引入了概率理论，即概率潜在语义分析。PLSA(ProbabilisticLatentSemanticAnalysis)概率潜在语义分析⑶是一种基于双模式和共现数据分析的统计学方法，其对LSA进行了统计学的极大然估计的解释，它是Hofmann[4,5]专门为弥补LSA的缺陷而设计的。PLSA使用了概率模型来表示“文档一潜在语义一词”三者之间的关系，文档和词可以映射到同一个语义空间，将一个词汇在不同的潜在语义上的概率分布视为词语的不同意思，从而很好的解决了“一词多义”和“一义多词”的问题。在计算模...