基于文本挖掘算法的网络评论分类分析DOI：10.19850/j.cnki.2096-4706.2021.08.005摘要：在網络技术高速发展的背景下，信息纷乱繁杂，如何能够获得需要的文本信息，成了许多企业或组织关注的问题。该项目以采集的豆瓣电影评论数据为例，使用Python语言和朴素贝叶斯等多种算法，对文本挖掘进行全流程的分析，包括对其特征及其子集进行提取，并对文本进行聚类和分类处理，同时采用交叉验证方法对模型进行调整，从而预测有关评论的类型，并将其作为电影推荐的一个标准。关键词：文本分词;文本向量化;词频矩阵;朴素贝叶斯：TP391.1：A：2096-4706（2021）08-0017-04ClassificationandAnalysisofNetworkCommentsBasedonTextMiningAlgorithm——TakeDoubanFilmReviewasanExampleWANGRui（JinchengCollegeofSichuanUniversity，Chengdu611731，China）Abstract：Underthebackgroundoftherapiddevelopmentofnetworktechnology，informationismessyandcomplicated，andhowtoobtaintherequiredtextinformationhasbecomeaconcernformanyenterprisesororganizations.TakingthecollectedDoubanfilmreviewdataasanexample，thisprojectusesPythonlanguage，NaiveBayesandotheralgorithmstoanalyzethewholeprocessoftextmining，includingextractingitsfeaturesandsubsets，clusteringandclassifyingthetext，andadjustingthemodelbycrossvalidationmethod，soastopredictthetypesofrelevantreviews，andtakeitasastandardforfilmrecommendation.Keywords：textsegmentation;textvectorization;wordfrequencymatrix;NaiveBayes0引言随着信息网络的高速发展，发表言论的平台越来越多，其门槛也越来越低，各种海量数据实时更新，以至于言论窗口充斥着一些结构不规范的文本。个人或者组织想要从中提取具有针对性且有使用价值的信息，必须对初步获得的文本数据进行充分的处理。由于文本是人类使用的自然语言，具有非结构化的特征，计算机识别起来会具有一定的机械性和局限性，这使得在进行处理和分析文本的操作过程中会遇到更多的困难，所以在处理文本时不能简单地使用传统的数据处理方式[1]。文本挖掘是针对文本的一种分析处理算法，虽然近几年个人或者企业对其的需求有所上升，但是文本挖掘仍存在着一些问题，因其发展历史相比较于传统的数据挖掘方式的历史较短，且方法不够成熟，所以并没有被广泛使用，而且人们对于文本挖掘使用领域的认知也比较单一[2]。评论是诸多平台，例如美食、购物、住宿等平台获得产品反馈、提高服务质量的一大依据，也是消费者获得相关信息的重要途径。但是对平台来说，不是所有的评论都具有分析价值，比如一些产品有成百上千条评论，其中会有很多和所提供服务或者产品毫不相干的评论;当然对消费者来说，也不是所看到的评论就代表着产品的品质，因为很多人可能只会看前面几十条评论就对产品或者服务的好坏下结论。文本挖掘很重要的一个意义就是可以深入人力所不能及的范围，细微地处理无用的信息、系统地分析评论的趋势，从而为平台和消费者提供更精确的信息。此项目以预测豆瓣网站电影的评论类别为例，对评论这种分布不均匀、多样化的文本进行处理和分析，目的是对文本挖掘在网络评论分析方面的作用、文本挖掘的相关方法和意义进行更加具体的阐释和展示，此项目的基本流程是数据采集、情感分析、数据预处理、文本特征提取、模型建立和模型输出。1相关技术1.1爬虫技术调用了requests库进行初步的文本收集，这种方式在处理Cookies、登录验证、代理设置等操作方面都更加简单高效，使用比较广泛，更重要的是也能够满足项目所需。爬虫技术核心代码为：defget_html（url）：session=requests.session（）ua=UserAgent（）.randomheaders={'Cookie'：，'User-Agent'：ua，'Accept'：'text/html，application/xhtml+xml，application/xml;q=0.9，image/avif，image/webp，image/apng，*/*;q=0.8，application/signed-exchange;v=b3;q=0.9'，'Referer'：'https：//movie.douban.com/subject/30378158/'}rqg=requests.get（url，headers=headers）rqg.encoding=chardet.detect（rqg.c...