基于多模型的混合架构情感分析苗小爱冷雪亮邵婉露摘要：情感分析是自然语言处理（NLP）中十分重要的环节，随着网络发展人们在网络生活中留下的大量情感评论信息。已有的研究大量使用循环神经网络（RNN）和卷积神经网络（CNN）做情感分析。近期注意力机制在NLP领域被广泛使用，并取得突破性进展。为了改善传统模型，充分利用网络评论数据，结合长短时记忆网络（biLSTM），CNN，并使用Transformer机制构建新模型。新模型中，biLSTM编码双上上下文信息，然后CNN部分模拟Text-CNN使用三个不同大小的窗口进行卷积获取句子间的双向信息，最后使用没有前馈操作的Transformer编码器代替传统Max-pooling操作避免信息损失。该模型简称为Multi-ModelStackNeuralNetwork（MMSNN）。与传统biLSTM基线模型和Text-CNN模型在IMDE数据集上进行对比，MMSNN在准确率和损失上均获得最好的效果。关键词：自然语言处理;情感分析;transformer;Text-CNN;BiGRU：TP183：ADOI：10.3969/j.issn.1003-6970.2020.09.036本文著录格式：苗小爱，冷雪亮，邵婉露.基于多模型的混合架构情感分析[J].软件，2020，41（09）：133136【Abstract】：Sentimentanalysisisaveryimportantpartofnaturallanguageprocessing（NLP）.WiththeInternet，peoplesendalotofsentimentcommentinformationinonlinelife.Existingresearchesmakeextensiveuseofrecurrentneuralnetworks（RNN）andconvolutionalneuralnetworks（CNN）forsensoryanalysis.TheattentionmechanismhasbeenwidelyusedintheNLPfieldrecently，andhasachievedbreakthroughdevelopment.Inordertoimprovethetraditionalmodel，makefulluseofnetworkcommentdata，combinedwithlongandshorttimememorynetwork（biLSTM），CNN，andusetheTransformermechanismtobuildanewmodel.Inthenewmodel，biLSTMencodesdouble-upcontextinformation，thenCNNpartiallysimulatesText-CNNtoconvolvewiththreewindowsofdifferentsizestoobtainbidirectionalinformationbetweensentences，andfinallyusesaTransformerencoderwithoutfeedforwardoperationinsteadoftraditionalMax-poolingOperationtoavoidlossofinformation.ThemodelisreferredtoasMulti-modelStackNeuralNetwork（MMSNN）forshort.ComparedwiththetraditionalbiLSTMbaselinemodelandText-CNNmodelontheIMDEdataset，MMSNNachievesthebestresultsinbothaccuracyandloss.【Keywords】：Naturallanguageprocessing;Sentimentanalysis;Transformer;Text-CNN;BiGRU0引言隨着社交软件的多样化，网络上的情感数据规模迅速增加，这些文本在各种研究科开发中广泛使用，因此情感分析任务在自然语言处理中的一个重要方向。现有基本模型的问题是：（1）使用RNN模型容易出现梯度爆炸或梯度消失问题。（2）虽然在序列问题上CNN模型（Kim等人[1]）能取得很好的效果，但是由于池化操作容易造成信息损失。（3）最近的Transformer机制[2]在NLP领域大放光彩，但是由于结构过于复杂难以训练，给普通研究者带来困难。因此，为了结解决上述问题，提出MMSNN模型并在IMDE数据集上取得优异的结果。MMSNN模型使用CNN模型zhang[3]等人提出的多通道Text-CNN，这种CNN可以使用不同的窗口获得不同长度的文本卷积信息，从而提取到更全面的文本信息进行计算，然后使用改自Transformer的编码器代替池化操作。这里删除编码器的前馈层只使用Attention机制。模型构建及贡献如下：（1）将位置信息和使用Word2Vec获得文本信息相加获得嵌入矩阵。（2）使用biLSTM获取双向上下文信息，计算词义和词间关联。（3）使用3个不同窗口大小的卷积计算句子间的信息以及句子间的联系。（4）修改并使用Transformer的编码器分别捕获三个卷积操作后的编码信息。（5）将信息传输到全连接层进行线性映射计算文本情感类别。为了测试模型的普适性将模型在一个在情感分析任务上十分常用的电影评论数据集IMDB进行训练。这是一个二分类电影评论数据集，通过在这个数据集上的实验结果，与之前一些经典模型进行对比，发现MMsNN模型在情感分析方面更有优势，效果更好。1相关工作自然语言...