BiGRU结合注意力机制的文本分类研究黄忠祥李明[摘要]随着信息时代的发展，文本包含的信息量越来越多，而同一段文本可以隶属于不同的类别，为了提升多标签文本分类任务的准确率，提出了一种基于ALBERT预训练、双向GRU并结合注意力机制的改进的多标签文本分类模型——BiGRU-Att模型。在百度发布的中文事件抽取数据集上进行实验，该模型的识别准确率达到了99.68%，相对比较组的BiLSTM-Att、LSTM-Att、BiGRU、BiLSTM、LSTM等模型的测试结果，准确率更高，性能更优。实验结果表明，改进的BiGRU-Att模型能有效提升多标签文本分类任务的准确率。[关键词]多标签;预训练;双向门控循环单元（BiGRU）;注意力机制[]TP391.1[文献标志码]A[]1005-0310（2021）03-0047-06Abstract：Withthedevelopmentofinformationage，theamountofinformationcontainedintextsisincreasing.Itisoftenthecasethatthesametextcanbelongtodifferentcategories.Inordertoimprovetheaccuracyofmulti-labeltextclassification，BiGRU-Attmodel，animprovedmulti-labeltextclassificationmodel，isproposedbasedonALBERTpre-training，BiGRUcombinedwithattentionmechanism.ExperimentsonChineseeventextractiondatasetpublishedbyBaidushowthattherecognitionaccuracyofthemodelreaches99.68%paredwiththetestresultsofBiLSTM-Att，LSTM-Att，BiGRU，BiLSTM，LSTMandothermodelsofthecomparisongroup，themodelhashigheraccuracyandbetterperformance.ExperimentalresultsshowthattheimprovedBiGRU-Attmodelcaneffectivelyimprovetheaccuracyofmulti-labeltextclassification.Keywords：Multi-label;Pre-training;Bi-directionGateRecurrentUnit（BiGRU）;Attentionmechanism0引言文本分类是自然语言处理中比较经典的任务，以往的文本分类任务通常属于较为简单的单标签文本分类任务，并且各标签之间是独立的。随着互联网的发展，文本的分类精细化要求越来越高，一段文本常常可以对应多个标签，例如，对于同一篇文章，其所属类别可以同时是军事类和科技类。对于多标签分类问题，还没有很成熟的处理方案，这就对多标签文本分类技术提出了更高的要求。文本分類方法一般分为两类：传统的机器学习的方法和基于深度学习的分类方法。由于深度学习技术的发展较为迅猛，所以，目前大多数研究采用基于深度学习的模型去处理多标签文本分类任务。例如，Kim[1]首先提出的TextCNN模型，首次将常用于图像处理领域的CNN结构引入到文本分类任务中，开辟了这一领域新的篇章;Lai等[2]在TextCNN基础上提出了TextRCNN模型，以改进TextCNN不能处理长序列文本的缺点;Liu等[3]提出了TextRNN模型，改进了当时网络只针对单一任务训练的缺点;Zhang等[4]提出了BP-MLL模型，以处理多标签文本分类任务。为了改进现有研究，有效提高模型处理文本分类任务的准确性，本文开展了下述研究：首先，针对多标签文本分类中使用Word2Vec[5]等静态编码的方法，存在因为忽略了特征所在的上下文依赖关系，导致最后识别准确率不高的缺陷，本文采用ALBERT[6-8]预训练模型进行文本内容的动态编码，使得文本特征向量能保留更多的细节信息，同时，预先训练好的词向量包含的先验信息对于小数据集很有帮助;其次，对于使用单向LSTM模型[9]无法较好地获取语义信息的缺陷，本文采用了双向GRU网络[10-13];最后，为了增强分类效果，模型在通过softmax分类前，加入了注意力机制[14-16]，形成本文基于ALBERT预训练的BiGRU-Att多标签文本分类模型。1相关技术1.1ALBERT预训练模型ALBERT层对文本处理的基本流程为：首先输入文本，变成序列文本E1，E2，…，EN，然后将序列文本输入到多层双向Transformer中进行训练;最终得到输入文本的特征向量表示T1，T2，…，TN。其中，Transformer编码器是一个包含了Encoder-Decoder结构的编码器，同时使用了多头自注意力层以便处理更长的序列信息，而ALBERT模型只保留了Encoder的部分。Encoder又包含多个相同网络层的叠加，Encoder的每一层网络包含着两个次级网络层：一层是多头自注意力机制层，另一层是前馈网络层，两层之间的特征传输使用了残差...