基于AutoEncoder的BP神经网络改进李森林，邓小武*（怀化学院计算机工程系，怀化418008）5摘要：深度学习模型AutoEncoder可以从无标签数据中自动学习数据特征，假定网络输入与输出相同，通过优化模型训练得到的权重作为神经网络初始化参数。解决了神经网络训练中因随机选择初始化参数，而导致网络易陷入局部极小的缺陷。实验取得了很好的效果。关键词：人工智能；无监督学习；自编码器；神经网络中图分类号：请查阅《中国图书馆分类法》10BPNeuralNetworkImprovementBasedonAutoEncoderLISenlin,DENGXiaowu(HuaihuaUniversity,HuaiHua418008)1520253035Abstract:AutoEncoderofDeeplearningmodelcanautomaticallylearnthecharacteristicsofthedatawithunlabeleddata.Assumingthesamenetworkinputandoutput,initializationparametersisobtainedbyoptimizingthemodelandtrainingnetwork.ItsolvesthatBPnetworkiseasytofallintolocalminimum,duetorandomselectioninitializationparameters.Experimenthasachievedgoodresults.Keywords:AI；Unsupervisedlearning;AutoCoder;Neuralnetwork0引言传统神经网络多采用有监督数据进行训练学习，BP算法作为传统训练多层网络的典型算法，由于代价函数是非凸的，且随机值初始化参数导致收敛到局部最小值，所以这种训练方法很不理想。于是出现了多种BP改进算法，文献[1]采用改进PSO算法优化BP神经网络权值试图解决局部极小问题；文献[2]给出了自适应步长、同论算法、L-M算法的三种改进方法进行分析对比，但效果都不理想。这是因为浅层学习在有限样本下对复杂函数的表示能力有限，且函数非凸造成的。深度学习（DeepLearning）是机器学习前沿技术，2006年由Hinton等在Science上提出。DeepLearning通过建立、模拟人脑视觉系统来进行分析学习的神经网络，目前深度学习在图像，声音和文本领域，展现了强大的从少数样本集中学习数据集本质特征的能力。文中提出一种基于深度学习的AutoEncoder自编码模型[3]改进BP网络，用无监督数据训练的权重作为网络参数的初始化值，最后用监督数据调优，来进行分类，实验取得了较好的效果。第1部分析了自动编码器方法；部分2给出了BP网络训练方法和产生局部极小值的原因；部分3用autoEncoder改进Bp网络的方法和实验结果。最后展望了深度学习的待研究事项。1AutoEncoder自动编码器由YoshuaBengio等提出的训练模型AutoEncoder自动编码器，是深度学习（DeepLearning）方法之一，是利用人工神经网络具有层次结构的特点，假设其输出与输入是相同的，然后用无标签数据训练调整网络参数的方法。自动编码器是一种尽可能复现输入信号的神经网络。具体过程如下[4]：(1)给定无标签数据，进行无监督学习数据特征40作者简介：李森林（1973-），男，讲师，主要研究方向：人工智能.l_slin@126.com-1-wij(t)，i(t)，k1,...,m;i1,...,pk;j1,...,pk−1;t0)inputencodercodedecoderresconstrutionError图1自动编码实现过程Fig1AutoEncoderImplement图1中，将无标签数据输入到一个encoder编码器，，得到编码code，通过decoder解码器对code解码输出一个信息，这个信息和开始的输入信号构成误差（Error），通过调45整encoder和decoder的参数，使得该重构误差最小，编码code就是input信号的一个表示。（2）通过编码器产生的特征，作为下一层输入，按步骤（1）训练。依次逐层训练,得到图2所示的多层网络结构.inputencoderCode(input)encoderCode(input)图2自编码多层结构Fig2AutoEncodingMulti-Layers2反向传播神经网络505560反向传播算法作为传统训练多层网络的典型算法，采用有标签数据训练网络。训练分正向传播和反向传播[5]。（1）正向传播。待训练样本从输入层到隐层传向输出层，各层节点互不相连，上一层神经元的只对下一层神经元产生影响。计算输出层的实际计算值与期望输出值的残差，再进入到反向传播过程。（2）反向传播。反向传播时，把总误差信号按正向传播节点的贡献大小反向传回，并对隐层神经元节点的权系数进行修改，以达到期望风险最小化。传统BP算法的基本过程包括:初始化阶段,前馈阶段,权值调整阶段,学...