BP算法及其改进应用0引肯神经网络(NeuralNetworks,简称NN)是由大量的、简单的处理单元(简称为神经元)广泛的相互连接而成的复杂网络系统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。1986Rumelhart和McCelland等人提出并行分布处理(PDP)的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。1基于BP算法的多层前馈模型1.1数学模型其网络结构如图1所示yQ22Q、、二-二9直三图1BP网络结构模型的数学表达如下：输入向量：X=(“,兀2,…，石，…，勺)隐层输出向量：Y=⑶，力,…,片,…,ym)T输出层输出向量:O=(o\,O2，・・・,Ok，・・・,o"T期望输出向量：d=(〃i，〃2,…,心,•••,〃/)丁输入层到隐层之间的权值矩阵：V=(V1,V2,...,VJ,...,VW)隐层到输出层Z间的权值矩阵：W=(W1,W9,...,VK,...,W/)mneh=E^/^/j"k=1,2,...,/(1-2)对于隐层：yj=f（netj）j=l,2,...,fn(1-3)nnetJ=DijXii=0j=1,2,...,加(1-4)其中，/（•）为单极性Sigmoid函数f(x)=-1或双极性Sigmoid函数k=1,2,…」(1-1)1+w1.2各层计算对于输出层：ok=f2BP学习算法2.1网络误差与权值调整输出误差E定义:E=-（d-o）2=~Y（dk-ok）222k=［将以上误差定义式展开至隐层：1/1/mE=-^lk-f（netk）］2=工［如-1zm进一步展开至输入层：=£工｛心-/［工耳汀（呦/）］｝22k=lj=0]Imn=-/[工Wj汀(为叫产•)1}22k={j=0i=0(1-5)(1-6)(1-7)(1-8)i=0」,…屮;j=12・・・N(1-9)式中负号表示梯度下降，常数ne（o,i）表示比例系数。在全部推导过程中，对输出层有)=0,1,・・・,加;k=1,2,・・・,Z对隐层有z=0,1,...,/?;j=1,2,...,m2.2算法推导对于输出层式（1-8）,可以写成：△⑷孙(MO)/w=j=1,2,...,/d£-异E~n叫3wjk可以看出，只要计算出式（1-14）.式（1・15）中的误差信号》。和/〉'，权值调整量的计算推导即可完成。下面继续推导如何求误差信号^和莎丫。对于输岀层，尸可展开为：殒=-且二二-竺单丄二-竺广（必以）dnctdoidncti，doi，对于隐层，歹可展开为：叭=-=-学学二=-学广（呦•）7dnetjdyjdnet；dyjZj=码Xi=〃(工风wQj(1-yj)Xi(1-24)对于隐层式（1-9）,可以写成：△切二-“uVydnetjdv^"ij对输岀层和隐层各定义一个误差信号，令综合利用上式可得权值调整为：Awjk=7]^yj(1-11)(1-12)(1-13)(1-14)(1-15)(1-16)(1-17)对式（1・5）求各阶偏导数可得：#=-（如-仪）°。k(1-18)1/m对于隐层有：=£工[心-/(2＞伙*)]22kmj=odF/故可得：-—=-工9丘-oJf叫)wjkdyjk=\(1-19)(1-20)将上式代入（1・16）,并利用单极性Sigmoid函数=-可得:说=(蘇-ok)ok(l-ok)(1-21)II必=[工⑷:-乞）fgtk）Wjk]f（netj）=（为说WjkQj（ly）k=\k=\将式（1・21）、（1-22）代入式（1・14）、（1-15）可得三层前馈网的BP学习算法权值调整的计算公式为：=曲yj=〃（办一ok）ok（1-ok）yj(1-22)(1-23)k=i3基于BP的多层前馈网的主要能力、局限性及改进3.1主要能力(1)非线性映射能力多层前馈网能学习和存贮大量输入■输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。(2)泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。(3)容错能力输入样本屮带有较大的误差甚至个别错误对网络的输入输出规律影响很小。3.2局限性及改进BP算法的主要缺点是：...