一种前馈神经网络算法王丽霞（江西理工大学机电工程学院，江西赣州341000）摘要：神经网络由于其非线性处理能力强，性能稳定等特点得到了广泛应用和研究。主要应用于模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。神经网络中使用最为广泛的就是前馈神经网络。其网络权值学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。BP算法存在局部极小点，收敛速度慢等缺点。基于优化理论的Levenberg-Marquardt算法忽略了二阶项。该文讨论当误差不为零或者不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。关键词：神经网络；误差反向传播算法；Hesse矩阵：TP312文献标识码：A：1811-8755(2004)08021引言人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于所具有的非线性特性，大量的并行分布结构以及学习和归纳能力使其在在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛得应用，尤其是前馈神经网络。国内外研究的重点主要集中在网络权值学习算法，误差函数和网络结构等。网络权值的学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。该方法由正向传播和误差反向传播两个过程组成。由于BP算法存在局部极小点，收敛速度慢等缺点，所以各种改进的BP算法纷纷出现。如可变的学习速率，以提高算法的收敛速度，对于局部极小点问题，很多研究重点是神经网络与进化算法1][结合。进化计算其固有的全局搜索能力可以保证经过足够多进化代数总能找到全局最有解。基于优化理论可以给出许多权值学习算法，如共轭梯度法和Levenberg-Marquardt算法（简称LM算法）。很多研究和应用中都不加证明的认为LM算法具有全局二阶收敛性。事实上，只有当Hesse矩阵的二阶项S(W)趋于零时，才能应用LM算法，否则网络训练可能收敛很慢或不收敛。该文讨论当误差不为零或者误差不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。该方法有较好的收敛特性和稳定性。2前馈神经网络算法2.1前向计算典型前馈神经网络的结构包括输入层，隐层，输出层，各层之间实行全互连接，层内神经元之间无连接。设网络共L层，包括输入层，隐层和输出层。第l层共有ln个神经元节点,l层第i个神经元和l+1层第j个神经元的连接权为jiw(l),l层第j个神经元输出为jy(l),l层输出为ui(l)=11())1()1(lnjijijllwly（1）其中i(l)为第l层第i个神经元的閾值，()1yjl为l1层第j个神经元的输出,为第l1层第i个神经元和l层第j个神经元的连接权，ln1为第l1层神经元的个数。目标函数一般取期望输出与实际输出之差的平方和：LLniniiiiWeydWE1122)(21)(21)(（2）1)(lwji神经网络的训练就是求当E(W)为最小时的权值W,一般情况下。前馈神经网络的激活函数取非线性对数－S形函数（logsig函数），即f(x)=ex11。2.2LM算法目标函数：E(W)＝LniiWe12)(21＝)()(21WeWeTE(W)的梯度：))(()()()(1WeWJWeWeWEWTniiiL其中(W)JT＝11212111111222111211121112112111111)()()()()()()()()()()()(WeWWeWWeWWeWeWWeWWeWWeWeWWeWWeWWeLLlLLLLlLlnnnnnnnnnn称为Jacobi矩阵(W)eT＝neLee......,21,2211111121111...,......,1nLnTWWWW.其中各元仿照BP算法计算。WkjE)2(＝JT(W))())(())()()()((122SWWJWJWWeWeWeWWWeTkikiniijiL其中S(W)=)()(e2WeW此项很难计算，LM算法将其忽略。LM算法：))((]))(([())1(1kkTkkkTeWWJIJWWJWkkW（3）IHIJWWJGkkkkT))((其中kI项保证G可逆，否则JTJ可能不可逆，无法计算。2.3当e(W)不2.4是很小或者e(W)不2.5是线性函数时的Hesse矩阵的近似求法－2.6Davidon-Fletcher-Powell算法(即DFP算法)kkTkTkkkkkTKTKKkkgHggHgHeWWWHH)()(1())(1))((eWkeWkgk())1(WkWkWk该算法是一种叠代算法，算法初值kH选为单位矩阵。结合DFP算法的神...