CHINASCIENCEANDTECHNOLOGYACHIEVEMENTS第13期2009年中国科技成果创新交流摘要本文比较了5种改善神经网络泛化能力的方法。理论分析与具体的仿真实验均表明增加样本数需要太多的样本构造法包含剪枝法与逐步增加法需要过多的运行时间皆不实用。早期停止法仅对中等规模的数据有效对较少数据容易造成过拟合更加严重。因此正则化方法为最好的改善网络泛化能力方法。关键词：神经网络泛化改进DOI:10.3772/j.issn」009・5659.2009.13.023泛化Generalization是指训练后网络对来自同一样本集屮的非训练样本给出正确输入输出关系的能力1。由」神经网络的卄•参数模型特性使得网络的一切信息于训练集导致训练结果极不稳定容易产生过拟合Overfitting2降低网络的泛化能力。木文从理论与实际上比较了传统的儿种改进网络泛化能力的方法增加样木数、构造法、早期停止法、正则化方法对每种方法的优缺点、适用范围均进行了研究并对其一一仿真。1过拟合拟合问题定义为Sin函数逼近标准样木数日为20噪声设为5初始网络结构设为1・30・1输入层的转移函数为Sigmoid函数隐层的转移函数为Linear函数。图1屮虚线表示正弦函数T表示对正弦函数采样得到的含噪样本点实线表示对给定的样本经过训练后网络的拟合曲线。町见由于网络过分逼近样本点虽然保证拟合曲线与样本点的误差很小但是对新数据的泛化能力人幅降低这是我们不希望看到的。2算法综述2.1增加样本数如果能够随意增加样本数则网络的泛化能力可以有效改善。例如对上述问题如果将样本数增加10倍则得到结果如图2所示。比较图1与图2的拟合结果可见样本数增加后网络的泛化能力有明显提高。然而这种方法的缺点非常明显。首先实际情况下测量新的样板可能会非常困难不仅增加人工与金钱而且受物理条件限制其次样本点增加很多后网络的泛化能力一般改善很小第三改善程度与样本的噪声、网络结构有关而实际中噪声的种类与强度均未知故无法准确预测需要的样本数。2.2构造法构造法包含两个相对的方法逐步增加法与剪枝法。前者是指从较小的网络开始逐步增长到一个合适的结构后者是指先从一个较大的网络开始训练然后逐步文/王权成东南人学软件工程学院江苏苏州215123图1过拟合示意图图2样木数增加为10倍MSE0.0072神经网络泛化改进研究E-mail:lixycsta.org李小莹编辑万方数据CHINASCIENCEANDTECHNOLOGYACHIEVEMENTS屮国科技成果2009年第13期创新交流删去一些不重要的神经元。最简单的逐步增加法是对单隐层网络的构造且已得到广泛应用。复杂的方法有Fahlman提出的级联相关法从深度而不是宽度进行构造3Mezard提出的Tiling算法从前一层的输出开始构建新层4Frean的Upstart算法专用于开关模型5。最简单的剪枝法的思路是如果一个神经元的输出权重或输出值接近零则可认为这个神经元的存在不会对结果有太大影响可以删去。问题在于小尺寸的权重甚至比大尺寸的权重更为重要。以剪枝法为例图3给出了隐层神经元由30减为1过程中网络的MSE与隐层神经元数目的关系。可见当隐层神经元为5时网络性能最好此时过拟合被最大限度削弱输出曲线与真实曲线较为接近见图4。由于逐步增加法与剪枝法有一个共同缺点计算代价过大因此该技术不实用。2.3早期停止法早期停止法将数据分为三类第一类为训练集第二类为验证集网络训练过程中不停地监视训练集的误差变化。当网络正常调整时训练集与验证集的课差均稳步减少当网络过拟合时训练集的误羌继续减少而验证集的误差增加第三类为测试集用来保证对数据的分类有效如果测试集的误差哀减曲线与其他两类集合的误茅哀减曲线有显著不同则说明数据分类不当。其缺陷在于如果数据集较小则应该将所有数据用于训练此时再将数据分成三类则网络获得的信息过少如果数据集较人则不存在过拟合无需早期停止。因此早期停止法仅适用于中等规模的数据。一般來说有如卜•三种数据分类方式完全随机法、随机抽块法、交叉抽取法。图5显示了采用完全随机分类策略的网络训练结果。可见此时数据集较小采用早期停止法只会进一步加重网络的过拟合。2.4正则化方法传统的性能函数选取网络的误差平方和即1式中N表示训练集的样本数ti表示输入样本对应的冃标输岀ai表示网络模拟的输出。正则化技...