SVM基本原理及其发展概述摘要：支持向量机（SupportVectorMachine，SVM）是一种基于统计学习理论的新型机器学习方法，它采用了结构风险最小化原则来代替了经验风险最小化能较好地解决小样本学习的问题；还采用核函数思想，把非线性空间的问题转换到线性空间，降低了算法的复杂度。正因为SVM有较完备的理论基础和较好的学习性能，在解决有限样本、非线性及高维模式识别问题中表现出许多特有的优势，成为当前机器学习领域的研究热点问题之一，并在很多领域都得到了成功的应用。关键词：数据挖掘；统计理论；支持向量机：TP301文献标识码：A：1统计学习理论统计学习理论是SVM的理论基础。基于数据的机器学习是现代智能技术中的重要方面，研究从观测样本出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。与传统统计学相比，统计学习理论(StatisticalLearningTheory，SLT)是一种专门研究小样本情况下机器学习规律的理论。Vapnik[1]等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等)，同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机(SupportVectorMachine，SVM)。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展。统计学习理论的一个核心概念就是VC维，它是描述函数集或学习机器的复杂性或者说学习能力的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性、收敛速度、推广性能等的重要结论。在统计学习理论基础之上发展起来的支持向量机是统计学习理论中最年轻的内容，它已表现出很多优于己有方法的性能。2支持向量机2.1ＳＶＭ介绍及其特点支持向量机的重要理论基础是统计学习理论的VC维理论和结构风险最小化原理。根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，会产生“过学习问题”，其推广能力较差。SVM根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷以期获得最好的推广能力，从而使其学习机获得了更好的推广性能，这恰恰是统计学习理论最重要的目标之一。SVM可以自动寻找对分类有较好区分能力的支持向量，由此构成的分类器可以最大化类与类之间的间隔。支持向量机主要优点包括：（1）它是专门针对有限样本情况的其目标是得到现有信息下的最优解，而不仅仅是样本数目趋于无穷大时的最优值。（2）算法最终转化为一个二次型寻优问题。从理论上说得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题。（3）算法将实际问题通过非线性变换到高维的特征空间，在高维空间中构造线性判别函数以替换原空间中的非线性判别函数，这样能保证机器有较好的推广能力同时它巧妙地解决了维数问题，算法复杂度与样本维数无关。SVM算法有很多成功的应用领域，如人脸识别、手写体识别、指纹识别等。SVM算法在精度上已经超过传统的学习算法或与之不相上下，这些应用都说明了基于VC维理论和结构风险最小化原理而发展起来的结构化学习方法的潜在优势。2.2ＳＶＭ算法及其发展2.2.1支持向量机算法V.Vapnik等人首先提出来的是chunking算法：从训练样本中任意选择一个小的子集，求此子集的最优解，保留此子集的支持向量，从剩余的样本中启发式地加入新的子集，再求解...