基于核的学习机研究综述研究综述第２７卷第６期计算机应用研究Ｖ０１．２７Ｎｏ．６２０１０年６月ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＪｕｎ．２０１０基于核的学习机研究综述木王涛，李艾华，蔡艳平，王声才（第二炮兵工程学院机械电子工程系，西安７１００２５）摘要：近年来核学习机已经成为机器学习界的一个热点问题，并在许多领域中得到了成功应用；然而作为一种尚未成熟的新技术，核学习机仍然存在很多局限性。介绍了核方法的基本思想，从有监督和无监督学习算法两方面对基于核的学习机进行了梳理，着重指出了核学习机研究中存在的问题和值得关注的研究方向，以期对核方法研究领域有较全面的把握。关键词：核方法；有监督学习算法；无监督学习算法；支持向量机：ＴＰｌ８文献标志码：Ａ：１００１．３６９５（２０ＬＯ）０６．２０１１．０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１０．０６．００３Ｋｅｒｎｅｌ－ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｒｅｓｅａｒｃｈｏｖｅｒｖｉｅｗＷＡＮＧＴａｏ，ＬＩＡｉ—ｈｕａ，ＣＡＩＹａｈ－ｐｉｎｇ，ＷＡＮＧＳｈｅｎｇ－ｃａｉ（Ｄｅｐｔ．ｏｆＭｅｃｈａｎｉｃａｌ＆Ｅｌｅｃｔｒｏｎｉｃ，ＴｈｅＳｅｃｏｎｄＡｎｄｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，藏’∞７１００２５，Ｃｈ／ｎａ）Ａｂｓｔｒａｃｔ：ＩｔｉｓｂｅｌｉｅｖｅｄｔｈａｔｔｈｅｓｔｕｄｙｏｆｋｅｒｎｅｌｍｅｔｈｏｄｓｉＳｂｅｃｏｍｉｎｇａｎｅｗｈｏｔａｒｅａｉｎｔｈｅｆｉｅｌｄｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｒｅｃｅｎｔｌｙ．Ｋｅｍｅｌｍｅｔｈｏｄｓｈａｖｅｂｅｅｎａｐｐｌｉｅｄｉｎｍａｎｙｆｉｅｌｄｓｓｕｃｃｅｓｓｆｕｌｌｙ．Ｂｕｔ船ａＨｅｗｔｅｃｈｎｉｑｕｅ．ｔｈｅｒｅａｒｅｓｔｉｌｌｐｌｅｎｔｙｏｆｌｉｍｉｔａｔｉｏｎｓｉｎｋｅｒｎｅｌ—ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓ．１１ｌｉｓｐａｐｅｒｆｉｒｓｔｌｙａｎａｌｙｚｅｄｔｈｅｂａｓｉｃｉｄｅａｓｏｆｋｅｒｎｅｌ—ｂａｓｅｄｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｔｈｅｎｐｒｏｖｉｄｅｄ锄ｉｎｔｒｏｄｕｃｔｉｏｎｔｏｓｏｍｅｋｉｎｄｓｏｆｋｅｒｎｅｌｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｄｅｖｅｌｏｐｅｄｒｅｃｅｎｔｌｙｆｒｏｍｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｎｄｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ．Ｐｏｉｎｔｅｄｏｕｔｔｈｅｋｅｙｉｓｓｕｅｓａｎｄｔｈｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｎｋｅｒｎｅｌｌｅａｒｎｉｎｇｍａｃｈｉｎｅｓｆｉｎａｌｌｙ．Ｉｔｉｓｅ_ｐｅｃｔｅｄｔｏｕｎｄｅｒｓｔａｎｄｋｅｒｎｅｌｍｅｔｈｏｄｓｃｏｍｐｒｅｈｅｎｓｉｖｅｌｙ．Ｋｅｙｗｏｒｄｓ：ｋｅｒｎｅｌｍｅｔｈｏｄｓ；ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ；ｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ；ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ引言１核方法的理论基础统计学习理论（ｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎｇｔｈｅｏｒｙ，ＳＬＴ）是一种专门１．１核方法的基本原理的小样本统计理论，是Ｖａｐｎｉｋ…针对有限样本下的机器学习核方法的基本原理‘３１如图１所示。问题的研究成果。１９９５年，Ｖａｐｎｉｋ等人口１在此基础上又发展输入空间Ｒ特征空间，出了一种新的模式识别方法——支持向量机（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ），在解决小样本、非线性以及高维模式识别问题中表现出许多优势，并能够推广应用到函数拟合等其他机器学习问题中。ＳＶＭ最初是从线性可分情况下的最优分类面提出的，针对线性不可分的情况，它通过引入核函数实现了线性到非线性之间的变换，同时回避了维数灾难，也没有增加计算复杂度。借鉴这一思想，研究者们对一些只涉及样本间内积运算图１核空间的基本理论的机器学习方法进行了改造，用事先定义的核函数取代内积，通过一个非线性映射函数妒（并）可将输入空间刖映射到高得到了与该学习方法对应的核方...