基于Ramp损失函数的原空间支持向量回归机#袁玉萍1，安增龙2，张宏礼1**510152025303540（1.黑龙江八一农垦大学理学院，黑龙江大庆163319；2.黑龙江八一农垦大学经济管理学院，黑龙江大庆163319）摘要：支持向量回归机模型的性能与所选的损失函数有很大关系。提出一种基于不对称形式的二次不敏感控制型Ramp损失函数的支持向量回归机，采用凹凸过程优化和光滑技术算法，将非凸优化问题转化为连续、二次可微凸优化问题，利用Amijo-Newton优化算法求解所建立的优化模型，并分析了算法的收敛性。该算法不仅可以保持支持向量的稀疏性，而且还可以控制训练样本中的异常值。实验结果表明，该模型保持了很好的泛化能力，无论对模拟数据还是标准数据都具有一定的拟合精度，与标准支持向量机模型相比，不仅能够降低噪声和孤立点的影响而且也具有较强的鲁棒性。关键词：运筹学其它学科；异常值；损失函数；凹凸过程中图分类号：TP181TP391SupportvectorregressionintheprimalspacebasedontheRamplossfunctionYUANYuping1,ANZenglong2,ZHANGHongli3(1.HeilongjiangBayiAgriculturalUniversity,CollegeofSciences,HeiLongJiangDaQing163319;2.HeilongjiangBayiAgriculturalUniversity,CollegeofEconomics&Management,HeiLongJiangDaQing163319)Abstract:Inthispaperthefunctionofsupportvectorregressionmachinemodelreliesmuchonthelossfunctionchosen.OnthebasisofquadraticinsensitivecontroltypelossfunctionRampwithasymmetricform,supportvectorregressionmachinemodelisproposed.Adoptingtheconcaveandconvexprocessoptimizationandthesmoothtechnologyalgorithm,transformingthenon-convexoptimizationtothecontinuous,quadraticdifferentiableconvexoptimization.UsingtheAmijo-Newtonoptimizedalgorithmtosolvetheproposedmodelandanalyzingtheconvergenceofthealgorithm.Thealgorithmnotonlykeepsthesparsenatureofsupportvector,butalsocancontroltheabnormalvaluesofthetrainingsample.Theexperimentalresultsshowthatthesupportvectorregressionmachinemodelproposedkeepsgoodgeneralizationability,andthemodelcanbetterfitboththesimulateddataandthestandarddata.Comparedwiththestandardsupportvectormachine(SVM)model,theproposedmodelnotonlycanreducetheeffectsofnoiseandoutliers,butalsohasstrongerrobustness.Keywords:theoryofcontrols;Supportvectorregression;Outliers;Lossfunction;concave-convexprocedure（CCCP）0引言由于标准支持向量机对所有输入样本同等对待，在训练时从中选取部分样本，即支持向量机来构造最终的决策函数，并且同时标准支持向量机对异常值也非常敏感，在确定决策超平面时所起到的作用非常大，降低了支持向量机的泛化能力和推广能力。因此当样本中含有噪声时，建立支持向量机的鲁棒性模型是非常有必要的。基金项目：高等学校博士学科点专项科研基金博导类资助课题项目（20112305110002）。黑龙江省农垦总---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---局科研资助项目（HNK11A-14-07）作者简介：袁玉萍，（1970-），女，副教授，运筹学与优化。通信联系人：安增龙，（1962-），男，教授，人力资源管理。anzl2001@163.com-1----本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---噪声点的位置不同对支持向量机的学习过程所产生的影响不同。大概有以下几种情况：4550当噪声样本点位于或者靠近自身类分布区域时，它们容易成为非支持向量，因而对SVM的决策超平面的影响较小，称这样的噪声为“伪噪声”；当噪声样本点远离自身类分布区域时，它们容易成为支持向量，在学习过程中对决策超平面产生的影响很大，称这样的噪声为“强噪声”。当数据中存在噪声或野点时，由于噪声样本产生的损失非常大，并且这个损失随噪声样本离自身类距离的增加而增加，这就导致了支持向量机泛化性能的下降，要想从根本上解决这个问题，只有减少或限制噪声产生的损失。为了抑制支持向量机对噪声或野点的影响，...