3ROC分析技术的研究现状和发展趋势涂福泉1)陈奎生1)陈建勋2)骆名剑2)(武汉科技大学机械自动化学院1)武汉430081)(武汉科技大学计算机学院2)武汉430081)摘要阐述ROC分析技术的基本概念,介绍几种主要多类ROC分析方法:一对多ROC分析方法、成对ROC分析方法、Hand和Till提出的M函数(HTM)、改进的HTM方法和Mossman的三类别ROC分析方法、AUC(AreaUndertheROC)扩展等,分析了现有几种方法的不足,预测ROC分析技术的未来发展趋势。关键词ROC评价标准AUC中图分类号TP301.61引言ROC是受试者工作特征(ReceiverOperatingCharacteristic)或相对工作特征(RelativeOperatingCharacteristic)的缩写。ROC分析技术五十年代起源于统计决策理论,用来说明分类器命中率和误报警率之间的关系,最早在第二次世界大战中应用于雷达信号观察能力的评价,后来使用在晶体管的相关研究。六十年代中期用于实验心理学和心理物理学研究。Lusted在1988年首次提出了ROC分析可用于医疗决策评价,自从八十年代起该方法广泛用于医疗诊断性能的评价。最近Swets[1]等人为ROC分析扩展到更广阔的公共领域提供了思路和建议。Spackman将ROC分析技术引用到机器学习领技术,国际机器学习会议(ICML,InternationalCon2ferenceonMachineLearning)和欧洲人工智能会议(ECAI,theEuropeanConferenceonArtificialIntelli2gence)在2004年为它开辟了专题,一些专家纷纷特别撰文推荐使用ROC作为分类算法的评价标准[2,3,4,5,6,7]。国外一些机器学习研究者根据实际需要扩展和改进了ROC分析技术。并在ROC分析基础上改进并提出了一些新的方法。如ROC曲线是对分类性能的二维描述,为了能够直接比较多个分类器,希望将ROC曲线描述的分类器性能转换为一个数值来表示分类器的性能。一个通用的方法是计算ROC曲线下的面积(AreaUndertheROC),缩[8]域中,并说明了ROC曲线的值估计和比较算法。写为AUC或AROC。Charles等试图通过理论来[7,9]ROC分析技术在最近几年越来越多的应用到机器学习领域中。ROC分析技术不仅是一种通用图形化性能的方法,更主要的是ROC曲线的独特属性证明AUC比正确率优越,Provost和Bradley等发现使用通过大量的比较实验阐述AUC比正确率更适合作为分类评价标准。Hand和Till进而提出[10]使它在类别分布不平衡或者分类错误代价不相等了一种简单的近似计算AUC方法,还有DET的领域中变得越来越重要。此外,ROC曲线可以图[11],CostCurve[12,13,14],LCindex等重要ROC分在多类ROC问题给出清楚的解释。ROC分析技术对类别分布、代价不敏感性、直观性以及可理解性等方面在评价和比较分类器问题上的优势,足以使它代替正确率成为更好的度量标准。2ROC分析技术的研究现状目前在国外机器学习领域非常重视ROC分析析的扩展方法。另外在ROC分析的基础上重新评估了以前的机器学习方法,对于一些几乎是常识的知识提出新的看法。在决策树中,我们一直认为精度的提高主要依靠裁剪技术。但是在用AUC评估C4.5算法时,发现剪裁基本没有作用[15]。在传统的机器学习领域,一直认为NaiveBayes方法和决策树方法3收到本文时间:2006年4月14日基金项目:国家自然科学基金项目(编号60074032)资助;湖北省自然科学基金项目(编号2004ABA001)资助;湖北省教育厅项目(编号2001Z19015)资助作者简介:涂福泉,男,博士研究生,研究方向:智能控制。陈奎生,男,教授,博士生导师,研究方向:电液控制系统。陈建勋,男,博士,教授,研究方向:软件工程。34涂福泉等:ROC分析技术的研究现状和发展趋势第35卷不分伯仲,但是现在的(现在用ROC分析)研究表明NaiveBayes方法要优于决策树方法[16]。与此同时,一些学者还针对与ROC分析在分类中的应用,提出了新的分裂标准[16],Smoothing方法[15],集成方法等[17]。在国内,ROC分析技术在医疗领域已得到广泛的应用,在其他应用领域还很少看到关于ROC的文献资料,引入和推广ROC分析在科学决策领域的应用是本文的主要目标之一。2.1ROC的基本概念当前很多ROC文献都是基于处理两类别分类问题的。给定两类别分类器和测试数据集,可以构造2×2的混淆矩阵来表示分类器结果。这个矩阵是正确率等很多评价刻度以及ROC分析的基础。定义1:分类器将负例分为正例的个数与所有负例的比值为FP率。定义2:...