第34卷第1期2010年2月南京理工大学学报(自然科学版)Vol.34No.1JournalofNan激ngUniversityofScienceandTechnology(NaturalScience)Feb.2010评审专家可信度评价模型及应用徐林生1,2,王执铨1,戴跃伟1(1.南京理工大学自动化学院,江苏南京210094;2.中国人民解放军总装备部第63961部队,北京摘要:为了正确评价评审专家给出的多属性排序是否合理,该文探讨了多属性评价活动中评审专家可信度的评价准则,研究了评价和决策活动中专家个体可信度的三种建模方法,建立了专家的评价水平排序和分类方法。应用实例表明,该研究结果可以作为评价工作中评审专家选择、调整的依据。关键词:多属性评价;专家;可信:G311:1005-9830(2010)01-0030-05Expert’sCredibilityModelandEvaluationMethodXUlin2sheng1,2,WANGZhi2quan1,DAIYue2wei1Abstract:Tocorrectlyappraisewhetherthemulti2attributiveevaluationbyappraisingexpertsiscredible,thispaperpresentstheevaluationcriteriaofexpert’scredibilityinmulti2attributiveapprai2singactivities.Threekindsofmodelingmethodsforindividualexpert’scredibilityarestudied.Theorderingandclassificationmethodsofthetheexpert’sevaluationlevelsareestablished.Theapplica2tionexamplesshowthatthisresearchresultscanhelptoselectandregulatetheappraisingexpertsintheappraisingmanagement.能否给出客观公正的决策[2]。实际工作中,由于知识结构老化、价值观念差异、对评价对象熟悉程度不同等各种原因,部分专家在评价过程中往往出现非理性偏好增加、评价方向错位等问题,造成评价结果出现一定的偏移,个别专家甚至会给出不合理评价,为此文献[3]面向知识管理研究了基于模糊多准则的决策支持方法。但各种评价活动及其管理是一项长期性的工作,对专家的管理也应采取长期的、“闭环式”管理[4]。现实生活中,人们经常遇到多属性评价和决策问题,如电视歌手大奖赛、优秀科技成果评选、先进人物选拔、科研项目立项评审和实物竞争活动评估等等。在这类多属性评价活动中,评审专家是核心,在评价目标、评价准则、评价对象等评价要素确定的前提下,评价结果完全取决于各个专家的评价行为[1]。专家个体的评价意见是形成专家群体评价意见的基础,而收稿日期:2009-01-08修回日期:2009-12-11作者简介:徐林生(1963-),男,博士生,高级工程师,主要研究方向:系统评估、多目标决策,E2mail:bm_2001@专家个体在某次评价活动中工作质量的高低,既是组成下一次评价专家群体的参考标准,在一定程度上也是预计评价“水平”的依据[5]。专家的可信性,最终必然体现在其评价意见的客观性和准确性上[6]。鉴于评价本身的不确定性,本文对专家的可信性做如下定义:专家的可信性是指其能够客观、准确地评价对象的程度,称可信性的大小为该专家的可信度。在此定义下,如何定量描述专家评价意见的客观、准确程度,是解决专家可信性评估的关键。为此,首先需要确定评价专家可信性的准则:假定某次评价活动中专家群体内不存在“联盟”,即认为专家个体之间的评价是相互独立的,且专家群体的组成有效,即本次评价活动最终能够得出给定属性下的可行解。在上述假定下,可以认为专家个体与专家群体评价意见的一致性程度越高,则专家个体的可信度越大,反之则认为专家个体的可信度越低,即:专家群体评价意见的形成出自专家个体的评价意见,同时专家群体的评价结论又是评价专家个体可信性的依据。通常情况下,专家评价意见di(A)和专家群体的评价意见D(A)有3种形式:其一是评价意见只有“通过”、“不通过”两种表述;其二是采取序数型表述,即di(A)和D(A)是对各个评价对象的排序;其三是基数型表述,如百分制打分(包括其他类型评价化为基数型)等。下面分别针对这3种情况建立专家可信性的定量表述。1.1二值化可信度建模专家个体和专家群体的评价意见只有“通过”、“不通过”两种表述,属确定性家Ei的可信性。记={通过}={不通过}={通过}1,0,1,0,D(Aj)π(Aj)=(1)D(Aj)dAi(j)πi(Aj)=(2)dA={不通过}i(j)专家E的“通过正确率”p可表示为i1im∑πi(Aj)π(Aj)j=1p1i=(3)m∑π(Aj)j=1Ei的“不通过正确率”p0i可表示为而专家1评审专家可信度的...