论文指标与一级学科评估结果之比较摘要：在评价学术水平时，与占主导地位的一级学科评估相比，论文所代表的客观指标有效吗？研究产出在多大程度上影响了一级学科评估结果？现有文献对二者在评价学术水平时的关系尚无实证研究。以CSSCI论文数、引用数、顶级期刊论文数和人均论文数为解释变量，以一级学科评估分数为因变量，运用主成分回归分析方法，对研究产出与一级学科评估结果进行比较。研究发现，基于论文指标的客观评价与一级学科评估结果高度正相关，由规模因子和质量因子构成的综合指标能解释83%的学科评估结果。研究产出很大程度上决定了学科排序结果，基于论文的综合指标是学科评估的一种可行的替代方法。关键词：论文指标，论文引用率，一级学科，学科评估，学科排序对高等教育机构的学术评价，经历了从早期主观指标到更重视综合指标的变化。据美国的有关研究，自20世纪70年代以来，在人文、社科、生物和工程等36个学科的评价都是采取主观调查的方式。这类采用声誉等主观指标的研究方法，其引发的持续争议在于测度实际生产率时是否可靠[1-2]。随着各类大学排行榜的兴起，为避免指标的非均衡化，人们越来越多地采用主观和客观相结合的方式评价机构学术水平。评估指标的综合化和复杂化趋势更加明显，根据杨天平等人的文章，在12个各类大学排行榜中，平均指标数达到22个[3]。研究产出作为衡量高校特别是研究型大学学科建设水平的重要指标，在研究领域和大学实践中得到重视。尽管基于研究产出的客观方法和市场导向的排行榜评估目的不尽相同，但现有文献对二者在评价学术绩效时的关系尚无有力的实证研究。鉴于一级学科评估的重要性，评估结果会影响资源配置，并对高校学科建设具有导向作用，其作为研究的比较对象是有意义的。本研究的主要问题是：基于论文指标的客观方法在评估学科水平时有效吗？一级学科评估结果在多大程度上体现了研究产出的贡献？二者之间是否存在可替代性？一、文献综述1.关于研究产出指标的选取采用同行评议期刊的文章数量来评价研究产出是近几十年来国外较普遍的做法[4-6]。尽管书籍和专著等也属于研究产出，但由于信息获取较难，且不易确定不同形式产出的权重，Morgan建议采用期刊发表作为研究产出的客观测度指标，认为学术期刊重视原创性和同行评议，可能是最适合学科范围的评价工具。作者选取10种专业领域期刊，不做权重区别，对教师研究产出进行测度。这类分析通常是基于文章数量，计数作为一个合理的替代，用来表明某一学院通过专业媒介所产生的理论与实践贡献[7]537。Bloom等认为，学术产出依靠大量教师的参与，机构产出的一个重要因素是大量关键学者的加总的贡献[8]377。但是，学术产出的计量易受到规模影响，简单的加总可能对小的院系不利。Jordan等认为院系的规模和发表论文之间存在积极的关系[9]。根据Ferris等的研究，教师产出通常是用某一领域核心期刊的产出率来测度的，并建议使用人均产出概念[10]309。林梦泉等也建议在学科评估中应增加“人均指标”[11]。当然，仅仅采用论文数量作为指标难以恰当评价学术影响力。Farber等认为引用情况是衡量学术产出影响力的更好的分析单位，并通过SSCI检索工具获取引用数据来分析学院的学术产出[12]。也有学者对采用论文数量或引用率等单一指标提出批评，建议对研究绩效的评价要考虑不同因素的权重[13]。除了引用情况作为质量指标外，研究人员还建议考虑期刊性质，最好的杂志倾向于发表对该领域核心发展最重要的文章[14]。2.关于指标间的关系在生产率所代表的客观指标和反映主观指标的声誉变量之间，研究发现，二者存在积极的关系[15]。然而，一项早期对生物化学学者的研究有相反的发现，即二者之间不存在显著关系[16]。尽管不同研究结果有差异，更多的研究表明，主、客观指标之间存在一致性，二者具有中等程度的关系[10]325。中国学者也发现，上海交通大学世界大学学术综合排名和论文数之间的相关性为0.563(P＜0.001)[17]。另一项对中国50所重点大学论文产出的研究表明，综合引用和数量因素的h指数与载文量、总被引之间的相关系数分别为0.81和0.93[18]。总体看，机构的论文产出与引用数之间存在较强的...