编者按
科研评价中存在的论文“SCI至上”现象,已严重影响我国科技发展。近日,教育部、科技部印发印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》,要求规范SCI论文相关指标应用,树立正确的论文评价导向。英国曾在2014年推出了“研究卓越框架”(REF)高校科研评估体系,以更科学合理的科研评价机制促进高水平科学研究,并取得明显成效。REF评估体系所遵循的基本规则和价值取向,对改革和优化我国高校科研评价机制具有重要参考和借鉴意义。
为进一步增强科研评价机制对高水平科学研究的导向作用,英国政府从2008年开始对实施了近30年的“科研评价机制”(RAE)进行全面改革,并于2014年正式推行“研究卓越框架”(REF)高校科研评估体系。REF的基本规则和价值取向可以归纳为四个“导向”:
一是成果导向,即以科研产出(包括成果及其影响)而不是以科研投入作为评价的基本要素;
二是质量导向,以限定参评成果数量和放大高质量成果的评分权重等方法引导高校和科研人员创新“世界领先”成果;
三是贡献导向,首次把科研成果的经济、社会、文化等效益和影响列为评价的重要指标;
四是协同导向,通过制定共享合作成果和减少评估学科单元数量等规则,以鼓励不同高校间和不同学科间的交叉合作和协同创新。
英国自1986年开始在全国范围内推行大学“科研评估机制” (Research Assessment Exercise,RAE),以作为大学科研拨款及 综合排名的依据。此后,RAE 评估体系不断改进完善,极大地促 进了英国大学科研水平的提高,使其诸多学术指标跃居世界领先 地位。为进一步增强科研评价机制对高水平科学研究的导向作用, 并引导大学研究更好地服务于国家社会经济发展,英国政府从2008 年开始对“科研评价机制”进行全面改革,并于2014年正式以“研究卓越框架”(Research Excellence Framework,REF) 取代以往的“科研评估机制”。REF评估体系所遵循的基本规则和价值取向,对改革和优化我国高校科研评价机制具有重要参考和借鉴意义。
1 成果导向
REF从科研成果、科研影响力和科研环境三个方面对大学不同学科的科研情况及实力进行评估。其中,科研成果和科研影响力集中反映了科研的产出情况,在整个评估体系中的权重分别占60%和25%,而与科研投入等支撑条件有关的科研环境的权重仅占15%。
在成果形式上,REF不局限于学术论文,也可以是其他的成果,如专著、艺术展览、音像制品等。高质量的成果是REF评估的决定性指标, 也是形成科研影响力的重要基础。反观我国高校现行的科研评估体系,则明显存在过于注重科研投入的倾向。
例如,2012 年的学科评估体系中,科研项目等投入类指标成为评价科研活动本身的重要标准。用项目、经费、人员等投入类指标来衡量科研水平和创新实力,在一定程度上促使高校科研人员过多的时间和精力耗费在竞争科研项目上,从而减少了真正用来从事科学研究的时间,以致难以产出高水平成果。借鉴REF的做法,我国高校科研评估的改革应强化科研产出、淡化科研投入、重在科研绩效。
同时,应建立成果形式多样化的评价机制,将学术论文、专著、译著、教材、学术工具书、创意设计、发明专利、重要的研究报告、制定国家标准、行业标准等达到一定学术水准的科研成果都纳入评价考核内容。
2 质量导向
质量导向是REF评价体系的核心价值取向。REF规定,每位参与评比的科研人员至多提供4篇代表作。这种限定参评成果数量的做法,旨在引导科研人员要保证成果质量而不要追求成果数4 量。REF的评估时间跨度也较大(一般为6年),以使科研人员有足够时间创造高质量成果。REF评价体系还通过加权评分来强化成果的质量导向。各学 科评审专家组对各单位提交的科研成果按质量高低分为5个星级(0-4星),并对不同星级赋予不同权重。
其中,4星为“世界领先”,3星为“国际优秀”,2星为“国际认可”、1 星为“国内认可”,“低于国内认可的标准”的为0。不同星级成果的权重分 别为:4星为3,3星为1,其他星级均为0。这就意味着,对于一所大学或科研人员来说,必须尽力产出“国际领先”的4星成果或者至少是“国际先进”的3星成果,否则即便产出再多2星及以下的成果,也等于是做“无用功”。由于REF的最终评估得分不仅直接决定各大学获得国家科研经费的数额,更直接关乎各大学和教师的学术声誉,因此这种加权评分机制对科研人员创造高 质量成果具有重要的导向作用。
在评价方法上,REF对成果的星级评定主要采取定性评价。成果的星级评定是一个由各学科专业评审组进行的同行评议过程。评审小组成员一般由从事高水平研究的专家组成,尽管这些专家可以借助某些定量指标来辅助其专业判断,但评审组的意见是决定性的。如果评价过程中使用了定量指标,REF要求评审组对定量指标的使用做出解释,以避免对定量指标的滥用。例如,对学术论文的评价,不考虑论文杂志影响因子的高低和引文的多少,从而排除了采取各种手段增加引用等投机取巧的因素。
当然,在影响因子高的杂志上发表的论文往往是高质量的论文。“重数量、轻质量”是我国目前高校科研评价中存在普遍的问题,多数高校都把 SCI 论文数量以及期刊影响因子等量化指标作为衡量教师学术水平最重要甚至是唯一的尺度,把科研项目数量和经费作为科研内在价值的判断标准。这种简单化的评价导向,违背了科学研究的本质,也催生了学术浮躁、科研不端等各种问题。因此,我国高校的科研评价宜借鉴 REF的做法,要设计有利于引导科研人员创造高质量优秀成果的评价指标体系,通过限定成果数量和强化高质量成果的评分权重,鼓励和引导科研人员出精品。
3 贡献导向
科研活动的价值不仅在于学术本身,最终要体现为对经济发展和社会进步的贡献。基于此,新的REF评估体系首次将研究成果的社会效益和综合影响作为评估的重要指标,这也是其改革的最大亮点。为了促进高等教育机构和工商业界的相互合作,REF在注重科研产出的同时,要求参评的单位提供书面材料、叙述科技成果的社会综合影响,以此集中考察其科研活动对经济、社会及文化产生的影响,以体现高校在国家科研投入中的社会回报。在REF评价指标体系中,科研影响力主要是指科研成果对经济、社会、文化、公共政策或服务、医疗卫生以及生活质量等各个方面所带来的变化、效益和影响,其权重占到 25%。
当前,我国高校科研评价对创新成果的社会效益和综合影响的重视还明显不足,例如,对科研项目的验收评审,多局限于其成果是否刊登在高水平的学术刊物;对科研人员的评价,则主要看其发表论文、承接课题、申请专利的多少,而不太关注论文、专利本身的真实价值,特别是其社会影响、经济效益。这种做法,在很大程度上导致了目前高校科研活动与经济社会发展的严重脱节。因此,大学科研评价需要坚持贡献导向,在科研评价中,要增设社会经济价值等内容,重点评估科技成果对经济、社会、公共政策和服务、环境、文化等方面所产生的积极影响。
4 协同导向
鼓励不同高校和不同学科之间的协同创新是REF评价体系的另一显著特征。REF规定,不同高校之间的合作署名成果可以被不同单位重复提交,但同一大学内部的合作研究则只能提交一次。并且,对于不同高校间的合作成果,REF在给出整体评分的同时,各合作单位均共同享有合作成果的评分,而不是只认可第一单位或通讯单位。为了促进学科交叉整合,新的REF也大大减少了评估单元数量。改革后的REF 评估学科单元由原来的67个减少到36个,主评估小组从15个减少到 4个,其目的在于鼓励推进重要领域的跨学科研究,积极从学科交叉中寻找新的学科生长点,提升国家研究的整体实力。
与REF评价体系相比,我国很多高校的科研评价体系只认可署名第一作者的成果和第一完成单位的项目,严重阻碍了科研合作与协同创新,不利于创新团队的培育和整体发展。在当今的大学科时代,合作与协同已成为科研活动的重要特征和趋势,注重第一作者、第一单位、第一完成人的做法亟需改变,要设计有利于促进和引导不同高校和不同学科之间协同交叉合作和协同的评估指标体系。