学术期刊评价十问
2024-04-19
分享到:

每次核心期刊遴选,各种问题和评论如预料扑面而来。笔者曾利用各种会议报告,多次呼吁全面和正确地看待期刊评价工具。所谓“全面”,就是既要看到评价工具合理的一面,也要看到不足的一面:在使用过程中要关注它的问题,要看到引用的不同动机及其复杂性所造成的“引文率”被扭曲的问题。所谓“正确”,就是要客观地评价引文索引的作用,既不夸大,也不贬低。引文索引在期刊评价中只告知人们某一刊物被其他刊物引用的情况,其分析的结果与使用单项或多项定量、定性评价指标得出的评估结果是有很高的相关性的,但这既不是完整和真正意义上的评价,也不是解决各种评价问题的万能钥匙,更不是衡量期刊质量高低的唯一标准。其中有些问题仅靠工具本身是无法解决的,这里既有评价体制甚至科研体制中的深层次原因,也有期刊界、评价界和管理界长期的认识误区。类似的浅见,笔者曾撰文并利用与期刊界同仁交流的机会多次表达,以下试将这些一得之见归纳为“十问”,以期抛砖引玉。

1

本是检索工具的引文索引,为何成了评刊工具?

无论是SCI还是SSCI,无论是国内的引文索引还是文摘类工具,最初都不是为期刊评价和学术评价而设立的,它们的功能是利用期刊之间、文献之间的引证关系以揭示作者之间和科研成果之间的内在联系。Web of Science的大部分栏目介绍如何利用各种检索功能去跟踪研究趋势,如何查找作者、刊物和高质量的论文,如何通过文献之间的引证关系从前人的著述中获取所需知识的线索。汤森路透(Thomson Reuters)强调,不要用期刊影响因子去评价个人的业绩,期刊影响因子只能用于评价期刊。同时,中文社会科学引文索引(Chinese Social Sciences Citation Index,CSSCI)官网改版的重点仍在健全各项检索功能。国外的引文索引在国内推广开来以后,根据文献计量学原理编制的《期刊引用报告》(Journal Citation Reports,JCR)受到重视,影响因子、即年指数(Immediacy Index)、被引期刊列表(Cited Journal Listing)、总被引频次(Total Cites)等一系列评刊指标引发了以文献计量学理论为指导的期刊研究热潮。1998年至2016年9月17日,中国知网中共有756篇文献与引文分析相关。以被引频次为主要依据的核心期刊遴选既可为图书馆藏书建设提供选刊依据,又可为学者高效率地获取所需高影响力学术论文提供参考,因此检索工具变身评刊工具是可以理解的。

2

为什么期刊评价常常交织在学术评价中?

在一些学术研讨会上常见期刊评价机构的代表,期刊评价工具更是不可缺少的学术评价工具。为何2种性质、对象、目的和方法截然不同的评价会纠缠在一起?可能的原因,一是学术期刊是学术成果的载体,对载体的评价和对内容的评价往往很难割裂开来。二是科学家认为在一定的时期内一篇文章的重要程度可以通过被引用或被转载的程度来衡量。毕竟,引用和转载反映了学术共同体对某一学术成果的关注和重视,藉此可了解该研究对其他研究的影响,揭示相关学科之间、相关研究成果之间的关系,这是研究成果学术价值的体现。三是依据文献计量学原理编制的年度性的《期刊引用报告》或它的指标体系为科研管理机构进行学术资源分配、学术活动管理提供了便利,使得复杂的学术评价变得具有可操作性。四是如前所述,量化的引文和转载分析结果与其他评定结果有极强的相关性。五是在量化学术标准“热”起来之前,定性的专家评议正受到诟病,使得同行评议失去了往日的地位和作用[2]。为减少评价中“主观因素”的干扰,量化学术评价的需求与日俱增,于是量化的期刊评价指标登上了学术评价的舞台。

3

期刊评价能引领学术评价吗?

引领即引导和带领,期刊评价能否引领学术评价?笔者认为很难。第一,期刊评价不等于学术评价,也不能取代学术评价,因而从逻辑上讲“引领”缺乏共同的前提。第二,期刊评价主要是针对载体的形式评价,学术评价主要是针对内容的价值评价,目的和性质不一,也就很难论及引领作用。对内容的评价至少要求评价者能读懂论文,对研究难度、论证水平等进行综合分析,在此基础上对科学性、价值性、前沿性、学术贡献、学术特色等作出评判,最终得出对刊物整体水平的估测。显然,这些都不是评价机构的数据加工人员能够做到的。第三,学术评价的内涵远比文献计量学所能测度的内容丰富得多、复杂得多,目前难以用数据刚性地、单一地分析复杂的人类脑力劳动和精神产品。第四,文献计量指标可以反映期刊文献的集散规律和老化规律,不能用来衡量各类科研活动中不同的价值标准。将评价指标作为抓手进行期刊建设,虽有推动规范化等积极的作用,但也有将千差万别的期刊同质化的趋势。期刊评价如此,遑论学术评价了。

4

  为什么说目前的期刊评价主要是基于形式的量的比较?

期刊评价,顾名思义,应对被评客体进行价值评判,因而涉及论文内容。而现有评刊机构的主体是非学科/专业的数据加工人员,方法是基于量的比较,比较内容有论文的聚类度、相关度、规范化、价值的持久性等,而非质的评价。这种评价更多是基于形式的“评比”而非基于内容的“评价”,其根据是:第一,评审的对象是一系列反映被评客体实际状况的数据,或可供相互比较的信息;第二,被比较的各要素须在同一个层面之上,因而对“同质”的关注多于“异质”;第三,要求在评价中彻底摒弃各种“己见”或“学术偏见”,坚持一种多元或中性的立场;第四,在具体操作上,要求评价人员尽可能遵循国家或国际上统一规定的统计口径和数据处理方法,尽可能减少数据处理的主观性;第五,期刊评价将全部论文作为整体进行比较,而非对具体论文内容的分析判断(所谓“以刊代评”)。这几点依次归纳为可比性原则、相容性原则、平等性原则和易操作性原则,恰恰符合“比”的特点。参与比较的各要素根据上述原则“比”出高与低、多与少、强与弱、优与劣之后,排序产生。显然,这与基于内容进行价值判断的“评价”有天壤之别,它甚至不要求“评价者”能够读懂被评对象的内容,只要求掌握数据处理的方法。评比的目的是促进竞争,评比的过程具有博弈的特点,评比的结果将量的大小作为质的高低的参照。这种方法的优点是避开了基于内容的评价的非共识性、耗时性和难操作等缺陷,因此其不仅成为期刊评价的主要方法,甚至成为评议、评判、评奖、评优、评级、鉴定、考核等学术评价的主要手段,因而受到科研管理机构的欢迎,尤其在分配紧张的学术资源时,它是解决矛盾的有力工具。区分基于量的比较和基于质的判断,有利于了解各自的优点和局限,避免混用和互相取代。名为评价实为评比,就可能将一些不可比或难比较的要素排斥在外,用“一刀切”的标准来比较不同研究对象、不同研究方法、受不同传统习惯的影响而表现出的不同形式的学术研究成果及其特点各异的表述方式,其公平性就很难掌握。例如一些“小众”“偏冷”的刊物,其学术价值和办刊质量丝毫不逊于核心刊物,但因为“比”的是数据,它们可能永远无法被重视。

5

为何定量不等同于客观?

对定性和定量孰优孰劣一直有争议,现在的评价方法没有单一地用定性或定量方法,而是结合定性、定量方法。有的学者认为,还是定量指标好,用数据说话比较客观,没有主观操作的空间。笔者的看法是,评价方法由以前的定性为主,转变到定量“一统天下”,再到后来两者兼顾,都有历史的原因和合理性。管理者希望减少主观因素的干扰,避免偏见和争议,促进基于数据的量化评价,量化评价反过来又助推了将科研和利益挂钩的激励机制,并再次强化了科研的行政干预力度。此外,不同于布拉德福发现文献集散规律的时代(那时的论文集散流向遵循着自然分布规律),受一些不良学术生态和行政干预的影响,今天的投稿、引用等行为已经受到人为因素的干预,造成“千军万马过独木桥”的现象:大部分投稿者冲着“核心期刊”而来,不太关注刊物的宗旨和定位是否与论文对路,稿件流向已经呈现非自然状态。但是,需要指出的是,影响因子这种指标所依据的在大样本数据基础上总结出来的各类学科文献交流规律并非专门针对文科、理科或某一学科。引文索引统计源的样本规模庞大,保证了总体数据的可靠性和公正性。影响因子所提供的参量具有统计上的借鉴意义,但不能作为判断期刊质量高低的最终标准,也不完全反映其学术贡献。还需要指出,核心期刊遴选并非全部依赖定量方法:从编辑选稿、同行评议、主编定稿到数据加工人员规范性审查,及至最终由各学科代表组成的学术委员会审定,以及遴选前的问卷调查都可视为基于内容的定性评价。

6

何谓质量评价?

对期刊评价中的几个概念——主体与客体、形式与内容、定性与定量,人们比较容易理解。而“质量”是什么?是所有评价指标的总和?是刊物优劣的程度?是(客观)价值的主体感受量(如需求满足度)?不少人通常将进入重要数据库作为质量的评判标准。首先,引用或转载评价不能与质量评价混同。期刊的被引用或被转载情况会受到许多主观因素以及时间、语种等客观因素的影响,引用或转载次数上的微小差别不能有效说明论文质量的高低。再者,虽然被引用和转载是论文价值的体现,但科研成果中的价值从被发现到被重视、承认和广泛接受有一个过程,成为“热点”而被大量引用不能与“高价值”完全划等号,未被引用亦不能与“没有价值”划等号。其次,质量标准是多元的,取决于期刊的定位和评价主体的角度。对学术期刊、工作期刊、科普期刊应有不同的质量标准:就内容而言,应用性是工作期刊的质量标准;仅就学术期刊而言,质量标准又可分为学术标准、编辑出版标准、影响力标准和同行专家定性评价标准。不同的学科亦有不同的质量标准,基础理论研究也不同于应用实践研究。

7

学术期刊质量追求的首选标准是什么?

学术研究的根本目的在于创新,创新力应是衡量学术论文及其所在刊物价值的首选质量标准。一篇没有创见的论文,对社会进步和科学技术发展不起作用,也无法提供科技领域的新内容。创新性强,则论文价值高。创新力评价要求评价者对相关的学术领域有深刻的了解和洞察,难以避免同行专家因其学识、兴趣等个人因素产生歧见;对“异质”的关注要多于“同质”,更侧重个性而非共性。在求异或逆向思维主导下的创见在最初未必会取得共识,成为热点,因而在一定时间内不一定有较高的被引频次。至少到现在为止,还没有可评价内容创新力的理想的定量方法和量化指标。因此,目前不得不借助影响力指标来间接地评估。从实践来看,很多有持久、广泛、强大影响力的论文也具有相当的创新力成分——创造前所未有事物的能力、解决问题的能力、在思考过程中产生创新事物的能力、将可联结的要素结合成新的关系的能力,等等。可将创新力归结为以下特征:

1)形成新颖、有用、可接受结果的能力;

2)使某些新事物诞生的能力;

3)产生某些有价值的新观念、新构想、新领域的能力;

4)把不同事物连接成新关系的能力;

5)探索未知,进而组成新知的能力;

6)一种独特的解决问题的能力或方法;

7)对问题形成假设、修正或重新考验其假设的能力;

8)运用批判性思维打破惯性思维,利用推测、演绎、联想等方法探询并产生不同答案的能力;

9)觉察到领域的缺陷、要素的遗漏等,寻求答案、验证假设、报告结果的能力;

10)运用变通力、敏觉力、独创力,将常用思考方式变成不寻常及产出性的思考方式的能力;

11)将无关、零碎信息组合成新成果的能力;

12)用无法预测的方式改变已存在的、可以利用的材料的能力。

提升学术期刊创新力的抓手是什么?

笼统地说,鲜明的特色、问题导向、创新意识、学理的深化、跨界整合……这些都是学术期刊的生命力和创新力的特征所在。笔者并不认为现有评价指标能促进创新力的提升,而是更同意学术批判或学术批评是提升上述创新力的主要抓手。写学术论文需要有发现的惊喜、研究的激情和写作的冲动,而不是为完成任务、完成考评指标而“被迫”写作。最有生命力的学术论文是那些能够品优、辨劣、提问、补缺、质疑、讨论、探究、建言、商榷等的文章,这种文章多了,刊物的创新力和影响力也就能得到提升。

9

期刊评价的目的是什么?

这个问题本来应放在首位,之所以“本末倒置”,是因为笔者试图厘清办刊目的和评价目的这两者的关系。在探讨了上述矛盾及其存在的原因后,回答这个问题其实不难,每种刊物的宗旨在创刊时都说得清清楚楚,但刊物在运行中却要花很多精力钻研评价指标的计算方法以及进入重要数据库的种种“方法”和“途径”,按评价指标的要求做似乎成了工作的重心和抓手。在反复说明期刊评价“是什么”“不是什么”,以及“能做什么”“不能做什么”之后,笔者的一得之见是:评价应服务于办刊宗旨,而不是倒过来,也不应为评价而评价,更不应为了成为“核心期刊”而评价。对刊物而言,甭管指标怎么说,也无论数据在何种状况,离“门槛”还有多远,该怎么办刊就怎么办!一切按办刊的规律和要求做。核心期刊现象是在布拉德福定律发现前就存在的,而不是布拉德福定律引起的。换言之,那时核心期刊的主编们并不依照布拉德福定律,而是按照学术研究宗旨和办刊的内在规律办刊。在文章、刊物和评价三者关系中,历来应有的秩序是“好文章—好刊物—好评价”,而不是倒过来,以指标为抓手把评价数据“做”上去。

10

“解套”能做什么?

“解套”不是一种刊物能做到的,需要集体努力,共同走出认识上的误区,淡化核心期刊“指挥棒”意识。核心期刊是一种客观存在,可当它成为追逐的目标和行动的自觉时,就变成了指导一切工作的“指挥棒”。科研管理上的“核心期刊意识”是将核心期刊论文作为科研定量管理的硬性指标,而非参考指标,忽视或轻视低被引频次的好论文,在此思路下出台的各种评价指标和配套政策成为教学和科研的“抓手”,导致只认刊物不认论文的学术评价。刊物建设上的“核心期刊意识”是摈弃学术期刊发展自身的规律和初衷,只以期刊评价指标为“抓手”,以提高影响因子为唯一目的,这有可能导致期刊偏离了学术追求和社会关切,走向世俗化、功利化和同质化。作者的“核心期刊意识”是以在核心期刊上发文为目标而不论期刊是否适合发表自己的成果,导致为“核心”而投稿、为论文而论文,一旦刊物离开了排行榜,立即撤稿改投他处,哪怕削减一半篇幅也在所不惜。长此以往,学术成果价值大打折扣。学术评价机构的“核心期刊意识”是试图掌握评刊的话语权并引领学术研究方向,而不是关注如何通过学术批判和学术争鸣去提升期刊的创新力。

 

结语

上述一得之见不一定成熟,为说明观点也难免以偏概全。此外,产生“核心期刊意识”的真正原因并不都在刊物、作者或评价机构,克服和抵制由此带来的负面效应也非一刊、一人、一机构之责。引文索引能做的,就是尽力淡化“核心期刊排行榜”的角色,回归为学术活动提供数据服务的原位上来。就CSSCI而言,应利用多年的数据积累发挥向用户推优的作用,为作者和读者的阅读与投稿提供依据,为科研管理提供信息服务,为优秀学术成果的传承和传播提供便利,为期刊建设提供有益的建言等等。毕竟,作为引文索引,它的主要职责就是让学术成果得到后人不断的解读和引用,方便成果被他人获取并用于相关的研究,使其在更大范围内得到学术同行的认可。这是所有引文索引的初衷,也是它最大的价值体现。