【深度】同行评议复兴:转型的紧急呼声
来源:中文知识网公众号、CSCD公众号 2023-10-26
分享到:

同行评议拥有悠久而丰富的历史,可以追溯到几个世纪前。其根源可以追溯到17世纪早期的科学院和学术团体,那时学者们汇聚在一起来评估彼此的工作。2019年,发表于《学术出版杂志》(Journal of Scholarly Publishing )的一篇研究指出,某种形式的同行评议甚至更早就存在。然而,“同行评议”这个术语以及我们今天熟知的评审过程要晚得多,直到20世纪末才被看作是科学的核心组成部分。

学术环境也发生了显著变化,论文发表的数量持续增加。

640.jpg

20世纪以来,论文数量呈指数级增长  图片来源:Michael Fire and Carlos Guestrin

然而,是否有足够的审稿人来满足这一需求?同行评议流程是否足够高效,能够处理大量论文?

国际研究合作也在稳步增长,2015年到2019年间,增长速度从22%到24%,同时跨学科合作也有所增加。审稿人是否擅长把握涉及评审此类研究的文化微妙之处?此外,他们是否具备评估跨学科研究领域的专业知识?

像eLife和F1000等平台,包括预印本这种新形式的出现,早已引发了有关同行评议基本性质的讨论。一些人表达了对研究诚信的担忧,而另一些人则为论文发表周期的进一步缩短叫好。

同行评议是否为出版过程增值?关于这一问题,存在许多不同的看法。一方面,有关同行评议是否失败,存在争论,特别是在它应解决的问题,即维护研究的质量和诚信上;另一方面,有证据表明,同行评议不仅有助于提高论文手稿的质量,还有助于选择高引用率的论文。

批评声音

“如果同行评议是一种药物,它将永远不会被允许进入市场。” 《美国医学协会杂志》副主编、自1989年以来主持国际同行评议大会的关键人物德拉蒙德·雷尼(Drummond Rennie)如此说道。根据他的观点,同行评议之所以无法获得市场准入,是因为缺乏令人信服的证据来证明其优势;相反,还有很多证据指向其缺陷。

此外,亚当·马斯特罗亚尼(Adam Mastroianni)在他的文章《同行评议的兴衰》中,质疑为什么审稿人经常忽视基本错误和明显的欺诈行为。其中一个原因可能是,他们很可能从不查看支持其所评估论文的数据,而正是这些数据中最有可能出现错误和欺诈行为。事实上,在他看来,同行评议制度的引入可能无意中鼓励了可疑的研究实践。当研究人员们处于一个需要依靠各种努力来发表研究成果的环境中,同时被审稿人要求修改或进行额外的调查时,他们可能会面临巨大的压力。这种压力可能导致对研究的调整,如数据操纵、忽略不利发现,或对各种条件进行广泛探讨,直到达到期望的结果,常常以牺牲较不利的结果为代价。

与这些有关同行评议过程的观点相呼应,意大利特伦托大学计算机科学教授法比奥·卡萨蒂(Fabio Casati)拥有20项专利,他提出了一种消除了预发表同行评议的“液态期刊”,同时表示,他们的研究揭示了传统同行评议制度的缺陷。根据卡萨蒂的说法,许多论文虽然获得了审稿人的好评,但最终对其所在领域的影响有限。相反,许多评分一般的论文成功产生了重大影响。 

同行评议因审查和发表一篇论文所需的时间长而受到批评,(这一过程)有时甚至超过一年,涉及的成本也非常高。要获取有关同行评议实际成本的数据很困难,主要是因为审稿人通常没有报酬。然而,机会成本却很高,即用于审稿的大量时间本可以更有成效地用于进行原始研究等活动。

此外,同行评议意见并不总是一致的。尽管同行评议通常被认为是一个为他人工作提供评论的高度客观过程,但它最终依赖于审稿人的主观观点,很少能实现完全的一致性。就像人们在为电影进行点评时,可能有不同的观点,一个人可能喜欢,而另一个人可能不喜欢(一样),同行评议在这方面也不例外。这些反馈的不一致性通常会令作者感到困惑。

同行评议还容易受到地位偏见的影响,即已知作者与相对不知名的作者相比,无论他们对研究的实际贡献如何,往往更容易获得更多的认可。因为我们正在讨论偏见,我们不应忽视那些非英语母语者在自己选择的国际期刊上发表论文时所遇到的阻碍。批评者还指责同行审稿人会根据作者的姓名或机构来形成对论文质量的假设。

还有一种观点认为,同行评议会抑制负面结果的发表。然而,如果研究问题是有效的,答案是存在的,那么发现的重要性不应取决于其是否是积极的或消极的。

注:以上内容为文章的上半部分,下半部分内容将探讨以下两个议题:

同行评审流程是否已过时?

同行评审的复兴:我们应该朝着什么方向努力。

内容来源:https://scholarlykitchen.sspnet.org/2023/10/12/the-peer-review-renaissance-an-urgent-call-for-transformation/

浏览更多精彩原创文章,请关注↓↓

微信图片_20231026103909.jpg