谁评论评论?

看似无害的短语“同行评审”能唤起一些强烈的情绪反应。对于它的支持者,它是科学的基石之一,作为一个质量保证体系,帮助维护科学标准和完整性。但反对者声称不能实现这些目标和浪费大量的时间和金钱没有明显的好处。无可争辩的是广泛使用的是:大多数期刊论文综述了出版之前,大多数授予申请人是同行评议,许多应用程序来出席会议也在同行评议。但为什么同行评审存在,为什么今天是科学界如此依赖它?

凝视过去

可能令人们吃惊的是50年前听说不是每个期刊使用同行评审,根据艾琳Fyfe圣安德鲁斯大学的历史学家在英国。她目前正在领导一个项目看的历史哲学汇刊,世界上最古老的科学杂志出版的皇家社会。这是第二次世界大战之后的几十年里,同行评审真正起飞,她说,但它已经存在超过。的同行评审,现在我们知道这是一个19世纪的发明,在此之前这是一个非常独特的事情与社会出版物。“英国皇家学会成为第一个学术团体介绍同行审查1832年写的。哲学汇刊已经150多年发表的这一点上,和之前的80年一直使用一个委员会来决定提交文章。

Fyfe的团队一直探索的问题之一就是为什么它被认为是必要的介绍。“与集体责任,”她解释说。将稿件发送到两个社会的成员是该领域的专家评论意味着决定是否公布成为社会的集体判断,不只是少数人的一个委员会。对集体责任的渴望也解释了匿名的评论者的愿望,尽管一些早期的评论家高兴地曝出自己的裁判报告。

同行评审的外表在社会出版因此可以解释,但是理解它为什么那么开始被商业出版商为历史学家仍在发展中。商业期刊,等自然,最初是由编辑决定独自是否发布提交工作。然而,在20世纪下半叶开始改变。在1970年代中期,例如,自然介绍了同行评议标准编辑过程的一部分(只是偶尔在那之前使用)。人们似乎跳上一个同行评审的潮流尚未完全理解的原因,“Fyfe表示。

一个神圣的牛

我们不仅不知道为什么同行评审来确定价值的手稿是一个系统提交给几乎所有的期刊,但是我们也有很少的证据证明其有效性。一些强大的研究来确定它的价值在杂志出版,和那些主要是负面的。理查德•史密斯的前主编英国医学杂志,是同行审查最严厉的批评者之一。他描述了同行评议杂志准备杀圣牛。史密斯表示,同行评审的失败检测错误或欺诈在杂志出版论文和它的使用应该被废除。相反的,他声称,发表的文章都应该和社区可以自己决定什么重要,什么不。

然而,目前只有少数的科学界似乎同意斯密的观点。Jan Velterop退休科学出版商活动广泛在杂志出版问题上,说的理由不是很科学。这是非常与整个文化的科学,应该是同行评议,”他解释说。”史密斯提出了一个很好的论点,但我不会走这么远,说我们应该忘记同行审查。它可能是逻辑上正确的做法,但是在心理上不是这样的。”

虽然有一个缺乏可靠的研究支持使用同行评审的期刊出版,最近的一项研究发现同行评审授予应用程序工作得很好。研究人员检查了130000个项目由美国国立卫生研究院资助的1980年至2008年,发现那些更好的同行评审分数不断生成更多的出版物,引用和专利。

增加保密级别

虽然支持同行审查仍然很高,但也强烈支持它的发展。在科学、同行评审过程通常是单盲,自从同行评审首次引入。这意味着科学家审查论文(裁判)给出了作者的名字,但作者并不告诉裁判的名字。

观点正在改变我们保持开放的心态。

今年3月,自然出版集团(NPG)开始提供它们的作者选择双盲在所有的同行评审期刊。这意味着作者的名字和从属关系的裁判是隐藏的。评审人员不知道作者的名字,直到论文被接受,”解释道薇罗尼卡Kiermer的执行编辑核计划组。这个选项了接近两年的审判后两个出版社的期刊:自然地球科学和自然气候变化。我们大约20%的作者选择了双盲同行审查试验期间,”她说。

引入双盲同行审查选项是核计划组在应对来自科学界的需求,Kiermer补充道。全世界,特别是早期职业科学家真正表现出渴望通过双盲的同行审查由于认为有偏见(单盲同行评审)系统与作者联系在一起。虽然Kiermer说这并不是这种情况,需要解决这些问题是这个选项被引入的原因。

双盲同行评审是广泛应用于人文科学,而是通过一些科学期刊。“我们认为,我们是第一个出版商部署双盲同行评议在自然科学的任何规模,“Kiermer说。NPG打算非常开放实验的成功或失败。我认为同行评议系统紧张点,体积,和作者表达不满,因此现在是时候为所有出版商尝试和分享这些实验的结果。我们应该共同努力,让同行评议体系更好。”

更开放

与此同时,英国皇家学会提供的选项去掉匿名同行评审过程的新杂志皇家学会开放科学。这个杂志——2014年9月首次发表论文——提供了开放的同行评审:这意味着作者和裁判都知道对方是谁。《华尔街日报》也出版了裁判的名字,以及他们的报告和所有的信件,在纸上。“开放同行审查选项已经被约70%的作者迄今为止,”说斯图尔特•泰勒英国皇家学会出版部门负责人。

开放同行评议等许多其他期刊BMJ开放这些生物医药中心发布的。”有很多同行审查的讨论,很多人呼吁更多的开放性和透明度一般科学,”泰勒说。”这是一个新的杂志,我们认为这将是值得一试的实验,而不是朝相反的方向向双盲同行审查,我们认为这将是更好的走向一个更加开放的系统。

正如《华尔街日报》还不到一年,任何影响这种开放是对裁判的质量报告尚未分析。四个月,2006年自然进行一个类似的设置,他们邀请新提交的论文的作者让他们任何人评论发布在网站上。对于这个试验,论文也受到标准的单盲同行评审过程。所有提供的评论都是开放和名字必须被包括在内。只有5%的作者的开放同行审查选项在审判期间,将近一半的这些没有收到评论。大多数发表的评论被认为不是技术上实质性的杂志的编辑人员。因此我们没有追求开放同行审查,“Kiermer说。但观点正在改变我们保持开放的心态。我认为开放同行审查可能会重新审视(在我们的期刊)。”

登记报告

另一个控告同行评审是偏向研究积极的或更引人注目的结果。”有很多担忧,某些类型的研究得到发表优先于他人,人们很难发表负面或复制的结果,”泰勒说。为了克服这一点,选择过程皇家学会开放科学不考虑可能影响或工作的重要性,只是听起来是否科学,在决定是否发布一篇文章。

出版商收取很多钱组织同行评审过程

今年夏天,《华尔街日报》将进一步一步消除发表偏倚的注册报告。由爱思唯尔日报皮质,这些将同行评审过程分为两个截然不同的阶段。作者首先提交他们的研究方法、协议和假设预先批准出版前收集数据。决定接受或拒绝将前一篇论文结果是已知的。“决定是否发布是分开的结果实际上是什么,“泰勒解释说。当研究论文将由裁判检查一遍又一遍——作者提供协议后他们说他们要遵循——工作将发表无论结果是积极的还是消极的。我们希望这将删除有效发表偏倚。

加快工作效率

同行评审的另一个问题,无论上述形式,是速度,或缺乏它。它是出了名的慢的原因很多,包括编辑难以找到合适的裁判,然后一些裁判超过合理的文件报告。这是不考虑评论者所需的额外的工作。一起提倡的事情的一个方法是评论员名义费用支付他们的工作。今年早些时候,NPG短暂使用外部快速进行同行审查公司Rubriq大开放获取期刊科学报告。Rubriq指控作者600美元(£380)为其服务,声称在两周内得到同行评审的文章。

“我们想要做的是看看支付评论者少量的钱,不足以影响他们的决策过程,但足以让他们把顶部的同行评审的任务清单,你可以加速这一过程中,“解释道Nandita Quaderi,出版开放研究主管NPG。只有约1.5%的作者提交文章四周期间选择他们的文章通过Rubriq同行评议。Quaderi说审判仍在分析的结果来决定它的成功,但在这一点上他们没有任何计划出来科学报告或者其他的NPG期刊。的一些原因不可能负面的反应的一些科学报告编辑这个试验。这个期刊学术编辑管理其同行评议过程中,与其他核计划组内部专业编辑期刊,和一些学者以辞职相威胁,当他们发现了审判,生成一系列媒体的故事。

Rubriq但是被其他出版商,但到目前为止在很小的范围内。自2012年开始,回顾了1125篇论文。科学的贵族,这提供了一个不同的模型的外部快速同行评审,回顾了2011年以来的199篇论文。

把控制回学者手中

出版活动家Velterop是开拓一个更激进的方法提高同行评审过程:考虑控制从出版商手中的学术界。从今年夏天,在Velterop的支持下,《科学期刊发表的公开将提供一个“同行审查背书”的选择。当参与作者提交他们的期刊文章,他们还需要提交报告从两个同行。有谁能和不能充当裁判,如他们不能建立在同一机构作者或最近合著的一篇论文。签署了裁判报告将发表在文章。

这种方法的一个最大的优势,根据Velterop,是成本。“出版商收取很多钱组织同行评审过程,”他说。他估计那篇文章处理费用可能会削减从约3000美元到近500美元支持使用同行评审的论文。”我不期望每个人都突然会这样做。我认为可能会有某些类别的文章,比如那些负面的结果或那些较长的比一般——它很有趣。一旦它是一个更成熟的做事方式然后别人会车载我肯定,“Velterop解释道。“不是每个人都买到开放获取然而即使它已经存在了15年左右,”他补充道。

出版同行评审

期刊发表的科学开放还出版同行评审的发布平台(如做其他一些期刊)。这意味着任何人都可以添加评论谁希望这样做在网上的文章,只要他们使用他们的真实姓名。也有网站不隶属于任何出版商已设置专门的目的出版同行评审,比如PubPeer。Velterop还没有但是相信通过这种形式的同行审查的价值和奇迹是否会看到时间的天气。“早期经验表明,使用率很低,经常只是一行的评论。这不是我所说的同行评审,”他解释说。也在很大程度上非常负面评论,你得到,有时甚至是非常粗鲁的。

出版同行评审可能是一个新学期,但其概念已经存在了只要自己期刊。这是科学已经工作了很长时间,”Velterop说。“如果你不同意什么写你写自己的文章反驳或任何一种出版的同行评审。所以,没什么新的。”

和抱怨同行评审并不是什么新鲜事,1936年爱因斯坦的回应所示物理评论他第一次在收到裁判的报告。亲爱的先生,我们(Rosen先生和我)寄给你我们的手稿出版并没有授权你拿给专家之前打印出来。我认为没有理由地址——在任何情况下错误的评论的匿名专家。这一事件的基础上,我更喜欢在其他地方发表论文。”,虽然同行评审可能目前处于转型阶段,看来,至少在不久的将来,它和所有的抱怨都其有效性仍然呆在这里。

尼娜Notman位于索尔兹伯里的科学作家,英国