审查要求英国研究中使用指标负责
指标应该支持,而不是取代,专家判断的研究评估,一个独立的审查结论。的度量潮审查认为指标或指标只能善的力量,但如果他们使用负责。和更广泛的使用指标可以支持转向更加开放,负责研究体系。
评审是去年委托由英格兰高等教育拨款委员会(Hefce),这是今年秋天准备推出咨询在下一个英国大学的评估,卓越的研究框架(REF)。裁判的结果是非常重要的大学,因为它影响的分布在每年£16亿的资金。
一些指标可以丰富但你必须了解他们的背景以及他们应该只被用来通知同行的判断,”说Stephen咖喱结构生物学家伦敦帝国理工学院,英国,审查小组成员。他们也许有价值,但他们需要使用的核心信息是负责任的。”
报告指出,强大的电流煽动度量潮流:评价公共开支越来越大的压力,要求决策者更好的战略情报研究质量和影响,并在机构之间日益激烈的竞争。
削减成本
报告指出,如果底层数据基础设施可以提高,收集度量标准的成本应该下降,这可以减轻同行审查的努力在某些领域。因此建议指标数据标准化和统一。
评审是伴随着大量的文献回顾和REF2014的分析结果。裁判是一项繁重的运动,所以我们看是否我们可以使用度量来减轻负担的评价,“咖喱说。“不幸的是,发现是:大概不会。”
个人指标给从裁判同行评审过程明显不同的结果,并不能提供同比替换。一个类似的努力预测REF成功基于指标也是非常不准确的。即使建立了文献计量指标的相关性与裁判结果意外疲弱,笔记的主席审查詹姆斯·威尔斯顿教授苏塞克斯大学的科学和民主,英国主张使用术语在度量指标。定量数据可以丰富和被包括在裁判,但没有明智的在不久的将来前景的远离主要指标参考同行审查裁判,”他补充道。
高等教育机构使用的度量、资助者和出版商需要配合更好,复习笔记。需要更大的透明度的使用指标,特别是对大学排名和排行榜。这些报告中遭到滥用期刊影响因子,h指数和grant-income目标来衡量质量也受到抨击。
道德的措施
个别研究人员也应该意识到自己的行为使用指标时,威尔逊说。负责指标意味着他们应该健壮、透明、多样化和谦逊。避免拍一个h索引你的简历或被人带来期刊影响因子在一个面板中,建议威尔斯顿。“多花,看报纸。
其他非传统指标如下载、社交媒体股票和其他措施的影响“可能是有用的工具,学习如何研究传播和在学术界以外的,咖喱说。但他补充说,“不是一个可靠的测量质量的研究”。
其他人认为定量数据的作用。有两个定量和定性指标的空间。我们肯定他们是同一枚硬币的两面,”评论尤安爱狄的创始人Altmetrics.com。的诱惑可能会说,好吧,度量可以被滥用,因此我们应该坚持同行审查,也不是没有问题。这是把婴儿和洗澡水一起倒掉了。我们相信人们做出好的同行审查判断,肯定正确的帮助和方法我们可以信任他们使用指标合理。”
暗流在审查是担心一个痴迷计算一切破坏的研究。威尔斯顿说,研究社会两极分化的问题,一些支持度量来节省时间,而另一些人则强烈反对。
这是惊人的,我Hefce甚至在某些方面必须做这个报告,”评论李·克罗宁英国格拉斯哥大学的。“你判断艺术作品的数量中风在这幅画吗?他欢迎同行评审和上下文的重要性在报告中强调,英国的态度感到自豪。我们有竞争力,因为我们的质量同行评审,但濒临灭绝,因为蓝天研究严重不足,“克罗宁说。
他担心指标将被滥用由于短缺在英国科学研究资助和鼓励保守主义。“我们想要基金肯定科学?我担心指标正推动年轻人到填写项目申请的程序为先。”
等指标影响因子作为无用的嘲笑,但计算化学家亨利Rzepa英国伦敦帝国学院认为改变是被忽视了。“也许这些指标的最有价值的应用研究将数据。”工程和物理科学研究委员会(EPSRC)要求在5月研究数据必须妥善管理,包括有数字对象标识符(DOI)。一旦你有了DOI的数据可以应用标准同样可以应用到杂志上的一篇文章中,除了意思是截然不同的,”Rzepa说。
几乎每个人都接受的担忧指标是必要的。人们正在采取快捷方式和使用指标,而粗鲁的和不恰当的方式穿过决定,”威尔斯顿表示。评审旨在帮助大学、资助者和个别研究人员以负责任的方式使用它们。
一个讨论的博客已经建立和“坏指标”奖每年将获得一个机构的认定标准的使用。”这样的名字和羞耻函数是相当有效的坚持鼓励人们三思而后行这样做,”威尔斯顿表示。
还没有评论