我们赖以生存的许多生物医学和其他科学突破都是由公共科学基金提供的。然而，资助决策的过程，即资助提案的同行评审，在历史上一直没有得到充分的研究，目前的方法可能会导致不良的结果。
当时隶属于美国生物科学研究所的Stephen a . Gallo和来自华盛顿大学的Michael Pearce、Carole J. Lee和Elena a . Erosheva在《研究诚信与同行评审》杂志上撰文，强调了拨款评审中与提案评级相关的问题，并提出了一项改进方案。
作者说，在许多评审项目中，提案的资助主要基于评审人员的评分和汇总统计数据，这些数据代表了评审人员对提案质量的评估。然而，仅仅依靠评级可能会给建立资金优先级带来问题，“特别是在区分类似评级的提案时，特别是对于高质量的项目，在这些项目中，只有一些小的弱点就会导致资助项目和拒绝项目之间的差异。”
此外，Gallo和他的同事说，评级标准的使用“经常迫使审稿人基于一系列确定的但较小的弱点来惩罚一个项目，尽管事实上他们可能会发现整个应用程序具有潜在的重大意义。”
为了解决这些问题，作者建议在传统的评级方法中增加排名，并描述了一种称为Mallows-Binomial的创新方法，该方法可以产生综合的提案分数，以及诱导偏好排序。在这样做的过程中，这种方法允许资助者考虑审稿人的分数以及他们对提案相互比较的意见。Pearce表示，纳入排名将“更准确地将审稿人的意见提炼成有用的产出，从而做出明智的资助决定。”
对于研究资助者，作者建议与仅评级的方法相比，Mallows-Binomial协议有明显的好处。其中包括“提供一个有信心指标的优先级排序列表，在类似评级的提案之间提供更高程度的区分，以及对异常值和审稿人不一致的稳健性”，这些特征对于将审稿人的意见提炼为“有用的输出，以做出最佳、最明智的决定”，为关键研究提供资金至关重要。
本文来自作者[谷冬]投稿，不代表1U号立场，如若转载，请注明出处：https://wap.1ugp.com/zskp/202508-1768.html
评论列表（4条）
我是1U号的签约作者“谷冬”！
希望本篇文章《综合评估新方法：研究人员提出评分与排名的创新方案》能对你有所帮助！
本站[1U号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：我们赖以生存的许多生物医学和其他科学突破都是由公共科学基金提供的。然而，资助决策的过程，即资助提案的同行评审，在历史上一直没...