ACM通信
ACM的意见
CVPR争议;ML社区评审同行评审
一系列事件和社交媒体上的激烈讨论让同行评议过程本身受到了审视。
来源:Medium.com
同行评议是一个重要的过程，它将新研究交由同一领域的其他专家仔细审查。今天的顶级机器学习(ML)会议严重依赖于同行评审，因为这允许他们衡量提交的学术论文的质量和适用性。然而，一系列令人不安的事件和社交媒体上的激烈讨论，让同行评议过程本身受到了审视。
缺乏实验结果的再现机制
一年一度的计算机视觉与模式识别(CVPR)会议是世界上计算机视觉领域的三大学术盛会之一(另外两个是ICCV和ECCV)。一篇被CVPR 2018接纳的论文最近受到了质疑一位Reddit用户声称，作者提出的方法无法达到承诺的准确性。
的想法扰乱性的神经网络就是将3×3卷积替换为1×1卷积，并对输入施加一些噪声。据说它的性能也一样好。对我来说，这没有多大意义，所以我决定测试一下。作者方便地提供了他们的代码，但仔细检查发现，他们计算测试精度是错误的，这使他们所有的结果无效。”
论文的第一作者徐珏飞立即回应道:“我们现在正在重新进行我们所有的实验。我们将用更新的结果更新我们的arxiv论文和github仓库。如果分析表明我们的结果确实比CVPR版本报告的结果差得多，我们将撤回这篇论文。”
这位Reddit网友的挑战揭示了一个经常被忽视的问题。作为同行评审过程的一部分，评审人员不一定要将自己的时间和资源投入到运行代码和重现实验结果上，相反，他们倾向于依赖于作者的诚实和能力。
从媒介
查看全文
没有发现记录