ACM通信
观点
观点:将学术出版过程扩展到互联网规模
插图:Jon Han
大多数计算机科学会议的审查程序起源于前互联网时代。在这个过程中，作者提交的论文由计划委员会(PC)成员和他们的代表匿名审阅。审查通常是单盲的:审查员知道论文作者的身份，但反之则不知道。在审查过程的最后，作者会被告知论文被接受或被拒绝，同时也会得到审稿人的反馈和(通常)分数。被接受的论文的作者使用这些评论来改进论文的最终副本，而被拒绝的论文的作者使用这些评论来修改和重新提交到其他地方，或者干脆撤回它们。
更广泛的计算机科学界的一些会议以以下三种方式之一修改这个过程。在双盲评审中，评审人员不知道(或者至少假装不知道)作者。通过指导，PC成员确保被接受的论文的作者进行了PC所要求的修改，但有微小的缺陷。而且，通过展期，在一个会议上不能被接受的论文会自动重新提交到另一个相关的会议。
令人惊讶的是，互联网的出现几乎没有改变这一过程。一切照常进行，除了论文和评论是在网上或通过电子邮件提交，论文讨论和选择过程是全部或部分在网上进行。一个天真的观察者，看到审查过程的基本结构被如此逼真地保存下来，可能会得出这样的结论:这个过程已经达到了完美，这就是为什么互联网对它的影响如此之小。遗憾的是，这样的观察人士大错特错。
当前审查过程存在的问题
我们认为论文审查过程至少存在五个问题:
- 论文总量的稳定增长:因为有经验的审稿人的数量似乎没有以相同的速度增长，这增加了平均审稿人的工作量。
- 粗略的评价:有些评论者做得特别差，没有进一步的理由就给出数字评分。
- 论文质量下降:尽管目前最好的论文与过去最好的论文不相上下，但我们发现提交的平均论文质量有明显下降。
- 偏袒:有一种明显的看法是，与个人电脑有密切关系的研究人员的论文会在一种隐性或显性的针锋相对关系中优先被接受。
- 过于负面的评价:有些人喜欢在别人的工作中发现错误。但这通常会导致过于负面的评论，让新手作者感到沮丧。
这些问题是相互关联的。论文数量的增加至少在一定程度上导致了论文质量的下降和评论质量的下降。这也导致了纸张质量的不断变化。类似地，当会议的接受率下降时，评审员就会更有动机去写过于负面的评论，并偏向他们的朋友。
报纸出版游戏
论文评审和发表可以看作是一场游戏。在这个博弈中有三个参与人，假设他们是理性的，在通常的经济学意义上，他们有以下动机:
- 作者希望自己的作品能被发表，或者至少得到详细的，但不一定是正面的，书评人对他们作品的反馈。他们也不想被诱导成为审查员。
- 审稿人/PC成员想要最小化他们的工作(例如，通过给出分数，但没有理由)，同时试图拒绝与他们自己的论文竞争的论文，并接受来自他们朋友的论文。他们想要拒绝那些让他们难堪的不能接受的论文。最后，他们想要在PC领域获得声望。
- 主席/TCP/研究社区的利益相关者希望拥有最高质量的论文，同时试图包括新鲜的想法，并提供对该领域的一些覆盖感。
有趣的是，这里列出的问题之所以出现，是因为现有的论文审查过程没有明确解决这些相互矛盾的激励。对于作者来说，没有明确的激励他们成为审稿人，或者限制他们提交的论文数量，或者提交高质量的论文。对那些写了粗鄙评论的评论者没有任何检查，一个过于消极，或者偏心。难怪这个系统几乎不起作用!
激励对齐机制
我们的目标，在表格在这一点上，要设计出激励相容的机制来做正确的事情。在这里，我们描述了实现这些目标的一些机制(与表中建立的A1、A2、R1、R2、R3标记方案相关)。我们的建议包括一些勇敢的会议PC主席已经尝试过的一些步骤。还有一些是新奇的，需要实验和经验。
作者激励。我们的第一个机制使用同伴压力解决A1问题。它要求会议不仅要公布被录用论文的名单，还要公布每位作者在该会议上的接受率。例如，如果一个作者要提交两篇论文，但没有一篇被录用，那么会议报告的录取率将是0，如果一篇被录用，作者的录取率将是0.5。因为没有作者愿意被认为录取率低，我们认为这种同侪压力会加强A1。
我们的第二个机制是通过提高复习的声望来解决A2问题。例如，会议可以为评审分数最高的评审人员颁发最佳评审奖b或者在报名费上给他们打折。
一个更激进的步骤是通过虚拟经济的方式同时解决A1和A2问题，在虚拟经济中，人们为评论支付代币，并使用代币来允许论文提交。c具体来说，假设每篇论文平均需要三次评审，评审人员每次评审获得一个代币，与会议无关，而一篇论文的作者一起支付三个代币来提交每篇论文。我们认识到，这假定所有会议都期待同样水平的审查:有人可能通过适当选择审查地点而破坏这一计划。为了简单起见，我们暂时忽略了这个事实。继续我们的计划，被接受论文的作者将根据他们的评审分数退还一个、两个或所有的代币。因此，排名靠前的论文的作者将不会产生任何成本，而被拒绝的论文的作者将花光所有三个代币。显然，该方案迫使作者成为审阅者，并在使用由此获得的令牌时小心谨慎，从而解决A1和A2。
我们注意到，我们显然需要使代币不可伪造、不可复制，甚至可能是可转让的。实现这些目标的电子现金系统是众所周知的d它们只需要适应非传统的目的。我们认识到，调控经济不是小事。系统的过度阻尼将导致会议的论文太少，或评审人员太少。低估令牌的价值只能轻微缓解当前的问题，但会以这些机制的形式增加大量昂贵的开销。此外，目前还不清楚该系统如何实施。事实上，即使是这样，也不清楚如何引导它，或者它是否会产生意想不到的后果。一种可能的技术是发布签名评论，并依赖Citeseer和谷歌Scholar等技术，我们将在这里详细介绍。
目标将是为社区成员在发表前后对论文和作者进行评审和排名提供一个标准的方法。
评论家激励。我们首先讨论处理R1和R3。我们建议作者应该对他们的论文收到的评论进行评级，同时保持审稿人的机密性。然后，平均(非匿名)审稿人分数将在PC中传播。没有PC成员想在他或她的同事面前出丑，所以同伴的压力应该加强R1和R3 (PC勾结会损害会议的声誉)。请注意，我们希望大多数作者对详细但不利的评论给予很高的评价。
一种更激进的选择是公开发表评论，并注明评论者的名字。这个想法是，那些不愿意发表一篇论文评论的审稿人可能天生就有矛盾，因此不应该评论那篇论文。当然，公开评论有过于客气的危险，但这无疑会随着时间的推移而自行解决。使用真标识(verinyms)的优点是它可以处理R1、R2和R3。或者，评论可以用假名签名，这样假名可以在会议中持续存在。不使用假名会保护紧张的人，但会妨碍建立声誉。匿名性和可信度之间存在着根本的平衡，我们无法指望解决这个问题。
我们相信整个学术界都希望有这样一个系统。然而，我们也意识到这样的系统也可以被颠覆。
大统一机制
对激励结构的深入研究表明，也许真正的问题在于，太多的提交和选择论文的工作被隐藏起来了。如果整个过程都是开放、透明和集中的会怎样?目标是为社区成员提供一种标准的方式，在发表前后对论文和作者进行评审和排名，在某种意义上为谷歌Scholar或arXiv添加了ebay式的声誉。所有的论文和评论都是公开的，并有署名，署名的人要么是笔名，要么是真名。这个系统将一举实现多个同时的目标:
- 读者可以得出自己的结论(并告诉全世界)关于作者发表的论文的质量。这将鼓励作者不要提交不好的论文(达到A1)。
- 经常发布且很少评论的社区成员将被曝光，从而实现A2。
- 我们会在论文旁边看到评论和审稿人的名字，地址是R1、R2和R3。
- 我们可以看到谁的观点与我们的一致，从而帮助我们决定读什么论文。
- 有一个很好的机会，非常好的论文最终成为技术报告或在较小的，不太知名的会议上，被提升到最受欢迎。
- 该系统将允许对论文进行持续的讨论和反馈，即使它们已经发表(1)帮助其他人(忙碌的资深人士，以及不知道从哪里开始的新人)，(2)为其他人提供参与讨论和辩论的机会。
我们相信整个学术界都希望有这样一个系统。然而，我们也意识到这样的系统也可以被颠覆。就像电子现金一样，强化信誉系统以抵抗勾结和其他攻击是众所周知的，我们只需要引进适当的机制和技术。
结论
我们已经确定了论文发表过程中潜在的激励结构，并展示了这些激励在哪里导致了糟糕的结果。这些见解使我们能够提出一些机制来激励作者、审查员和社区去做“正确的事情”。我们承认过去有很多利他行为，但在当今资源稀缺的世界，再依赖这种行为可能是不公平的。我们认识到我们的工作是初步的，并遗漏了许多重要的细节，但仍然希望这些想法将成为对这一进程进行根本重新思考的基础。我们希望我们的建议中至少有一部分会出现在未来的会议、研讨会和出版物中。
脚注
c.我们被告知，该方案是由吉姆·格雷(Jim Gray)首先提出的，尽管我们找不到对此工作的引用。
d.例如，大卫·乔姆的开创性著作《无法追踪付款的盲签》，密码学进展， Springer-Verlag(1983)， 199203。
该材料的早期版本发表在组织计算机系统的研讨会、会议和座谈会论文集(WOWCS 2008)。
DOI: http://doi.acm.org/10.1145/1435417.1435430
©2009 acm 0001-0782/09/0100 $5.00
允许为个人或课堂使用本作品的全部或部分制作数字或硬拷贝，但不得为盈利或商业利益而复制或分发，且副本在首页上附有本通知和完整的引用。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定的许可和/或付费。
数字图书馆是由计算机协会出版的。版权所有©2009 ACM, Inc.
没有发现记录