ACM通信

瓦迪的见解

由计划委员会占卜

Moshe Y. Vardi著
ACM通信，2017年9月，第60卷第9期，第7页
10.1145 / 3122847
评论(1)

占卜是一种帮助做决定的神秘仪式的实践。它有悠久的历史渊源。根据圣经《撒母耳记》第11章^th公元前100年，希伯来国王扫罗在与非利士人的战斗前，向恩多的女巫寻求智慧，她召唤了死去的先知撒母耳。亚历山大大帝在公元前332年征服埃及后，拜访了位于锡瓦绿洲的阿蒙神谕，以了解自己未来的前景。占卜可以通过多种方式进行，包括sortilege(抽签)，阅读茶叶或动物内脏，随机查询文本，等等。占卜自古以来就被认为是迷信;希腊学者卢西安在公元前2世纪就已经嘲笑过占卜了^nd世纪CE。然而这种做法仍在继续。

20年代数学和计算机科学的发展^th世纪让人们对占卜的力量有了新的认识。除非我们相信占卜真的能让我们向神请教，否则我们可以简单地将其视为随机化的一种形式，这在博弈论和算法设计中被认为是一个强大的结构。经典的博弈论例子是石头剪刀布的博弈，在这个博弈中，不存在纯策略的纳什均衡，但存在一个纳什均衡，在这个博弈中，双方都随机选择了一致的行动。经典的用餐哲学家问题没有对称的分布式确定性解，但是，如Michael Rabin所示，如果我们允许随机化，就有这样一个解。其基本见解是，随机化是处理不完全信息的一种强大方法。因此，正如人类学家迈克尔·达夫在20世纪70年代所认识到的那样，当婆罗洲的坎图人通过观察鸟类来决定哪些地方可以耕种，哪些地方可以休息时，他们只是在面对雨、虫害等不确定因素时进行随机选择，但这种随机选择伴随着对决定的神圣来源的信仰。(参见迈克尔·索森的文章https://goo.gl/RYb264)。

但是这和项目委员会有什么关系呢?2014年，神经信息处理系统基金会(NIPS)会议将项目委员会分裂为两个独立的委员会，然后将提交的166篇论文的10%交由两个委员会进行决策。两个委员会在43份文件上存在分歧。考虑到NIPS论文的录取率为25%，这意味着接近60%的论文被第一委员会接受，被第二委员会拒绝，反之亦然。(参见埃里克•普莱斯(Eric Price)的分析https://goo.gl/fy5jLR)。这种高度的随机性让许多人感到惊讶，但我发现这是意料之中的。我自己的经验是，在一个典型的项目委员会会议上，人们普遍同意接受排名前10%的论文，同时普遍同意拒绝排名后25%的论文。对于其他65%的提交，没有达成一致意见，最终的接受/拒绝决定是相当随机的。当接受/拒绝的决定取决于重要性和趣味性等问题时，情况尤其如此，这可能是非常主观的。然而，我们似乎假装这个随机的决定反映了项目委员会的深刻智慧。

我相信NIPS的实验不仅应该教会我们一些谦逊，而且还应该建议我们重新考虑项目委员会的基本运作方式。这类委员会的标准做法可以被视为“在证明无罪之前有罪”。我们预计只有25% - 35%的论文会被接受，所以默认的决定是拒绝，除非有强烈的同意接受。但现实情况是，不同的委员会可能会对大多数被接受的论文做出不同的决定。仅仅因为项目委员会的心血来潮就拒绝论文是明智的吗?如果我们将模式切换到“无罪直到被证明有罪”，我们将只拒绝那些有强烈同意拒绝的论文，并接受所有其他的论文。

除了增加“无罪直到被证明有罪”的公平性之外，这种方法还将提高会议-出版系统的效率。高退稿率意味着论文要提交、重新提交、再重新提交，这给社区带来了非常高的审查负担。它还导致了会议的增多，这分裂了研究团体。正如我在早先的一篇社论中所说的(https://goo.gl/dUMkwZ)，我认为适应计算机研究增长的正确方法是增加我们的会议，而不是增加会议。

NIPS将“出版方法”应用于科学研究应该受到赞扬。这取决于计算研究社区得出的结论和相应的行动!

跟我上脸谱网，谷歌+,推特．

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2017 ACM, Inc.

---

评论

---

显示1评论