ACM通信
ACM通信
科技带来社会后果
会议计划委员会(PC)成员收到了一份论文供审查。他把手稿分发给他的研究小组，“征求他们对这篇论文的意见”，小组开始改进正在审查的论文的结果。然后，研究小组将自己的论文提交到另一个会议上，他们的论文提交时间是在第一篇论文在会议上发表的三个月之前。当最终被质问时(两份论文出现的短暂间隔引发了一些问题)，PC成员回答说:“这有错吗?我不应该那样做吗?”(读者可以在YouTube上搜索这个短语。)
令人惊讶的是，这名PC成员不知道提交会议论文构成了特权通信。理论上，审稿人应该立即“忘记”他们读过的内容。对于审稿人来说，在自己的作品中使用这样的特权材料立刻就会产生明显的利益冲突。这个政协委员，一个著名大学的正教授，怎么会不知道学术评论的基本规则呢?
要了解程序委员会的道德是如何下降的，我们必须回顾计算机科学程序委员会在过去50年的历史。直到20世纪90年代中期，项目委员会都是面对面开会。这产生了两个重要的后果。首先，PC成员承担参加PC会议的费用，这导致他们在接受PC服务承诺时非常谨慎。在当时，一个人每年在一台以上的电脑上服务是很罕见的。第二，初级PC成员有机会与高级PC成员进行深入互动。初级PC成员面临着不小的社会压力，要他们在PC会议上展示自己的能力。因此，PC服务提供了重要的社交经验，通过观察了解不成文的规范和习俗。
随着20世纪90年代中期万维网的出现，物理的PC会议突然显得很浪费，因为不需要支付旅费和头痛的问题就可以进行虚拟会议。会议管理软件工具出现了，许多社区放弃了实体会议，而选择了虚拟会议。我当时非常支持这种改变!然而，这一变化的不良后果花了几年时间才显现出来。
经济学家会告诉你，定价过低的商品最终会被过度消费。PC服务是一种具有正向效用的商品。我们的社群将个人电脑服务视为专业认可的一种形式;事实上，它是初级研究人员获得专业认可的为数不多的标志之一。由于改用虚拟会议，PC服务的“成本”下降，“消费”却上升了。事实上，现在研究人员每年在几台电脑上工作是很常见的。
当然，人们不能指望每年使用一台PC的人比每年使用多台PC的人付出同样的努力。实际上，在20世纪80年代，每个提交的文件通常都由5到6名PC成员审阅，而今天的标准通常是3到4名审阅人员审阅。此外，这些审查员通常不是PC成员，而是“子审查员”。事实上，虽然次级审稿人的概念最初是为了给个人电脑带来额外的专业知识而发展起来的，但今天它被视为培训初级研究人员论文审稿艺术的机会。因此，PC成员的角色似乎已经从审查人员演变为“审查编曲者”。
这种发展的结果是什么?我们很多人对这种结果都很熟悉。会议评审的质量下降了，选择过程变得更加随机。两年前，我在这里写了一篇关于“计算机研究中的会议与期刊”的文章。会议评论质量的下降是促使我写那篇社论的导火索之一。
会议审查质量的下降只是转向虚拟PC会议的一个结果。另一个结果是PC会议中社交的缺失。正是这种社会化的缺失，导致了一位资深研究人员对学术评论最基本的规则之一的无知。
我们都知道科技对社会有影响。这也适用于我们。转向纯虚拟会议并没有很好地为我们服务。许多社区已经意识到这一点，正在将虚拟会议和实体会议结合起来，以融合两种形式的优势。我认为，这种做法应该被广泛采用。技术可以管理!
Moshe Y. Vardi主编
©2011 acm 0001-0782/11/0500 $10.00
允许为个人或课堂使用部分或全部作品制作数字或硬拷贝，但不得为盈利或商业利益而复制或分发，且副本在首页上附有本通知和完整的引用。除ACM外，本作品的其他组件的版权必须受到尊重。允许有信用的文摘。以其他方式复制、重新发布、在服务器上发布或重新分发到列表，都需要事先获得特定的许可和/或费用。请求发布的权限permissions@acm.org传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2011 ACM, Inc.
评论
匿名
亲爱的Moshe,
首先，非常感谢和深深的感谢你们把这个严重的问题提上了CACM的* *议程。
这个问题确实很严重。在这种情况每年都在恶化的情况下，我将允许自己补充我的2点意见，为什么我们都同意使用多台pc。
WWW允许虚拟的PC会议，而Latex(在某种程度上Word)允许在几乎没有时间准备一篇x页的论文。因此，会议提交的数量持续快速增长。虽然在任何正规的期刊上，这些提交的大部分都会被“概要拒绝”，但在大多数(所有?)会议上，它们都要经过一个审查过程，浪费3-4个审稿人的时间。因此，对PC成员的需求不断增长，而每个主题的合格审稿人的数量自然保持相同的规模(或者至少增长得更慢)。
对这种情况的理解，使我们每个人每年都要面对同样的困境:加入多个PC意味着你在本文和之前的文章中指出的一切，但拒绝帮助意味着离开一些PC椅子(我们通常知道和欣赏)与一个……不太专业的团队。这是一个严重的困境。
对于整个问题，我看到的唯一部分解决方案(我在过去几年花了很多心思在这个问题上)是(重新?)在会议中引入一种“概要拒绝”机制。如果只有一小部分提交的内容需要仔细审查细节和实际写的审查，那么现在的PC将只需要一小部分，PC主席将获得要求高质量审查的合法性。
致以最热烈的问候!
Carmel Domshlak (Technion，以色列)
匿名
卡梅尔，你说的有一定道理，但我不相信是论文泛滥导致了会议泛滥。有时情况似乎正好相反。我见过很多会议，PC成员的数量比提交的数量要多:-)
摩西·瓦迪
匿名
摩西,
我明白了;)，但至少在某种程度上，这是同一枚硬币的另一面。PC主席担心，如果这些人被要求做太多的工作，他们就不能得到最合格的PC成员。所以他们扩展了个人电脑…
当然，我所写的一切都是为了补充我的2美分，而不是取代你的2美元;)再次感谢这篇文章!
卡梅尔
匿名
参见Jeff Naughton的ICDE'10幻灯片
http://lazowska.cs.washington.edu/naughtonicde.pdf
匿名
亲爱的Moshe,
谢谢你提出这个问题。恐怕你的观察是完全正确的。
技术对会议文化的这些影响进一步加剧了您在过去的文章中已经讨论过的问题。
我想在讨论中再举一个例子。
论文的篇幅必然有限，而且经常会遗漏一些重要的信息，如证明、实验数据等等。
在过去，通常的做法是要求在提交会议论文的同时提交附录，这样，材料至少可以在推荐人手中。正如你所说，技术影响实践:我的印象是，这是一个日益增长的实践，至少在某些会议上，论文引导读者到网络资源寻找缺失的信息，这似乎是当前技术最自然的使用。
但技术又来了:我很少听说过评论人士会避免查找这些网络资源，因为他们认为访问网站的人可能会被跟踪，并担心他们的匿名性。自然发展:提交的内容涉及到甚至不存在的网络资源(审稿人也没有注意到)。它以前扔。
期刊不应该有这个问题。首先，一篇文章的篇幅没有那么严格的限制。其次，数字图书馆可以为期刊文章添加电子附录，其中可能包括，例如，实验数据。我认为这是期刊在档案研究中发挥作用的重要考虑。Web资源是出了名的不稳定，即使在提交时一切都是正确的。
然而，确保审稿人能够获得他们需要的所有信息的问题与期刊和会议都有关，我认为这应该由期刊编辑/会议委员会考虑。
阿米尔Ben-Amram
匿名
亲爱的Moshe,
非常感谢你写了关于项目委员会道德沦丧的文章。还有另一个伦理问题是你提到的那个问题的结果。如果一个人是2 - 3 - 4个密切相关的会议的编程委员会的成员，并且被认为是计算机科学某个分支的论文的最合适的评审人，那么，在很大程度上，他自己决定了该领域所有出版物的命运，因为，极有可能，同一个人将成为专业杂志(交易)的编委会成员。
道德沦丧的另一个例子是对编程委员会成员的最佳论文奖奖励。这成为编程会议上的惯例，而在所有其他人类活动领域，在你参加的比赛中担任裁判是不可想象的。
我的第三个评论不是针对你们的文本，而是针对Carmel Domshlak的第一个评论。会议提交的数量不是使用更快的印刷设备的结果，而是根据出版物数量对科学结果进行评估的结果。对于上一代科学家来说，在大学里40或50年的漫长而成功的职业生涯将会是一个非常好的结果，有70或80篇论文(我写的不是特别的案例)。现在你可以浏览35-40岁的当代助理教授的网站，在10-15年的职业生涯之后，他们会向你展示80 - 100篇或更多的出版物。真的有人认为所有这些论文都有新观点吗?“在丹麦这个国家，有什么东西腐烂了。”
谢谢你的文章，
谢尔盖Andreyev
显示所有6评论