acm-headergydF4y2Ba
登录gydF4y2Ba

ACM通信gydF4y2Ba

首页gydF4y2Ba /gydF4y2Ba 的意见gydF4y2Ba /gydF4y2Ba 文章gydF4y2Ba /gydF4y2Ba 我们需要自动宣布冲突……gydF4y2Ba /gydF4y2Ba全文gydF4y2Ba
的观点gydF4y2Ba

我们需要自动化的声明gydF4y2Ba的利益冲突gydF4y2Ba


手触摸未来界面gydF4y2Ba

信贷:亚历山大SupertrampgydF4y2Ba

在过去70年的计算机科学研究中,我们对利益冲突的处理几乎没有改变。每篇论文的通讯作者必须gydF4y2Ba手动gydF4y2Ba即使他们可能对最资深的合作者最近的活动知之甚少,也要公布他们所有合作者的利益冲突。随着顶级会议计划委员会的成员人数超过500人,其中许多人的名字都很常见,很容易混淆,要分配数千篇评论的PC主席不可能再核对相应作者的手册声明和论文指定的审稿人。审查员也不能可靠地捕获未报告的冲突。对计算机科学多个领域的近期顶级学术场所的审计都发现,在第一个学术场所,两位近期的合著者未能申报他们的利益冲突;在第二个会场,有人被分配去审查最近一位合著者的论文;在第三个地点,有人审查了来自任何一年的先前合著者的提交。就连“冲突”这个概念也值得更仔细的审视:在最近的另一场顶级会议上,一项审计发现,在100多个案例中,来自任何一年的先前合著者相互审查了对方的提交。gydF4y2Ba

这些都是规模问题。七十年的指数增长已经把我们的小村庄变成了大都市,我们处理利益冲突的方式(gydF4y2Ba冲突gydF4y2Ba简而言之)没有跟上我们社区的发展。但我们计算机科学家是扩大规模的专家!我们已经在评审过程的许多其他方面解决了规模问题,包括增强功能,如双盲评审、多个提交截止日期、修订和反驳的机会,以及在线提交和评审管理系统。gydF4y2Ba

是时候让我们的场馆利用现有的数据源来改善冲突的声明和管理了,具体如下。gydF4y2Ba

  1. 唯一识别书目数据源中的所有作者,以及稿件管理系统中的所有作者、审稿人和元审稿人。gydF4y2Ba(元审查员是那些管理评审过程的人,如总编辑和项目委员会主席。)gydF4y2Ba

重复的名字已经不可能明确地确定参与评审过程的人的名字,甚至使会议组织者难以确保他们邀请了正确的人加入他们的计划委员会。幸运的是,验证ORCIDsgydF4y2Ba一个gydF4y2Ba正是为了这个目的而存在的,我们应该要求它们的使用。gydF4y2Ba

  1. 提交后不允许修改作者列表。gydF4y2Ba冲突声明基于提交时的作者列表;随后的更改可能会引入新的冲突,在分配审查员时没有考虑到。gydF4y2Ba
  2. 要求自动报告所有可观察到的冲突。gydF4y2BaPC主席可以使用一种服务,该服务可以识别所有可在公开信息中观察到的关于共同作者、机构从属关系和顾问关系的冲突,如这里所解释的。gydF4y2Ba
  3. 要求作者只报告不可观察到的冲突,gydF4y2Ba比如新的雇主、新的合作伙伴、家庭成员和朋友。gydF4y2Ba
  4. 自动审计自我报告的回顾,并与场馆的赞助商或出版商分享结果,gydF4y2Ba委员会应该有权审查他们认为相关的所有数据,并对严重违规行为实施适当的制裁。gydF4y2Ba
  5. 使用独立和无利益冲突的委员会来选择最佳的论文。gydF4y2Ba
  6. 考虑使用更复杂的利益冲突定义,gydF4y2Ba这里会有详细解释。gydF4y2Ba
  7. 如有需要,让社会和专业团体参与,gydF4y2Ba这里讨论。gydF4y2Ba

要了解稿件管理系统的自动冲突报告服务是如何工作的,考虑一下冲突的传统定义:如果两个人在过去两年一起写了一篇论文,在同一个机构工作,是亲密的亲戚或朋友,是顾问和被顾问,或者在过去两年在一个项目上密切合作,那么他们就会发生冲突。书目数据库,如谷歌ScholargydF4y2BabgydF4y2Ba和DBLPgydF4y2BacgydF4y2Ba隐式提供了相关合作作者关系图,还可以高精度挖掘,以识别顾问-被顾问关系。gydF4y2Ba2gydF4y2BaDBLP已经使用了数据驱动消歧gydF4y2BadgydF4y2Baorids的个人和合作作者和雇主;例如,看看DBLP是如何处理218个不同的Wei wang的。gydF4y2BaegydF4y2Ba认证的雇主信息(包括机构的唯一id)和教育隶属关系也可以直接从ORCID服务中获得,最终可能还可以获得认证的顾问信息。gydF4y2Ba


是时候让我们的场馆利用现有的数据源来改善冲突的申报和管理了。gydF4y2Ba


冲突服务的输入是:对于每一篇论文,一组(唯一标识的)作者;审查员和元审查员的集合,也是唯一识别的;还有一份菜单式的场地冲突政策说明。对于每一篇论文,冲突服务返回论文的冲突,也就是说,所有与论文作者有可观察到的冲突的审稿人和元审稿人,以及冲突来源的解释。这些冲突必须添加到提交系统的自我报告中,之后会议组织者可以使用任何方法将论文分配给审稿人,例如,手动,基于出价,或使用多伦多论文匹配服务。gydF4y2Ba1gydF4y2Ba通常,分配算法会自动避免所有涉及冲突的评审分配。注意,冲突服务不需要了解会场提交的任何信息,只需要了解所有作者的集合。gydF4y2Ba

由DBLP数据驱动的两个独立测试版冲突服务已经可以在PC椅上使用;一个gydF4y2BafgydF4y2Ba要求作者和审查员是唯一的标识,而另一个gydF4y2BaggydF4y2Ba只要求审查员被唯一标识。gydF4y2Ba3.gydF4y2Ba从长远来看,我们建议对冲突服务的外呼直接由稿件管理系统支持,这样系统就可以自动调用冲突服务,在分配审稿人之前增加冲突的自我报告。我们还建议审稿人分配算法的作者通过确保机构、地点和原籍国的多样性,对它们进行扩展,以避免在审稿过程中出现更多的微妙偏差。计算机科学研究现在是一个全球性的事业,我们应该在整个评审过程中利用这种多样性。gydF4y2Ba

村民可能不需要锁门,但大都市居民不这样做就太愚蠢了。随着乡村生活逐渐让位于大城市的匿名生活,我们的社区不得不建立道德委员会和道德规范,以及针对抄袭、作者、性骚扰等问题的政策。自动报告可观察到的冲突将大大减少大城市冒充他人和故意少报冲突的犯罪。一旦冲突服务集成到提交系统中,自动审计将提供进一步的威慑:系统可以在提交截止日期几个月后自动重新计算可观察到的冲突,并将它们与存储在系统中的冲突进行比较。至少,遗漏的自我报告应该得到一封警告信。gydF4y2Ba

目前,冲突是全有或全无的:今天两个最近的合著者绝对不能评论彼此的论文,但也许明天他们就完全可以了。大城市的生活需要一个更细致的定义来识别所有灰色的阴影,所以让我们承认冲突的严重性不同,放弃冲突的二元定义,将冲突(程度)定义为一个实数[0,1],由发布地点(前面提到的菜单风格的规范)指定的公式计算。然后,我们可以区分冲突的严重程度和一个地点自动取消审稿人资格的公开阈值,这在不同地点之间是不同的(例如,研讨会和顶级会议)。这里描述的冲突服务可以很容易地支持这种特定于场地的截止分数和计算冲突的实值函数,使得场地可以很容易地定义和试验更复杂的度量。gydF4y2Ba


这里提到的原型表明,人们已经可以构建有用的独立冲突服务,这些服务依赖于现成的数据。gydF4y2Ba


我们还需要认识到,多名共同作者表明有更强的联系。五年前合著的十多篇论文可能和去年合著的一篇论文一样有冲突,因为那十多篇论文表明了非常紧密的联系。此外,冲突可能有多个促成因素,例如,同一机构,同一城市,或高度重叠的先前合著者。我们可以根据研究人员之间领带的强度对每种类型的领带进行加权,将领带随时间的褪色建模为一个连续函数,并设计一种方法,将多个加权和褪色因素优雅地组合成一个总体冲突得分,对应于我们对两个人不能公正地评价彼此工作的可能性的最佳估计。gydF4y2Ba

这里提到的原型表明,人们已经可以构建有用的独立冲突服务,这些服务依赖于现成的数据。但我们需要更多的社区参与,才能达成最终解决方案。除了每个场所今天可以采取的步骤之外,我们主张在社区层面采取四个步骤。gydF4y2Ba

  1. 为了达成一个适用于所有计算机科学的解决方案,我们的社区将需要为基础设施建设提供协调和资金。这可以来自ACM出版物委员会,SIG管理委员会,IEEE技术活动委员会,ACM和/或IEEE作为一个整体,甚至是一个包括非营利性协会和营利性出版商的计算范围联盟。gydF4y2Ba
  2. 为了扩展冲突的定义并设计支持该定义的基础设施,我们可能需要隐私和安全等社会问题专家的投入;数据收集、组织和维护的技术问题;广泛而具体地定义冲突所固有的政策问题;以及冲突服务的长期维护和发展中的行政问题。gydF4y2Ba
  3. 我们应该鼓励对相关主题进行研究,包括冲突的定义、识别冲突的可扩展算法以及处理疑似假阳性的来源和方法。gydF4y2Ba
  4. 一旦它们到位,我们应该与全球研究企业(包括其他科学学科和感兴趣国家的国家科学院)共享我们社区的度量标准、机制和基础设施。gydF4y2Ba

大城市的生活带来了新的威胁和挑战,但我们可以利用大都市强大的基础设施来解决这些问题。通过利用现有的数据集、服务和挖掘算法,我们可以消除几乎所有声明和管理冲突的繁琐工作,并带来降低大都市犯罪率的令人愉快的副作用。有了这些措施,我们就可以继续对构成利益冲突的因素进行更细致的理解。gydF4y2Ba

回到顶部gydF4y2Ba

参考文献gydF4y2Ba

1.多伦多论文匹配系统:一种自动论文审稿人分配系统。在gydF4y2Ba机器学习国际会议论文集gydF4y2Ba(ICML) 2013。gydF4y2Ba

2.王c .等。从研究出版物网络中挖掘导师与被导师的关系。在gydF4y2Ba16届会议记录gydF4y2BathgydF4y2BaACM知识发现和数据挖掘会议(KDD)gydF4y2Ba, 2010年。gydF4y2Ba

3.Wu, S. PISTIS:用于同行评审管理的利益冲突声明和检测系统。在gydF4y2Ba2018年ACM SIGMOD/PODS会议论文集gydF4y2Ba, 2018年。gydF4y2Ba

回到顶部gydF4y2Ba

作者gydF4y2Ba

理查德·t·史诺德gydF4y2Ba(gydF4y2Barts.arizona.edugydF4y2Ba)是美国亚利桑那州图森市亚利桑那大学的教授和伽利略学者。他是ACM Fellow,曾担任ACM TODS主编、ACM SIGMOD和ACM出版物委员会主席,并是ACM历史委员会的创始联合主席。gydF4y2Ba

玛丽安WinslettgydF4y2Ba(gydF4y2Bawinslett@illinois.edugydF4y2Ba)是美国伊利诺伊大学厄巴纳分校的退休研究教授。她是ACM Fellow,曾担任ACM TWEB的联合主编,SIGMOD和SIGART的官员,ACM CIKM和ACM CCS的指导委员会,以及ACM TODS、ACM TISSEC、ACM TWEB、IEEE TKDE和VLDB Journal的编委会成员。gydF4y2Ba

回到顶部gydF4y2Ba

脚注gydF4y2Ba

a.开放研究者和贡献者ID (ORCID)是一个国际非营利性倡议,用于唯一识别科学和其他学术作者;看到gydF4y2Bahttps://orchid.orggydF4y2Ba

b。gydF4y2Bahttps://google.scholar.comgydF4y2Ba

c。gydF4y2Bahttps://dblp.orggydF4y2Ba

d。gydF4y2Bahttps://dblp.uni-trier.de/faq/17334571.htmlgydF4y2Ba

e。gydF4y2Bahttps://dblp.uni-trier.de/pers/hd/w/wang:weigydF4y2Ba

f。gydF4y2Bahttps://github.com/ebina1/conflict-of-interestgydF4y2Ba

g。gydF4y2Bahttps://personal.ntu.edu.sg/assourav/research/DARE/closet.htmlgydF4y2Ba


版权归作者所有。gydF4y2Ba
向所有者/作者请求(重新)发布权限gydF4y2Ba

数字图书馆是由计算机协会出版的。版权所有©2020 ACM, Inc.gydF4y2Ba


评论gydF4y2Ba


Sushil JajodiagydF4y2Ba

我完全同意——是时候这样做了。也许NSF会认为这是合适的。gydF4y2Ba
Sushil JajodiagydF4y2Ba


贡纳狼gydF4y2Ba

非常感谢你的观点,我很喜欢读它。最重要的是,它让我的大脑开始思考一个相关的问题。gydF4y2Ba
“利益冲突”最常被定义为人与人之间的关系。不能相信我不会对我个人认识的人有偏见。但我的感觉是,更大的利益冲突应该在我们每个人都有强烈专业或情感投入的话题(甚至是给定话题的观点)上宣布。gydF4y2Ba
毕竟,作为会议或期刊的审稿人,论文通常是匿名的。正如你所指出的,我可能在几年前与某位作者合作过,我与她的利益冲突本应淡化;我甚至不知道她在研究什么主题,在评价她最新的论文时,我应该合理地避免偏见。gydF4y2Ba
但在话题或观点上的利益冲突要难得多,而且带有更强的偏见;在除了最亲密的人际关系之外的所有人际关系中,我们都应该被信任表现得专业,而不是在非客观的基础上对一个人的工作做出偏见的评价。但是对我来说,要正确地不带偏见地判断一篇支持或反对我的核心信念的文章是相当困难的!gydF4y2Ba
举个例子,我最近被要求审阅一篇关于电子投票实现的文章(不会进一步讨论它的细节)。我花了十多年的时间,试图向公众解释投票过程数字化的危险,我很难仅根据文章中陈述的事实来做出判断,但我认为我做得不错。我们是四名评论者;我们中的三个人给出了我们的意见,并根据所缺少的事实和对概述过程的看法提出了“重大修改”。第四个审查员做了一个非常简短的评论,基本上是“不可能让这个可靠地工作”。第四个审稿人符合我的直觉,但我认为这不是一个专业的、学术的、基于文章价值的答案。没有利益冲突,因为审稿人似乎没有对作者有偏见,但他们显然对主题有偏见。gydF4y2Ba
当然,在这样的问题上宣布冲突……不应该是自动的。我们应该把个人观点放在一边,用科学的方法来判断文章的真正价值。如果我在一个课题上投入了十年的时间……嗯,我应该被视为这方面的专家,因此我是一个很好的审稿人。但我真的应该努力表现出有偏见的行为。gydF4y2Ba


显示gydF4y2Ba所有2gydF4y2Ba评论gydF4y2Ba

登录gydF4y2Ba为完全访问gydF4y2Ba
»忘记密码?gydF4y2Ba »创建ACM Web帐号gydF4y2Ba
文章内容:gydF4y2Ba
Baidu
map