Simon Price和Peter Flach讨论“学术同行评审的计算支持”(www.eqigeno.com/magazines/2017/3/213825),一篇发表在2017年3月中华计算机学会的评论文章。
---
成绩单
00:00那一堆文件。每个学者都知道这一点。特别是会议组织者和期刊编辑。
00:10他们必须在数十名审稿人中提交数百篇论文,以选出他们希望对他们的领域最有利的几篇论文。
00:19这是一项主要由直觉和经验指导的令人眼花缭乱的任务。
00:25在学术同行评议的计算支持中,请加入我们与两位研究人员的对话,他们相信机器学习和其他最近的进展可以改善这一过程。
00:38(介绍图形/音乐)
00:47作为2009年ACM数据挖掘会议的项目联合主席,布里斯托尔大学的彼得·弗拉赫教授有一个难题需要解决。
00:58弗拉赫博士:如果我们有500篇论文乘以3篇评论,那就是1500篇评论,这需要分配给我们假设是300个项目委员会成员。
01:08他本可以使用传统的方法分配论文,依靠他的个人联系和该领域的知识。他转而求助于该校学术研究IT经理西蒙·普莱斯(Simon Price)。
01:21普赖斯博士:传统上,论文和审稿人的特征都是通过关键词来体现的。但是…众所周知,像这样的手工流程是有问题的。
01:35作为一名机器学习方面的专家,弗拉赫抓住了实现这一过程自动化的机会。
01:40弗拉赫博士:我们开发了所有这些聪明的技术来做文档分类,做文本挖掘,做各种各样的机器学习。但我们却忘记了在自己的日常工作中应用它们。
01:55早期的研究人员已经通过开发技术奠定了基础。西蒙和弗拉赫用的,就像所谓的“一袋话”。
02:03西蒙博士:那么这篇论文中的所有单词,它们与这位潜在的审稿人发表的所有单词有多相似?
02:15他们通过挖掘公共信息来源进一步自动化了这一过程。
02:20西蒙博士:所以,我们不是要求人们提供他们的出版物清单,例如,为项目委员会,我们利用这些信息,建立了一个收割机,从一个非常高质量的在线书目——DBLP中获取这些信息。
02:40他们开发了名为“subft”的系统,弗拉赫博士作为《机器学习杂志》(Journal, Machine Learning)的编辑,每周都会使用它。
02:48弗拉赫博士:对于每一篇论文,我都会得到一份副主编的排名,然后我决定谁是处理这篇论文的最合适的编辑。同样的系统也适用于相关的编辑,这样他们就可以对编辑委员会成员进行排名。
03:09他们认为,这种自动化的方法可以提供同时为多个会议审议论文所需的动力。
03:07弗拉赫博士:如果我专注于编辑期刊,那么我基本上是在做一个发表/不发表的决定。如果我以一个计算机科学家的角度看问题,那么我可以问一个不同的问题。这是一篇论文:这篇论文最适合在哪里发表?
03:37获得所有细节在2017年3月的ACM通信,在评论文章,“计算支持学术同行评议:从人工智能的视角”。
03:51(结尾部分和学分)