ACM通信
ACM通信
关于致命自主武器
人工智能(AI)在过去十年中取得的令人瞩目的进步，以及基于人工智能的武器即将展开的全球竞赛的前景，促成了7月28日出版的《自动武器:来自AI和机器人研究人员的一封公开信，呼吁“禁止进攻性自主武器超出人类实际控制范围”，目前已有超过2万名签名。通信继这封信之后，斯蒂芬·古斯和罗纳德·阿金就致命自主武器系统(LAWS)的主题展开了一场对位辩论，从43页开始。
“战争是地狱，”美国内战期间的联邦军队将领威廉·t·谢尔曼(William T. Sherman)将军说。自1864年以来，世界各国制定了一系列条约(被称为“日内瓦公约”)，旨在在某种程度上减少战争的恐怖，并禁止被认为特别不人道的武器。一些显著的成功是禁止化学和生物武器、禁止杀伤地雷和禁止致盲激光武器。禁止法律似乎是努力使战争“某种程度上人性化”的下一个前沿。
虽然我对削减新一代更致命武器的愿望表示同情，但我必须承认，当我读到公开信以及两篇有力的Point和Counterpoint文章时，我有一种深深的悲观感。我怀疑许多计算机科学家，像我一样，喜欢相信，总体来说，计算对人类有益。因此，当我们意识到计算机也在为军事技术做出重大贡献时，我们感到不安。事实上，自1991年海湾战争以来，信息和计算技术一直是“军事革命”的主要驱动因素。公开信中提到的“第三次战争革命”已经开始了!今天，每一种信息和计算技术都有一些军事用途。让我们不要忘记，例如，互联网源于阿帕网，它是由美国国防部高级研究计划局(ARPA)资助的。我们真的相信人工智能可以从军事应用中获得豁免吗?人工智能已经被广泛用于军事部署。
公开信没有呼吁全面禁止人工智能的军事应用，而是呼吁更具体地禁止“进攻性自主武器”，这种武器“在没有人为干预的情况下选择和打击目标”。但“自主”的概念在本质上是模糊的。在1984年的科幻电影中《终结者》，主角是一个从2029年被送回到过去的生化刺客。《终结者》似乎正是公开信签名者试图阻止的噩梦般的未来，但《终结者》并没有选择虚构的目标莎拉·康纳(Sarah Connor);这个选择是由“天网”完成的，这是一个具有“自我意识”的人工智能防御网络。所以终结者本身不是自主的!事实上，终结者可以被看作是一种“发射后即忘”的武器，发射后不需要进一步的制导。我在这里不是要辩论科幻小说中的情节，而是要指出自治概念在哲学上的内在模糊性。
古斯认为，把生死攸关的决定权交给战场上的机器，跨越了基本的道德和伦理底线。这假设人类在今天的战场上执行每一个生死攸关的决定。但今天的战争是由极其复杂的系统进行的。一个致命的行动是许多行动和决定的结果，有些是由人类，有些是由机器。在讨论高度复杂系统的复合动作时，定义因果关系几乎是不可能的。古斯所讨论的“基本道德和伦理界限”从根本上是模糊的。
阿金的立场是，人工智能技术可以而且应该被用于保护战场上的非战斗人员。恐怕我对技术使战争人性化的潜力持怀疑态度，就像我对在战争中禁止技术的前景持怀疑态度一样。阿金认为，明智的设计和使用法律可以挽救非战斗人员的生命。从技术上讲，这可能是对的。但是军事设计者的主要努力一直是并且将会是增加他们武器的杀伤力。我担心，保护非战斗人员的生命一直都是而且将会是一个次要的目标。
归根结底，公开信和“点对点”文章所提出的高度重要的问题是非常复杂的。知识渊博、心怀善意的专家们正就法律问题的两面展开辩论。据我所知，这是计算机研究界第一次公开解决如此重要的问题。我认为，这是一个非常积极的事态发展。
摩西·y瓦迪，主编
数字图书馆是由计算机协会出版的。版权所有©2015 ACM, Inc.
评论
大卫Karger
我认为在你的悲观中也有乐观的空间。一旦自动驾驶技术发展到一定程度，让人类上战场将不再具有任何优势。它们太脆弱了。因此，我们的战争将变成不伤害人类的机器与机器之间的战争(因此，经济资源更丰富的一方通常会赢得胜利)。
摩西·瓦迪
我认为阿西莫夫有一个关于未来战争完全机械化的故事，直到人们发现让人类参与战争可以带来军事优势。
John Daly
专为攻击其他武器而设计的武器可能是完全自主系统的好用途。如果他们使坦克、火炮、大炮和炸药失效，他们就可以有效地安抚该地区，然后通过不那么致命的手段更容易控制该地区。想象一下，一群小机器人进入一个区域，摧毁他们找到的所有武器。
CACM管理员
以下信件刊登在2016年5月出版的《致编辑的信》(//www.eqigeno.com/magazines/2016/5/201586)上。
——CACM管理员
Moshe Y. Vardi在2015年12月出版的《关于致命自主武器的编辑信》中写道:“知识渊博、善意的专家们对法律(致命自主武器系统)问题的双方进行了争论。据我所知，这是计算机研究界第一次公开解决如此重要的问题。”关于致命自主武器的争论至少可以追溯到罗纳德·里根总统的战略防御计划(SDI，或“星球大战”)，该计划提出部署各种类型的武器，包括导弹和激光，这些武器将由计算机控制，部分位于太空。SDI的主要目的是在运输途中击落携带核武器的导弹，但SDI提案也考虑摧毁导弹发射设施。
SDI的提议在全球范围内引发了关于SDI可靠性和风险的激烈辩论，包括生死攸关的决定是否可以并且应该委托给计算机系统。计算机科学家大卫·帕纳斯、大卫·贝林、塞维罗·奥恩斯坦、艾伦·伯宁和其他由一个名为“计算机专业人员社会责任”(CPSR, http://cpsr.org/)的组织领导的人说，计算机技术本身太不可靠，不可能在没有人类监督的情况下自行做出这样的决定。CPSR赞助了几场关于这个话题的辩论，并出版了一本名为《战斗中的计算机:它们能工作吗》(1)的书，经常被当今有关自主武器的出版物引用。
本书的编辑、CPSR的第一任执行主任加里·查普曼是将辩论的范围扩大到包括所有计算机化自主武器的关键人物。他和他在德克萨斯大学奥斯丁分校LBJ公共事务学院的同事们发表了大量关于法律的可靠性、风险和伦理的论文和文章，从20世纪80年代末直到2010年查普曼58岁英年早逝。
关于斯蒂芬·古斯和罗纳德·阿金(同样是在2015年12月)的“禁止杀人机器人的理由”辩论，杀伤地雷只不过是一种具有极其简单算法的自主武器:踩到我，我就把你炸飞。士兵和其他战斗人员将它们置于战区，因此它们不受人类控制。虽然算法简单，但它们的“自主性”丝毫不逊于高科技人工智能武器。既然国际上普遍接受的条约已经禁止了计算机控制的法律，似乎也有禁止计算机控制的法律的强有力的先例。
杰夫·约翰逊(前CPSR主席)
旧金山,
引用:
(1)贝林、查普曼。战斗中的计算机:它们会工作吗?哈考特·布雷斯·乔瓦诺维奇，马萨诸塞州波士顿，1987年。
(2)查普曼，G.思考“自主”武器。CPSR通讯3(1987年秋季)，1114。
------------------------------------------------
作者的回应:
我感谢约翰逊关于致命自主武器辩论历史的启发性信函。尽管这个主题的历史很长，但战略防御武器、地雷和基于人工智能的新法律所引发的问题是完全不同的，不应该混为一谈。
主编摩西·y·瓦尔迪
CACM管理员
以下信件发表在2016年4月出版的《致编辑的信》(//www.eqigeno.com/magazines/2016/4/200162)上。
——CACM管理员
Moshe Y. Vardi的编辑信《关于致命自主武器》(2015年12月)和Stephen Goose和Ronald Arkin在同一期的“点/对点”辩论《禁止杀人机器人的理由》中讨论了“致命自主武器系统”等重大问题，这让我深受鼓舞。计算机专业人员确实应该注意他们所创建的软件和硬件的效果。我同意古斯等人的观点，他们认为应该限制在武器中使用技术。美国经常过度使用军事力量，比如在伊拉克、越南和其他地方。似乎让战争变得更容易只会导致更多的战争。
ACM也应该就其他有争议的公共问题进行类似的讨论;例如，燃煤电厂可能是当今最有害的机器，因为它们会导致疾病，并对气候变化造成影响。
ACM成员可能会认为他们控制着自己的机器，只获得自己的利益。但他们与机器(包括计算机)的关系往往更像是崇拜。一些软件企业家甚至努力让他们的用户对他们的产品“上瘾”。(1)计算机专业人员应该好好看看他们生产的东西，不仅仅是它有多新奇、多高效或多赚钱，而是它如何影响社会和环境。
斯科特同行
格兰岱尔市,
参考
(1)施瓦茨，T.沉迷于分心。纽约时报(2015年11月28日);http://www.nytimes.com/2015/11/29/opinion/sunday/addicted-to-distraction.html?_r=0
--------------------------------------------
作者的回应
我同意Peer的观点，即通信部门应该就涉及计算和信息技术的公共政策问题进行讨论，尽管我不认为ACM成员有任何专门知识可以用于燃煤发电厂的问题。
主编摩西·y·瓦尔迪
CACM管理员
以下信件发表在2016年3月中华艺术学院《致编辑的信》(//www.eqigeno.com/magazines/2016/3/198861)上。
——CACM管理员
Moshe Y. Vardi的编辑信“On Lethal Autonomous Weapons”(2015年12月)说，人工智能已经在各种各样的军事应用中被发现，“自主”的概念是模糊的，几乎不可能确定战场上致命行动的原因。在同一期的辩论“禁止杀人机器人的理由”中，斯蒂芬·古斯的观点和反观点的观点是“基本模糊的”。我同意Vardi的观点，即禁止此类技术的问题对计算机研究界很重要，但我认为他的哲学僵局的答案在“ACM伦理和职业行为准则”(http://www.acm.org/about-acm/acm-code-of-ethics-and-pro-fessional-conduct)中很容易找到，特别是它的前两个“道德义务”“对社会和人类福祉做出贡献”和“避免伤害他人”。我鼓励所有ACM成员阅读或重新阅读它们，并考虑他们自己是否应该研究致命的自主武器，甚至是任何类型的武器。
罗纳德·阿金的Counterpoint对机器人“……超越人类的道德表现……，" writing that a ban on autonomous weapons "... ignores the moral imperative to use technology to reduce the atrocities and mistakes that human warfighters make." This analysis involved two main problems. First, Arkin tacitly assumed autonomous weapons will be used only by benevolent forces, and the "moral performance" of such weapons is incorruptible by those deploying them. The falsity of these assumptions is itself a strong argument for banning such weapons in the first place. Second, the reasons he cited in favor of weaponized autonomous robots are equally valid for a simpler and more sensible proposal autonomous safeguards on human-controlled weapons systems.
阿金没有说的是，为什么世界甚至需要自动化的武器化机器人。为此，我建议他首先在核心利益相关者群体中进行一项调查，他确定了战争罪行的平民受害者，以了解他们的想法。
Bjarte m . stvold
挪威奥斯陆
-----------------------------------------------
作者的回应
消除战争的愿望由来已久，但战争不太可能在不久的将来消失。“正义战争”理论认为，战争虽然可怕，但并不总是最糟糕的选择。尽管我们希望如此，信息技术不会在军事应用中得到豁免。
主编摩西·y·瓦尔迪
显示所有6评论