专业/2015 年自主武器公开信

关于 2015 年自主武器公开信背后的职业道德的案例研究

与弗吉尼亚大学 STS 4600 对应。

简介

在讨论自主武器时，信函特别讨论了“进攻性自主武器”，这些武器“在没有人类干预的情况下选择和攻击目标”。本案例手册不会深入探讨人工智能在战斗或防御中的其他用途，但将重点关注公开信的主要论点，自主武器的现状以及可能为该主题的未来行动提供信息的历史案例。

术语自主武器和人工智能（AI）武器在对人类独立武器的分析中可以互换使用，因为它们是可比的。

信件

“总之，我们认为人工智能具有巨大的潜力，可以在许多方面造福人类，而该领域的目標应该是这样做。启动军事人工智能军备竞赛是一个坏主意，应该通过禁止超出有意义的人类控制的进攻性自主武器来阻止。”

该信函于 2015 年 7 月在国际人工智能联合会议（IJCAI）开幕式上宣布，呼吁全面禁止开发自主武器。迄今为止，该信函已由 4502 名人工智能/机器人研究人员以及 26000 多人签署，其中包括主要大学的教授、主要计算机科学公司的专业人士，以及史蒂芬·霍金、埃隆·马斯克和史蒂夫·沃兹尼亚克等重要人物。该信函的主要论点是自主武器将在几年内变得可行，尽管它们在战斗中提供了重大优势，但它们易于使用，因此滥用是不可避免的。该信函将这些武器与多个类似的历史案例进行比较，并警告称，如果开发出来，人工智能武器将比自动枪支更便宜，而且比核武器更有效。

技术如何运作

自主武器有很多不同类型：无人机、枪支、坦克等。统一这些武器的是它们无需直接人工干预即可操作的能力。

图像分类

武器演变成自主武器所需的基本技术是能够接收视觉输入并识别目标。这是通过使用摄像头捕捉实时视频并将该视频通过图像识别算法来完成的，以找到潜在的目标。对于这些算法来说，识别任何特定的人类都很容易，但是当你试图区分战斗人员和非战斗人员时，它会变得非常困难。这是因为确定战斗人员与非战斗人员的因素取决于许多情境和情境信息，这些信息在不同的情况下会发生变化。

自主武器现状

“人工智能技术已经发展到可以在几年内，而不是几十年内部署此类系统，无论是在实践上还是在法律上。”

由于实施基本人工智能武器的理论非常简单，因此有很多自制版本的例子。一名高中入门编程和机器人课程的学生开发了一款可旋转和倾斜炮塔的 NERF 枪，该枪仅使用面部识别就可以瞄准和射击。 其他 YouTube 视频提供了“自己动手”的 nerf 和气枪炮塔的示意图和组装说明。 这些示例都是使用廉价且易于获得的电路板、电机和编程平台实现的。

自公开信发布以来，高级人工智能武器研究也一直在进行。从 2016 年到 2019 年，五角大楼为自主武器技术预算了 1800 万美元，并与亚马逊和微软签订了持续合同，以开发人工智能作为其“武器战略的核心”。 前国防部副部长沃克先生是战争中人工智能的坚定倡导者。他鼓励国防部投资人工智能，以此“在竞争开始时获得优势”，这与冷战和新时代的军备竞赛惊人地相似。早在 2016 年，无人机上面部识别的军事测试在某些情况下更擅长识别非战斗人员而不是人类。 虽然无人机没有被赋予攻击这些目标的权限，但实施自主武器的这一方面非常简单。

历史比较：技术

“自主武器被称为战争中的第三次革命，继火药和核武器之后……它们将成为明天的卡拉什尼科夫。”

2015 年信函提供了多个历史案例，这些案例深入了解了自主武器作为“战争中的第三次革命”的潜在影响。史查瑞是《无人军队》的作者，他指出，这些武器系统可能会引发“闪电战”，在这种战争中，武器之间的战斗速度如此之快，以至于人类无法跟上，无法考虑每次攻击的含义。 这反映了战争中的第二次革命，即核武器。有了核武器，现在可以立即摧毁整个城市，就像在广岛投下铀弹后，140,000 人丧生，而在长崎，75,000 人丧生一样。 “闪电战”的速度可能会很快变得像核武器一样具有破坏性。与核武器的另一个相似之处是军备竞赛的可能性。第二次世界大战结束后，核武器的发明导致了一场争夺霸权的竞争，核武器的研发和生产都大幅增加。

军备竞赛期间的核武器储备

2015 年信函的签署方认为，自主武器军备竞赛的可能性更大，“几乎是不可避免的”。他们认为，虽然核武器军备竞赛主要涉及美国和苏联，但自主武器军备竞赛可能涉及更多国家。进入这场军备竞赛的障碍将低得多，因为“与核武器不同，自主武器不需要昂贵的或难以获得的原材料。”

这封信还提到了卡拉什尼科夫步枪，它是世界上最受欢迎的枪支设计。据估计，全球约有 5 亿支枪支，其中 1 亿支是卡拉什尼科夫步枪，其中约 7500 万支是 AK-47。 它的优点包括设计简单，使用寿命可达 20 到 40 年。这支枪易于制造、使用和修理，而且可靠且便宜。 基利科茨在“武器学”论文中发现，AK-47 在东欧和亚洲的交易价格仅为 40 美元，在非洲和中东的价格低至 12 美元。 AK-47 最初是为俄军研发的，但其低廉的价格和庞大的供应量导致它被革命者、恐怖分子、贩毒集团和罪犯所使用。 这封信断言，这种问题将在自主武器中得到复制。低廉的成本将导致武器的无限供应，而武器的制造者将无法阻止它们落入不法之徒手中。鉴于这些武器的潜在威力，它们在恐怖主义中的使用危险是无限的。

利弊

“当今人类面临的关键问题是，我们要发动全球人工智能军备竞赛，还是阻止它发生。”

公开信提供了一个关于自主武器双刃剑效应的例子。用机器取代士兵将减少拥有者的伤亡和成本。 然而，潜在的影响是进入战争的门槛降低，以及不仅可能卷入更多冲突，而且由于没有美国人的生命处于危险之中，可能会增加参与不光彩冲突的可能性。

自主武器也可能具有减少或消除某些人类偏见的能力。缺乏种族主义或文化偏见可能会对战斗产生影响，同样缺乏生存本能也是如此。没有生存本能，机器将缺乏“先开枪，后问问题”的心态，在做出决策时不会受到肾上腺素或恐惧的影响。 如果该系统没有武器化，这种影响可能会在较小程度上感受到。如果全球军备竞赛已经开始，那么对该技术的投资也将开发出更好的 AI 武器防御系统，并防止未来出现技术劣势。

开发这些武器的缺点更多。AI 武器的低成本导致不法分子可以轻松地大量生产和获取。一个武器化的无人机可以由拥有适当联系的人部署，更不用说恐怖组织或敌对政府了。这些武器，例如无人机，也非常适合恐怖主义行为、独裁统治、种族清洗和暗杀。 软件也有可能出错，并且可能带有生产者内置的偏差。亚马逊的面部识别软件在识别女性和有色人种时，准确率明显较低，虽然亚马逊建议在置信度阈值下对结果进行二次检查，但俄勒冈州华盛顿县警长办公室 (Rekognition 的已知客户) 表示，“我们没有设置或使用置信度阈值”。 使用代码来管理武器也增加了代码错误或黑客攻击的风险。当 AI 失败时，问责制问题也随之而来，将在后面讨论。

历史比较：监管

“事实上，化学家和生物学家广泛支持国际协议，这些协议已成功禁止化学武器和生物武器，就像大多数物理学家支持禁止太空核武器和致盲激光武器的条约一样。”

1930 年伦敦海军条约

第一次世界大战后，美国帮助谈判了伦敦海军条约，以禁止对民用船只的无限制潜艇战。这种做法与自主武器有相似之处，因为在条约签订时，它被认为是一种具有破坏性影响的未来武器。该条约由所有主要大国签署。珍珠港事件发生后，美国仅用了 6 个小时就违反了这项已实施 11 年的条约，攻击了日本商船队。 在第二次世界大战中，所有交战国普遍使用这种做法。 对于自主武器来说，当这项技术不再是未来技术时，条约是否仍然实用？如果敌对国（包括非政府组织）使用这些武器，各国是否会继续遵守禁止自主武器的条约？

1975 年关于重组 DNA 的阿西洛马会议

阿西洛马会议是国际监管的一个更成功的例子。1975 年，包括生物学家、律师和医生在内的 140 位专业人士聚在一起，讨论制定指南，以确保重组 DNA 技术的安全使用。在会议之前，许多生物学家出于对潜在危险的恐惧而停止了实验。在这场会议上制定的指南允许科学家继续他们的研究，这既增加了公众对生命过程的兴趣，也增加了他们对生命过程的了解。这场会议为创造该技术的参与者参与制定监管规定树立了先例。

伦理考量

关于自主武器伦理的关键问题是，当事情出错时，该怪谁。“出错”在这里指的是错误地攻击/杀死目标或攻击平民。

责任

从自主武器的开发开始到最终发射，有一条复杂的命令链。对于人类在/在回路武器来说，有负责监督武器的人，如果武器发生故障，而他们没有阻止它，是他们的错吗？还是编写错误识别算法的程序员的错，导致武器错误地发射？如果开发算法的公司受到时间/资金限制，导致程序员的经理催促他们编写粗制滥造的算法，怎么办？
关于责任的进一步问题来自自主武器一旦在公众中使用，它们是多么容易复制。如果研究人员的预测可以信赖，那么自主武器将是继火药和核武器之后的下一场战争革命。拥有如此容易复制的武器，而且具有如此大的危险性，加剧了谁应该承担责任的问题。
由于关于自主武器的责任非常模糊，因此共同签署这封信的 AI 研究人员已经决定不参与自主武器的进一步研究。

职业道德

进入该领域的工程师可能想知道他们可以采取哪些措施来防止事态升级。谷歌工程师可以提供一个很好的例子，比如，当谷歌被曝出帮助美国政府进行“Maven 项目”时。该项目利用谷歌的图像识别软件来制造自主武器。当这些信息泄露后，公司内部的工程师们进行了大规模的抗议，最终迫使谷歌撤出了该项目。

结论

作为一项新技术，自主武器和人工智能研究有可能极大地造福人类，也可能极大地伤害人类。自主武器公开信的作者和签署者认为，无论其创建背后的意图如何，不受限制的人工智能发展在全球范围内都将是灾难性的。他们呼吁禁止进攻性自主武器，但这些武器的制造容易，并且具有有效的致命战术潜力，这可能使其变得不可能。

未来的探索可以包括对这些武器被黑客攻击或被盗的可能性、包括防御在内的自主武器技术未来以及该技术的当前全球状况进行研究。