专业性/伊莱恩·赫茨伯格的死亡

2018 年 3 月 18 日晚上，在美国亚利桑那州坦佩市，一辆自动驾驶汽车（AV）与伊莱恩·赫茨伯格发生碰撞并导致其死亡。这辆自动驾驶汽车，一辆经过改装的沃尔沃 XC90，是优步高级技术集团（ATG）的测试项目的一部分。赫茨伯格在骑自行车横穿一条四车道的道路时被撞，当时正在违规横穿马路。毒理学筛查显示，她血液中含有甲基苯丙胺和四氢大麻酚。自动驾驶汽车的安全驾驶员拉斐拉·瓦斯克斯在撞车前正在手机上观看电视节目，违反了优步的政策和亚利桑那州的法律。国家运输安全委员会 (NTSB) 发现瓦斯克斯的分心影响了她的反应时间，导致她在收到自动驾驶汽车的提示后未能手动避开赫茨伯格。

赫茨伯格的死，是人，而不是技术的问题

优步的软件存在危险缺陷

如上所述，赫茨伯格死亡的直接原因是赫茨伯格的损害和违规横穿马路以及瓦斯克斯的分心，但是，我们必须仔细查看自动驾驶汽车的机制以确定更高级别的起因。自动驾驶汽车有三种感知周围环境的机制——激光雷达、雷达和摄像头。这三者协同工作，描绘出周围环境的 3D 图像，并允许汽车的计算机视觉算法判断距离、预测移动物体的轨迹，并将不同的物体归类为汽车、自行车、行人或其他东西。

优步的自动驾驶软件（称为“感知”）存在一些关键缺陷。首先，重新分类的物体丢失了运动历史，自动驾驶汽车无法预测它们的轨迹。在赫茨伯格死亡前的几秒钟内，计算机视觉系统多次重新分类赫茨伯格，在未知物体、自行车和车辆之间循环。自动驾驶汽车无法预测赫茨伯格的运动路径以避开她。其次，被归类为未知物体的物体没有预测轨迹。第三，根据 NTSB 的说法，“感知”中“没有考虑违规横穿马路的行人”。第四，“感知”的紧急制动系统有缺陷。优步将沃尔沃的原生紧急制动系统编程为在“感知”激活时停用。事故发生后，沃尔沃对事故场景进行了模拟，并确定如果沃尔沃的紧急制动系统处于激活状态，它将允许自动驾驶汽车避开赫茨伯格，或者至少减速以降低撞击速度。“感知”自身的紧急制动系统没有激活以降低撞击速度，而只是在自动驾驶汽车能够避免撞击的情况下才激活。

令人震惊的是，没有发生技术故障，所有传感器系统都处于完全激活状态并正常工作。激光雷达供应商 Velodyne 的一位高管表示，激光雷达“不会决定踩刹车或避开她 [赫茨伯格]”。 关键的结论是，自动驾驶汽车在“感知”下按程序执行了操作，因此“感知”的设计存在缺陷，而不是底层技术。

糟糕的安全文化导致悲剧

如果问题在于“感知”的设计，为什么优步没有早点发现这些缺陷，或者为什么他们没有在自动驾驶汽车中设计冗余安全措施以防范未发现的缺陷？NTSB 指出了优步的“对安全文化缺乏承诺”。 这是优步的伦理陷阱。以下是 NTSB 提及的优步 ATG 的一些做法，这些做法被视为安全文化薄弱的证据

• 安全冗余性降低
  • 2017 年取消第二名安全驾驶员
  • 禁用沃尔沃的原生紧急制动和前方碰撞检测
• 对安全驾驶员的监管不力
  • 例如，主管使用安全驾驶员的内向摄像头画面“抽查”安全驾驶员
• 未能预料到“人为因素”
  • 行人——违规横穿马路
  • 安全驾驶员——不注意性盲视、自动化自满和风险补偿（见下文）
• 没有专门部门来监督安全

值得注意的是，优步 ATG 的员工在赫茨伯格死亡之前就意识到“感知”和安全标准存在缺陷。优步的自动驾驶汽车经常发生事故，在赫茨伯格死亡前的二月，几乎“每隔一天就发生一起”。犯下可开除罪行的安全驾驶员，例如瓦斯克斯使用手机，却没有受到处罚。 值得肯定的是，优步声称在事故发生后纠正了几乎所有这些薄弱环节， 但是，这些因素仍然导致了赫茨伯格的死亡。

自动驾驶系统内置伦理假设

在设计自动驾驶汽车软件时，始终会嵌入伦理决策。后果主义认为，正确行动就是以量化指标（例如，死亡人数最少）衡量结果最好的行动。 当自动驾驶汽车制造商考虑碰撞优化时，他们会应用后果主义——如果碰撞即将发生，自动驾驶系统将如何最大程度地减少损坏、伤害或死亡？ 为此，会实施目标算法，这些算法会故意针对特定的人群，具体取决于某些因素。

例如，考虑一个思想实验，一辆汽车必须在撞击戴着头盔的摩托车手和不戴着头盔的摩托车手之间做出选择。 这似乎是合理的，因为不戴头盔的人可能无法在撞车中幸存。但是，这实际上意味着摩托车手因戴着头盔而受到惩罚和歧视，这可能会鼓励摩托车手不戴头盔以避免这种针对行为。结果主义与历史上最著名的伦理困境之一，即电车问题有关。 与电车问题类似，没有明确的答案来解决如何完善碰撞优化。

自动驾驶汽车公司拒绝承担责任并支持继续进行街道测试

针对自动驾驶汽车的事故，优步和特斯拉等公司拒绝承担责任。2016 年，约书亚·布朗驾驶特斯拉 Model S 在自动驾驶模式下与一辆半挂卡车相撞，不幸遇难。特斯拉首席执行官埃隆·马斯克将布朗等人的事故归咎于驾驶员对自动驾驶汽车的过度自信，称“问题更多的是自满”，而不是特斯拉自动驾驶系统的任何缺陷。 像特斯拉的“自动驾驶”这样的营销术语可能暗示了比系统提供的更高的自主性水平。 无意中导致了马斯克提到的自满问题。优步表示，他们在进行街道测试之前不可能“预测和消除”所有潜在风险，这就是在公共道路上进行测试的必要性。 优步糟糕的安全文化可能会有不同的说法。优步在赫茨伯格遇难之前就意识到了其自动驾驶系统和安全标准的缺陷，尽管经常发生撞车事故，但他们仍然在公共道路上测试其车辆。 Waymo 也呼吁继续进行街道测试。 但是，他们的安全记录更好，没有记录死亡事件。

人类行为不适合使用自动驾驶汽车

当前的自动驾驶汽车对人类注意力的要求不切实际

SAE 国际，也称为汽车工程师学会，已为自动驾驶汽车定义了六个级别的自主性。 3 级自动驾驶汽车，例如涉及赫茨伯格死亡的那辆车，不适合人类心理，会让安全驾驶员产生虚假安全感。当人类驾驶（0-2 级）时，人类会参与驾驶任务并专注于道路。在 3 级自主性中，自动驾驶汽车消除了专注于道路的必要性，但驾驶员仍然必须专注于道路，并准备在紧急情况下接管。由于不注意的盲视，即在不注意时无法注意到事物（例如横穿马路的行人），这对人类来说是不合理的任务。

自动化导致驾驶员鲁莽

当工程师设计一项更安全的技术时，用户可能会使用该技术承担更多风险，从而抵消任何安全益处。这种现象被称为风险补偿。 自动化技术会发生一种特殊的风险补偿变体，称为自动化自满。当技术自动化后，用户往往会忘记执行系统现在自动执行的旧手动任务。如果自动化系统发生故障，用户会忘记纠正故障。 当安全驾驶员操作自动驾驶汽车时，自动化自满会让他们忘记他们在驾驶传统汽车时会采取的旧安全预防措施。例如，安全驾驶员更容易分心，例如瓦斯克斯使用手机。因此，安全驾驶员面临的挑战是，他们可能在自动化故障发生时分心，并且可能没有准备好接管紧急情况。

经济和政治因素导致了赫茨伯格的死亡

当加州说不，亚利桑那州说yes

2016 年，优步最初在其总部城市加利福尼亚州旧金山测试其自动驾驶汽车。然而，在优步自动驾驶汽车闯红灯后，加利福尼亚州官员要求优步申请许可。 回溯到 2014 年，加利福尼亚州创建了一个自动驾驶汽车测试许可制度。 优步拒绝进行许可流程，亚利桑那州州长道格·杜西试图吸引优步的自动驾驶汽车测试到他的州。杜西在一份新闻稿中表示，虽然“加州以更多官僚主义和更多监管来阻碍创新和变革，但亚利桑那州正在为新技术和新企业铺平道路”，以及“亚利桑那州张开双臂，欢迎优步自动驾驶汽车”。 杜西促进该州经济的意图可能是纯粹的，但他急于吸引优步的做法让亚利桑那州容易受到悲剧的影响。他在没有制定法规来筛选自动驾驶汽车公司或其安全做法的情况下，将优步引诱到亚利桑那州，最终导致亚利桑那州公民伊莱恩·赫茨伯格的死亡。事故发生后，杜西州长通过行政命令对优步的自动驾驶汽车测试实施了禁令，但国家运输安全委员会批评亚利桑那州未能为自动驾驶汽车测试创建一个“以安全为重点的申请审批流程”。

缺乏联邦监管导致州政府面临道德困境

国家运输安全委员会 (NTSB) 还批评了国家公路交通安全管理局 (NHTSA) “没有向各州提供明确的领导，以管理自动驾驶汽车测试的快速增长”。 NHTSA 尚未发布自动驾驶汽车的全面标准，概述自动驾驶汽车测试的最佳实践，或为自动驾驶汽车和自动驾驶汽车公司的安全协议创建强制性审查流程。2017 年和 2020 年，美国国会 试图通过全面的自动驾驶汽车立法，但失败了。 这导致了监管真空，迫使各州自行监管自动驾驶汽车标准。也许各州不应完全为自动驾驶汽车测试带来的伦理困境负责，因为联邦政府没有提供统一的指导。

关键教训

此案表明，当我们重视进步和利润胜过安全时会发生什么。Uber 早已预料到他们的自动驾驶汽车项目和感知系统存在安全问题。他们通过消除第二名安全驾驶员来降低成本，使问题更加严重。亚利桑那州政府本可以在允许 Uber 在其街道上进行测试方面更加谨慎，但杜西州长对经济繁荣的渴望超越了该州的自动驾驶汽车立法。结果，一名无辜的行人丧生。赫茨伯格的死亡可能在经济上损害了 Uber，因为该公司在 2018 年的增长速度放缓。 Uber 在事故发生后的几年里似乎解决了一些这些问题，但所有行业都应该将此案作为一项教训，将安全放在首位。

未来方向

未来的研究可以检验各州自动驾驶汽车法规的效力。我们还可以预测联邦自动驾驶汽车监管机构的成本以及此类组织的潜在效益。自动驾驶汽车领域存在无数伦理问题，其中一些问题，例如碰撞优化，可能永远不会有明确的答案。一个可能会有明确答案的伦理问题是，确定自动驾驶汽车公司是否对事故负有道德责任的客观标准。最后，我们必须认识到，事后诸葛亮，任何自动驾驶汽车公司都无法在街道测试之前预测所有可能的意外情况。