信息技术与伦理/算法偏差与公平

什么是算法偏差

算法偏差是指当计算机系统持续出现系统性和可重复的错误，导致不公平的结果或基于各种因素歧视个人或主体时。通常，用来歧视特定个人的因素包括种族、性别和社会经济地位。偏差可能出现在多个地方，包括算法设计、算法使用方式与预期使用方式的偏差，以及算法训练中使用的数据。这种偏差会对使用它的主体产生深远的影响，并会加剧社会不平等。

历史

算法偏差最早出现在约瑟夫·魏森鲍姆 1976 年的著作《计算机力量与人力资源》中。魏森鲍姆首次提出，偏差可能通过提供给人工智能的数据以及程序的编写方式来体现。由于程序只能使用其给定的规则集来处理和对数据进行决策，因此人们担心程序会与编写者具有相同的偏差和预期。魏森鲍姆还写道，任何输入程序的数据都是“人类决策过程”的另一个例子，而数据则是被选择的。魏森鲍姆还谈到了另一个算法偏差表现出来的例子：编写者对程序的盲目信任。魏森鲍姆谈到编写者无法理解程序的决策过程，这就像一个游客在酒店里穿梭，用抛硬币的方式来决定是向左走还是向右走。无论最终的解决方案是否正确，都是不可重复且不一致的。

一个来自这个时期的算法偏差的例子是圣乔治医院医学院使用的申请人筛选程序。如果申请者是女性或有“外国口音”的姓名，该程序会自动扣除申请人的分数，使白人男性更容易被录取。该程序由杰弗里·弗朗格林博士编写，他编写该程序是为了减少歧视行为，并使初始申请阶段更容易。弗朗格林认为，将责任转移给程序会使流程更容易也更公平。弗朗格林直接在程序中编码了偏差，而该程序延续了人类评估者所具有的相同的种族歧视。

在现代，算法的制作更加专业，通常会避免编写者在规则或数据中无意引入的大多数偏差，但算法偏差仍然会表现出来。它可能会以难以预测的方式表现出来，这些方式难以解释。算法和算法偏差通常用作实现某种目的的工具，而不是作为具有权威性的虚拟工具来生成该目的，同时将其定位为虚拟手段。与其使用算法来研究人类行为，不如将其作为定义人类行为的一种方式。考虑到这一点，工作组共同创建了机器学习公平性、责任和透明度 (FAT) 小组。该小组成员的想法是巡查算法的结果，并对算法是否有害影响进行投票，以及是否应该对其进行控制或限制。然而，许多人认为 FAT 无法有效发挥作用，因为许多成员的资金来自大型公司。

现有框架和法规

框架

在人工智能框架方面，可供选择的框架越来越多。它们之间至少有点不同，因为它们是针对特定目的而设计的，例如 JAX 是一个“为高性能设备（如 GPU 和 TPU）上的复杂数值计算而设计的”框架，据英特尔所说。还有许多其他可用于任何可以想到的项目的框架，因为越来越多的框架被开发出来。目前，人工智能框架中并没有太多伦理方面的考虑，因为它仍然是一项新兴技术。然而，存在许多潜在的关注领域。例如，想象一个 AI 聊天机器人，它正在接受一个没有考虑任何伦理的框架的训练。该聊天机器人可能通过与人们的互动，说出一些它不应该说的话，或者泄露不应该传播的信息。这可能会导致公司在事件发生和可能带来的声誉下降之间陷入困境。

法规

关于人工智能的监管，许多州已经通过了许多立法。关于保护数据隐私、问责制和人工智能透明度的立法很多。例如，根据瑞秋·赖特的观点，“德克萨斯州 HB 2060 (2023) 就是一个例子。该法案设立了一个人工智能咨询委员会，由政府官员和民选官员、学者和技术专家组成。该委员会的任务是研究和监测州机构开发或部署的人工智能系统，并发布有关数据隐私和防止算法歧视的政策建议。” 科技政策办公室还制定了一个潜在人工智能权利法案的蓝图，该蓝图概述了在使用人工智能或使用人工智能时人们应享有的权利。它涵盖的权利包括：免受不安全系统的保护、免受算法歧视的保护、数据隐私措施、了解何时使用人工智能的权利，以及在不想使用人工智能的情况下选择不使用人工智能的权利。

案例研究

案例研究 1：预测性警务：芝加哥警察局和战略目标名单

预测性警务算法利用数据分析和机器学习方法来预测犯罪可能发生的区域，并相应地分配执法资源。支持者认为这些系统可以减少犯罪并提高公共安全，但批评人士担心这些系统可能存在偏见，并侵犯公民自由。

Rudin 等人 2020 年的一项研究考察了芝加哥预测性警务算法的应用。研究发现，这些算法主要集中在黑人和西班牙裔地区，导致对少数民族社区的监控和执法不平等。此外，这些算法依赖于过去的犯罪数据，这些数据可能反映出警务方法中的偏见，并维持系统性差异。

伦理意义

预测性警务算法的应用引发了关于公平、透明和问责制的伦理问题。批评者认为，这些系统可能会加剧警务中的现有不平等现象，并损害执法部门与边缘化群体之间的信任。

公众辩论和改革努力

倡导民权的群体、社区组织和倡导者正在推动在创建和使用预测性警务算法（如 SSL）方面实现更大的透明度、社区参与和问责制。

某些地区已经实施了立法来监督预测性警务算法的使用，重点是透明度、问责制以及防止偏见和歧视。

芝加哥警察局战略目标名单 (SSL) 的案例表明，预测性警务算法具有复杂的伦理和社会后果。虽然这些算法有可能减少犯罪并提高公共安全，但它们也带来了关于透明度、问责制、公平以及偏见和歧视风险的重要问题。解决这些障碍需要认真思考应该指导预测性警务技术创建和使用的伦理原则和价值观，以确保它们促进正义、公平以及对公民自由的保护。

案例研究 2：亚马逊招聘系统

为了帮助招聘顶尖人才，亚马逊在 2014 年创建了一个由人工智能驱动的招聘工具。在十年的时间里，提交给亚马逊的简历被用来训练人工智能模型。由于男性在计算机领域占主导地位，因此大多数这些简历都是由男性提供的。因此，该系统学会了贬低女子大学的毕业生，并惩罚包含“女子”一词的简历。由于无法完全解决有偏见系统的故障，亚马逊最终在接下来的几年里放弃了该项目。这个例子表明，如果人工智能算法没有得到适当的审查和纠正，它们可能会继承和放大训练数据中包含的社会偏见。它成为了一个警示，提醒人们在没有足够的减轻偏见和测试措施的情况下使用人工智能招聘工具的道德风险。该事件突出了在人工智能领域拥有多元化团队以及在开发人工智能时进行彻底的偏见评估的必要性。

挑战

数据偏差

在反映过去偏见或社会差异的偏斜数据集上训练的算法将识别并加强这些偏见。ProPublica 在 2018 年的报告中发现，在美国刑事司法系统中使用的 COMPAS 软件存在种族偏见。该算法更有可能将黑人被告错误地归类为高风险，而白人被告则不然。这突出了一个常见的问题 - 不平衡的数据集。如果某些人口统计数据在训练数据中代表性不足，那么该算法可能对这些群体表现不佳。

模型偏差

算法设计选择

算法的设计方式可能会引入偏见。关于因素和权重的选择可能会导致歧视性结果。即使使用无偏见的数据，模型也可能由于算法的设计或假设而表现出偏见。2020 年，美国住房和城市发展部 (HUD) 对 Facebook 提出了投诉，指责该公司的广告平台允许基于种族、性别和其他受保护特征的歧视。这种情况突出了广告和住房中偏见算法的法律和道德后果。

通过反馈回路延续偏见

依赖用户数据的算法有可能随着时间的推移而放大现有的偏见。如果算法偏袒特定群体，它可能会产生结果，在用户互动中延续这种偏见。当融入决策过程时，产生有偏见结果的算法会加剧社会偏见，形成一个持续循环。YouTube 的推荐算法因推广极端主义内容而受到批评。这种偏见源于算法倾向于推荐与用户先前观看内容类似的内容，这可能会导致用户走向激进化道路。

缺乏透明度

许多算法是复杂的“黑箱”。难以理解它们如何做出决策，因此难以识别和解决偏见。美国国土安全部牵涉到了一名美国公民，该公民因海关与边境保护局 (CBP) 使用的算法而被选中在边境接受额外检查。原告因算法缺乏透明度而被法院赋予了对算法做出决定的权利。

公平指标和权衡

在算法决策中实现各种公平概念之间的平衡非常困难，因为优先考虑一项公平指标可能意味着牺牲另一项指标。2016 年，谷歌研究人员发现，与肤色较浅的人相比，图像识别算法对肤色较深的人的错误率更高。当他们试图通过微调模型来降低总体错误率来消除这种偏见时，他们发现肤色较浅的人的错误率上升了，这表明解决算法偏见所需的权衡。

法律问题

歧视法律

旨在防止歧视的现行法律，例如美国的 1964 年民权法案，禁止与受保护特征相关的偏见，例如种族、性别和宗教。然而，算法系统的复杂性使得应用这些法律并查明歧视意图变得具有挑战性。2019 年，苹果卡被指控存在性别偏见，因为发现女性获得的信用额度明显低于男性，尽管她们的信用评分相当。苹果和高盛因在确定该卡的信用额度方面缺乏透明度而受到批评。

隐私和数据保护

欧盟的 GDPR 和美国的 CCPA 等法律旨在保护个人对其个人数据如何收集、使用和共享的权利。越来越多的规则侧重于算法的透明度和问责制，这使得企业必须为对个人产生重大影响的自动化决策提供理由。法国数据保护局 (CNIL) 于 2019 年对谷歌处以 5000 万欧元的罚款，原因是违反了 GDPR 关于个性化广告透明同意方面的规定。2020 年，欧盟的 GDPR 被用来质疑 Clearview AI 使用的面部识别技术。该公司因未经同意从欧盟个人收集生物识别信息而受到处罚。

监管挑战

由于技术创新的快速发展和数字平台的全球覆盖范围，政策制定者在监管算法偏差和公平方面面临着重大挑战。创建监管结构的尝试经常遭到行业参与者的反对，他们担心会抑制创新或实施繁重的合规标准。尽管如此，在不同领域正在进行监管努力以解决算法透明度、问责制和公平问题。欧盟委员会提议的人工智能法案旨在规范高风险人工智能系统，包括可能对个人造成伤害的可能存在偏见的人工智能系统。

伦理考量

数据偏差

人工智能算法通过数据进行训练；它们从我们提供的数据集中学习。但是，如果数据包含偏差，算法可能会无意中强化甚至夸大这些偏差。为了防止这种情况，必须仔细选择和准备一个多样化、全面平衡的数据集。这样可以确保识别和最小化任何潜在的偏差，从而实现更公平的人工智能系统。

算法偏差

即使在公正的训练数据的情况下，由于其设计、假设或优化目标，算法本身也可能产生偏差。评估算法在各个子群体中的表现至关重要，并确保它不会歧视任何一个群体。

数据隐私

人工智能系统经常使用大量个人数据，这会引发隐私问题。为了保护人们的隐私，必须建立强大的数据保护机制，包括匿名化、数据加密和访问控制。

促进透明度

组织可以创建自主监督工具来监视人工智能系统的行为，并使用算法审计程序来促进人工智能的责任和透明度。算法影响评估是一种透明度工具，可以提高可信度和问责制。

多元化视角

确保人工智能团队具有包容性和多元化是减少人工智能系统创建和使用过程中偏差的一种方法。多元化的观点和生活经历有助于识别和解决潜在的偏差和伦理困境。

人工监督

即使人工智能算法能够自动化决策流程，也必须始终保持人工监督和责任。尤其是在敏感或高风险情况下，人类应该检查和确认算法的结论。

持续监控和更新

人工智能系统中的偏差可能会随着时间的推移而出现或发生变化，因为它们在动态环境中运行。为了保持公平并减少新出现的偏差，必须定期监控算法的性能并进行适当的更新。

未来方向和创新

先进的公平性指标和工具

公平性指标

在人工智能伦理领域，尤其是在算法偏差和准确性方面建立未来指标至关重要，以确保公平准确的人工智能系统。人工智能中的偏差来自导致负面结果的系统性错误。这通常源于开发阶段的假设，例如数据收集、算法设计和模型训练。例如，在偏差数据上训练的评分算法可能会偏袒来自特定人群的候选人，从而在人工智能系统中保留现有的偏差。

这确保了人工智能模型公平地对待所有人，无论其年龄、性别、种族和社会经济地位。技术经理必须定义和使用指标来确保开发道德的人工智能系统。虽然美国政府还没有这样的立法，但围绕人工智能和公平的法律环境正在发生变化。现行法律，如《公平信用报告法》和《平等信贷机会法》，影响着人工智能公平。在世界范围内，各国正在推进人工智能立法，其中欧盟和加拿大在促进人工智能系统透明度、问责制和公平性方面处于领先地位。^[17]

公平性工具

诸如 IBM 的 AI Fairness 360 ^[18] 之类的工具提供了一个框架，用于检测和减轻机器学习模型中的偏差，为实时监控解决方案奠定了基础。该工具集的设计是 IBM 努力将流程引入人工智能交付的一部分，并提供了一套全面的算法、指标和数据集，重点关注准确性。AIF360 包含 70 多个公平性指标和 10 多个偏差缓解算法。

AI Fairness 360 可用于各种行业和领域，例如金融、人力资源、医疗保健和刑事司法，在这些领域中，人工智能决策系统可能对人们的生活产生重大影响。通过安装这套工具，组织可以确保其人工智能系统更加高效和准确，从而降低导致歧视的负面偏差风险。

利益相关者协作和公众参与

利益相关者协作和公众参与是解决人工智能伦理中程序性偏差和公平性的重要步骤。这些努力证明了协作的重要性以及公众行动的力量，以确保人工智能系统以道德和公平的方式开发和部署。

跨学科协作

跨多个学科的协作努力对于开发准确且可持续的人工智能系统至关重要。来自技术、社会科学、伦理学和法律等各个领域的利益相关者参与了这些协作。目标是以一种综合的方式开发人工智能，在每个阶段都纳入伦理考量。这种学习方法有助于理解人工智能假设的复杂性并制定全面的缓解策略。^[19][20]

公众参与人工智能伦理

公众参与在管理人工智能技术方面至关重要。这包括通过通信、公开论坛和参与式设计流程进行社区参与。这项工作将确保人工智能技术的发展与公共价值和社会规范相一致。人工智能系统将得到更好的理解和问责。可以使用诸如咨询投票之类的方法来促进公众参与，该方法将来自不同群体的人聚集在一起，讨论并提供对人工智能政策的意见。^[19]

教育举措和意识

为了通过教育举措和公众意识活动有效地解决算法偏差和公平问题，已经在各种组织和教育机构中探索和实施了多种方法。

教育举措

以人工智能伦理和合法性为重点的培训课程可以塑造技术人员和决策者的知识和态度。例如，由麻省理工学院媒体实验室^[21] 为高中生开发的 AI + 伦理课程项目旨在提高人们对人工智能技术的认识及其对社会的影响，包括算法偏差问题。

公众意识活动

像 AI for Humanity 这样的组织正在利用流行文化来提高一些人对人工智能对社会正义的影响的认识，并关注这些技术对黑人社区的影响。这包括立法努力，以确保人工智能应用的透明度和问责制。^[22]

协作研究和公共讨论

像人工智能和卡内基^[23]委员会的平等倡议等网站将学者聚集在一起，讨论和解决人工智能中的偏差，例如性别偏差，不平等在算法成本下依然存在。这些辩论不仅提高了认识，而且鼓励了为政策和实践提供信息的调查研究。