Lentis/算法性别偏见

算法偏见 是任何旨在从大量数据中学习以对新数据进行预测的程序。示例包括面部识别、自动驾驶汽车和简历分析器。^[1]

人工智能中的性别偏见

当算法由于数据中编码的偏见而产生“系统性不公平”的结果时，就会发生算法偏见。^[2] 性别偏见通常出现在男性主导的领域。医疗数据往往缺乏女性参与者，导致潜在的诊断和治疗建议不准确。^[3] 由于该领域男性比例失衡，计算机科学的招聘算法倾向于偏向男性。^[4] 这些算法会自我强化。由于算法的偏差导致的决定会创造数据，这些数据会为算法的未来几代强化偏差。

偏见来源

人工智能训练数据可能包含有偏见的人类决策，或反映历史和社会不平等。这些人类偏见往往成为所有算法偏见的基础。这种偏见会导致不正确的决策。例如，麻省理工学院的研究人员表明，面部分析技术对少数民族和女性的错误率更高。这是由于训练数据不具有代表性：大多数训练图像都是白人男性。^[5]

另一种形式的偏见来自故意编码的偏见。自然语言处理模型“词嵌入”用于处理文本。词嵌入是一种识别给定文本块中词语的隐藏模式的机制，考虑语言统计、语法和语义信息以及人类偏见。这种对人类偏见的故意考虑可以提高这些模型的准确性，因为人类写作通常包括人类偏见，但它会在使用这些模型的应用程序中产生负面影响。^[6]

案例研究

2018 年，亚马逊停止使用招聘算法，因为发现该算法偏向于选择男性申请人。这源于 NLP 中的偏见；然而，这并非由于故意编码的偏见。相反，模型训练的大多数简历都来自男性，因为科技行业是男性主导的行业。^[7] 这导致算法偏爱男性通常使用的词语。通过没有确保数据中性别平等的代表性，亚马逊创建了一个人工智能，进一步强化了其领域中性别失衡。

社会视角

消除人工智能算法中性别偏见的努力由许多不同的社会群体进行，每个群体都有自己的方法和努力。

公司

谷歌、苹果和 Facebook 等科技公司在最新的机器学习模型方面取得了大部分进展，这些模型随后被开源供全世界使用。当这些模型存在偏见时，这种偏见会传播到许多应用程序中。例如，谷歌的 Switch Transformer 和 T5 模型被其他企业用于 NLP 应用程序，被证明“经过广泛过滤”以删除黑人和西班牙裔作者，以及与同性恋、女同性恋和其他少数民族身份相关的材料。^[8] 这影响了无数 NLP 应用程序，而应用程序的作者并不知情。活动人士认为，构建无偏见人工智能的责任在于最大科技公司中的少数工程师，而不是更广泛的公众。公司经常公开承诺解决算法偏见。^{[9] [10]} 算法偏见会对人工智能性能产生负面影响，而这些公司认识到减轻这种影响的必要性。

女权主义数据宣言-否

女权主义数据宣言-否是一份宣言，致力于“数据女权主义”事业。这场运动旨在改变数据收集、使用和理解的方式，使其更符合现代女权主义所倡导的性别平等理想。^{[11] [12]}

宣言-否由一系列要点组成，分为拒绝和承诺。拒绝包含对当前关于数据和算法的既定想法的拒绝，以“我们拒绝”一词为开头。承诺然后以论文作者所接受的新标准的形式对该想法做出反驳，以“我们承诺”一词为开头。这种语言在宣言中创造了一种社区感，使作者能够清楚地阐述他们对当前世界的理解以及他们对更美好世界的愿景。这份宣言-否，虽然并非总是被明确使用或引用，但构成了许多现代对抗算法中性别偏见的方法的基础。

伯克利哈斯平等、性别和领导力中心

伯克利哈斯平等、性别和领导力中心为企业领导者编写了一本详细的指南，以减轻其公司内部的算法偏见。^[13] 这本指南包括对人工智能算法中偏见问题以及企业如何解决这些问题的概述和深入探讨。这本指南的存在表明其作者相信，有效地减轻这个问题必须从上而下进行。然而，作者明白，基层组织者可以提供有效的变革激励，即使这些组织者往往缺乏实际实施变革的权力。

为此，伯克利哈斯平等、性别和领导力中心维护着一个多年来不同公司使用的性别偏见算法的清单。认识到使用有偏见算法所带来的负面报道，使用这份清单的目的是通过公开这些偏见来鼓励纠正和避免偏见。^[14]

结论和后续步骤

科技公司和组织应确保收集数据和设计人工智能算法的研究人员和工程师了解对少数民族和弱势群体的潜在偏见。一些公司似乎正在朝着这个方向采取措施。例如，谷歌已经发布了一套关于人工智能使用的指南，适用于其内部和使用其人工智能基础设施的企业。

及时研究使用人工智能算法的预期和意外后果至关重要，尤其是在当前的政府政策可能不足以识别、减轻和消除此类法律关系中微妙偏见的后果的情况下。仅仅通过技术手段解决算法偏差问题将不会带来理想的结果。世界社会思考了引入标准化和制定道德原则以建立公平使用人工智能进行决策的框架。有必要制定专门的规则，为各行各业的算法偏差设定限制。