专业性/Timnit Gebru 和谷歌的道德 AI
2020 年底，谷歌 AI 著名研究员 Timnit Gebru 在被施压撤回一篇批评公司使用的语言处理模型的论文后，被突然解雇。 [1] 她的解雇引发了员工和行业专业人士的愤怒，最终导致谷歌道德 AI 团队的领导层重组。 [2] Gebru 的解雇引起了人们对科技行业研究审查、压迫性的工作环境和滥用权力等问题的关注。
Google AI 是 Google 的人工智能部门。该部门的使命是构建负责任的系统，让所有人能够使用。 2020 年，指导 Google AI 工作的 AI 原则经过调整，以解决系统性种族歧视问题，其目标是“从内部和外部的多元化声音中学习”。 [3] 尽管做出了这些努力，黑人员工在公司整体技术人员中的比例仍不到 4%。 [4]
Google Brain 是 Google 内部的一个研究团队，专注于机器智能，包括深度学习和自然语言处理。 [5] 在 Google Brain 内部，道德 AI 团队由 Margaret Mitchell 于 2017 年创建，她是高级研究科学家，致力于将 AI 实践与人类价值观和公平性相一致。 [6] Gebru 于 2018 年 9 月加入该团队，担任联合领导人，此前 Mitchell 和 Jeff Dean（Google Brain 研究小组负责人）对其进行了锲而不舍的招募。 [7]
.jpg)
在加入道德 AI 团队之前，Gebru 共同创立了一个非营利组织，以解决人工智能领域缺乏多样性的问题。 该组织致力于通过学术项目、会议、宣传和社区活动，增加黑人在人工智能领域的存在。 [8] Gebru 积极倡导在开发 AI 系统的研究人员和开发人员中增加多样性，将其视为开发无偏见机器学习系统的必要组成部分。 [9]
2018 年，Gebru 与他人合著了一篇广为传播的研究论文，探讨了自动人脸分析系统的种族和性别偏见。 该研究分析了三种商用性别分类产品，针对按性别和肤色分组的受试者进行分析。 该研究发现，所有三家公司对男性受试者的错误率最低，对肤色较深的女性受试者的错误率最高。 [10] 尽管人们普遍推测，基于 AI 的系统在不同人群中不会产生一致的结果，但这项研究是首批表明偏差的经验证据之一。 [11] 该研究的媒体报道十分广泛，Gebru 也成为了倡导公平算法的杰出声音。 [12]
在加入 Google 的道德 AI 团队两年后，Gebru 正在与他人合著一篇关于大型语言模型 (LM) 负面影响的论文。 这篇名为“关于随机鹦鹉的危险：语言模型能太大了嗎？” 的论文没有通过 Google 的内部审查流程。 [13] 该论文指出了 LM 的主要问题，包括环境和财务成本、问题训练数据、方向错误的研究工作以及偏差的放大。 研究人员对 BERT 做出了多处批评性引用，BERT 是一种用于 LM 的机器学习技术，Google 使用它来改进搜索结果和语言处理。 该论文最后呼吁研究人员仔细考虑大型 LM 的风险，并重新评估模仿人类行为的技术的必要性。 [14]
2020 年 11 月 19 日，Timnit Gebru 被突然要求参加下午的会议，但没有被告知会议的内容。 在会议上，时任 Google Research 副总裁 Megan Kacholia 告知 Gebru 和她的合著者，他们的论文未获准发表。 他们被要求撤回论文。 [15]
Gebru 对此决定感到愤怒，并向名为 Google Brain Women and Allies 的邮件列表发送了一封邮件，表达了她对这次经历以及 Google 环境的总体失望之情。 在邮件中，Gebru 表示她不得不请求对论文进行反馈，并且只以匿名作者的机密文件的形式获得了反馈。 她说，当她试图就反馈进行讨论时，却遭到了无视。 [15]
Gebru 还暗示，撤稿处理不符合典型程序，而且她因为种族和性别而受到不公正待遇。她对没有参与关于是否撤稿的讨论感到愤怒，她说从谷歌的角度来看，“你并不值得参与任何关于此事的对话，因为你不是一个在该公司被承认或重视其人性的人。”[15]
Gebru 还讨论了谷歌其他歧视行为的案例，在谷歌，像她这样的黑人女性仅占员工总数的 1.6%。[16] Gebru 之前停止在 Google Brain Women and Allies 上发帖，因为“在发布[她的]故事后，[她]收到了所有微观和宏观攻击以及骚扰”。她说在谷歌，“没有激励措施去雇佣 39% 的女性：当你开始为弱势群体代言时，你的生活会变得更糟。”[15] 她的写作反映了此前对谷歌活动人士的报复行为，例如 2018 年谷歌员工罢工 之后。
Gebru 被解雇
[edit | edit source]在给邮件列表发邮件后，Gebru 向 Jeff Dean 和 Kacholia 表达了她的失望，并向他们发送了一份她继续在谷歌工作的要求清单。[17] 其中一项要求是公开她论文反馈的匿名作者。[13] Kacholia 于 2020 年 12 月 2 日回复说，这些要求无法满足，并表示她接受了 Gebru 的辞职。从 Gebru 的角度来看，她被解雇了，她认为这是对她发送给 Google Brain Women and Allies 的邮件的报复，而不是因为她的要求。[18] 她在推特上表示，Kacholia 要求她在感恩节假期后不要返回工作岗位，“因为[她]发送给大脑团队的电子邮件中的某些方面反映出与谷歌经理的期望不一致的行为。”[19]
2020 年 12 月 3 日，Jeff Dean 向谷歌研究部门发送了一封电子邮件，以澄清关于论文撤稿和 Gebru 离职的情况。Dean 写道，这篇论文“在截止日期前一天才分享...然后没有等待审稿人的反馈，而是被批准提交并提交了”，这违反了谷歌研究程序。Dean 还提到，这篇论文忽略了将最近关于语言处理模型的研究纳入，这些研究解决了论文中发现的一些问题。然而，Google Brain 的另一位研究人员后来在推特上表示，他的投稿“总是被检查是否披露敏感材料，而不是检查文献综述的质量”，这意味着 Dean 认为可以证明撤稿的规则在谷歌只是选择性地应用。[20]
在证明撤稿理由后，Dean 在他的电子邮件中表示 Gebru 没有被解雇，而是自愿辞职。他还对 Gebru 发送给邮件列表的电子邮件表示失望，并恳请员工继续努力进行内部多样性计划。[13]
后果
[edit | edit source]最初的强烈反对
[edit | edit source]许多谷歌员工对 Gebru 被解雇感到愤怒。2020 年 12 月 3 日，Google Walkout for Real Change 发起了一项请愿，要求谷歌对谷歌对 Gebru 论文的回应、未来增加透明度以及重申对负责任人工智能的承诺做出解释。截至 2021 年 4 月 25 日，该请愿书已获得 4302 个签名，其中 2695 个来自谷歌员工。[21] 12 月，谷歌伦理人工智能团队致函谷歌管理层。该信函名为“谷歌研究伦理人工智能的未来”，要求解雇工程副总裁 Megan Kacholia。这封信还要求提供更多关于解雇 Gebru 的决定的详细信息，以及停止对表达关切的员工的报复性惩罚。该团队还要求恢复 Gebru 的职位。[22]
2020 年 12 月 16 日，九名国会议员致函谷歌，要求提供有关 Gebru 被解雇的更多信息。这封信引用了谷歌的备忘录，并指出它们非常含糊。这些议员还要求谷歌提供更详细的政策，以确保他们的研究能够得到妥善开展，并帮助识别其模型中的歧视问题。[23]
在谷歌保持沉默后，员工开始采取更极端的行动。2021 年 1 月 5 日，谷歌工程总监 David Baker 辞职，以抗议 Gebru 被解雇。2021 年 2 月 3 日，谷歌软件工程师 Vinesh Kannan 辞职。在他辞职信中，他提到了 Gebru 和 April Christina Curley 被解雇。Curley 是谷歌招聘人员，于 2020 年被解雇。[24]
谷歌的回应
[edit | edit source]2021 年 2 月 17 日，谷歌伦理人工智能团队宣布重组。该团队直到新闻发布后才收到内部通知。副总裁 Megan Kacholia 被解雇，由 Marian Croak 取代。[25]
另一位著名的人工智能研究员、谷歌伦理人工智能团队创始人 Margaret Mitchell 博士，在推特上对 Gebru 被解雇发表了特别尖锐的言论。2021 年 1 月，Mitchell 的谷歌电子邮件访问权限被封锁，她被停职。2021 年 2 月 19 日，Mitchell 被正式解雇。谷歌发言人表示，她被解雇是因为官方审查发现她违反了谷歌的行为准则和安全政策。当被问及她对谷歌声明的反应时，Mitchell 回复说，“我实际上并不知道这些指控。我的意思是，大部分对我来说都是新闻。”她的解雇引发了人工智能研究人员的另一波愤怒。[26] 2021 年 3 月 8 日，Google Walkout for Real Change 发表了一封公开信。这封信没有针对谷歌，而是试图对谷歌施加外部压力。这封公开信要求学术会议要求研究投稿也包括公司研究政策，并禁止律师编辑论文。这封信还宣布了 #RecruitMeNot 运动，该运动呼吁与谷歌面试的人员撤回他们的申请，特别是引用了对 Gebru 和 Mitchell 被解雇的担忧。研究人员被要求拒绝来自谷歌的资金，这封公开信要求在州和国家一级加强举报人保护。[27]
持续的强烈反对
[edit | edit source]2021 年 2 月 26 日，FAccT 大会 决定从其赞助商名单中删除谷歌，理由是最近伦理人工智能团队引发的争议。该会议是第一个公开反对谷歌的组织之一，表明业界正在关注这场争议。[28] 2021 年 3 月 12 日，包括 Hadas Kress-Gazit 博士和 Scott Niekum 博士在内的研究人员开始退出谷歌的机器学习和机器人安全研讨会。谷歌以外的人工智能研究人员开始采取更明确的立场。[29] 2021 年 4 月 6 日，谷歌经理 Samy Bengio 宣布辞职。虽然他在辞职信中没有提到 Gebru 和 Mitchell 被解雇，但他之前曾在社交媒体上写道，“我支持你，Timnit。”[30]
对职业操守的评论
[edit | edit source]谷歌对道德人工智能团队的研究拥有很大程度的控制权。公司可以阻止研究论文在研究会议上发表，从而产生潜在的利益冲突。研究结果可能会揭示谷歌自身人工智能模型的缺陷，因此将这些发现公之于众对于帮助解决其他人工智能模型中可能存在的问题至关重要。
谷歌管理层将公司形象置于首位。在被迫权衡利弊时，公司的短期声誉优先于谷歌员工和帮助使基于文本的人工智能更加道德的目标。
谷歌在提交研究会议时采用的政策仅选择性地执行。管理层拒绝提供具体反馈以帮助改进研究论文，使其能够获批，并让团队对做出这些决定的人以及原因蒙在鼓里。
这场争议仍在持续。未来的工作可以继续关注任何进一步的负面反应，以及请愿书和公开信是否会产生持久影响，无论是在谷歌还是其他地方。这些担忧可能会消退，也可能导致研究会议和科技公司发生持久的政策变化。
- ↑ Bass, D., Banjo, S., & Bergen, M. (2020, December 3). Google’s Co-Head of Ethical AI Says She Was Fired for Email. Bloomberg.https://www.bloomberg.com/news/articles/2020-12-03/google-s-co-head-of-ethical-ai-says-she-was-fired-over-email
- ↑ Grant, N. & Bass, D. (2021, February 27). Google Revamps AI Teams in Wake of Researcher’s Departure. Bloomberg.https://www.bloomberg.com/news/articles/2021-02-18/google-to-reorganize-ai-teams-in-wake-of-researcher-s-departure?srnd=technology-vp&sref=gni836kR
- ↑ Google AI. (2020). AI Principles 2020 Progress update. https://ai.google/static/documents/ai-principles-2020-progress-update.pdf
- ↑ Parker, M. (2020). Google Diversity Annual Report 2020. https://kstatic.googleusercontent.com/files/25badfc6b6d1b33f3b87372ff7545d79261520d821e6ee9a82c4ab2de42a01216be2156bc5a60ae3337ffe7176d90b8b2b3000891ac6e516a650ecebf0e3f866
- ↑ Dean, J. (2017, September 13). The Google Brain Team’s Approach to Research. Google AI Blog. https://ai.googleblog.com/2017/09/the-google-brain-teams-approach-to.html
- ↑ Mitchell, M. (n.d.). http://www.m-mitchell.com/mitchell-cv.pdf
- ↑ Grant, N., Bass, D., & Eidelson, J. (2021, April 21). Google Turmoil Exposes Cracks Long in Making for Top AI Watchdog. Bloomberg.https://www.bloomberg.com/news/articles/2021-04-21/google-ethical-ai-group-s-turmoil-began-long-before-public-unraveling
- ↑ Black in AI. (n.d.). https://blackinai.github.io/#/about
- ↑ Snow, J. (2018, February 14). “We’re in a diversity crisis”: cofounder of Black in AI on what’s poisoning algorithms in our lives. MIT Technology Review.https://www.technologyreview.com/2018/02/14/145462/were-in-a-diversity-crisis-black-in-ais-founder-on-whats-poisoning-the-algorithms-in-our/
- ↑ Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research.http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
- ↑ Lohr, S. (2018, February 9). Facial Recognition Is Accurate, if You’re a White Guy. The New York Times.https://www.nytimes.com/2018/02/09/technology/facial-recognition-race-artificial-intelligence.html
- ↑ Buolamwini, J. (n.d.). Updates. MIT Media Lab.https://www.media.mit.edu/projects/gender-shades/updates/
- ↑ a b c Hao, K. (2020, December 4). We read the paper that forced Timnit Gebru out of Google. Here’s what it says. MIT Technology Review. https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/
- ↑ Nayak, P. (2019, October 25). Understanding searches better than ever before. Google Blog. https://blog.google/products/search/search-language-understanding-bert/
- ↑ a b c d Gebru, T. (n.d.). https://www.platformer.news/p/the-withering-email-that-got-an-ethical
- ↑ Tiku, N. (n.d.). Google hired Timnit Gebru to be an outspoken critic of unethical AI. Then she was fired for it. Washington Post. Retrieved April 25, 2021, from https://www.washingtonpost.com/technology/2020/12/23/google-timnit-gebru-ai-ethics/
- ↑ Oremus, W. (2020, December 3). Noted A.I. Ethicist Timnit Gebru Let Go From Google Following Tense Email Exchange. Medium. https://onezero.medium.com/noted-a-i-ethicist-timnit-gebru-leaves-google-following-tense-email-exchange-f602cdb7fe89
- ↑ Gebru, T. (2020, December 3). I was fired by @JeffDean for my email to Brain women and Allies. My corp account has been cutoff. So I’ve been immediately fired :-) [Tweet]. @timnitGebru. https://twitter.com/timnitGebru/status/1334352694664957952
- ↑ Gebru, T. (2020, December 3). However, we believe the end of your employment should happen faster than your email reflects because certain aspects of the email you sent last night to non-management employees in the brain group reflect behavior that is inconsistent with the expectations of a Google manager. [Tweet]. @timnitGebru. https://twitter.com/timnitGebru/status/1334364735446331392
- ↑ Nicolas Le Roux. (2020, December 3). Now might be a good time to remind everyone that the easiest way to discriminate is to make stringent rules, then to decide when and for whom to enforce them. My submissions were always checked for disclosure of sensitive material, never for the quality of the literature review. [Tweet]. @le_roux_nicolas. https://twitter.com/le_roux_nicolas/status/1334601960972906496
- ↑ Google Walkout for Real Change. (2020, December 3). Standing with Dr. Timnit Gebru — #ISupportTimnit #BelieveBlackWomen. Google Walkout for Real Change. https://googlewalkout.medium.com/standing-with-dr-timnit-gebru-isupporttimnit-believeblackwomen-6dadc300d382.
- ↑ Elias, J. (2020, December 17). Google AI ethics team demands changes after dismissal of renowned researcher. CNBC. https://www.cnbc.com/2020/12/17/googles-ai-ethics-team-makes-demands-of-executives-to-rebuild-trust.html.
- ↑ Hao, K. (2020, December 17). Congress wants answers from Google about Timnit Gebru's firing. MIT Technology Review. https://www.technologyreview.com/2020/12/17/1014994/congress-wants-answers-from-google-about-timnit-gebrus-firing/.
- ↑ Schiffer, Z. (2021, February 4). Two Google engineers quit over firing of ethical AI leader Timnit Gebru. The Verge. https://www.theverge.com/2021/2/4/22266513/google-engineers-quit-timnit-gebru-ethical-ai-april-christina-curley-firing.
- ↑ Schiffer, Z. (2021, February 18). Google is restructuring its AI teams after Timnit Gebru's firing. The Verge. https://www.theverge.com/2021/2/18/22289264/google-restructuring-ethical-ai-team-timnit-gebru-firing.
- ↑ Metz, R. (2021, February 20). Google is trying to end the controversy over its Ethical AI team. It's not going well. CNN. https://www.cnn.com/2021/02/19/tech/google-ai-ethics-investigation/index.html.
- ↑ Google Walkout For Real Change. (2021, March 8). The Future Must Be Ethical: #MakeAIEthical. Medium. https://googlewalkout.medium.com/the-future-must-be-ethical-makeaiethical-9eb3edd7cf3c.
- ↑ Johnson, K. (2021, March 3). AI ethics research conference suspends Google sponsorship. VentureBeat. https://venturebeat.com/2021/03/02/ai-ethics-research-conference-suspends-google-sponsorship/.
- ↑ Vincent, J. (2021 年 4 月 13 日). 谷歌正在用人工智能研究人员毒害其声誉. The Verge. https://www.theverge.com/2021/4/13/22370158/google-ai-ethics-timnit-gebru-margaret-mitchell-firing-reputation.
- ↑ Schiffer, Z. (2021 年 4 月 6 日). 在解雇了两位顶级研究人员后，谷歌人工智能经理辞职. The Verge. https://www.theverge.com/2021/4/6/22370372/google-research-manager-resigns-timnit-gebru-margaret-mitchell-firing.