Lentis/Deepfakes

简介

Deepfake是一种伪造的图像、视频或音频录制，旨在看起来和听起来都很真实。Deepfake是使用动画、面部识别和机器学习技术创建的。

背景

历史

基于计算机的面部动画技术自20世纪70年代初就已存在，但它们缺乏用于制作现代Deepfakes的技术的真实感和便利性。

1997年的“视频重写”研究项目是朝着现代Deepfake技术发展的一个关键进步。“视频重写”利用计算机视觉、面部动画和现有素材来“自动创建一个人在原始素材中没有说的话的新视频”。 这将多种技术合成到一个单一的自动化过程中，为Deepfake生成应用程序铺平了道路。

在图像或视频中跟踪面部特征是现代Deepfake技术的一个关键方面。2001年，加州大学伯克利分校的研究人员开发了一个计算机模型，将形状映射到现有图像上，实现了这一目标。

2000年代后期和2010年代初期，计算机处理能力、机器学习、面部识别和动画技术取得了渐进式进步。

2016年，斯坦福大学的研究人员提出了一种新颖的方法，用于“单目视频序列（例如YouTube视频）的实时面部重演”。 这种技术将演员的嘴巴叠加到目标视频上。与旧方法相比，这是实时完成的，是Deepfake技术发展的一个里程碑。一年后，华盛顿大学的研究人员创建了一个程序，可以真实有效地改变目标视频的视频和音频，使用个人电脑硬件在约45分钟内生成一个66秒的Deepfake。 这种方法的速度和质量，以及其在普通硬件上运行的能力，使得公众能够爆炸式地生成高质量的Deepfake。

随着Deepfake技术的改进，Reddit用户在“r/deepfakes”子版块开始发布原创Deepfake，FakeApp应用程序创建了一个“用于创建Deepfake的桌面工具”。

现代Deepfakes

现代Deepfake是通过在现有面部图像或视频上训练神经网络来制作的。一旦网络学会了面部在不同表情和环境下的样子，它就可以生成自己的面部Deepfake。 遵循过去的趋势，Deepfake的质量几乎肯定会持续提高，直到人类无法分辨真实和生成的之间的任何区别。这可能会造成严重的信息误导，并给经常成为Deepfake主题的名人和公众人物带来问题。

商业应用

Deepfake用于视频翻译和库存照片生成。Canny AI虽然将他们的服务称为“视频对话替换”，并表示他们没有创建Deepfake，但他们提供翻译源视频和修改面部以使其看起来像是在说新语言的服务。 一家国际企业可以使用Canny AI对高管用不同语言发表的演讲进行Deepfake，而不是使用字幕。如果用户能够证明获得同意，Canny AI还为名人模仿提供其服务。Generated.photos销售人造生成的肖像，用于试用软件、头像、游戏设计和广告。他们还提供匿名化服务，为个人资料生成一张新面孔，该面孔“会让你想起你的肤色、年龄、性别、[和]头发长度”。 为了避免数据隐私问题，所有照片都是由公司拍摄的，而不是从互联网上抓取的。

担忧

Deepfake可能被滥用来创建未经他人同意的人员图像和视频。例如，迪士尼和YouTube频道已经对已故演员进行了Deepfake。 使用Generated.photos的游戏开发者发现，“当需要刻画不太讨喜的角色时，合成照片特别有用”。 除了游戏之外，Deepfake还可以用来传播不受欢迎的、有争议的或危险的信息。例如，一家公司可以创建一个虚假的高管来为失败的商业计划背黑锅，或者一个政治竞选活动可以创建对手方面的虚假视频。

Generated.photos和Canny AI都设有旨在防止用户从事非法或恶意活动的条款和条件。但是，Deepfake程序的源代码是公开可用的。 Google Colab等云平台的免费层允许用户从浏览器创建Deepfake。 随着Deepfake的质量和可访问性不断提高，它们很可能很快就会成为模仿和传播虚假信息的主流工具。

身份盗窃

面部识别和语音合成允许不法分子假扮成他们不是的人。 虚假的声音可用于电话呼叫，从数据库管理员那里窃取受害者的私人信息，例如用户名或密码。或者，不法分子可以使用Deepfake假扮成身份盗窃的受害者，以受害者的身份致电银行或其他服务机构，以获取私人信息或将受害者的账户资金转到他们自己的账户。目前的Deepfake技术使得语音合成攻击在今天成为可能，并且只需要很少的语音数据。 Deepfake诈骗的著名例子包括一位CEO损失了243,000美元，以及一位寡妇向她认为是海军上将的人提供了287,928美元。 Deepfake身份盗窃的有效性值得怀疑，因为在许多情况下，犯罪分子使用自己的声音模仿他人更容易且更可信。

敲诈勒索

犯罪分子利用Deepfake勒索受害者，主要是女名人，索取金钱或信息。犯罪分子可能会威胁发布包含受害者面孔的色情视频来勒索受害者，尽管受害者从未参与其中。这种类型的勒索没有简单的解决方案。

假新闻

尽管尚未成为普遍问题，但我们发现与深度伪造相关的对社会最大的威胁是其对新闻的潜在影响。通过深度伪造将错误信息归因于政治家或专家可能会被解读为真实信息。2018年，Buzzfeed发布了一段视频，视频中展示了前总统巴拉克·奥巴马的虚构版本，由喜剧演员乔丹·皮尔配音，贬低唐纳德·特朗普。 该视频明确表示它是假的，并旨在提高人们对深度伪造对媒体的影响的认识。2020年4月，全球气候倡导组织“灭绝叛乱”的比利时分部， 发布了一段比利时总理谈论环境问题与新冠疫情危机的视频，许多人在揭露其为伪造之前都认为它是真实的。

达特茅斯学院教授哈尼·法里德担心深度伪造可能影响2020年总统大选，因此创建了一款软件，能够以95%的准确率检测深度伪造。 这种技术在未来将成为避免虚假新闻的必要条件，但它仍然可能无法阻止人们相信它。

政府回应

2019年6月，众议院情报常设特别委员会主席希夫将深度伪造描述为“有能力扰乱整个竞选活动，包括总统竞选”，因为“不仅虚假视频可能被当作真实视频传播，而且真实信息也可能被当作虚假信息传播”。 防御高级研究计划局（DARPA）创建了媒体取证（MediFor）平台，以自动检测和识别被操纵的图像和视频。 早期的工作涉及图像拼接等编辑技术，并在2019年向测试数据中添加了GAN辅助操纵。

2019年10月，美国参议院通过了2019年深度伪造报告法案，“要求国土安全部长发布一份关于深度伪造技术使用的年度报告，以及其他目的”。 它还于2020年7月作为一项修正案被添加到2021财年国防授权法案（NDAA）中。 截至2020年11月，众议院尚未通过独立的法案或修正后的NDAA。在NDAA修正案之后，参议员罗布·波特曼（他同时是最初法案和修正案的发起人）评论说，“以人工智能为基础的威胁，例如深度伪造，已成为对我们民主日益增长的威胁”，并且“我们必须应对这一挑战，并解决与公民自由和隐私相关的重大问题”。

MediFor和其他政府活动是否能够成功应对现代深度伪造尚存疑问。较旧的媒体操纵依赖于修改源材料，但新技术可以从头开始生成图像和视频。研究人员也在不断提高其程序的质量。例如，第一版人脸生成程序StyleGAN在背景中存在模糊点和牙齿错位，促使研究人员创建了改进版的StyleGAN2。 该代码可在GitHub上获取。

积极的深度伪造

以下是深度伪造的一些积极影响的示例。

医学

深度伪造可用于创建脑部MRI的合成图像。 这些合成图像可用于研究阿尔茨海默病和脑肿瘤的形成。

独特的声音

语音合成技术（例如vocalid.ai） 为用户提供人工智能生成的语音。这使那些无法说话的人有机会用独特的合成语音进行交流。

翻译

深度伪造可用于听到其他人用多种不同语言的声音，而无需翻译或字幕。2019年发布的一段视频展示了大卫·贝克汉姆使用深度伪造技术用9种不同的语言讲话，以提高人们对疟疾的认识。

解决犯罪

2018年，手机视频、监控摄像头录像和尸检报告被用于数字重建犯罪现场，以协助解决基辅3名抗议者被谋杀案。

结论

本案例研究主要关注深度伪造的背景及其一些应用。未来的研究人员将希望研究如何识别深度伪造， 如何制作深度伪造， 以及合成音频的进步。 可以对与深度伪造相关的诉讼以及法律体系的回应进行进一步调查。 由于深度伪造的发展速度很快，本案例研究中的一些信息可能会过时。未来应重新调查本案例研究的几乎所有方面，以了解发生了哪些变化。