Lentis/奇点
技术奇点,如 雷·库兹韦尔 所定义,是指“未来一段时间,技术变化的速度会非常快,其影响会非常深远,以至于人类生活将不可逆转地发生改变”[1] 。这种假设的现象具有以下特征
- 技术事件视界 - 经过此点后,技术变化的速度如此之快,以至于当前预测技术进步的模型不再适用。这在很大程度上是由于
- 超人类人工智能的发展 - 当机器超越人类智能(“觉醒”)或当人类通过技术手段超越自身自然智能时。这两种情况都会导致
- 技术与生物之间的内在联系 - 人类体验不再仅仅是生物性的;它高度依赖于技术。
奇点这个词是由弗诺·文奇创造的,他发现奇点后预测技术进步的传统规律的崩溃类似于黑洞周围物理定律的崩溃。
虽然奇点已成为描述这一事件的公认术语,但关于该事件的价值和意义存在许多不同的观点。奇点主义者,例如雷·库兹韦尔,相信奇点并欢迎它的到来。其他人,例如新卢德主义者,则害怕奇点并努力阻止它的到来。还有一些人,例如罗德尼·布鲁克斯,则不相信奇点,正如定义的那样,会发生。在本章中,我们将探讨支持和反对理想出现观点和场景。
奇点主义者是指相信奇点既可能发生也值得期待的人。雷·库兹韦尔将奇点主义者定义为“理解奇点并反思它对自己生活的影响的人”。[2] 库兹韦尔是奇点主义者群体中的重要人物,因为他的著作《奇点临近》在将这种观点带入公众领域方面发挥了重要作用。
雷·库兹韦尔是一个有趣而极具争议的人物。库兹韦尔从小就是一个电脑神童,他在 15 岁时就编写了自己的第一个电脑程序[3]。20 岁时,他以 100,000 美元的价格出售了自己编写的程序[4]。四十年来,库兹韦尔一直站在模式识别和人工智能发展的前沿。然而,近年来,库兹韦尔因其对奇点的贡献和倡导而闻名。从 2004 年的著作《奇点临近:活得足够长以活到永远》开始,库兹韦尔提出人类可以通过超越自身的物理局限来逆转衰老过程、克服疾病、永生。在《奇点临近》中,库兹韦尔提出,这些进展将在 2060 年之前开始出现[5]。库兹韦尔在 2009 年的著作《超越:永生幸福的九个步骤》中进一步阐述了这些观点。
库兹韦尔在 1990 年的著作《智能机器时代》中首次探讨了奇点这一话题。他在 1999 年的《精神机器时代》和 2005 年的《奇点临近》中更新了提出的观点。库兹韦尔基于以下假设:奇点是可以实现的,技术正在以指数级速度发展,人类大脑可以从处理能力和等效技术方面进行量化[6]。库兹韦尔扩展了摩尔定律,证明了技术在整个人类历史上一直都在以指数级速度发展。库兹韦尔认为,一旦奇点出现,人类和机器将相互融合,创造出超人,因此该书的副标题是《人类超越生物学之时》。
虽然库兹韦尔在奇点主义运动的形成中发挥了重要作用,但他绝非唯一贡献者。在谷歌和 NASA 的合作下,库兹韦尔和 彼得·H·戴曼迪斯 博士共同创立了 奇点大学,其使命是“汇聚、教育和激励一批领导者,他们努力了解和促进指数级发展技术的发展,并应用、集中和指导这些工具来应对人类面临的重大挑战”。[7]。然而,最近的一场争议表明,管理层正在利用这些灵感进行免费的知识创新。该大学从非营利组织向营利组织的缓慢转变激发了大卫·奥尔班等教职工的新想法,“对知识产权进行更多控制将帮助大学更快、更有效地应对技术进步和社会变革”。[8]。他们还相信,最好的“帮助人类适应新技术的方法是严格保守秘密并将它们转化为利润”。[9]。
另一个推广奇点主义理念的非营利组织是 奇点研究所。 埃利泽·尤德科夫斯基,奇点出现和人工智能推广的倡导者,是该研究所的创始人之一,与布莱恩·阿特金斯和莎宾·斯托克尔共同创办[10]。奇点人工智能研究所致力于开发能够带来奇点的机器,并引用爱因斯坦的名言:“我们面临的重大问题无法用创造这些问题时的相同思维水平来解决”。[11] 虽然活动较少,但 奇点博客 认为奇点将带来“更美好的未来,[以及]更美好的你”。
奇点主义者的一项共同动机是通过超级智能机器改善未来。他们认为,这些机器将解决困扰人类的重大问题,如贫困、饥饿和疾病。一些人认为这将导致我们完全掌握地球资源,一个 卡尔达肖夫 I 型文明。然而,正如文奇首先指出的那样,可能很难预测我们智力上的优越者的行动。
与奇点主义者不同,有些群体认为奇点的出现将对人类有害。 新卢德主义者,他们反对许多形式的现代技术,就是这样一个群体。(值得注意的是,卢德主义并非新现象,它起源于 19 世纪[12])。新卢德主义者通常认为技术发展是以牺牲其他形式的价值为代价的,例如精神性或与同类建立的社区意识[13]。他们对奇点的反对可以看作是对技术变革更广泛反对的一个具体例子。
也许最臭名昭著的新卢德分子是 西奥多·卡琴斯基,更广为人知的是“大学炸弹客”。卡琴斯基反对技术的原因有很多,包括奇点可能导致一小群精英或超级智能计算机征服世界人口。在卡琴斯基看来,如果人类要生存下去,他们将被降级为家畜的地位 [14]。虽然有些人赞同卡琴斯基的观点,但他宣传这些观点的方法却很极端。在将近 20 年的时间里,卡琴斯基实施了一场炸弹袭击,导致 3 人死亡,23 人受伤 [15]。卡琴斯基的目标是计算机科学家、遗传学家和一家电脑商店的老板,目的是阻碍技术进步,制造政治紧张局势。尼古拉斯·卡尔通过他的博客“Rough Type”和几本书以更传统的方式来解决新卢德分子的担忧。与卡琴斯基不同,卡尔表达的紧迫感较低,并使用幽默来表达他的观点。有时,他还直接嘲笑奇点论者,包括雷·库兹韦尔 [16]。
这两种方法突出了对奇点的多样化反对意见。卡琴斯基明确提出,为了避免人类被奴役或毁灭,牺牲少数科学家的生命是值得的。然而,卡尔使用公共话语而不是暴力来最大程度地减少技术进步的风险。在这两种情况下,最终目标都是一样的,但实现目标的方法在伦理意义上却大不相同。
技术研究人员
[edit | edit source]对奇点的反对不仅仅来自新卢德分子。 比尔·乔伊,Sun Microsystems 的联合创始人,也是 Java 编程语言的主要开发者,也对奇点表示警惕 [17]。作为一名开发者和计算机技术的倡导者,乔伊在他生命中的大部分时间里都认为自己的工作对世界产生了积极的影响。与库兹韦尔的谈话让他意识到奇点,并更加担心不受控制的技术进步会导致灾难。他担心复杂系统中不可避免地会产生意想不到的后果,例如,抗生素的广泛使用导致抗生素耐药细菌的出现。乔伊还创造了一个新术语来解释他的不安:知识驱动的巨大毁灭,简称 KMD。KMD 指的是强大新技术(如基因工程或纳米技术)的破坏潜力,这些技术通常具有自我复制能力,再加上这些技术可供小团体或个人使用这一事实。乔伊认为,第二项属性尤其重要,并将它与传统的武器大规模杀伤性武器(WMD)如原子弹进行对比,这种武器的研制需要一个国家的支持和资源 [18]。由于这些因素,乔伊担心技术进步(如奇点)可能会为人类自我毁灭创造条件。
然而,与新卢德分子不同,乔伊并不希望在技术上倒退。他指出:“我一直坚信科学探索真理的价值以及伟大的工程学带来物质进步的能力。工业革命在过去的两百年里极大地改善了每个人的生活,我一直期望我的职业生涯将包括为实际问题构建有价值的解决方案,一次解决一个问题。” [19]。相反,他倡导研究新的技术方法,以确保基因工程、纳米技术和机器人技术的安全性。
科学家和工程师经常不得不考虑追求技术进步的伦理问题,例如原子弹和化学武器的开发。此外,尽管计算机智能的开发在当前状态下通常是一种和平而富有成效的技术,但它在产生正面和负面意想不到的后果方面都具有巨大潜力。像科技行业中的许多其他人一样,乔伊的反应不是不惜一切代价阻止技术进步或传播关于技术弊端的知识,而是努力减轻其负面影响。
现在运动
[edit | edit source]现在运动的创始人,社会奇点组织,海尔克·蒙廷加担心,“社会转型与激进的技术加速相结合”将在五年内带来下一个奇点 [20]。然而,使用“下一个”这个词表明蒙廷加对奇点的概念与普遍接受的版本(如果存在的话)不同,在普遍接受的版本中,奇点是历史上的一个特定转折点,而不是一个发生多次的事情。他见证了快速的变化,并指出:
“ | 社会奇点的第一个征兆已经很明显了……社会转型与激进的技术加速相结合将导致一个难以想象的时代。 | ” |
蒙廷加呼吁整合社交媒体和众包平台,以便世界能够相互分享创新、理念和项目。这将创建一个智能网络,在这个网络中,社会智能的爆炸式增长将增强“预测、计划和适应奇点带来的变化”的能力 [21]。
怀疑论者
[edit | edit source]并非所有人都同意奇点可以实现。来自麻省理工学院的机器人专家、iRobot 公司首席技术官 罗德尼·布鲁克斯 说:
“ | 我们不必害怕我们的机器,因为我们,作为人类机器,将永远领先于它们,即机器机器,因为我们将把用来制造这些机器的新技术直接融入我们自己的头脑和身体中。 [22] | ” |
布鲁克斯认为,因为我们将逐步地制造机器,我们将能够选择在机器中灌输哪些特征。这将使我们能够避免制造具有“特定条件,导致失控、自我延续的人工智能爆炸,这种爆炸超出了我们的控制,将我们抛在身后”。[23]然而,这个概念假设那些制造这些机器的人将具有意识、能力和愿望,只在他们的创造物中灌输仁慈的特征。
像乔纳森·斯特雷、乔尔·谢泼德 [24]和阿米特·帕特尔这样的博主甚至更加谨慎地接受奇点的不可避免性和奇点论者如雷·库兹韦尔提供的证据。乔纳森认为,奇点这个词定义不清。“没有人知道机器智能是什么。或者,如果我们遇到了它,我们如何识别它……“机器意识”这个词就更没有用了,因为我们甚至无法为*人类*定义“意识”这个词。” [25]
同样,阿米特·帕特尔批评了雷·库兹韦尔的“规范里程碑”图表,指出图表的形状(以及由此得出的结论)在很大程度上取决于图表中选择的事件。帕特尔认为“变化正在加速,但速度没有库兹韦尔认为的那么快”。[26]正如这些博主所展示的,互联网让所有的人,而不仅仅是已出版的作者,都能在全球范围内分享自己的观点。
接近奇点
[edit | edit source]在 1993 年的论文“即将到来的技术奇点:如何在后人类时代生存”中,数学家兼科幻作家弗诺·文奇列出了他预计奇点可能发生的四种方式: [27]
- 开发具有超人类智能的个人计算机
- 大型网络中计算机的“觉醒”
- 对计算机技术的依赖和操作如此广泛,以至于用户可以被认为比人类所能达到的智能更高
- 生物认知增强领域的进步,使用户具有超人类智能
这些潜在的进展代表了工程领域广泛的专业知识。将它们联系在一起的是一个共同的主题,即模糊人与机器之间的界限。尽管技术尚未发展到奇点,但文奇所识别的几个领域已经取得了最新进展,这可能会让奇点更近一步。
生物认知增强是指对人体的生物或化学进行人工改变,从而提升其智力水平的任何方法。 智力提升药,也被称为聪明药,是最常用的认知增强剂。一些,例如利他能和阿得拉,用于治疗行为障碍。另一些,例如咖啡因和烟草,则是常见的兴奋剂。 超人类主义 运动的支持者期待着这些增强剂广泛应用的那一天。他们相信,即使在庞大的人群中智力水平略微提高,也会极大地造福社会,极大地减少贫困并提高生活水平。然而,批评者也提出了伦理方面的担忧。如果这些增强剂价格昂贵,只有最富有的人才能负担得起。随着认知功能的增强,使用增强剂的人将能够胜过那些不使用增强剂的人。全球范围内,富人和穷人之间的差距可能会因此急剧扩大。 [28] 在更小的范围内,一些教育工作者对目前认知增强药物滥用水平表示担忧。阿得拉、康士达和利他能尤其受到关注。虽然这些药物不一定能提高智力,但它们确实可以提高注意力,让学生在服用药物的情况下比不服用药物的情况下取得更多成就。利他能首次被开出处方后 70 年,关于服用这些药丸是否算作作弊的争论仍在继续。 [29]
脑机接口系统是生物医学领域一项相对较新的发展。脑机接口系统包含一个传感器,可以分析患者的脑电波并将这些脑电波转换为运动输出。目前,这项技术正在开发中,旨在帮助中风恢复者恢复其身体功能,即使他们的神经系统受损。虽然脑机接口技术仍处于起步阶段,但它已经在临床试验中取得了适度的成功。 [30] 虽然这项技术具有明显的医疗益处,但其应用也引发了一些担忧。一些人认为,分析脑电波的能力过于强大,任何人都无法使用。一些人担心这项技术可能会落入坏人之手,并担心思想自由的丧失。另一些人甚至担心这项技术可能会发展到不仅可以分析脑电波,还可以控制脑电波的地步。 [31]
2011 年 6 月,社交网站 Facebook 推出了一系列使用人脸识别技术的新功能。这些功能旨在简化在照片中标记朋友的任务。 据 Facebook 称,对于大量照片来说,这是一项许多用户认为很繁琐的任务,他们希望实现自动化。该新功能一经发布,便立即引起反响。在发布后的三天内,电子隐私信息中心 (EPIC) 向美国联邦贸易委员会提交了一份 "投诉、调查请求、禁令和其他救济"。主要投诉内容为:
- 不公平且具有欺骗性的行为
- 用户在未经同意或警告的情况下自动“选择加入”,构成“侵犯隐私”。
- 从儿童身上收集生物识别数据违反了 1988 年的《儿童在线隐私保护法》。 [32]
甚至那些通常赞扬科技进步对公众可用性,例如科技杂志 PCWorld 等 “精通技术” 的利益集团,也发布了 充满情绪的评论文章,反对 Facebook 的行为。 [33]
针对人脸识别功能的愤怒情绪在全球范围内持续蔓延。根据鲜为人知的 《欧洲数据保护指令》 [34],奥地利法学学生马克斯·谢姆斯请求 Facebook 提供其个人信息副本。他收到的 1200 页文件引发了欧洲关于 Facebook 存储了多少关于其用户隐私数据(包括人脸识别档案)的政治和媒体争议,这些数据缺乏足够的安全性,可能导致数据落入恶意人士手中。这导致了爱尔兰数据保护专员对 Facebook 的隐私和安全实践进行了审计,爱尔兰数据保护专员对 Facebook 欧洲都柏林总部拥有管辖权。这一行动受到了高度关注,2011 年 10 月 15 日,Facebook 正式终止了对所有欧洲用户的人脸识别软件。 完整故事。
根据哥伦比亚审计资源公司的丹尼斯·阿特尔的说法,将带来奇点的技术进步正在以指数级速度增长。然而,由于我们的大脑存储记忆的方式,这种速度难以让人察觉。阿特尔认为,由于人类大脑的长期记忆存储容量有限,大脑在预测未来时严重依赖于最近的记忆。阿特尔用一些例子来说明这一点,例如 Google、维基百科、核磁共振成像和计算机断层扫描、犯罪统计分析以及存储在移动电话中的联系数据,这些技术在十年前还不存在,但现在已经变得如此普遍,人们在没有质疑的情况下依靠它们来做出决定。 [35] Facebook 用户的数量使得这一近期的(2011 年)事件成为很大一部分人口的“近期记忆”,因此对于研究奇点具有重要的意义。
如果奇点到来,很可能是由多种技术和影响这些技术使用的多种社会因素共同推动产生的。Facebook 案例展示了人们可能会如何反对可能带来奇点的技术。当人们面对那些他们觉得不安或具有某种威胁性的技术时,他们可能会立即采取强烈的措施,不惜一切代价将其摧毁。
“ | 嗯,当我们人类对机器产生同理心,以至于不想关掉它的时候,那么从某种意义上来说,它和活生生的生物有什么区别呢?我们把它当作活生生的生物来对待。 [36] | ” |
- -罗德尼·布鲁克斯
“ | 想象一个世界......在这个世界里,我们对机器人的感知和我们对同类感知之间的界限变得如此模糊,以至于我们中的大多数人将机器人视为精神、社会和道德存在......我相信,到 2050 年,世界将变成这样。 [37] | ” |
- -大卫·莱维,《与机器人恋爱和性爱》一书作者
科幻作家艾萨克·阿西莫夫的机器人三定律是试图明确考虑技术所体现的价值观的著名例子。许多关于奇点的担忧源于这样的想法:智能机器人/其他形式的技术可能能够为了自己的目标而颠覆人类价值观(例如,黑客帝国或终结者)。阿西莫夫的机器人三定律试图创建一套管理机器人的规则,当这些规则得到遵守时,将确保机器人按照人类的利益行事,或者至少不违背人类利益。无数故事都是基于这些定律写成的,许多故事都探讨了遵守这些定律本身会产生不良后果的想法 [38]。
一个特别与奇点相关的有趣角度已经得到探索,它取决于“人类”和“机器人”之间的区别 [39]。虽然这种区别目前可能不需要那么微妙,但到了奇点,就很难区分两者了。事实上,是否应该在奇点出现时引入这种区分是一个有争议的问题 [40]。
机器替身,一部由乔纳森·莫斯托执导的科幻惊悚片,借鉴了这种概念。在未来,人类能够通过从家中安全地控制机器人来利用他们理想化的形态。影片中呈现的主要冲突是身份的意义。有了这些机器人的克隆体,人类免受社会犯罪的侵害;然而,一个人的个性价值被削弱,而机器会使人的灵魂丧失斗志。
除了将价值观编程到具有人工智能的机器人中所涉及的技术问题之外,还有一个同样艰巨的挑战。人们持有的价值观在文化之间、文化内部以及跨越时间差异很大。这些差异如何调和?它们可以调和吗?
随着机器越来越像人类,许多其他伦理问题随之出现。人类法律和随后的惩罚是否也适用于机器人?机器人是否受到法律保护?机器是否对其行为负责?如果这些问题的答案都是肯定的,那么机器何时跨越了仅仅机器与需要像人类一样对待的感知生命之间的界限?
人类+
[edit | edit source]该组织以前称为世界超人类主义协会,探讨了机器感知的概念。该国际非营利组织通过伦理地使用技术来促进人类能力的扩展。
然而,关于这种整合副作用的问题仍然存在,即如果机器保留了知识会怎样?根据该组织采用的基本原则
“ | 我们主张所有感知生命的福祉,包括人类、非人类动物以及未来可能出现的任何人工智能、改造的生命形式或其他智能,这些智能可能是技术和科学进步所带来的 | ” |
- - 超人类主义宣言 [41]
从修正案中可以明显看出,尽管机器表现出感知能力,但在作者看来,感知能力本身具有重要意义。这引发了一个社会困境,即考虑个人与自己高级副本接触时的舒适度。它引发了关于恐怖谷的概念,在恐怖谷中,人们对人类的相似性感到厌恶。
结论
[edit | edit source]奇点的模糊性质使得很难用技术手段来描述:奇点需要什么技术,它何时会发生,后果会是什么?事实上,关于它是否会发生存在争议。但这种分歧为对奇点的社会技术分析提供了沃土。由于奇点的定义很松散,人们往往会将他们自己对技术的看法投射到奇点上。那些主张努力实现奇点的人,可能被认为对技术改善人类状况抱有信心。另一些人,比如卢德分子,则持有一种立场,表明他们认为技术进步是以牺牲其他价值观为代价的。然后是中间立场,由比尔·乔伊这样的人占据,他们看到了两方面的潜力,并相信我们必须积极努力确保技术服务于我们的利益。然而,即使在这些群体内部,也存在不同的观点。从信件炸弹到在线博客,这些不同的观点也以截然不同的方式表达出来。随着奇点的预期日期临近,对立的群体将面临更大的压力来改进宣传其观点的方法。这表明奇点将继续提出复杂的社会技术问题。
进一步分析
[edit | edit source]以下领域是进一步研究的良好候选领域
- 限制技术进步的社会成本。例如,技术缓解对生活质量的影响。
- 军事组织资助实现奇点技术的研发带来的伦理意义。
- 奇点在流行文化中的呈现。
- 奇点可能发生的各种方式及其社会后果。
- 哪些最近的技术、法律、政策或其他做法被指责为导致奇点?
- 哪些群体提出了最初的指控?
- 哪些群体对指控做出反应并对给定技术等采取了实际行动?
- 哪些最近的技术、法律、政策或其他做法可能导致奇点,但被研究人员、政策制定者、公众和媒体忽视?为什么被忽视?
- 一个因素的知名度是否会影响它对奇点的贡献程度?
- 一项技术的“诡异因素”是否可以很好地衡量它与奇点的关联程度?
- 立法者对奇点做了什么?他们如何间接或不知不觉地影响奇点的方法?
- 奇点的宗教意义。例如,博客The Speculist的作者提出了以下四个问题
- 奇点是否让我们更接近上帝?
- 上帝是否会在奇点出现?
- 我们是否会创造上帝?
- 我们是否会成为上帝? [42]
参考文献
[edit | edit source]- ↑ 库兹韦尔,雷。奇点临近:当人类超越生物学。
- ↑ 库兹韦尔,雷。奇点临近:当人类超越生物学。
- ↑ http://www.kurzweilai.net/meme/frame.html?main=/articles/art0467.html
- ↑ http://www.kurzweiltech.com/raybio.html
- ↑ 库兹韦尔,雷。奇妙之旅:活得足够长就可以永远活着。
- ↑ 库兹韦尔,雷。奇点临近:当人类超越生物学。
- ↑ http://singularityu.org/about/overview/
- ↑ http://www.wired.com/business/2012/07/singularity-university-startups/
- ↑ http://www.wired.com/business/2012/07/singularity-university-startups/
- ↑ http://web.archive.org/web/20010205221413/http://sysopmind.com/eliezer.html#timeline
- ↑ http://singinst.org/
- ↑ 琼斯,史蒂夫·E。(2006)。反对技术:从卢德分子到新卢德分子。CRC出版社。 ISBN 978-0-415-97868-2.
- ↑ 波斯特曼,尼尔(1992)技术专制:文化向技术的屈服 诺普夫,纽约, ISBN 0-394-58272-1
- ↑ 卡辛斯基,西奥多。恐怖分子宣言:工业社会及其未来
- ↑ http://www.nytimes.com/1996/05/26/us/prisoner-of-rage-the-tortured-genius-of-theodore-kaczynski.html
- ↑ http://www.roughtype.com/archives/2009/02/horatio_o_day_a.php
- ↑ http://www.wired.com/wired/archive/8.04/joy.html
- ↑ http://www.wired.com/wired/archive/8.04/joy.html
- ↑ http://www.wired.com/wired/archive/8.04/joy.html
- ↑ http://www.nowmovement.org/detail/about
- ↑ http://www.nowmovement.org/detail/mission
- ↑ http://spectrum.ieee.org/computing/hardware/i-rodney-brooks-am-a-robot/0
- ↑ http://spectrum.ieee.org/computing/hardware/i-rodney-brooks-am-a-robot/0
- ↑ http://www.joelshepherd.com/2006/01/singularity-is-not-near.html
- ↑ http://jonathanstray.com/the-singularity-is-not-near
- ↑ http://amitp.blogspot.com/2005/09/singularity-is-not-near.html
- ↑ http://www-rohan.sdsu.edu/faculty/vinge/misc/singularity.html
- ↑ http://www.neuroethics.ox.ac.uk/research/area_1
- ↑ http://www.psy.vanderbilt.edu/courses/hon182/The_Adderall_Advantage_NYTimes_7_31_05.pdf
- ↑ http://www.nih.gov/news/health/may2012/ninds-16a.htm
- ↑ http://eprints.eemcs.utwente.nl/21870/01/Vlek_Nijboer_2012.pdf
- ↑ 32 Loy. L.A. Ent. L. Rev. 191 (2011-2012) Facebook or Face Bank; Aguado, Carmen http://heinonline.org.proxy.its.virginia.edu/HOL/Page?public=false&handle=hein.journals/laent32&men_hide=false&men_tab=citnav&collection=journals&id=193
- ↑ http://rupkatha.com/V3/n3/05_Participatory_Surveillance.pdf
- ↑ http://dx.doi.org/10.1016/j.clsr.2011.09.011
- ↑ http://eoq.posimis.com/fileadmin/user_upload/Documents/Congress_proceedings/Croatia_May_2009/Proceedings/Arter.pdf
- ↑ http://www.abc.net.au/rn/science/mind/s746050.htm
- ↑ Levy, David. Love and Sex with Robots: The Evolution of Human-Robot Relationships.
- ↑ http://en.wikipedia.org/wiki/Three_Laws_of_Robotics
- ↑ http://en.wikipedia.org/wiki/Three_Laws_of_Robotics
- ↑ Levy, David. Love and Sex with Robots: The Evolution of Human-Robot Relationships.
- ↑ http://humanityplus.org/philosophy/transhumanist-declaration/
- ↑ http://www.blog.speculist.com/archives/000584.html