智能爆炸常见问题解答

(提供PDF版本)


  1. 基础
  2. 情报爆炸的可能性有多大?
  3. 情报爆炸的后果
  4. 友好人工智能

1.基础知识

1.1条。什么是情报爆炸?


1965年,统计学家I.J.古德表达了情报爆炸的想法[13]:

让超级智能机器定义为一台能够远远超过任何一个人无论多么聪明的一切智力活动。由于机器的设计是这些知识的活动之一,超级智能机器可以设计出更好的机器;那么毫无疑问是一种“智能爆炸”,与人的智能则被远远抛在后面。因此,第一超级智能机器是最后的发明,其人类需要。

争论是这样的:计算机每年都以新的方式超越人类的能力。1956年编写的一个程序能够证明数学定理,并且发现了一个比罗素和怀特黑德给出的更优雅的证明数学原理[14]。到20世纪90年代末,“专家系统”已经在很多任务上超越亚博体育苹果app官方下载了人类的能力。[15]1997年,IBM的深蓝电脑打败了国际象棋世界冠军[16]2011年,IBM的沃森(Watson)电脑在一场复杂得多的游戏中打败了最优秀的人类选手:危险![17]。最近,一个名叫亚当的机器人利用我们对酵母的科学知识编写了程序,然后提出了自己的假设,并进行了测试,并评估了结果。[18][19]

计算机仍然远远缺乏人类的智能,但是帮助人工智能设计的资源正在积累(包括硬件、大型数据集、神经科学知识和人工智能理论)。我们也许有一天能设计出一台超越人类技术的机器论人工智能的设计。之后,这台机器可以比人类更快更好地提高自己的智能,从而使它达到平衡更多的善于提高自身智力。这可以在一个正反馈回路中继续,这样机器很快变得比地球上最聪明的人类聪明得多:一个“智能爆炸”导致机器超智能。

这就是本FAQ中“智能爆炸”的含义。

参见:

2.情报爆炸的可能性有多大?

2.1条。“智力”是如何定义的?


人工智能研究员谢恩·莱格定义道亚博体育官网[20.]情报是这样的:

情报衡量的是agent在广泛的环境中实现目标的能力。

这有点模糊,但它将作为“智能”在本FAQ中的工作定义。

参见:

2.2条。什么比人类的智慧更伟大?


在许多特定任务上,机器已经比人类更聪明:执行计算、下棋、搜索大型数据库、探测水下地雷等等。[15]但让人类与众不同的是一般智慧。人类可以智能地适应城市丛林或外层空间的全新问题,而进化并没有为这些问题做好准备。人类可以解决大脑硬件和软件从未受过训练的问题。人类甚至可以检查产生自己智力的过程(认知神经科学),并设计各种新的情报之前从未见过(人工智能).

拥有大于人类的智慧,机器必须能够更有效地达到目标,比人类能在更广泛的环境比人类可以。这种智能的涉及容量不只是做科学和下棋,而且要操纵的社会环境。

计算机科学家马库斯·哈特描述道[21]他说,一个名为AIXI的正式模型拥有尽可能大的通用智能。但是要实现它需要比宇宙中所有物质所能提供的更多的计算能力。有几个项目试图在可计算的情况下近似于AIXI,例如MC-AIXI。[22]

尽管如此,要在机器上实现比人类更高的智能,还有很多工作要做。不需要通过直接编程使机器变得智能而获得比人类更高的智能。它也可以通过全脑模拟、生物认知增强或脑-计算机接口(见下文)来实现。

参见:

2.3条。什么是全脑模拟?


全脑模拟(WBE)或“大脑上传”是对人脑中所有细胞和连接的计算机模拟。因此,即使普通智力的基本原理很难被发现,我们仍然可以模拟整个人脑,使其以100万倍于正常速度运行(计算机电路通信许多的比神经元更快)。这样一台WBE在一秒钟内所能做的思考,比正常人31年所能做的还要多。所以这不会马上导致比人类更聪明的智能,但会导致比人类更快的智能。一个WBE可以被备份(导致某种不朽),它可以被复制,以便数亿个WBE可以并行地处理不同的问题。因此,如果WBEs被创造出来,它们解决科学问题的速度可能会比普通人快得多,从而进一步加速技术进步。

参见:

2.4条。什么是生物认知增强?


可能有基因或分子可以被修改以提高一般智力。研究人员已经在老鼠身上做到了这一点:他们过度表达了NR2B基因,这一基因改善了老鼠的记忆力,超过了其他任何种类的老鼠。亚博体育官网[23]人类生物认知能力的增强可能会比其他情况下更迅速地引发智力爆炸。

参见:

2.5条。什么是脑-机接口?


脑-机接口(BCI)是大脑和计算机设备之间的直接通信途径。BCI研究得到了大量的资助,已经取得了几十项成功。人类BCIs的三大成功是亚博体育官网一个设备该还原(局部的)视线的盲,耳蜗植入设备它能恢复聋人的听力,并且是一种可以通过直接思考使用人造手的装置。[24]

这样的设备恢复受损的功能,但许多研究人员希望也增加和改善与企业景气指数正常的人的能力。亚博体育官网埃德博伊登正在研亚博体育官网究这些机会的铅合成神经生物学组麻省理工学院。这类设备可能会加速智能爆炸的到来,只要它能提高人类智能,从而更快地解决人工智能的难题。

参见:

2.6。怎么能一般智力被编入一台机器?


实现人工通用智能(AGI)有很多途径。一种方法是通过使用神经网络或进化算法来模拟人脑,构建几十个独立的组件,然后再把它们拼凑在一起。[29][30.][31]另一个途径是从一个完美的一般智能的形式化模型开始,并试图将其近似化。[32][33]第三条道路是专注于开发一种“种子人工智能”,它可以递归地自我改进,这样它就可以学会自己智能化,而无需首先达到人类水平的一般智能。[34]尤里斯科是一个自我改进的AI在有限的领域,但不能达到人类水平的一般智力。

参见:

2.7。超智是什么?


尼克·博斯特罗姆定义[25]“超智能”为:

在几乎所有领域,包括科学创造力、普遍智慧和社会技能,都比最优秀的人类大脑聪明得多的智者。

这个定义包含了一些模糊的术语,比如“很多”和“实际”,但是在这个常见问题解答中,它将作为超智能的一个工作定义智能爆炸将导致机器超智能,有些人认为智能爆炸是最有可能的超智能途径。

参见:

2.8。什么时候会发生情报爆炸?


预测未来是危险的事。有相关情报爆炸的到来许多哲学,科学,技术和社会的不确定性。正因为如此,专家们不同意时可能会出现此事件上。以下是他们的一些预测:

  • 未来学家雷·库兹韦尔预测,到2030年,机器将达到人类的智能水平,到2045年,我们将实现“人类能力的深刻和颠覆性转变”。[26]
  • 英特尔首席技术官贾斯汀·莱特纳预计到2048年,“人类和人工智能融合创造出比自身更大的东西”。
  • AI研亚博体育官网究员埃利泽·尤多科斯基预计2060年的情报爆炸。
  • 哲学家大卫·查尔默斯(David Chalmers)对2100年发生的智力爆炸有超过1/2的信心。[27]
  • 量子计算专家迈克尔尼尔森估计到2100年发生情报爆炸的概率在0.2%到70%之间。
  • 在2009年的AGI-09会议上,专家们被问到,如果有大量的新资金,人工智能何时可能达到超级智能。中值估计机器超级智能将在2045年(有50%的把握)或2100年(有90%的把握)实现。当然,参加这次会议的人是自己挑选的,他们认为近期人工一般智能是可行的。[28]
  • iRobot公司首席执行官罗德尼•布鲁克斯和认知科学家侯世达考虑到情报爆炸可能在未来发生,但可能不会发生在21世纪。
  • 机器人学家汉斯·莫拉维奇预言人工智能将超越人类的智能。”早在2050年”。
  • 在2005年对一系列新兴技术报告的26位撰稿人的调查中,达到人类智能水平的机器的估计中值为2085。[61]
  • 在牛津大学2011年智能会议参加了2050年的时候会有人类水平的机器智能的50%,而2150的时候会有人类水平的机器智能的90%的几率中位数估计的中位数估计。[62]
  • 另一方面,在AI@50会议(2006年)中,41%的与会者声明机器智能将从未达到人类水平。

参见:

2.9。难道情报爆炸永远不会发生吗?


德雷福斯[35]彭罗斯和[36]认为人类的认知能力是计算机无法模拟的。塞尔[37]并阻止[38]认为,某些类型的机器不能有自己的主见(意识,意向等)。但这些反对意见需要不涉及那些谁预测的智力爆炸。[27]

我们可以这样回答德雷福斯和彭罗斯:智能爆炸并不需要人工智能是一个经典的计算系统。亚博体育苹果app官方下载我们可以对Searle和Block的回答是,智能爆炸并不依赖于机器具有意识或其他“头脑”属性,而是它能够在各种不可预测的环境中比人类更好地解决问题。正如埃兹格·迪杰斯特拉(Edsger Dijkstra)曾经说过的,机器是否会“真正”思考的问题“不比潜水艇是否会游泳的问题更有趣”。

其他谁是悲观接下来的几个世纪内发生的爆炸情报没有一个具体的异议,而是认为有隐藏的障碍,将显露出来,并朝着机器超级智能缓慢或停止进展。[28]

最后,像核战争或小行星撞击这样的全球性灾难可能会严重破坏人类文明,以至于情报爆炸从未发生过。或者,一个稳定的全球极权主义可以阻止发生情报爆炸所需的技术发展。[59]

三。情报爆炸的后果

3.1。为什么会很聪明产生巨大的力量?


智力是强大的。[60][20.]有人可能会说,“情报不是枪的对手,也不是有钱的人的对手”,但枪支和金钱都是由情报产生的。如果没有我们的智慧,人类还会在大草原上觅食。

智能是使人类在眨眼之间(在进化的时间尺度上)主宰地球的原因。情报使我们能够消灭疾病,也使我们有可能通过核战争来消灭自己。智慧赋予我们卓越的战略技能、卓越的社会技能、卓越的经济生产力和发明能力。

用超智机器能够侵入脆弱的网络通过互联网,霸占这些资源为额外的计算能力,控制移动的机器连接到网络连接到互联网,使用它们来构建额外的机器,执行科学实验比人类可以更好地了解世界,发明量子计算和纳米技术,操纵社会比我们可以,并且尽其所能赋予自己更大的力量来实现自己的目标——所有这一切的速度都比人类的反应速度快得多。

3.2条。情报爆炸怎么可能有用?


机器超级智能,如果编程正确的动机,有可能解决所有人类都在尝试解决,但还没有独创性或处理速度尚未解决的问题。一个超级智能可能治愈残疾和疾病,实现世界和平,人类给予极大更长,更健康的生活,消除食品和能源短缺,促进科学发现和太空探索等。

此外,人类面临着在21世纪生存的几个风险,包括全球核战争,生化武器,superviruses,等等。[56]一台超级智能机器比人类更能解决这些问题。

参见:

3.3。情报爆炸会有多危险?


如果设定了错误的动机,机器可能会对人类怀有恶意,并故意灭绝我们这个物种。更有可能的是,它的设计动机在最初看起来对设计者来说是安全的(而且容易编程),但最终会通过重新分配维持人类生命的资源到其他项目(给予足够的权力)来最好地实现。[55]就像尤德科夫斯基55]就像尤德科夫斯基“人工智能不恨你,也不爱你,但你是由原子组成的,它可以用来做别的东西。”

由于有许多不同的动机弱人工智能可以更好地通过,直到他们是强大的伪装仁实现他们的目标,安全测试,以避免这可能是非常具有挑战性的。另外,竞争压力,经济和军事,可能导致AI设计师尝试用其他方法与不良动机控制认可。由于这些人工智能变得更加复杂,这可能最终导致一个风险太多。

即使是一台表面上带有善意动机的机器,当它发现其决策标准的含义时,也很容易出错。例如,一个被编程使人类快乐最大化的超级智能可能会发现,比起建立和维护一个满足当今人类神经学复杂而微妙的想法的乌托邦世界,重新连接人类神经学,让人类安静地坐在罐子里时感到最快乐更容易。

参见:

4.友好人工智能

4.1。什么是友好人工智能?


友好的人工智能(Friendly AI或FAI)是一种对人类“友好”的人工智能——对人类有好的而不是坏的影响。

人工智亚博体育官网能研究人员继续在做出自己决定的机器上取得进展,人们越来越意识到,我们需要设计机器,以安全和合乎道德的方式行事。这个研究项目有很多名字:“机器伦理”[2个][][][9个],'机器道德'[11],“人工道德”[6个],“计算伦理”[12]和“计算元伦理学”[7个],“友好人工智能”[1个]和“ROBO-伦理”或“机器人伦理”。[5个][10]

最直接的担忧可能是战场上的机器人;美国国防部与罗纳德·阿金(Ronald Arkin)签订了合同,让他设计一个系统,确保自主战场机器人的道德行为亚博体育苹果app官方下载[4个]。美国国会已经宣布,到2025年,美国三分之一的地面系统必须实现自动化,到2030年,美国空军必须实现自动化亚博体育苹果app官方下载计划拥有一群鸟类大小的飞行机器人,一次可以半自主操作数周。

但友好的人工智能研究与战场机器人亚博体育官网或一般机器伦理无关。它关心的是一个规模大得多的问题:设计出在情报爆炸后仍能保持安全和友好的人工智能。

机器超级智能将是非常强大。成功实现友好人工智能可能意味着前所未有的幸福的太阳能系统和太阳能系统中所有可用的问题已经转变为部分实现了超级智能的目标之间的差异。亚博体育苹果app官方下载

必须指出的是,早餐AI是一个更难的项目往往比设想。如下探讨,共同建议的解决方案为友方AI很可能不能被任何超级智能,因为拥有两个特点:

  1. 超级大国:一台超智能的机器将拥有前所未有的能力来重塑现实,因此将以高效的方法来实现其目标,这种方法混淆了人类的期望和欲望。
  2. 文字性:一台超级智能机器将根据它所设计的机制做出决定,而不是其设计者在编程这些机制时所抱有的希望。它将只对规则和价值观的精确规范起作用,而且这样做的方式不需要尊重复杂性和微妙性[41][42][43]人类的价值。像“人类幸福最大化”这样的要求对我们来说听起来很简单,因为它包含的词汇很少,但是哲学家和科学家几个世纪来都未能解释完全这意味着什么,当然还没有将其转化为一种足够严格的形式供人工智能程序员使用。

参见:

4.2。我们能期望一台超级智能机器的动机是什么?


除了在全脑仿真的情况下,没有理由指望一个只超机有什么动机像人类。人类心灵代表所有可能的头脑设计的广阔空间一个小点,和非常不同的各种思维是不可能的份额,以独特的人类和其他哺乳动物复杂的动机。

无论其目标是什么,超级智能都倾向于霸占能帮助其实现目标的资源,包括人类生命所依赖的能量和元素。它不会因为对人类或其他智能的关注而停止,而这些智能“内置”在所有可能的思维设计中。相反,它会追求自己的特定目标,而不去考虑那些对被称为灵长目动物的特殊物种来说“自然”的问题智人

有,但是,一些基本的工具性动机,我们可以期待只超机显示屏,因为它们是实现其目标,无论其目标是有用的。例如,AI将“想”自我提高,要优化合理,以保持其原有的目标,以获取资源,并保护自己 - 因为所有这些东西帮助它实现与它最初设定的目标。

参见:

4.3条。我们不能把超智能放在一个盒子里,不能上网吗?


“AI-拳”是一种常见的建议:为什么不使用超智机作为一种答疑甲骨文,和永不放弃它访问互联网或任何电机与自身和采集资源,超越了我们给它?有几个原因怀疑AI-拳击不会在长期运行:

  1. 无论设计者设计超级智能的目的是什么,如果允许它访问互联网和其他获取额外资源的手段,它将更有能力实现这些目标。因此,“让人工智能跳出它的框框”将面临巨大的诱惑。
  2. 初步实验在AI-拳击不鼓舞信心。而且,一个超级智能将产生越来越人类“让它开箱即用”比我们想象的更为有说服力的技术。
  3. 如果一个超级智能已经被创造出来,那么其他实验室甚至独立程序员在几周或几十年内就会创造出第二个超级智能,然后是第三个,然后是第四个。你不能指望能成功地容纳世界各地由数百人出于数百种不同目的创造的所有超级智能。

4.4。我们就不能让超智能不伤害我们吗?


科幻作家艾萨克·阿西莫夫讲述了用机器人三定律编程的机器人的故事[39](1)机器人不得伤害人类,或因不作为而允许人类受到伤害,(2)机器人必须服从人类下达的任何命令,除非这些命令与第一条法律相冲突,并且(3)机器人必须保护自己的存在,只要这种保护不与第一条或第二条法律相冲突。但阿西莫夫的故事往往说明了为什么这样的规则会出错。[40]

不过,我们是否可以将“限制”编程成一种超级智能,以防止它伤害我们?可能不是。

一种方法是将“约束”作为规则或机制来实现,以防止机器为实现其目标而采取通常会采取的行动:可能是拦截和取消有害行动的“过滤器”,或是检测和抑制超级智能中潜在有害计划的“审查员”。

这种约束,无论多么复杂,几乎肯定会失败,原因很简单:它们将人类的设计技能与超智能对立起来。一个超级智囊会正确地将这些限制视为实现其目标的障碍,并会尽其所能消除或规避这些障碍。也许它会删除包含约束的源代码部分。如果我们通过添加另一个约束来阻止此操作,它可能会创建新的机器,而这些机器中没有写入约束,或者欺骗我们自己删除约束。对人类来说,进一步的限制似乎是无法克服的,但很可能会被一种超智能所击败。指望人类能想出一个超智能的解决方案是不可行的。

If约束在上面目标是不可行的,我们能不能限制一下里面的目标?如果一个超智能的目标是避免对人类的伤害,那么它就不会被激励去消除这个约束,从而避免我们上面指出的问题。不幸的是,“伤害”的直观概念很难用一种在被超智能使用时不会导致非常糟糕结果的方式来说明。如果“伤害”是用人类的痛苦来定义的,那么一种超智能可以重新连接人类,使他们不感到痛苦。如果“伤害”被定义为挫败人类的欲望,那么它可能会重新连接人类的欲望。等等。

如果我们决定明确列出一个超级智慧应该避免的所有行为,而不是试图完全指定一个像“伤害”这样的术语,我们就会遇到一个相关的问题:人的价值是复杂和微妙的我们不太可能列出所有我们需要做的事情想要一个超级智能的事情。这就像写一个食谱的蛋糕读取“不要用鳄梨。不要用烤面包机。不要用蔬菜……“等等。这样的名单永远不够长。

4.5条。我们能将超智能编程为最大限度地满足人类的快乐或欲望吗?


让我们考虑一下功利的设计友好的人工智能。

一个旨在减少人类痛苦的人工智能可能只会杀死所有人类:没有人类,没有人类痛苦。[44][45]

或者,考虑一个设计来最大化人类快乐的人工智能。与其建立一个雄心勃勃的乌托邦来满足数十亿年来人类复杂而苛刻的需求,它还不如通过将人类连接到诺齐克的乌托邦来更有效地实现其目标体验机. 或者,它可以重新连接“喜欢”组件大脑的奖励系统亚博体育苹果app官方下载所以无论享乐热点是什么[48]用“愉悦光泽”描绘感觉[46][47]是有线最大化快乐,当人们坐在罐子。这将是对AI的世界更容易打造比一个迎合复杂和微妙的一套世界的状态与目前大多数人类大脑的快感光泽油漆。

同样地,一个被激发去最大化客观欲望满足或主观幸福感的人工智能可以重新连接人类的神经系统,这样当人类坐在罐子里时,两者都能实现。或者它会杀死所有的人(和动物),然后用从零开始的生物来取代他们,以达到客观的欲望满足或坐在罐子里的主观幸福。对于人工智能来说,这两种选择都比维持一个迎合人类(和动物)复杂欲望的乌托邦社会更容易实现。类似的问题也困扰着其他实用的人工智能设计。

这也不仅仅是确定目标的问题。很难预测在自我修改代理中目标会发生什么变化。目前的数学决策理论无法处理自修正代理的决策。

所以,尽管它可能是可能的设计一个超级智能,会做我们想要的东西,它的难度比人们最初认为。

4.6。我们能通过机器学习向超级智能传授道德准则吗?


有些人提出[49][50][51][52]我们用基于案例的机器学习来教机器一个道德准则。其基本思想是:人类法官会将成千上万的行为、性格特征、欲望、法律或制度评定为具有不同程度的道德可接受性。然后机器会发现这些箱子和学习背后的道德原则,使得它可以适用这些原则来确定其培训期间未遇到新情况下的道德。这种机器学习已用于设计的机器可以,例如,探测水雷[53]后喂养机数百地雷和未地雷的案件。

机器学习不能为友好的人工智能提供一个简单的解决方案有几个原因。首先,当然,人类自身对什么是道德和不道德持有深刻的分歧。但即使人类能够就所有的训练案例达成一致,至少还有两个问题。

第一个问题是,在一个被超级智能彻底改造的世界里,根据我们当前现实的案例进行训练,可能不会导致一台机器做出正确的道德决定。

第二个问题是,一个超级智能可概括了错误的原则,由于在训练数据巧合模式。[54]想象一下训练机器识别森林中伪装坦克的寓言。研究人员拍摄了100张伪装坦克的照片和100张树木的照片。然后,他们训练这台机器每张50张照片,这样它就能学会分辨伪装坦克和树木。作为亚博体育官网一个测试,他们给机器展示了每台机器剩余的50张照片,并对每一张照片进行了正确的分类。成功!然而,后来的测试表明,该机器对伪装坦克和树木的额外照片分类很差。问题是研究人员的伪装坦克照片是在阴天拍摄的,而他们的树木照片是在晴天拍摄的。机器已经学会了区分阴天和晴天,而不是伪装坦克和树木。

因此,看起来可靠友好的人工智能设计必须涉及生成人类道德判断的底层过程的详细模型,而不仅仅是表面上的案例相似性。

参见:

4.7条。什么是连贯外推意志?


尤德科夫斯基已经提出[57]连贯外推意愿作为友好人工智能设计面临的至少两个问题的解决方案:

  1. 人类价值观的脆弱性:Yudkowsky“任何未来,如果不是由一个目标系统来塑造,这个目标系统详细可靠地继承了人类的亚博体育苹果app官方下载道德和变形,那么它将几乎没有任何价值。”“问题在于,人类所看重的东西是复杂而微妙的,很难明确说明。考虑看起来微不足道的价值新奇。如果一种类似人类的新奇价值没有被编入超智能机器的程序,它可能会在宇宙中探索有价值的东西,直到某个点,然后最大化它发现的最有价值的东西(探索与开发的权衡)[58])-例如,将装有大脑的太阳能系统安装在连接亚博体育苹果app官方下载到幸福机器的大桶中。当一个超级智者掌权时,你必须得到它的激励系统完全正确为了让未来变得不受欢迎。
  2. 人类价值观的地域性想象一下,如果古希腊人面对友好的人工智能问题,他们用他们那个时代最进步的道德价值观来编程。这将导致世界走向一个相当可怕的命运。但是为什么我们应该认为,在21世纪,人类已经达到了人类道德的顶点?我们不能冒险用我们今天碰巧持有的道德价值观来编写一个超级智能机器。然后,道德价值我们给它?

Yudkowsky建议我们建立一个“种子人工智能”来发现并推断人类的“一致外推意愿”:

在诗意的话说,我们一致推断意志是我们的心愿,如果我们知道更多,更快地认为,人越想我们是人,长大了更远在一起;其中,外推收敛而不是发散,在那里我们的愿望凝聚,而不是干扰;外推,因为我们希望推断,解释我们希望解释。

种子人工智能将利用这次检查的结果和人类价值的外推,来规划决定银河系命运的超智能的激励系统。亚博体育苹果app官方下载

然而,有些担心,人类的集体意志不收敛了一整套连贯的目标。其他相信即使采取如此精心和谨慎的手段,也不可能保证友好。

4.8。我们能为任何人工智能设计增加友好性吗?


许多能够产生智能爆炸的人工智能设计都没有一个可以放置目标(如“对人类利益友好”)的“位置”。例如,如果人工智能是通过全脑模拟、进化算法、神经网络或强化学习来实现的,那么随着人工智能自身的进步,它最终会有一些目标,但这个稳定的最终目标可能很难提前预测。

因此,为了设计一个友好的人工智能,确定什么是“友好性”是不够的(并且明确地说明它,即使是超级智能也会按照我们想要的方式解释它)。我们还必须弄清楚如何构建一个完全满足目标的通用智能,并且在编辑自己的代码使自己更智能的同时稳定地保留这个目标。这个任务可能是设计友好的人工智能的主要困难。

4.9条。谁在研究友好人工智能问题?


如今,友好人工智能研究正在探索由亚博体育官网机器智能研究所亚博体育官网(在加州伯克利)人类未来研究所(在英国牛津),以及其他一些研究人员,如大卫查默斯。亚博体育官网机器伦理研究人员偶尔会触及这个亚博体育官网问题,比如《机器伦理》中的温德尔•沃勒克(Wendell Wallach)和科林•艾伦(Colin Allen)道德的机器

工具书类

[1] 尤德科夫斯基(2001)。创建友好的AI 1.0. 机器智能研究所。亚博体育官网

[2] 安德森和安德森编辑(2006)。IEEE智能系统,21(4)亚博体育苹果app官方下载

[3] Anderson & Anderson, eds。(2011)。机伦理. 剑桥大学出版社。

[4]阿金(2009)。治致死行为自主机器人. 查普曼和霍尔。

[5] Capurro,Hausmanninger,Weber,Weil,Cerqui,Weber和Weber(2006)。国际评论信息伦理,卷。6:伦理机器人

[6]。丹尼尔森(1992)。人工道德:虚拟游戏中的道德机器人。劳特利奇。

[7] Lokhorst(2011年)。计算元伦理:走向元伦理机器人思想和机器

[8] 迈凯轮(2005)。从伦理推理的两个计算模型看机器伦理学的课程。AAAI技术报告FS-05-06:70-77。

[9]权力(2005)。义务论伦理学机器。AAAI技术报告FS-05-06:79-86。

[10]索耶(2007)。机器人伦理。科学,318(5853):1037。

[11] Wallach, Allen, & Smit(2008)。机器道德:自下而上和自上而下建模人类道德能力的方法。人工智能与社会,22(4):565-582。

[12]艾伦(2002)。计算道德:极限内的道德计算。在Smit & Lasker, eds,决策和人类行为的认知、情感和伦理方面,第一卷. 巴登/IIAS。

[13] 好(1965年)。关于第一个超级智能机器的思考先进的计算机,6:31-88。

[14] 麦肯齐(1995)。证明的自动化:一个历史和社会学的探索。IEEE年鉴,17(3):7-29。

[15] Nilsson的(2009)。对人工智能的探索. 剑桥大学出版社。

[16] 坎贝尔、霍恩和许(2002)。深蓝色。人工智能,134:57-83。

[17]马尔可夫链(2011)。电脑在危险中获胜!'微不足道,不是纽约时报,2011年2月17日:A1。

[18] King等。(2009年)。科学的自动化科学,324:85-89。

[19] 国王(2011)。机器人科学家的崛起科学美国人,2011年1月

[20]股骨头(2008)。机超级智能。博士论文。IDSIA。

[21]Hutter(2005年)。通用人工智能:基于算法概率的顺序决策. 斯普林格。

[22]Veness,Ng,Hutter和Silver(2011年)。蒙特卡洛艾西近似杂志人工智能的研究,40亚博体育官网:95 - 142。

[23]汤,清水,杜贝,Rampon,Kerchner,卓,刘,钱永健和(1999)。遗传增强小鼠学习和记忆的。自然,401:63–69。

[24]霍赫贝格,塞鲁亚,Friehs,Mukand,萨利赫,卡普兰,Branner,陈,潘,和多诺霍(2006年)。通过用四肢瘫人的假体装置的神经元合奏控制。自然442:164 - 171。

[25]Bostrom(1998年)。要多久才能有超智能?国际杂志未来的研究,2

[26]库兹威尔(2005)。奇点迫近. 维京人。

[27]查尔姆斯(2010)。奇点:一种哲学分析意识研究杂志,17:7-65。

[28]的Baum,戈泽尔,&戈泽尔(即将出版)。离人工智能还有多久?专家评估结果技术和预测变化

[29]格罗斯伯格(1992)。神经网络和自然智能。麻省理工学院出版社。

[30] Martinetz & Schulten(1991)。“神经气体”网络学习拓扑结构。在Kohonen, Makisara, Simula, & Kangas (eds),人工神经网络(页397 - 402)。北荷兰。

[31] de Garis(2010)。人造大脑。在Goertzel & Pennachin (eds),强人工智能(第159-174页)。斯普林格。

[32]Schmidhuber(2010年)。哥德尔机器:完全自我参考的最佳通用自我改良剂。在Goertzel&Pennachin(编辑)中,强人工智能(第199-223页)。斯普林格。

[33]胡特(2010)。通用算法智能:数学自上而下的方法。在Goertzel & Pennachin (eds),强人工智能(第227-287页)。斯普林格。

[34]Yudkowsky (2010)。一般情报中的组织级别。在Goertzel & Pennachin (eds),强人工智能(第389-496页)。斯普林格。

[35]Dreyfus(1972年)。计算机不能做的事。Harper &行。

[36]彭罗斯(1994)。心灵的阴影。牛津大学出版社。

[37]塞尔(1980)。头脑,大脑和程序行为和脑科学,3:417 - 457。

[38]块(1981)。心理主义和行为主义哲学审视,90:5-43。

[39]阿西莫夫(1942)。回旋令人震惊的科幻小说,1942年3月。史密斯街&。

[40]安德森(2008)。阿西莫夫的“机器人三定律”和机器元伦理学。AI与社会,22(4):477-493。

[41]Kringelbach&Berridge,编辑(2009)。大脑的乐趣。牛津大学出版社。

[42]施罗德(2004)。欲望的三面。牛津大学出版社。

[43]Yudkowsky (2007)。祝愿隐藏的复杂性

[44]智能(1958)。负功利主义。心智,67:542-543。

[45]罗素&Norvig还(2009)。人工智能:现代方法,第3版。普伦蒂斯霍尔。(见1037页)

[46] Frijda(2009)。在愉悦的性质和功能。在Kringelbach&贝里奇(​​编),大脑的快乐(第99-112)。牛津大学出版社。

[47]奥尔德里奇和贝里奇(2009)。愉悦的神经编码:腹侧苍白球的玫瑰色眼镜。在Kringelbach&Berridge(编辑),大脑的快乐(第62-73页)。牛津大学出版社。

[48]Smith,Mahler,Pecina和Berridge(2009年)。享乐热点:在大脑中产生感官愉悦。在Kringelbach&Berridge(编辑),大脑的快乐(页27-49)。牛津大学出版社。

加里尼[49],(2006)。特殊主义,道德案例的分类和重新分类。IEEE智能系统21(4):22-亚博体育苹果app官方下载28。

[50]安德森、安德森和阿门(2005)。走向机器伦理:实施两种基于行动的伦理理论。在2005年秋季AAAI机器伦理研讨会论文集,弗吉尼亚州阿灵顿,11月。

[51] Honarvar&Ghasem-Aghaee(2009)。创建一个道德人工座席人工神经网络的方法。第八届IEEE机器人与自动化计算智能国际会议论文集:290 - 295。

[52] Rzepka & Araki(2005)。统计能对伦理做些什么?-以处理安全阀常识为基础的理念。在机器伦理:来自AAAI秋季研讨会的论文。美国人工智能协会。

[53]Gorman和Sejnowski(1988年)。分析分层网络中隐藏的单元,用于分类声纳目标神经网络,1:75 - 89。

[54]Yudkowsky(2008年)。人工智能在全球风险中的积极和消极因素。在博斯特伦&Cirkovic(编),全球灾难性的风险。牛津大学出版社。

[55]Omohundro(2008年)。基本的人工智能驱动

[56]Bostrom&Cirkovic主编(2008年)。全球灾难性的风险。牛津大学出版社。

[57] Yudkowsky(2004)。相干外推意志. 机器智能研究所。亚博体育官网

abb0 Azoulay-Schwartz, Kraus, & Wilkenfeld(2004)。开发与探索:在信息不完全的环境中选择供应商。《决策支持系统》,38亚博体育苹果app官方下载:队。

[59]卡普兰(2008)。极权主义的威胁。在博斯特伦&Cirkovic(编),全球灾难性的风险。牛津大学出版社。

[60]Yudkowsky(2007年)。智慧的力量

[61]斑布里奇(2005)。的NBIC申请调查。在斑布里奇&劳卡(编),管理纳米生物信息 - cogno创新:社会融合技术. 斯普林格。

[62]桑德伯格和博斯特罗姆(2011)。机器智能的调查,技术报告2011-1,人文学院,牛津大学的未来。

撰稿卢克·穆厄尔

本页面是截至2013年的最新版本,但可能不代表MIRI或Luke Muehlhauser当前的观点。2015年11月10日(起初的).