关于美里


机器智能研究所是一个非营利性的研究机构,研究智能行亚博体育官网为的数学基础。我们的使命是为通用人工智能系统的清洁设计和分析开发正式工具,目的是使这些系统在开发时更安全、更可靠。亚博体育苹果app官方下载

人工智能领域以夸大其进展而闻名。在上世纪70年代末和80年代的“人工智能寒冬”期间,研究人员未能兑现雄心勃勃的承诺,导致了对人工智亚博体育官网能的资金和兴趣的崩溃。尽管这个领域现在正在复兴,过度自信仍然是一个主要的担忧;关于与人类同等的一般智能的可能性的讨论,在很大程度上仍只出现在科幻小说的书架上。

与此同时,研究人员在很大程度上同意,亚博体育官网人工智能很可能开始在大多数认知任务上胜过人类在这个世纪.考虑到人工智能可能带来的颠覆性影响,我们认为现在就开始讨论这个问题是谨慎的,并调查我们能否在有限的领域预测和塑造这项技术的社会影响。

亚博体育官网MIRI的研究人员往往是相对的不可知论者关于人工智能技术在未来几十年将发生怎样的变化,以及人工智能系统比人类智能还要聪明多少年。亚博体育苹果app官方下载然而,我们认为一些定性的预测是可能的:


    -随着感知、推理和规划算法的改进,人工智能系统将被信任承担越来越复杂和长期的决策。亚博体育苹果app官方下载小的错误会产生更大的后果。
    一般推理系统的现实目标和环境对于程序员来说太复杂了,无法直接指定。亚博体育苹果app官方下载相反,亚博体育苹果app官方下载人工智能系统将需要通过归纳学习正确的目标和环境模型。
    -系亚博体育苹果app官方下载统以其环境的糟糕模型而告终,可能会造成重大危害。然而,糟糕的模型限制了规划系统控制其环境的能力,从而限制了预期的危害。亚博体育苹果app官方下载
    -对于一个没有明确目标的系统可能造成的伤害,很少有明显的限制。亚博体育苹果app官方下载特别是一个自主学习的系统亚博体育苹果app官方下载关于如果人类的目标没有被正确地设计成与人类目标的最佳模型相匹配,在缺乏足够的检查的情况下,可能会造成灾难性的伤害。
    AI系统的亚博体育苹果app官方下载目标或世界模型可能是脆弱的,表现出异常良好的行为,直到一些看似无关的环境变量发生变化。与错误的信念和推理相比,错误的目标同样是一个更大的问题,因为错误的目标不会限制高智能系统的能力。亚博体育苹果app官方下载

斯图尔特·拉塞尔是一位MIRI研究顾问,也是《亚博体育官网人工智能方面的领先教科书,在《人工智能的长远未来“我们应该将稳健性和安全性问题纳入主流能力研究:亚博体育官网


作为一个领域,我们的目标是做出更好的决策系统。亚博体育苹果app官方下载这就是问题所在。如果你要建造一台超级智能机器,你必须让它做你想让它做的事情。危险在于,你给了它一些实际上不是你真正想要的东西——因为你不擅长表达你真正想要的东西,甚至不知道你真正想要的东西——直到太晚,你发现你不喜欢它。

如果你只是从优化问题的角度来考虑:机器正在为你解决一个优化问题,而你忽略了一些你真正关心的变量。它是优化问题的本质,如果系统被操纵一些变量,不形成目标函数的一部分,所以它是免费玩那些希望——通常,为了优化应该是优化的,它亚博体育苹果app官方下载将设置其他的极端值。

我的建议是,我们应该停止人工智能的简单定义,即仅仅提高系统的决策能力。亚博体育苹果app官方下载对于土木工程,我们不叫它“建造不会倒塌的桥梁”——我们只是叫它“建造桥梁”。我们当然不希望它们掉下来。我们应该以同样的方式思考人工智能:当然,人工智能系统的设计应该让它们的行为与人类的需求保持良好的一致性。亚博体育苹果app官方下载但这是一个难以解决的问题,到目前为止还没有列入研究议程。亚博体育官网

我们想要改变这个领域,让它看起来像土木工程或核聚变。我们制造了氢弹爆炸——无限的能量,超出了我们可能使用的范围。但这并不是一种对社会有益的形式。现在这正是核聚变研究人员所做的——遏制就是核聚变研究的内容亚博体育官网.这就是他们要解决的问题。


与Russell的演讲一致,MIRI的工作旨在帮助启动一个意识到该领域长期影响的人工智能研究范式。亚博体育官网我们的方法是将对齐问题分解成更简单、表述更精确的子问题,发展理解这些问题的基本数学理论,然后利用我们新得到的理解工程应用程序。




更多学习资源



斯图尔特•阿姆斯特朗(Stuart Armstrong)关于人工智能球门对齐问题的两个最好的非技术性介绍是简短而生动的比我们聪明以及尼克·博斯特罗姆更深入的专著超智



SmarterThanUsCover

比我们聪明


“人类掌控未来,不是因为我们最强壮或最快,而是因为我们最聪明。当机器变得比人类更聪明时,我们将把方向盘交给它们。这些强大的机器将带来什么前景和危险?”


superintelligence_cover

超智

“智能搜索工具的最佳计划和策略,可以为任何目标服务。智能和动机在某种意义上是正交的:我们可以把它们想象成一个图上的两个轴,每个点代表一个逻辑上可能的人工智能。”

“正交理论表明,我们不能轻率地假设超级智能一定会分享与人类智慧和智力发展相关的任何最终价值。”


有关MIRI研究重点的更多技术细节,请参见:亚博体育官网


最后,一般信息: