关于美里


机器智能研究所是研究非营利研究智能行为的数学基础。亚博体育官网我们的任务是制定正式的工具清洁通用的AI系统,设计与分析亚博体育苹果app官方下载的意图,使这些系统开发时更安全,更可靠。亚博体育苹果app官方下载

人工智能领域素有过分吹嘘它的进步。在“人工智能的冬天”1970年代末和1980年代,亚博体育官网研究者的失败做出好的雄心勃勃的承诺导致崩溃的资金和AI的兴趣。尽管这个领域正在经历一场复兴,过度自信仍然是一个主要的恐惧;的讨论仅仅一般智力的可能性仍很大程度上被科幻架子上。

与此同时,亚博体育官网研究很大程度上同意AI可能开始超越人类认知任务在本世纪.鉴于破坏性domain-general人工智能,我们认为这是谨慎的开始谈到现在,并调查是否有有限的领域中,我们可以预测和形状这一技术的社会影响。

亚博体育官网研究人员在美里往往是相对的不可知论者关于艺术的状态在AI将会改变在未来几十年里,以及智能人工智能系统要比人类智能化多少年。亚博体育苹果app官方下载然而,我们认为一些定性的预测是有可能的:


    ——知觉,推断,和规划算法改进,AI系亚博体育苹果app官方下载统将信任与日益复杂和长期的决策。小错误会造成更大的后果。
    -一般推理系统的现实目标和环境对于程序员来说太复杂而不能直接指定。亚博体育苹果app官方下载相反,亚博体育苹果app官方下载人工智能系统需要归纳地学习正确的目标和环境模型。
    -与可怜的模亚博体育苹果app官方下载型系统,最终的环境可以造成重大伤害。然而,可怜的模型限制计划系统可以控制其环境有多好,亚博体育苹果app官方下载这限制了预期的伤害。
    -对于目标不明确的系统可能造成的损害,明显限制较少。亚博体育苹果app官方下载特别是,一个自治系统,学习亚博体育苹果app官方下载 关于人的目标,但不正确的设计使自己的目标最好的人类目标模型,可能会导致灾难性的伤害没有足够的检查。
    ——人工智能系统的亚博体育苹果app官方下载目标或世界模型可能是脆弱的,表现出极好的行为,直到一些看似不相关的环境变量的变化。这又是一个更大的关注不正确的目标比不正确的信念和推断,因为不正确的目标不会限制其他高智能系统的能力。亚博体育苹果app官方下载

斯图尔特·拉塞尔,米里研究顾问和亚博体育官网的合著者人工智能前沿教材,认为在“”人工智能的长远未来”我们应该健壮性和安全性问题融入主流功能研究:亚博体育官网


作为一个领域,我们的目标是建立更好的决策系统。亚博体育苹果app官方下载这就是问题。[…]如果你想建立一个有超常智慧的机器,你必须给它你想要做的事情。危险在于,你给它实际上并不是你真正想要的东西,因为你不是很擅长表达你真正想要的东西,或者甚至知道你真正想要的是什么——直到太晚了,你发现你不喜欢它。

如果你想到它只是一个优化的问题:机器为你解决的优化问题,和你离开的你真正关心的变量。好吧,这是在优化问题的本质上,如果系统能够操纵一些变量,而这些变量不是目标函数的一部分,所以可以随意地根据需要来处理这亚博体育苹果app官方下载些变量,为了优化它应该优化的那些,它将设置其他的极端值。

我的建议是,我们应该停止做人工智能在其简单的定义就是改善系统的决策能力。亚博体育苹果app官方下载与土木工程,[…]我们不管它叫什么建设桥梁,别掉下来”——我们称之为“构建桥梁。”当然我们不希望他们摔倒。关于人工智能,我们应该以同样的方式思考:当然,人工智能系统应该被设计成使得它们的行为与人类的需求很好地一致。亚博体育苹果app官方下载但是,这是一个尚未解决的难题,至今尚未成为研究议程的一部分。亚博体育官网

我们想改变字段,这样感觉土木工程或者像核聚变。我们[…]创建了一个氢弹爆炸,无限量的能量,比我们可能使用。但这不是一种对社会有益的形式。现在只是融合研究人员做什么——控制核聚变研究亚博体育官网.这是他们工作上的问题。


与罗素的谈话,米里的工作旨在帮助推动人工智能研究的范式的意识领域的长期影响。亚博体育官网我们的方法是对齐的问题分解成更简单、更精确地表示子问题,发展理解这些问题的基本数学理论,然后利用我们的新理解工程应用程序。




参考资料了解更多



最好的两个非技术介绍人工智能问题的目标对齐斯图亚特·阿姆斯特朗的短和活泼比我们聪明以及尼克·博斯特罗姆更深入的专著超智:


比我们聪明


”人类引导未来不是因为我们最强的或最快,但因为我们是最聪明的。当机器变得比人类聪明,我们会将方向盘。这些强大的机器将会提出什么承诺和危险?””

超智

”智能搜索工具可以执行最优规划和政策服务的任何目标。情报和动机在某种意义上正交:我们可以把它们作为两个轴生成一个图表,图中的每个点代表一个逻辑上可能的人工代理。””

”正交性理论认为,我们不能盲目地认为超智力必然与人类智慧和智力发展相关的任何终极价值共享。”


有关MIRI研究重点的更多技术细节,亚博体育官网看到的:


最后,一般信息: