关于Miri.


机器智能研究所是一项研究非营利组织,研究了智能行为亚博体育官网的数学基础。我们的使命是为通用AI系统的清洁设计和分析开发正式的工具,意图使这些系统更安全,更可靠。亚博体育苹果app官方下载

AI领域的宗旨是为了超越进步。在20世纪70年代后期和20世纪80年代的“AI冬季”中,研究人员对雄心勃勃的承诺造成善意的失败导亚博体育官网致AI的资金和利益崩溃。虽然该领域正在进行复兴,但过度自信仍然是一个重大恐惧;讨论人类等同的一般情报的可能性仍然在基本上被降级到科幻架。

与此同时,研究人员在很大程度上同意A亚博体育官网I可能会在大多数认知任务中开始表现出人在本世纪。鉴于如何稳定性的域名,我们认为现在开始对话是谨慎的,并调查我们是否可以预测和塑造这项技术的社会影响的有限区域。

亚博体育官网Miri的研究人员往往相对不可知论者在未来几十年里,人工智能的发展水平将发生怎样的变化,以及有多少年比人类的人工智能系统更聪明。然而,我们认为一些定性预测是可能的:亚博体育苹果app官方下载


    -随着感知、推理和规划算法的改进,人工智能系统将被越来越复杂和长期的决策所信任。小错误会带来更大的后果。亚博体育苹果app官方下载
    - 对于一般推理系统的现实目标和环境对于程序员来说是太复杂的,即可直接指定。亚博体育苹果app官方下载AI系亚博体育苹果app官方下载统将需要感应地学习正确的目标和环境模型。
    - 亚博体育苹果app官方下载最终与其环境模型不佳的系统可以做出重大危害。但是,差的模型限制了规划系统如何控制其环境,这限制了预期的伤害。亚博体育苹果app官方下载
    -对于一个目标不明确的系统可能造成的危害,没有太多明显的限制。尤其是一个自主系统亚博体育苹果app官方下载关于人体目标,但没有正确旨在使自己的目标与其最佳人体目标的目标保持一致,可能导致灾难性的危害在没有足够的检查中。
    -人工智能亚博体育苹果app官方下载系统的目标或世界模型可能是脆弱的,表现出异常良好的行为,直到一些看似无关的环境变量发生变化。与错误的信念和推理相比,错误的目标更值得关注,因为错误的目标不会限制其他高智能系统的能力。

Stuart Russell,MIRI研究顾问亚博体育官网和人工智能领军教材“,在”人工智能的长远前景“我们应该将稳健性和安全问题集成到主流能力研究中:亚博体育官网


我们作为一个领域的目标是做出更好的决策系统。亚博体育苹果app官方下载这就是问题。[......如果]你要​​建造一个超级菜机,你必须给它你想要的东西。The danger is that you give it something that isn’t actually what you really want — because you’re not very good at expressing what you really want, or even knowing what you really want — until it’s too late and you see that you don’t like it.

如果你仅仅从一个优化问题的角度来考虑:机器正在为你解决一个优化问题,而你忽略了一些你真正关心的变量。好吧,在优化问题的本质上,如果系统能够操纵一些不构成目标函数一部分的变量——因此它可以随意地处理那些变量——通常,为了优化它应该优化的变量,它会将其他变量设置为极值。亚博体育苹果app官方下载

我的提议是,我们应该在简单的定义中停止做到才能提高系统的决策能力。亚博体育苹果app官方下载与土木工程有关,我们不称之为“建筑物桥不倒下” - 我们只是称之为“建筑桥梁”。当然,我们不希望他们跌倒。我们应该以同样的方式思考AI:当然应该设计AI系统,以便他们的行为与人类的行为一致。亚博体育苹果app官方下载但这是一个难以解决的未解决问题,这不是现在的研究议程。亚博体育官网

我们希望改变该领域,以便感受到土木工程或核融合等。[...我们]创造了氢炸弹爆炸 - 无限量的能量,比我们可能使用的更多。但这并不是一种社会有益的形式。现在它只是什么融合研究人员 - 遏制是什么融合研究亚博体育官网。这就是他们努力的问题。


与罗素的谈话一致,米里的工作旨在帮助开创人工智能研究的范例,即意识到该领域的长期影响。我们的亚博体育官网方法论是将对准问题分解为更简单,更精确的子问题,开发基本的数学理论以了解这些问题,然后利用我们的新发现了解工程应用程序。




学习资源



AI目标对齐问题的两个最好的非技术介绍是Stuart Armstrong的短暂和热闹比我们聪明和尼克博斯特罗姆更深入的专着超明



聪明的猎人

比我们聪明


“人类不会引导未来,因为我们是最强烈的或最快的,而是因为我们是最聪明的。当机器比人类变得更聪明,我们将把它们递给方向盘。这些承诺和危险会将这些强大的机器存在?“


superintelligence_cover.

超明

“智能搜索有乐意上的最佳计划和策略可以在任何目标的服务中进行。智力和动机是一个义目正交的:我们可以将它们视为跨越图形的两个轴,其中每个点代表逻辑上可能的人工剂。“

“他正交的论文表明我们不能简单地认为,过度理智必然会分享与人类的智慧和智力发展有关的任何最终价值观。


有关Miri的研究重点的更多技术细节,请参阅:亚博体育官网


最后,有关一般信息: