2015年回顾

||MIRI策略

卢克在几年做了过去(见2013年回顾2014年回顾),我(Malo)想花点时间回顾一下我们去年的活动。在未来几周内特将提供一个大的战略更新。在这里,我将回顾2015年,重点关注我们的研究进展、学术和一般外联、筹资和其他活动。亚博体育官网

在2014年看到招牌后在AI的安全问题利息是在上升,我们发图扩大我们的研究团队。亚博体育官网通过应对博斯特伦的推波助澜超级智能与生命研究所的未来“AI的未来“2015年,人们的兴趣继续增长。这表明我们有能力加速我们的计划,但不清楚有多快。

在2015年,我们没有发布年中的战略计划,卢克在2014年做相反,我们制定了各种条件的策略依赖于我们在多少资金提出了我们2015年夏季筹款. 反响很好;我们有迄今为止最成功的筹款活动。我们击中了我们的前两个筹资目标(然后一些),并设置了在加速二千零十六分之二千零十五​​增长计划。

其结果是,2015年是为美里是重要的一年。发布之后,我们的技术议程在今年年初,我们做了很多的它概括的开放问题方面取得进展,增加了一倍我们的核心研究团队的规模,加强了我们与业界团体及学术界的联系,并筹集到足够的资金来维持我们的成长轨迹。亚博体育官网我们非常感谢我们所有的支持者,没有他们,这种进步就不会成为可能。

2015年亚博体育官网的研究进展

我们的 ”代理基础对准机器智能与人类利益”研亚博体育官网究议程划分开的问题分为三类:高可靠性(包括逻辑的不确定性,归诱导,决策理论,和Vingean反射),误差容限,和值的规范。1米里在2015年的首要目标是在这些问题上取得进展。

我们达到了我们的期望,在每个类别中的研究进展,逻辑不确定亚博体育官网性和归感应之外(我们比预期更大的进展)和容错(这里我们做了低于预期的进展)。

下面我提供的我们在各个领域取得进展的简要概述,以更多的细节和崩溃“更多”部分的完整列表公布。一些我们在2015年发表的论文是基于在2014年或更早的研究,我们的一些2015年的结果没有公布到2016年亚博体育官网(或保持未发表)。在这次审查中,我会集中在2015年的新技术的发展,而不是前2015年的材料,发生在这一年出版。

逻辑不确定性与归化归纳

我们预计做谦虚在2015年这两个问题方面取得进展,我很高兴地报告我们做了可观进步。

2015年看到了我们的发展尾端反射神谕我们今年最重要的研究进展可能是我们的成功亚博体育官网分割逻辑不确定性为两个子问题,发生在2015年末和2016年初。

在正确的逻辑不确定推理的一个直观的约束是,一个人的概率有已知的索赔之间的逻辑关系。For example, if you know that two claims are mutually exclusive (such as “this computation outputs a 3” and “this computation outputs a 7”), then even if you can’t evaluate the claims, you should assign probabilities to the two claims that sum to at most 1.

第二个直观的约束是,一个人的概率反映了实证规律。一旦你观察π足够的数字,最后应该会猜到的数字8和3π的小数点扩张同样经常发生,即使你还没有证明π是正常

在2015年,我们开发了两种不同的算法来解决孤立这两个子问题。

在与Benya Fallenstein和其他研究人员MIRI合作,斯科特Garrabrant解决了一系列尊重逻亚博体育官网辑关系的问题智能代理基金会论坛(IAFF)职位,导致“归纳一致性”的论文。尊重逻辑的句子观测模式的问题是由斯科特和解决MIRIxLosAngeles组“渐近逻辑不确定性和本福德测试,它进一步发展为渐进收敛于在线学习与无界时滞”论文在2016年。

这两种方法,以逻辑的不确定性不仅是不等价的,但似乎排除对方。最明显的下一步是调查是否有在解决两个子问题的方式一旦与我们既然做了一些(即将被公布的)一个过程的任务在2016年进展。

MIRI研亚博体育官网究员瓦内萨科索伊对他的“最优估计”框架工作是工作,对逻辑的不确定性较大的独立主体,这也可能对决策理论的应用。Vanessa的工作尚未正式公布,但其中很大一部分是可用在IAFF

我们的其他显著导致逻辑不确定性是Benya Fallenstein,杰西卡泰勒,和保罗·克里斯蒂的反射神谕,建设工作是在2015年之前开始(IAFF摘要)。反光神谕避免了多次,当代理人试图回答关于等效实力的代理商的问题,让我们来研究多代理困境和反思推理以更高的精度通常出现悖论。

反光神谕很有意思在自己的权利,并已被证明适用于许多明显的开放性问题。该反射神谕不需要特权代理/环境区别的事实表明,他们是在入籍感应正确的方向迈出的一步。扬雷克最近表明,反射的预言也是在博弈论解决一个长期未解决的问题,真理问题的晶粒。反光神谕为博弈论提供了第一个完整的决策理论基础,显示了预期的效用最大化可以实现重复博弈近似纳什均衡是通用的方法。

总之,我们的2015年逻辑的不确定性和归感应论文基于前期工作2015年分别为:

2015年亚博体育官网出版的研究,同年:

2015年亚博体育官网发表于2016年或即将发表的研究:

有关IAFF其他逻辑不确定性的工作,看二更新问题子感应修正Demski先验的严格优势

决策理论

在2015年,我们制作了一些在决策理论新的增量前进,构成谦虚进步,符合我们的预期。

这些进步,我们已经公布的安德鲁·玛琳的证明一个版本LOB定理和哥德尔不完备第二的是适用于有限推理

玛琳适用LOB定理的这个参数有限版本,证明大范围资源有限的软件代理的,给予获得对方的源代码,可以实现在单次囚徒困境不可利用的相互合作。虽然我们认为我们的过去强大的合作结果强有力的理由相信,有界的合作是可能的,确认是有用的,为我们提供了新的形式工具来研究推理界。

在此期间,埃利泽·尤多科斯基,Benya Fallenstein和内特·苏亚雷斯也提高了我们的updateless决策理论技术(和哲学)的决策理论,我们目前看好的理解,“功能决定论” -a稍作修改的版本。

到正式决策理论的最大障碍目前看来,我们缺少一个合适的正式帐户的逻辑反事实的。逻辑反事实的形式为“如果问题X(我知道是假的)是真实的,什么(如果有的话)会暗示有关ÿ?”这些都是决策理论,一个特殊的情况下被关闭政策的预测很重要。(即使我可以预言,我肯定不采取行动X,我希望能够要问,如果我做了什么将随之而来;一个错误的答案,这可能会导致我接受像透明纽康问题双拳击不合格自我实现的预言。)

在2015年,我们研究了相关职能决策理论,基于证据的决策理论,已被证明更容易形式化的决定理论。我们发现,基于证据的决策理论缺乏逻辑的反事实的是理论的一个严重的弱点。

我们探讨了一些基于证据长度的方法逻辑的反事实,并最终拒绝了他们,虽然我们不断些心思投入到这个方法。在我们的第一个2015年研讨会斯科特Garrabrant建议举证长度和反事实的非正式猜想,随后将其修订;但猜想的两个版本均表现山姆Eisenstat(是假的12)。(参见斯科特的优化和因果世界反事实。)

在研究一个单独的行,帕特里克LaVictoi亚博体育官网re和其他应用的基于证据的决策理论框架的问题议价以及贸易收益的分配。关于IAFF的其他决策理论,请参见Vanessa和Scott的Superrationality在任意游戏和阿姆斯特朗的反光神谕和Superrationality:囚徒困境

我们的GitHub的库包含我们的模态代理工作,表示在过去的一年我们的决策理论最新颖的作品大量的新代码。我们正在进行一个或两个文件,这将解释我们在决策理论通过这项工作取得的进展。看到在证性逻辑“恶”决策问题而在其他职位决策理论IAFF摘要对于模态宇宙背景。

前2015年的工作发表在2015年:

2015年亚博体育官网发表于2016年或即将发表的研究:

  • 一只小动物。“参数有界Léb定理与有界代理的鲁棒合作“。的arXiv:1602.04184 [CS:GT。
  • 费伦斯坦。关于模态宇宙的正式未发表的结果。
  • 小号Garrabrant,S Eisenstat,P LaVictoire,J利,H戴尔。对逻辑的反事实未公布正式结果。
  • ËYudkowsky,N苏亚雷斯。功能性决策理论未公布结果。
Vingean反思

我们期待谦虚在2015年对这些问题方面取得进展,而且我们取得的进展不大。

Benya Fallenstein和拉玛纳Kumar的“证明 - 生产性思考HOL”演示的自我参照一个实际形式(和部分解决这两个洛比亚障碍以及拖沓的悖论)在HOL定理证明中。这一结果提供了一些证据,证明只要一个推理系统具有不同的内部状态,它就有可能信任另一个以相同方式推理的推理系统。亚博体育苹果app官方下载

更具体地讲,本文建立,有可能正式指定推理系统的无限链使得每个系统信任下一个系统链中,只要推理无法无限期地委托任何个人任务。亚博体育苹果app官方下载

关于什么更需要现实世界Vingean反射,除了逻辑的不确定性和逻辑反事实的满意账户内MIRI一些内部的争论。还有任何比这更好的结果是否有可能有可能在没有逻辑的不确定性的完整理论的辩论。无论如何,“证明-生产用于HOL反思”表明,经由机器检查证明,这是可以实现的反射推理是非常强的形式。

Benya和拉玛纳的工作也为我们提供了在其上构建反射推理更好的玩具模型的环境。杰克·加拉格尔,一个MIRI研究实习员,目前是亚博体育官网实施HOL中的元胞自动机这将让我们实现反射剂。

通过上面提到的反射神谕框架应用的结果,我们也提高了我们的Vingean反射的理论认识。在后IAFF限价算的,自我反思的分布,副亚博体育官网研究员Tsvi本森 - Tilsen有助于巩固我们什么样的思考是和是不可能的理解。杰西卡,与Benya和Paul工作,进一步表明,反射预言不能容易地被用来定义反射概率逻辑

前2015年的工作发表在2015年:

2015年亚博体育官网出版的研究,同年:

其他相关国际消防员协会的职务包括该Löbstacle的简单模型瀑布真理谓词分布的存在是期望反光,知道它

容错

我们期待谦虚2015年在这些问题上取得了进展,但我们只有限进步。

可以驯服是一个中等水平的优先级,我们在2015年,我们花了一些努力试图建立可纠正剂更好的模式。尽管如此,我们并没有取得任何重大突破。我们在我们可以驯服的理解固定小毛病取得了一些进展,反映,例如,在我们的容错IAFF摘要,斯图尔特阿姆斯特朗的AI控制的想法,还有杰西卡·泰勒的概述后;但这些结果相对较小。

在2015年我们的主要创新之处是谷歌DeepMind研究员洛朗Orseau和FHI研究员/ MI亚博体育官网RI研究员斯图尔特·阿姆斯特朗上可以驯服工作(“安全可中断代理“),对其他两种容错子问题的工作进展:轻度优化(杰西卡的Quantilizers亚伯兰Demski的结构风险最小化)和保守观念(杰西卡的学习一个概念仅使用正例)。

前2015年的工作发表在2015年:

  • 苏亚雷斯,费伦斯坦,尤德科夫斯基,阿姆斯特朗。“可更正性“2014年技术报告在2015年AAAI道德和人工智能研讨会上发表。

2015年亚博体育官网发表于2016年或即将发表的研究:

我们未能在可更正性方面取得很大进展,可能表明可更正性并不像我们想象的那么容易处理,或者,在逻辑不确定性(这样我们可以建立更好的人工智能系统模型,将其操作员建模为对其偏好的影响不确定)等领域需要更多的进展,然后我们才能正确地形式化可更正性。亚博体育苹果app官方下载

我们对可以驯服的研究比较乐观,但是,在逻辑不确定性的最新进展的光,在我们最近的相关主题亚博体育官网的一些有前途的讨论研讨会系列合作逆强化学习”(通过斯图尔特罗素集团),“避免Wireheading与价值强化学习”(通过汤姆·埃弗里特),并在花样的斯图尔特·阿姆斯特朗的书包一些项目。

值规范

我们期待有限在2015年对这些问题方面取得进展,而且我们取得了有限的进展。

值的学习和相关问题是低优先级对我们来说,去年,所以我们没有看到任何大的进步。

MIRI 亚博体育官网research associate Kaj Sotala将价值规范作为他的重点,研究了核心研究议程之外的几个有趣问题。杰西卡·泰勒也开始调查这个问题在调研座谈会亚博体育官网

前2015年的工作发表在2015年:

2015年亚博体育官网发表于2016年或即将发表的研究:

容错代理设计和价值规范将是我们更大的重点领域前进,下先进的机器学习系统校准亚博体育苹果app官方下载亚博体育官网研究计划。

我们推出了我们技术议程在后期2014年和2015年初的概述文件,“代理基础对准机器智能与人类利益”被提名为在外部出版该技术奇异点在2017年。

在2015年,我们也产生了一些研究无关,我们代理的基础议程。亚博体育官网这项研究一亚博体育官网般集中在预测和战略问题。

前2015年的工作发表在2015年:

2015年亚博体育官网发表于2016年或即将发表的研究:

从2015年开始,由MIRI支持的新人工智能策略/预测研究在Katja Grace的独立亚博体育官网AI的影响项目。AI功能的影响31个新用品27新博客文章2015年,关于人类智力的范围计算成本趋势

整体而言,我们很高兴我们的2015年的研究成果,并希望我们的团队增长进一步加快技术亚博体育官网进步。

2015年亚博体育官网研究 支持活动

注重活动的直接增长的技术研究团体或促进技术研究和合作,在2015年我们:亚博体育官网

  • 推出智能代理基金会论坛公共论坛的AI对准的研究人员。亚博体育官网MIRI研亚博体育官网究人员和合作者在2015年取得139顶级职位,以IAFF。
  • 聘请了4位新的全职研究员。亚博体育官网帕特里克·拉维克泰尔于3月加入,杰西卡·泰勒于8月加入,安德鲁·克里奇于9月加入,斯科特·加勒布兰特于12月加入。随着奈特过渡到一个非研究性的角色,总体来说,我们从一个三人的研究团队(Eliezer,Benya,和奈特)成长为一个六人的团队。亚博体育官网
  • 大修我们的研究助理程序。亚博体育官网2015年之前,我们的研究同事都在亚博体育官网我们积极研究不同参与程度大多是无偿的合作者。继我们成功的夏季募捐活动,我们提出“研究助理”有偿位置,其中设在其他机构的研究人员在研究项目上花费的时间显亚博体育官网著数额的我们。根据这项计划,斯图尔特·阿姆斯特朗,Tsvi本森 - Tilsen,亚伯兰Demski,凡妮莎科索伊,拉玛纳库马尔,凯伊Sotala,和(加盟MIRI专职之前)斯科特Garrabrant联营角色全部由显著的贡献。
  • 聘请了三个研究实习。亚博体育官网卡亚Stechly和拉菲尔如Cosman在抛光和巩固老MIRI结果工作(例如在IAFF),而杰克·加拉格尔在类型理论的项目合作上我们的类型理论(GitHub库)。
  • 收购了两名新的研究顾问,亚博体育官网斯图尔特罗素和巴特·塞尔曼。
  • 托管六届夏季研讨会并赞助了三个星期MIRI夏季研究员程序。这些活动有助于建立一些新的学术联系,并直接导致我们向两个极有希望的与会者提供工作机会:米哈利·巴尔扎斯(他计划在未来的日期加入)和斯科特·加勒布兰特。
  • 帮助组织了另外两个学术活动,一个剑桥决策理论会议和十周AI对准系列研讨会在加州大学伯克利分校。我们也跑了6个研究务虚会,赞亚博体育官网助36米里克斯事件,并谈到在牛津大图片思考系列研讨会。
  • 在谈到其他五个学术活动。我们参加的生命研究所的未来“人工智能的未来”会议,AAAI-15,AGI-15,萝莉到2015年,和2015年APS我们也出席NIPS

我很高兴我们在发展我们的团队和更大的学术团体合作,2015年取得进展。在这一年的过程中,我们建立了人在谷歌DeepMind,谷歌大脑更密切的关系,OpenAI,转承,良好的AI,人文学院和其他研究小组的未来。亚博体育官网所有这一切都使我们处于一个更好的位置来分享我们的研究成果,研究方法,并与其他研究人员的目标,并吸引新的人才AI校准亚博体育官网工作。

2015年概述活动

除了直接研究支持,在2015亚博体育官网年我们:

虽然我们不强调宣传,我们继续预期这些活动成为更普遍地传播有关美里,我们的研究项目,和AI安全研究的普遍认识是有用的。亚博体育官网最终,我们希望这有助于建立我们的捐助基础,以及吸引潜在的未来的研究者(美里和现场更普遍),与我们过去的宣传和能力建设工作。亚博体育官网

2015年募款

我很高兴与我们的筹款演出。在2015年我们:

  • 继续我们的强劲增长筹款,总共有1584109美元捐款。3
  • 收到$ 166,943从生命研究所的未来(FLI)补助金,另外还有每年〜在未来两年内$ 80,000。4
  • 有一种新的筹款的试验(非匹配,具有多目标)。我认为这些实验是成功的。我们的夏季募捐是我们最大的至今募捐活动,募集$ 632,011,以及我们的冬季募捐也很顺利,养大了$ 328,148

捐款总额增长了28%,在2015年这是通过增加来自新的资金提供者,包括一次性$ 219,000从匿名资助者在资助FLI贡献,$十六万六千九百四十三贡献驱动,并且至少$一三七〇二三从为提高有效捐赠(REG),并自生效之利他主义基金会regranting。从回国资助者捐款的减少是由于彼得泰尔在2015年的支持停药,加上一次性大离群捐赠从杰德McCaleb的中前两年($ 526316抵达2013,$一十万四千八百二十二2014年)。

从这些逐年比较中得出结论有点棘手。在这段时间里,特别是2013年,MIRI经历了重大的组织变革。我们在2014年转向权责发生制会计,这也使与前几年的比较变得复杂。6不过,总的来说,我们继续看到筹资活动稳步增长。

从2014年到2015年,新的资助者数量有所减少。在我们的2014回顾,卢克解释了2014年资助者的大量增加:

新的捐助增长强劲,2014年,虽然这主要是由在做小额捐款来了SV给出募捐。生长在返回捐助者显著部分也归因于流逝的捐助者作出贡献较小时SV给出募捐活动。

我们的数字在2015年和2013年相比,我们看到了健康的增长回国资助者和资助者的总数的数目。

在过去的几年中上图显示的贡献从小型,中型,大型和超大型资助者段。从三大段捐款上年增长(约)成比例,随着从大资金提供者的贡献是明显的例外,从26%提高到占捐款总额的31%。我们不得不在小资助者段,而这又是由于在SV在2014年给出收到一个不同寻常的大量的小额捐款的捐款小年同期下降。

由于在过去几年中,我们的财务状况的全面报告(在独立会计师的审查报告的形式)将提供我们的透明度和财务页。该报告将最有可能在多达8月底或9月初。

2016年及以后

下一步是什么?除了我们在我们的六个重亚博体育官网点领域五个使得显著进步的研究目标,我们在7月/ 2015年8月成立了以下工作目标,为自己:

  1. 加速增长:“扩展到大约10人的核心研发团队。”亚博体育官网(资源
  2. 在类型理论的项目类型理论:“聘请开发相关的工具全职一个或两个类型的理论家的工作。”(资源
  3. 访问学者计划:“有兴趣的教授为夏季下降的,而我们付出他们的夏季薪水和工作,他们在项目中我们的利益重叠。”(资源
  4. 独立评论“我们也在考虑选择直接征求对我们的研究议程,早见效独立研究公众的反馈意见。”亚博体育官网(资源
  5. 较高的知名度出版物:“我们目前的计划,今年是集中在生产场地精英几个高质量的出版物。”(资源

在2015年,我们增加了一倍我们的研究团队的规模从三到六。亚博体育官网With the restructuring of our research associates program and the addition of two research interns, I’m pleased with the growth we achieved in 2015. We deemphasized growth in the first half of 2016 in order to focus on onboarding, but plan to expand again by the end of the year.

我们有一个招聘广告了我们的类型理论家位置之后,我们使我们未来几年的核心研究人员的聘用,这将有可能填补。亚博体育官网在此期间,我们一直就在类型理论的项目类型理论我们的研究实习生杰克·加拉格尔的亚博体育官网工作,我们也跑了2016年4月类型理论研讨会

从我们的研究顾问的帮助下,我们的访问学亚博体育官网者计划演变成三个星期之久研讨会系列。而不是托管研究者更长的时间屈指可数,我们接待了超过五十研究人员较短亚博体育官网的时间段,在各种各样的主动安全AI研究项目交换意见。在活动中发言者包括斯图尔特罗素,弗朗西斯·罗西,汤姆Dietterich和巴特塞尔曼。我们还与斯图尔特罗素在合作可以驯服补助

工作是进行我们的研究项目进行外部审查正在进行中;亚博体育官网结果应在未来几个月内提供。

至于我们的第五个进球,除了“证明 - 生产性思考HOL“(于8月底在ITP 2015上发表),此后我们在LORI-V发表了论文(”反光神谕“),在2016年阿联酋国际机场(”安全可中断代理”和“形式化解决问题的真理的谷物,并在IJCAI 2016研讨会上(“价值学习问题“)。这些场馆,UAI通常被认为比我们公布在过去,大多数场馆更负盛名。我想指望这是迈向更精英场馆发布的目标,适度的(但不是很大)的进展。内特将有更多的说我们的未来出版计划。

我们计划进一步阐述会把我超出了审查的范围。在未来几周内,内特将提供我们的2016个活动更多的细节和我们的目标,在一个大画面MIRI战略后向前发展。7


  1. 本文最初题为“对齐超级智能与人类利益。”为了强调这个研究议程需要一个特定的方法来定位问题,我们已重新命名,和其他方法也是可能的,其中包括,亚博体育官网贴切,杰西卡泰勒的新“对齐方式先进的机器学习系统亚博体育苹果app官方下载“议程。
  2. 我(马洛Bourgon)最近承担了为美里的新COO和第二号命令中发挥领导作用。
  3. 这80480 $被指定为AI影响项目资金。
  4. 美里是管理3 FLI补助(与参加第四)。我们收到超过三年$ 250,000到基金的工作对我们代理的基础技术议程,$四万九千三百一对AI的影响,我们正在施用拉玛纳的$ 36,750学习自我参照的HOL定理证明与Benya合作。
  5. 这只能算作通过REG美里的直接贡献。REG对MIRI支持很可能接近$ 200,000占直接向美里为REG的建议资助者的结果贡献时。
  6. 还请注意,本节中的数字可能与以前公布的估计数不完全匹配,因为通常会对捐款数据进行少量更正。最后,请注意这些数字不包括实物捐赠。
  7. 我要感谢罗布本辛格对他的这篇评论作出了重大贡献。