2017年更新和战略

||MIRI策略

在我们最后的策略更新(2016年八月,内特写道,MIRI的首要任务是在我们的工作上取得进展代理基础开始我们新的"对齐方式先进的机器学习系统亚博体育苹果app官方下载”议程,合作和与其他研究人员交流,来发展我们的研究和运作团队。亚博体育官网

从此,在MIRI高级工作人员重新评估多远了他们的意见通用人工智能(AGI)的结论是,更短的时间线更可能比他们之前的想法。最近的一些证据指向这个方向,例如:1

  • 人工智亚博体育官网能研究正变得越来越令人兴奋资金雄厚。这表明,更多的顶尖人才(下一代以及当前一代)将可能把注意力转向AI。
  • AGI作为一种理念正在吸引更多的学术关注,并且是顶级人工智能团体如DeepMind,OpenAI,和公平。特别是,许多研究人员似乎比几年前更愿意考亚博体育官网虑一般智力。
  • 亚博体育官网与AGI相关的研究小组显示出更清晰的外部信息标志的盈利能力。
  • 人工智能的成功阿尔法哥表明它更容易在像围棋领域跑赢大盘顶部的人(没有任何新的概念的突破),比可能已经预期。2这降低了我们在其他领域需要竞争对手人类显著概念突破的数量估计。

对于时间线有多长,MIRI的研究人员并没有达成共识,我们的综合估亚博体育官网计认为,研究社区到2035年还没有开发出AGI的可能性中至高。然而,平均而言,研究人员现在认为AGI在2亚博体育官网035年前开发的可能性比我们一两年前认为的要高一些。这对我们的战略有一些启示:

1.在AGI安全目前的主要参与者和能力,我们的关系发挥我们的战略思想方面发挥更大作用。短期时间表的情况减少了重要的新玩家的预期数量谁将会进入空间我们打AGI前,增加当前玩家多大的影响力很可能有。

2。我们的研究亚博体育官网重点有些不同,因为较短的时间线改变了在我们达到AGI之前可能会付出的研究路径,而且还将我们的概率质量更多地集中在AGI与当前机器学习系统共享各种特性的场景上。亚博体育苹果app官方下载

这两个更新代表我们已经在趋势因各种原因的方向。3.然而,与去年相比,我们在这两个方向上的行动更加迅速和自信。作为一个例子,内特在员工管理上花费更少的时间和其他管理职责比过去(把这些交给米里首席运营官Bourgon)不全,更少的时间在广泛沟通工作(委托大量的这样对我),让他花更多的时间在对象级别的研究,研究优先级的工作,更有针对性的沟通。亚博体育官网4

我会制定出什么这些更新意味着我们在下面更具体详细的计划。

1.研亚博体育官网究项目计划

我们的首要组织重点是在对象层次研究亚博体育官网AI对齐的问题,继续Malo在我们最近的文章中所描述的工作年度审核

我们计划今年斥资钻研一些新的安全研究方向是非常初步的,探索,在这里我们不确定潜在的协同效应与AGI能力的研究。亚博体育官网Work related to this exploratory investigation will be non-public-facing at least through late 2017, in order to lower the risk of marginally shortening AGI timelines (which can leave less total time for alignment research) and to free up researchers’ attention from having to think through safety tradeoffs for each new result.5

我们以前也做过面向公众的研究,但这将是2017年更大的重点。我们计划亚博体育官网根据项目进展情况,在秋季重新评估我们的探索性研究计划要投入多少工作(以及是否将项目转移到面向公众的方面)。

在公众面前,Nate预测我们今年的研究进展大致会在以下几方面进行(对比2015年和2016年的估计)。亚博体育官网1是“有限进步”,2是“从弱到中”,3是“从中到强”,4是“从中到强”,5是“较大进步”。6


合乎逻辑的不确定性归感应:

  • 2015年的进展:5 - 预测:3。
  • 2016年进度:5。-预测:5。
  • 2017年进度预测:2(weak-to-modest)。

决策理论:

  • 2015年进展:3。——预测:3。
  • 2016年进展:3。——预测:3。
  • 2017年进度预测:3.(谦虚)。

文根反射:

  • 2015年进展:3。——预测:3。
  • 2016年进展:4。-预测:1。
  • 2017年进度预测:1(有限)。

误差容限:

  • 2015年进展:1。——预测:3。
  • 2016年进展:1。-预测:3。
  • 2017年进度预测:1(有限)。

价值规范:

  • 2015年的进展:1 - 预测:1。
  • 2016年进展:2。-预测:3。
  • 2017年进度预测:1(有限)。

奈特预计今年少新颖的面向公众的效果比在2015 - 2016年的基础上,他有多少研究员小时,我们正在投资到各个领域和多么容易估计,是在这一领域取得进展的混合。亚博体育官网

基础研究的进展是很难提前预测的,上面亚博体育官网的估计结合了我们得出重要新结果的可能性和我们对相关领域中这些结果的预期。在归化归纳法的例子中,大部分的可能性是我们在今年取得了少量的进展,而获得新的大的见解的可能性很低。在决策理论的例子中,大部分的可能性是我们获得了一些与我们正在研究的问题相关的小的新见解,而获得大见解的可能性只有中低。

该研究小亚博体育官网组目前的重点是一些相当新的问题。杰西卡、萨姆和斯科特最近一直在研究索罗门诺夫归纳法等推理程序的问题导致未对准的子表面(例如。,在这里),并考虑可能避免这个问题的替代归纳方法。7

在决策论中,我们近期工作的一个共同点是,我们在我们习惯使用可证性的设置使用概率和拓扑固定点。这意味着有工作(和改进)逻辑电感反射神谕这也意味着发展新的看待问题的方式反事实受到这些方法的启发。这种转变背后的原因是,我们在Vingean reflection上看到的大部分进展都来自于这些概率推理和fixed-point-based技术。

我们还计划在今年公布一些研究领域的概览。亚博体育官网关于我们在决策理论方面的工作的一个很好的一般性介绍,请看我们最新的论文,在大马士革作弊死亡。”

2。有针对性的外展和更密切的合作

我们的推广工作,今年主要是针对顶级AI群体(尤其是OpenAI和DeepMind),AI安全研究小组(尤其是人文学院的未来)亚博体育官网,以及资助者/召集人(尤其是开放慈善项目)交换研究-通知背景模型。

我们目前正在与DeepMind合作一个研究项目,并且与OpenAI和其亚博体育官网他团队的关键人物关系良好。我们也在写一个更系统的解释,来解释我们对战略格局的看法,我们希望以此作为讨论的起点。我们计划在未来的报告中讨论的主题包括:亚博体育苹果app官方下载

一。AGI项目的实际目标和指导方针。

2。为什么我们认为AGI对齐一个棘手的问题,在这种情况下,在不久的将来可能需要对研究工作进行多年的重大投资(而且离足够的投资不远)。亚博体育官网

3.为什么我们认为深刻理解如何AI系统的认知达亚博体育苹果app官方下载到的目标很可能是为AGI对准的关键。

4。任务导向AGI并限制AGI系统解决问题的工作范围的方法。亚博体育苹果app官方下载

一些与我们想说的话题相关的现有文章包括杰西卡·泰勒的关于MIRI高可靠性代理设计研究的动机亚博体育官网《内特·苏亚雷斯》为什么AI安全?,以及丹尼尔·杜威的结束快速起飞带来的生存风险的长期策略。”

3.扩张

我们在2017年计划预算为2.1-2.5M $,从$ 165万在2015年和$ 1.75M 2016年我们的点估计是2.25M $,在这种情况下,我们希望我们的故障大致是这样的:



我们最近聘请了两名新研究员,亚博体育官网萨姆·艾森斯塔和马塞洛·赫雷霍夫,还有其他研究人员正在进行研究。我亚博体育官网们也是招聘软件工程师帮助我们快速原型,实现和测试与机器学习相关的人工智能安全思想。我们目前正在寻找实习生来尝试这些编程角色(在此应用)。

我们的活动预算今年较小,因为我们正在进行更多的内部研究,减少像2015年这样的活动亚博体育官网夏季系列研讨会我们的2016座谈会系列. 我们的costs of doing business are higher, due in part to accounting expenses associated with our passing the $2M revenue level and bookkeeping expenses for upkeep tasks we’ve outsourced.

我们尝试与运行只有一个筹款会在2016年,但最终仍然需要在一年后结束花费工作人员的时间筹款低于我们最初的资金目标考虑到年底令人振奋的支持,我们的整体业绩非常稳定——从2015年的158万美元上升到226万美元。然而,今年我们很有可能回到之前的两次融资节奏,以便更有信心地推进我们的增长计划。

我们的5年计划是相当不确定的,因为我们的战略会振振有词地结束了基于不同而不同,今年如何卓有成效我们的研究方向练得,并根据我们与其他群体的对话。亚博体育官网像往常一样,欢迎您向我们提问如果你对我们的计划感到好奇,我们会随着计划的不断发展不断更新!


  1. 请注意,这个名单还远远没有穷尽。
  2. 相对一般的算法(加上大量的计算)能够在行进中超越人类的表现,从无法战胜标准游戏中最差的人类专业人员到控制最优秀的专业人士在几个月的时间里。这里的相关进展并不是“AlphaGo代表了相对于先前已知技术的概念上的重大进步”,而是“当现代技术被应用到像专业围棋那样依赖模式识别、(对人类来说)困难的任务时,障碍少得惊人”。
  3. 出版“人工智能安全中的具体问题“例如,去年,我们减少了对整个人工智能社区进行广泛推广的时间,转而花更多的时间与我们在OpenAI、Google Brain、DeepMind和其他地方认识的研究人员建立更强有力的合作关系。亚博体育官网
  4. 内特继续制定MIRI的组织战略,并负责这篇文章的想法。
  5. We generally support a norm where research groups weigh the costs and benefits of publishing results that could shorten AGI timelines, and err on the side of keeping potentially AGI-hastening results proprietary where there’s sufficient uncertainty, unless there are sufficiently strong positive reasons to disseminate the results under consideration. This can end up applying to safety research and work by smaller groups as well, depending on the specifics of the research itself.

    在我们的决策的另一个因素是,外部消费出具结果需要更多的研究人员的时间和精力,但实际上这笔费用通常会比写作过程和结果的论文的好处较小。亚博体育官网

  6. 内特最初是在3月21日根据他在3月底至2017年底的预期进展记录下他的预测。注意,例如,三个“有限”的分数并不等于一个“适度”的分数。此外,排名是基于我们在每个类别中预期的最大技术成果,强调深度大于广度:如果我们在一年内得到一个看似温和的决策理论结果,在明年得到十个这样的结果,这两个结果都将被列为“适度进步”。
  7. 这是一个相对较新的研究重点,并且不适合特别好到任何从信息亚博体育官网仓的我们代理基础议程,虽然这是最明显关系归感应. 我们的AAMLS议程虽然我们将大多数AAMLS研究归类为误差容限或值规范工作,但也不能特别整齐地放入这些容器中。亚博体育官网