MIRI战略更新:2016年

||和平号战略

这篇文章是马洛的后续文章2015年评审,制定2016-2017年的新计划。简而言之,我们的首要任务(按重要性递减顺序)是:(1)在我们确定的研究问题上取得技术进展,(2)扩大我们的团队,(3)与更广泛的研究团体建立更牢固的联系。亚博体育官网

如a所述上一篇博客文章,我们研究计划的最大更新是,我们将在2014年的研究议程亚博体育官网(代理基础“议程”)和一个新的研究议程,以机器学习亚博体育官网工作为导向,由杰西卡·泰勒领导:为先进的机器学习系统对齐亚博体育苹果app官方下载。”

新增三项新闻:

一。我很高兴地宣布,MIRI得到了一个新的主要捐赠者的支持:企业家和计算生物学家Blake Borgeson,他向MIRI捐赠了30万美元。这是米莉有史以来收到的第二大捐款,仅次于杰德·麦卡勒布的捐款2013年加密货币捐赠。因此,我们能够以更快、更有信心和更灵活的方式执行我们的增长计划。

2.今年,我们没有分别举办夏季和冬季的募捐活动,而是将它们合并成一个更有雄心的募捐活动,将在9月举行。

三。我也很高兴地宣布,艾布拉姆·德姆斯基已经接受了一个MIRI研究员的职位。此外,瑞安·凯里已经接受了一个助理研究员的职位,我们还雇佣了一些新的行政人员。亚博体育官网

我将在下面提供关于这些和其他新发展的更多细节。

优先事项1:在开放技术问题上取得进展

自2013年以来,MIRI的主要目标一直是在人工智能对齐方面取得技术进步。我们几乎所有的其他活动都直接或间接地旨在在MIRI或其他机构进行更高质量的比对研究。亚博体育官网

如上所述,Jessica Taylor目前正在领导一个“高级机器学习系统联盟”计划,该计划将占据我们今后研究工作的一半左右。亚博体育官网亚博体育苹果app官方下载我们工作的目标我们将开发形式化的模型和理论工具,我们预测这些模型和工具将有助于高能力人工智能系统的校准,前提是这些系统在质量上与目前的机器学习系统相似。我们的研究沟通经理Rob Bensinger亚博体育官网亚博体育苹果app官方下载总结了我们新工作的主题和它与其他人工智能安全研究建议的关系。亚博体育官网

今年早些时候,我草草写下了一份总结,我认为我们在2015年的研究议程上取得了多少技术进步(Malo在亚博体育官网2015年评审),相对于我的期望。简而言之,我期望我们所有的研究领域都能取得适度的进步,除了亚博体育官网价值规范(这在2015年对我们来说是低优先级的)。我们在一些问题上的进展比预期的要快,在另一些问题上的进展比预期的要慢。

归化感应逻辑不确定性在美国,我们超出了我的预期,取得了相当大的进步。在误差容限我们没有达到我的预期,只取得了有限的进展。在我们的其他研究领域,我们亚博体育官网取得了我所预期的进展:在决策理论文根反射在价值规范方面进展有限。

今年早些时候,我还对我们到2016年底将取得多大进展进行了个人预测:决策理论、容错和价值规范方面取得了适度进展;温格尔反思的有限进展;在逻辑不确定性和归化归纳法方面也取得了相当大的进展。(从2017年开始,我将在年初公开做出我的预测。)

分解这些:

  • 文根反射是我们今年较低的优先事项。这在一定程度上是因为我们对在逻辑不确定性或决策理论方面缺乏额外进展的情况下,这里还有更多悬而未决的果实可摘缺乏信心。尽管我们已经通过Benya Fallenstein、Ramana Kumar和Jack Gallagher的HOL-in-HOL项目自从Benya开发了模型多态性以来,我们还没有在这一领域看到任何重大的理论突破在2012年末。Benya和Kaya Fallenstein偶尔仍在研究这个话题。
  • 相比之下,我们继续在基本理论方面取得稳步进展逻辑不确定性,归化感应,和决策理论在过去的几年里。Benya, Kaya, Abram, Scott Garrabrant, Vanessa Kosoy和Tsvi Benson-Tilsen将在未来几个月关注这些领域,我预计2016年的进展将与2015年的进展同等重要。
  • 我们的机器学习议程主要关注误差容限价值规范使我们今年的工作重点更加突出。我希望看到杰西卡·泰勒、帕特里克·拉维克泰尔、安德鲁·克里奇、斯图尔特·阿姆斯特朗和瑞安·凯里在这些问题上的工作取得适度进展。鉴于这个项目是如此之新,很难说是否会有重大突破。

Eliezer Yudkowsky和我将把我们的时间分配在研究这些问题和做解释性写作之间。Eliezer写的是对齐理论,而我写的是MIRI策略和预测问题。

我们花了2016年上半年的大部分时间来撰写现有的研究结果和研究建议,并与其他研究人员进行协调(例如通过我们对FHI和our的访问)亚博体育官网关于强健和有益的人工智能的系列讨论会在接下来的几个星期里,我们还有更多的文章要写。我们设法得到公平的研究,我们将宣布一项相当大的新的逻辑不确定性结亚博体育官网果一旦上述写作完成,但我们期待几个月不间断的研究时间结束的时候,我很兴奋地看到是什么。

优先事项2:扩大我们的团队

发展MIRI的研究团队是重中之亚博体育官网重。我们也在扩大我们的管理团队,我们的目标是释放更多的时间和更好的定位MIRI积极影响蓬勃发展的AI风险对话。

在过去一年中作为助理研究员对我们的研究做出了重大贡献(例如:“亚博体育官网归纳的一致性“和结构风险缓解)参与我们的CSRBAI和MIRI暑期研究员项目, Abram Demski已经签约加入我们的核心研究团队。亚博体育官网亚伯拉罕计划在2016年末或2017年初加入该公司,此前他在南加州大学(University of Southern California)获得了计算机科学博士学位。Mihaly Barasz也将在未来加入我们的核心研究团队,我们正在考虑其他几个有希望的研究亚博体育官网奖学金候选人。

在短期内,数据科学家瑞安·凯里(Ryan Carey)一直在我们的机器学习议程上与我们合作,并将在9月份以助理研究员的身份加入我们。亚博体育官网

我们最近还聘请了一位新的办公室经理Aaron Silverbook和一位通信和开发管理员ColmÓRiain。

我们有空位类型理论家招聘广告,并且更普遍地在寻找亚博体育官网研究员有很强的数学直觉,有能力把困难的问题形式化和解决,或者充实和写出结果供出版。

我们也在寻找沟通和外联专家(例如,具有很强写作能力的计算机程序员),以帮助我们跟上活跃的公众和学术人工智能风险对话的步伐。如果您感兴趣,请将简历和非小说写作样本发送至抢劫

优先事项3:与其他研究人员合作和交流亚博体育官网

2016年出现了一些新的迹象,表明人工智能将成为(相对)主流:

MIRI的目标是确保人工智能校准问题得到解决,无论是MIRI解决它还是其他团队。因此,我们对定向排列问题的新注意力涌入感到兴奋,并将此视为培育该领域的重要时间。

随着人工智能安全研究越来越亚博体育官网主流,我们可以对话的研究人员也越来越多。与此同时,我们自己处理问题的方法——特别关注问题中最长期的、高风险的和不为人知的部分,以及这些部分与学术和行业激励的不一致-仍然不寻常。如果没有米莉,我想这部分谈话几乎会被完全忽略。

帮助推广我们的方法我们打算举办更多针对不同学术受众的研讨会,扩大这一领域。我们将在不久的将来举办一个机器学习研讨会,并可能在未来举办更多类似CSRBAI的活动。我们还有一大堆过去的技术成果要写,我们希望这些成果对吸引更多的计算机科学、经济学、数学逻辑、决策理论和其他领域的研究人员有价值。亚博体育官网

我们特别感兴趣的是找到同时处理优先事项1和3的方法,寻求重要的研究方向,这也有助于我们与更广泛的学术界建立更牢固的联系。我们的新研究议程的几个原因之一是它有可能鼓励ML社区进行更多的对齐工作。亚博体育官网


短期:中期内,我们的研究计划将更注重容错和价值规范的研究,更注重基于ML的人工亚博体育官网智能方法,我们正在扩大研究团队的规模,以实现这一目标。

Rob, Malo和我将在9月份我们2016年的筹款活动开始时,更多地谈论我们的资金状况和组织策略。作为该系列文章的一部分,我还将撰写更多关于我们当前的战略如何符合我们的长期目标和优先事项的文章。

最后,如果你参加了全球有效利他主义这个周末,请注意我们将举办两个研讨会(一个在杰西卡的新项目上,另一个关于上述新的逻辑不确定性结果),以及一些办公时间(包括亚博体育官网研究小组管理团队). 如果你在那里,随时可以来拜访,打个招呼,问更多关于我们所做的事情。