2016年回顾

||MIRI策略

又到了我年度回顾米里活动的时候了。1在这篇文章中,我将提供什么,我们在2016年做了,看看我们的活动如何比较我们前面提到的目标和预测的总结,反思如何我们的战略在过去的一年符合我们作为一个组织的使命。我们将按照四月这个帖子了一个战略更新2017年。

在2015年将研究团队规模扩大一倍之后,亚博体育官网2我们在2016年减缓我们的成长,专注于新增加的集成到我们的团队,使得研究进展,并编写了现有结果的积压。亚博体育官网

2016对我们来说是重要的一年的研究前沿,与我们的新的研究人员做了一亚博体育官网些最显着的贡献。我们最大的新闻是斯科特Garrabrant的逻辑电感框架,这代表了我们在逻辑不确定性问题上迄今为止最大的进展。我们还发布了对齐方式先进的机器学习系统亚博体育苹果app官方下载”(AAMLS),由杰西卡泰勒发起了一个新的技术议程。

我们也该在去年花了与更广泛的社会AI,例如从事更重,经过长达一个月的座谈会系列稳健和有益人工智能我们共同-RAN与人类研究所的未来,并通过经过一年多的事件会谈,并参加小组。

2016年亚博体育官网的研究进展

今年我们在代理基础议程,包括斯科特·加勒布兰特的逻辑电感形式主义(它可能代表了我们迄今为止最重要的技术成果)和Vingean反射的相关发展。同时,我们发现在容错性和值规范方面进展相对较小计划在2016年更加集中精力。下面,我将介绍我们每个研究领域的亮点:亚博体育官网

逻辑不确定性和归化感应
  • 2015年进展:可观。(预测:适度。)
  • 2016和进步:相当大。(预测:相当大的。)

我们看到了大量与逻辑归纳相关的结果。逻辑归纳法是由Scott Garrabrant在2015年底领导的早期工作(于2016年4月撰写)发展而来,该工作有助于划分逻辑不确定性问题分成两个子问题。斯科特表明,这两个问题可以解决一次使用一种算法,满足一个高度概括“逻辑归纳的标准。”

这个标准提供了一种在资源限制下理解理想化推理的简单方法。用安德鲁·克里奇的话来说,逻辑归纳法是“元数学计算机科学问题的金融解决方案”:一种将合理的概率分配给任意(经验的、逻辑的、数学的、自指的等)句子的过程,其方式超过了演绎法,用类比法解释为无法利用的股票市场。

我们2016年在这一领域的另一项主要工作是由MIRI research associate Vanessa Kosoy牵头的独立研究亚博体育官网项目最优多项式时间估计:一种贝叶斯近似算法“Vanessa从比逻辑归纳更复杂的理论攻角来处理逻辑不确定性问题,为定义计算上不可行的对象的最优可行近似提供了一种形式,这种对象保留了这些对象的许多相关特性。

决策理论
  • 2015年进展:适度。(预测:适度。)
  • 2016年进展:适度。(预测:适度。)

我们继续看到与定义逻辑反事实的问题有关的有趣的结果源源不断。2016年,我们开始将逻辑感应器框架应用于决策理论问题,我们的想法是通用电感器。安德鲁·玛琳还开发解决政策分歧的博弈论方法这一点优于标准的折衷方法,也允许谈判者在事实问题上存在分歧。

我们有很多结果要在这个空间里写。我们最新的大马士革的欺骗死亡”总结了功能性决策理论的情况下,理论系统地优于在决策理论和博弈论传统学术观点(因果和证据决策理论)。亚博体育苹果app官方下载这是我们用来学习的是逻辑的反事实和相关的开放问题的基本框架,是理解在这个领域我们的其他工作提供了良好的介绍文件。

对于我们最近关于这个主题的工作的概述,请参阅本森Tsvi,Tilsen的决策理论指标在研究论坛上。亚博体育官网

文根反射
  • 2015年进展:适度。(预测:适度。)
  • 2016年进展:从温和到强劲。(预测:有限)

我们在反射推理主要结果去年有关逻辑电感自我信任。看到在Vingean反射尚无大的进展对于许多经过多年,最后的大步也许Benya Fallenstein模型多态性建议2012年末-我们曾计划在2016年取消这一问题的优先工作,前提是在我们取得更大进展之前需要其他工具。然而,在2016年,逻辑归纳结果出人意料地对解决一些突出的瓷砖问题有用。

如中所述逻辑归纳法“逻辑感应器提供了一个简单的自我参照推理的演示,具有高度的普遍性和准确性,没有悖论,并为推理者自己的信念赋予合理的可信度。这提供了一些证据,证明逻辑不确定性问题本身是有关智力理论基础的一些谜题的核心。

误差容限
  • 2015年进展:有限。(预测:适度。)
  • 2016和进展:有限。(预测:谦虚。)

2016看到了我们发布的“对齐高级ML系统亚博体育苹果app官方下载“研亚博体育官网究议程,重点放在错误容忍度和价值规范上。这些领域的进展比预期的要少,部分原因是这里的调查仍处于非常初步的阶段。2016年中后期,我们在研究上花费的时间也比计划的要少,部分原因是我们花了大量时间撰写新成果和研究建议。

内特在指出我们10月AMA他认为在起草写起坐我们主要的2016个错误之一这段时间的投资,并计划花费更少的时间在纸上书写于2017年。

我们2016年的容错工作包括”与因果反事实效用无差别的两个问题“我们花了一些时间讨论和批评迪伦·哈德菲尔德·梅内尔关于通过CIRL可以驯服. 我们计划在今年晚些时候更广泛地分享我们对后一条研究路线的看法。亚博体育官网

价值规范
  • 2015年进展:有限。(预测:有限)
  • 2016和进步:弱到微薄之力。(预测:谦虚。)

尽管去年我们计划将更多的精力放在价值规范上,但最终我们取得的进展不如预期。我们在这方面的工作包括杰西卡·泰勒和瑞安·凯里在在线学习,还有杰西卡的分析如何错误可能是人类咨询彼此的系统内传播。亚博体育苹果app官方下载

我们非常高兴与我们的代理基础议程在过去一年的进展,我们希望看到来自一套新的工具,我们已经开发了更多的进展级联。同时,它还有待观察听话怎么一系列新的问题我们在AAMLS议程应对是。

2016年亚博体育官网研究支持活动

在九月,我们带来了瑞恩·凯莉支持杰西卡的对AAMLS议程的工作作为助理研究员。亚博体育官网3我们的助理研究奖学金项目似乎亚博体育官网进展顺利;Ryan在与Jessica合作撰写研究结果方面为我们提供了很多帮助(例如“在线学习者的偏差检测“),以及与帕特里克LaVictoire项目设置TensorFlow工具。

我们很可能会在今年扩大方案和新的研究人员石板增加额外的助理研究员,此外。亚博体育官网

聚焦于涉及相对直接向我们的技术研究项目等活动,包括合作,并与工业界和学术界的研究人员同步起来,在2016年我们:亚博体育官网

总体而言,我们的研究团队在2016年亚博体育官网的增长略低于预期。我们仍在接受申请类型理论家地位(对于MIRI的其他研究角色,亚博体育官网通过我们的亚博体育苹果app官方下载 )但我们希望在接下来的6个月内,在专注于培养更多核心研究人员的同时,这一职位至少不会空缺。亚博体育官网4

2016年一般活动

同样在2016年,我们:

2016年筹款

2016年是MIRI筹款努力的一年。我们一共筹集了2285200美元,一个44%在2015年筹集的1584109美元基础上增加。这一增长主要是由于:

  • 的格兰特将军50万美元从开放式慈善项目
  • 捐赠300000美元布莱克·博格森的。
  • 的贡献93548美元为了有效的给予而提高。6
  • 的研亚博体育官网究资助83309美元从生命研究所的未来。7
  • 我们的社会我们的秋季期间的踊跃筹款,在$ 595,947我们的第二大募捐活动至今。
  • 从在今年年底,支持者尽管我们没有运行冬季筹款支持了可喜的表演。

假设我们能继续维持这个资金水平,这代表着我们的主要筹款目标的初步实现自2016年1月起

我们的下一个大的推动将关闭我们的新的预算和我们的年收入之间的差距。为了维持我们目前的增长计划 - 这是旨在扩大到一队的约10个全职研究人员 - 我们需要开始持续中期2017年拍摄的近$ 2M每年。亚博体育官网

如下面的图显示年,2016年继续在我们的筹款活动增长的积极趋势。

从这些逐年比较中得出结论可能有点棘手。在这段时间里,特别是2013年,MIRI经历了重大的组织变革。2014年,我们也转向了权责发生制会计,这也使与前几年的比较更加复杂。

不过,我们有可能强调2016年进展的某些方面:

  • 秋季募捐活动:我们首次在2016年举行了一次募捐活动,而不是在9月中旬至10月31日举行“传统的”夏季和冬季募捐活动。当我们没有击中我们的$ 750K初始目标,我们希望我们的资助者正在等待今年晚些时候放弃,并会弥补在年底的不足。我们高兴地看到,他们在大量扛到2016年底,一些可能通过公共帖子由社区成员的动机。8总而言之,我们在2016年12月(〜$ 430,000)于同月在任的前两年获得更多的贡献比,当我们跑了积极筹款冬天,我们的一个有趣的数据点。以下图表扔在我们的支持者到秋天募捐响应额外的光:


    需要注意的是,如果我们从Pre-Fall的数据删除公开赛慈善项目的赠款,横跨4个时间段中的所有外观非常相似的比率。总体而言,这些数据是暗示说,而不是一组在最后一刻即将到来的新的资助者,我们现有的投资者的一个选择部分要等到今年年底捐赠。yabo体育官网下载ios
  • 在2016年,我们从返回的资助者获得了显着的支持是特别值得注意,有89%的保留(以美元计)来自2015年的资助者。从更广泛的角度来看,礼品的平均保留率代表部分过去5年,美国的慈善事业占了46%。
  • 2016年,MIRI的独特资助者数量增长了16%- 从491到571,继续普遍增加的趋势。2014该曲线异常高,由于社会各界的积极参与我们难忘的SVGives活动9
  • 国际支持继续占捐款的20%左右。与美国不同,美国的增长主要由新的机构支持(开放慈善项目)推动,而国际支持的增长则由欧洲(尤其是斯堪的纳维亚和英国)、澳大利亚和加拿大的个人推动。
  • 用人单位配套项目同比增长17%,2016年通过公司配对计划收到的捐款超过18万美元,是我们迄今为止的最高水平。有迹象表明,这种增长将持续到2017年。
  • 从小型,中型,大型和超大型资助者段节目的捐款来自四个段由贡献分析从2015年比例增加

由于我们在2016年筹集了超过200万美元的资金,加州法律要求我们编制一份由独立注册会计师(CPA)审计的年度财务报表。该报告与我们过去几年的财务报告一样,将在9月底之前提供,内容是透明度和财务状况第页。

向前走

截至2016年7月,从2015年年中开始,我们有以下突出目标:

  1. 加速增长:“扩大到大约10人的核心研究团队。”(亚博体育官网资源
  2. 类型理论项目中的类型理论:“雇佣一个或两个类型理论家全职开发相关工具。”(资源
  3. 独立评论“我们也在考虑选择直接征求对我们的研究议程,早见效独立研究公众的反馈意见。”亚博体育官网(资源

我们目前有7名研究员和助理研究员,并计划在不久的亚博体育官网将来再雇用几名研究员。我们预计在未来3-4个月内实现我们的十个目标,并在今年晚些时候继续扩大研究团队。如前所述,我们推迟了理论家雇佣的类型。

开放慈善项目目前正在审查我们的研究议程亚博体育官网作为他们评估我们未来拨款的一部分。他们发布了一个初始MIRI的大局观组织审查九月,伴随着评论最近几篇MIRI论文中在这里)。这些审查一般都颇有微词我们的工作,用开放菲尔表示序号我们代理的基础议程和我们的技术进步至今保留意见。我们是乐观的,但是,我们将能够更好地使我们的情况下打开菲尔讨论前进,一般汇聚更多的在我们的看法是什么开放性问题值得最受关注。

在我们的2016年8月更新战略,Nate概述了我们的其他组织优先事项和计划:

  1. 技术研究:继续执行我亚博体育官网们的代理基金会议程,同时启动AAMLS的工作。
  2. AGI对准概述:“埃利泽·尤多科斯基,我会分裂我们的工作对这些问题和做文写作之间的时间。埃利泽是写关于对齐理论,而我会写MIRI战略和预测的问题。”
  3. 学术外展活动:“为了帮助推广我们的方法和拓展领域,我们打算举办更多针对不同学术受众的研讨会。我们将在不久的将来举办一个机器学习研讨会,并可能在今后举办更多类似于CSRBAI的活动。”
  4. 代写论文:“我们也有过去的技术成果积压写上去,这是我们希望为从事计算机科学,经济学,数理逻辑,决策理论等方面的研究更有价值。”亚博体育官网

所有这些仍是我们的优先事项,但我们现在考虑5稍微更重要(6,7不太重要)。我们自运行三个ML研讨会,并取得了我们的AAMLS研究议程更多的进展。亚博体育官网我们现在有大量的为我们的AGI对准概述编写的内容,并开始一个(可能相当长)编辑过程。我们还发布了“逻辑归纳法”,并有一批在管道等论文。

我们将在下个月的一篇战略更新文章中提供更多关于8月份以来我们的优先事项如何变化的细节。与过去几年一样,人工智能校准问题的对象级技术研究将继续是我们的首要任务,尽管我们的研究重点和推广计划将发生中等程度的转变。亚博体育官网10


  1. 请参阅我们以前的评论:2015年2014年2013年
  2. 2015年回顾:“帕特里克LaVictoire三月,杰西卡泰勒在九月加入八月,安德鲁·玛琳和Scott Garrabrant在12月。随着内特向非-研究中的作用,整体而言,我们从一个三人研究小组(埃利亚博体育官网泽,Benya,和Nate)成长为一个六人小组“。
  3. 正如我所提到的我们阿玛:“在美里,研究员是一个亚博体育官网全职长工位置。在学术界一个体面的类比可能是研究员的助理研究员作为全职教师是博士后。亚博体育官网助理研究奖学金旨在为亚博体育官网具有固定1-2年期限较为初级职位“。
  4. 在此期间,我们的研究实习生Jack Ga亚博体育官网llagher继续在这一领域做出有益的贡献。
  5. 请注意,本节中的数字可能与以前公布的估计数不完全匹配,因为通常会对捐款数据进行少量更正。还要注意,这些数字不包括实物捐赠。
  6. 这个数字只计算通过REG向MIRI的直接贡献。REG/EAF对MIRI的支持接近150000美元,其中许多是根据REG的建议计算的。
  7. 我们还被授予$ 75,000名资助从长期网络安全中心到Stuart Russell和加州大学伯克利分校的一个新博士后进行可更正性项目,但我们无法在相关时间段内填补预期的博士后职位,项目被取消。斯图尔特·罗素随后获得了一大笔补助金从开放式慈善项目为了建立一个新的学术研究机构来研究可更正性和其他人亚博体育官网工智能安全问题人权中心兼容AI
  8. 我们收到投资分析师及时的捐助者的建议本霍斯金,未来人类研究所研究员亚博体育官网欧文棉巴勒特,和丹尼尔·杜威和尼克Beckstead开放式慈善项目(由呼应80,000小时)。
  9. 从2015年唯一的资助者我们45%的保留是非常符合美国各地的慈善空间,这与之前的点结合出资人滞留线,建议返回MIRI资助者比最显著更多的支持。
  10. 感谢罗伯·本辛格、科尔姆·里亚因和马修·格雷夫斯为这篇文章做出的重大贡献。