更新的研究团队,和主要捐赠亚博体育官网

||新闻

我们有几个主要的消息向大家宣布,由于在两个月内覆盖新的发展我们2017年的策略更新:

1. 5月30日,我们收到一个惊喜101万美元的捐赠复仇cryptocurrency投资者。这是我们大幅度迄今为止收到的最大的一个贡献,并将对我们的计划,在未来的一年产生重大影响。

2.两个新的专职研究人员亚博体育官网加入MIRI: Tsvi Benson-Tilsen和Abram Demski。这是在山姆·艾森斯塔特和马塞洛·赫尔肖夫加入球队之后发生的在五月。我们也开始与工程师合作试验的基础上为我们的新的板岩软件工程师职位空缺

3。我们的研究人员最近两个亚博体育官网已经离开:帕特里克LaVictoire和杰西卡泰勒,研究人员以前标题对我们的工作“亚博体育官网对齐方式先进的机器学习系统亚博体育苹果app官方下载”研亚博体育官网究议程。

有关详细信息,请参阅下文。


1.筹款

我们在五月底收到的捐款主要共计$百万六千五百四十九,来自谁曾多年捐赠大约$ 50K到我们的研究计划的长期支持者。亚博体育官网yabo体育官网下载ios这已经支持者要求继续保持匿名。

今年上半年一直在MIRI的筹款历史上最成功,与其他显着的贡献,包括从投资者埃里克Rogstad共计〜$ 22K复仇捐款,并从〜$ 67K捐款辛烷的人工智能联合创始人Leif K-Brooks作为Facebook反应挑战的一部分。2017年上半年,我们总共筹集了大约145万美元。

我们非常激动,也非常感谢大家的支持。这次融资的成功使我们的时间增加到18-20个月左右,给了我们更多的空间来尝试潜在的招聘,并专注于我们今年的研究和推广优先事项。亚博体育官网

具体而言,我们已经提出了若干计划的调整结果,其中包括:

  • 与专职研究员员工更有信心往前走,亚博体育官网
  • 测试更多的软件工程师
  • 决定今年冬天只举办一场募捐活动。1

这可能是一次性的捐赠异常,类似于cryptocurrency捐款,我们从纹波开发杰德McCaleb的在2013 - 2014年收到的$ 631K。2展望未来我们在未来两年内筹资目标:

  • 虽然我们对2018年的预算仍有一些不确定性,但我们目前的估计大致是这样2.5美元
  • 这一年,从开放式慈善项目,生命研究所的未来,和其他来源的支持之间,我们预计接收至少一个额外的$ 600K无筹款开支显著时间。
  • 我们今年剩余时间的初步(雄心勃勃的)目标是提高额外的$ 950K或$ 3M的总额。这将足以为我们的2018的预算,即使我们比预期更快地拓展我们的工程团队,并会给我们一点缓冲的,以帐户为我们未来的筹款的不确定性(特别是关于开放式慈善项目是否继续的不确定性2017年后支持)。

在五年的时间尺度,我们广泛的筹资目标是:3.

  • 在较低的一端,一旦我们在几年的时间里完成了团队的增长,我们的默认预期是,我们的运营成本将大约是每年400万美元,主要用于支付研究人员和工程师的工资。亚博体育官网因此,我们的目标是以可持续、稳定的方式达到这一水平。
  • 在高端,这是可以想像涉及我们的资金订单数量级增加,在这种情况下,我们将开发一个质组不同的筹资目标反映了一个事实的情况,我们将最有可能大幅重组MIRI。
  • 对于介于400万至1000万美元之间的资金水平,我们可能不会进一步扩大现有业务。相反,在考虑到我们在识别和资助各种项目(包括MIRI-external项目)方面的优势之后,我们可能会亚博体育官网资助我们目前研究之外的工作。当我们考虑合理可能我们处在一个有利的位置,我们将建议捐助者直接额外捐款在其他地方,如果我们最终得出结论说我们的捐助者(或其他组织)是在一个更好的位置比我们应对意外在AI对齐融资机会空间。4

一笔新的100万美元的巨额一次性捐款几乎覆盖了我们目前年度预算的一半,这对我们一年和两年的计划产生了重大影响。我们的五年计划很大程度上是基于多年的假设资金流动, so how aggressively we decide to plan our growth in response to this new donation depends largely on whether we can sustainably raise funds at the level of the above goal in future years (e.g., it depends on whether and how other donors change their level of support in response).

为了减少在我们的扩展决策中出现的不确定性,我们鼓励更多的定期捐赠者加入yabo体育官网下载ios 或其他经常性捐赠的时间表,在我们收入的10%,目前来自于这样的捐赠,这限制了我们的规划能力。5我们也鼓励支持者这样做联系我们对自己的未来捐赠的计划,这样我们就可以回答的问题,并做出更具体,更雄心勃勃的计划。


2.新员工

同时,两个新的专职研究人员,而在其他机构根据之前曾与我们合亚博体育官网作的同伙后加入我们的团队。

亚伯兰Demski亚伯兰Demski,谁是这个月加盟MIRI担任研究员,是完成在南加州大学亚博体育官网的计算机科学博士学位。他的研究亚博体育官网至今一直专注于认知结构和强人工智能。他有兴趣在存在合理性的形式理论,特别是那些涉及推理的数学当什么人在做填补空白。

亚伯兰对MIRIxLosAngeles工作了前体的结果为逻辑感应。他与其他MIRI过去的工作包括“决策理论基础的泛化”和“可计算的概率分布收敛于Π相信如此1句子会不信真Π2句子“。

Tsvi本森,TilsenTsvi本森,Tilsen已加入美里担任助理研究员。亚博体育官网Tsvi拥有数学与芝加哥大学荣誉学士学位,并且是从加州大学伯克利分校集团在逻辑和科学方法论博士课程休假。

在加入美里的科研人员,Tsvi是一个共同作者的“亚博体育官网逻辑归纳”和“形式化收敛器乐目标”还要撰写“Updateless决策理论与已知的搜索顺序”和“存在期望反射的分布,并且知道它“。Tsvi的研究亚博体育官网兴趣包括逻辑的不确定性,逻辑的反事实,并反射性稳定的决策。

我们也接受了我们的前六软件工程师3个月的访问。我们将继续审查申请,并在我们最近收到的慷慨支持和申请人的大力池至今的光,我们很可能会试用更多的候选人比我们原先计划。

其他方面,斯科特·加拉布兰特将担任MIRI公司的研究负责人亚博体育官网代理基础亚博体育官网研究,处理更多的日常工作,协调和指导研究团队的努力。


3. AAMLS议程

我们AAMLS研究以亚博体育官网前杰西卡泰勒,帕特里克LaVictoire和安德鲁·玛琳,所有的人在2015年中期加入MIRI的焦点。与帕特里克和Jessica出发(良好的条件)和安德鲁在为期两年的假期工作与人权中心兼容AI,我们将投入相对较少的工作纳入议事日程AAMLS在未来的一年。

我们继续认为美国医学协会议程中描述的问题是非常重要的,并期望在未来重新分配对这些问题的更多关注。此外,我们认为AAMLS议程是识别安全需求和有希望的校准问题的一个很好的模板。然而,在过去的一年里,我们并没有看到在AAMLS问题上有足够的进展,因此我们认为我们应该优先考虑这一研究方向,而不是我们的其他工作(例如,我们的代理基础研究问题,如逻辑不确定性和反事实推理)。亚博体育官网部分结果是,MIRI目前的研究人员不打算在不久的将来将AAMLS研究作为优先考虑的亚博体育官网事项。

杰西卡,该项目负责人,介绍了从AAMLS工作她的一些外卖的:

[...]为什么小方面取得的进展?

[1.]困难

我认为主要的原因是这样的问题是非常困难的。特别是,他们大多的基础上,选择了“这似乎很重要,似乎振振有词solveable”,而不是任何强大的直觉,它可能取得进展。

相比之下,代理基金会议程上的问题取得了更多进展:

  • 逻辑不确定性(真理,反射预言的可定义的,逻辑的电感器)
  • 决策理论(模态UDT,反光预言,逻辑电感器)
  • Vingean反射(型号多态性,逻辑电感器)

有一点要注意这些问题是,他们制定了一个强烈的直觉,他们应该是solveable的基础上。逻辑归纳之前,它是可能有某种渐进的办法能够解决在极限许多逻辑的不确定性问题的直觉。它也能够牢固地认为某种自我信任是可能的。

关于AAMLS议程中的问题,似是而非的论点是这样的:

  • 下面是一个现有的,有缺陷的解决问题的方法(例如使用环境目标,或这种方法的修改,增强信号)
  • 这里有一个关于为什么可能做得更好的模糊直觉(例如,人类做不同的事情)

从经验上看,这并不会导致易于处理的研究问题。亚博体育官网

[2.]去为咽喉

In an important sense, the AAMLS agenda is “going for the throat” in a way that other agendas (e.g. the agent foundations agenda) are to a lesser extent: it is attempting to solve the whole alignment problem (including goal specification) given access to resources such as powerful reinforcement learning. Thus, the difficulties of the whole alignment problem (e.g. specification of environmental goals) are more exposed in the problems.

[3]理论与经验

就我个人而言,我强烈倾向于理论方法而不是经验方法。我不知道我在多大程度上赞同这种对人工智能安全工作人员的偏见,但这绝对是我个人的偏见。

在AAMLS议程问题竟然不是非常适合于纯理论的研究。这可能是由于这样的事实,没有一个明确的数学审美决定怎样才算是一个解决方案(例如,用于环境目标的问题,它实际上并不清楚,有一个可识别的数学陈述的问题是什么)。

有了agent foundations的议程,就可以更清晰地识别出好的解决方案。AAMLS议程中的大多数问题都不太清楚。[…]

有关详细信息,请参阅杰西卡的回顾展在智能代理基金会论坛

更多的工作需要进入AAMLS我们达到约这些问题的易处理性自信的结论。然而,缺乏的初步进展提供了一些证据表明,前显著进展是可能的,可能需要新的工具或观点。在未来的一年里,我们将继续因此花费大约AAMLS一些时间考虑,但不会做它的一大焦点。

我们将继续与安德鲁在MIRI研究积极合作,并期待与帕特里克和杰西卡的工作多在未来也是如此。亚博体育官网杰西卡和安德鲁特别是打算继续专注于人工智能安全性研究,包括对AI战略和协调工作。亚博体育官网

我们的一切杰西卡和帕特里克感谢所做推进我们的研究计划和我们的组织使命,在过去的两年里,我会亲自想念有他们两个。亚博体育官网

在一般情况下,我现在感觉约MIRI的位置非常好。From our increased financial security and ability to more ambitiously pursue our plans, to the new composition and focus of the research team, the new engineers who are spending time with us, and the growth of the research that they’ll support, things are moving forward quickly and with purpose. Thanks to everyone who has contributed, is contributing, and will contribute in the future to help us do the work here at MIRI.


  1. 更一般地,这将使我们能够以我们认为的高优先级的不同的研究项目满怀信心地前进,而不需要转移从其他项目很多资源来支持我们的首要任务。亚博体育官网这也应该使我们能够取得更快的进展有针对性的宣传写我们在2017年更新中提到,因为我们不会花费工作人员的时间写作和推广的夏季募捐活动。
  2. 当然,我们会很高兴,如果这些大型捐赠看起来不像从长远来看,离群值。如果读者正在寻找的东西做,他们可能会持有到最近激增后的数字货币,知道yabo体育官网下载ios !自2013年年中以来,MIRI总共筹集了约185万美元的加密货币捐款。
  3. 这些计划可能会有重大变化。特别地,我们计划中的一个重要差异来源是我们新的非公开的研究进展如何,如果我们的新工作看起来进展顺利,我们可能会采取更雄心勃勃的增长目标。亚博体育官网
  4. 在这种情况下,我们还可能增加储备,使我们能够更好地适应意外情况,并有一个小概率,我们将用这些资金适度增长超过目前没有战略上的显著改变计划
  5. 从我们的角度来看,不太频繁(例如,季度)的捐款也很有帮助,如果我们提前了解他们,因此可以围绕他们进行计划。就计划每年至少捐赠一次的捐助者而言,从我们的角度来看,可预测性比频率更为重要。