我们的2018年筹款活动正在进行中!!

MIRI的2018年筹款人

γγ新闻

更新11月。二十八我们更新了这篇文章,宣布Haskell开发人员Edward Kmett已加入MIRI团队!此外,我们添加了一些最近版本的链接代理基础研究亚博体育官网.

我们的捐赠者大举出现给予星期二!一直到12月。29,,我们还有匹配的机会职业扑克选手丹·史密斯,亚伦·默切克,马特·阿什顿,还有斯蒂芬·奇德威克,与提高有效给予(REG)合作。作为他们的一部分双倍行驶,他们将匹配向MIRI和REG提供的捐款,总共200美元,000。任何一方都可以捐款。doubleup..com,或者直接在下面捐赠,并将捐赠收据发送给receipts@doubleup..com.


MIRI正在运行2018年筹款人一直到12月31日!我们的进展(最新实况):



MIRI是一个数学/计算机科学研究的亚博体育官网非营利组织,其任务是最大限度地利用比人类更聪明的人工智能的潜在人道主义利益。你可以了解更多我们从事的工作种类“确保比人类更聪明的智力有积极的结果“和““嵌入式代理."“

我们今年的资金目标是基于在2018年筹集足够的资金来满足我们的目标。一切照常明年的预算。我们认为“每年挣足够的钱来支付下一年的费用作为MIRI的一个好的启发式,鉴于我们是一个快速增长的非营利组织,拥有健康的储备水平和以研究人员工资为主的预算。亚博体育官网

我们关注与往常一样的支出,以便随着我们继续增长,在未来几年里搬迁到新地方的成本(可能非常大)考虑在内,这给模型引入了大量的方差。

我目前为我们的(业务照常,(无离群值)2019年的支出范围从440万美元到550万美元,该公司的点估为480万美元,高于今年的350万美元和2017年的210万美元。该模型以我们所有主要支出类别的输入估计范围作为输入,但是,绝大多数差异都来自我们将要添加到团队中的员工数量。

在主线场景中,我们的2019年预算细目大致如下:


在这种情况下,我们目前有1.5年的储备。自从我们在一月之间筹集到430万美元以来。1和11月。25,,我们的两个目标是:

  • 目标1(500美元)代表我们今年迄今为止筹集的资金之间的差额,以及我们对明年商业往常支出的点估计。
  • 目标2(1.2亿美元)我们的资金流需要什么,才能跟上我们的增长步伐,达到我们预测的上端。

下面,我们将总结MIRI有什么新鲜事多谈谈我们的获得更多资金的空间.

1。最近的更新

我们已经发布了一系列关于我们最近活动和策略的新帖子:

  • 2018年更新:我们新的研究方向亚博体育官网讨论过去两年我们一直在增加的一组新的研究方向,亚博体育官网他们如何与我们的代理基金会的研究和我们的目标亚博体育官网去灌注,“我们为什么要收养一个未披露违约这项研究的政策。亚博体育官网

  • 嵌入式代理将我们的Agent Foundations研究议程描述为针对单个亚博体育官网中心难点的不同攻击角度:我们不知道如何为嵌入其环境中的代理描述良好的推理和决策。

  • 夏季MIRI更新讨论新员工,新的捐赠和赠款,我们一直在运行新的项目来招募研究人员,增加人工智能比对研究人员的总数。亚博体育官网

而且,补充11月11日二十八

我们的2018更新讨论我们现在要招聘的工程师和计算机科学家的人数要多得多,在不久的将来,我们想要加入团队的人数要多得多:

我们正在寻找任何能引起我们的”变少困惑的关于AI校准努力工作以求更快。

在实践中,这意味着:那些天生就用数学或代码思考的人,谁会认真对待对AI比对变得不那么困惑的问题(快!)以及通常有能力的人。特别地,我们正在寻找高端谷歌程序员的能力水平;你不需要百万分之一的考试成绩或者命运的光环。你也不需要博士学位,明确的ML背景,或者之前的研究经验。亚博体育官网

如果上面提到的可能是你,你在MIRI工作的想法很吸引你,我建议发送工作申请或者直截了当地回答你的问题巴克·施莱格里斯,MI亚博体育官网RI的一位研究员,他一直在帮助我们的招聘工作。

我们还在招聘代理基金会的角色,不过速度要慢得多。对于这些角色,我们建议与我们和其他人进行交互,讨论AI对齐问题少错与人工智能对齐论坛,或在当地米利克斯组。然后,我们通常从通过上述渠道了解的人那里聘请代理基金会的研究人员,亚博体育官网访问,诸如AI暑期研究员计划.

斯科特·加拉布兰特最近发布了一篇关于这些问题的直觉开发的文章。定点练习,或MIRI研亚博体育官网究指南.最近关于代理基金会/嵌入式代理的公开工作的一些例子包括:

这些结果相对较小,与内特即将推出的瓷砖代理纸或埃文·胡宾格相比,克里斯·范·梅威克,弗拉基米尔·米库利克,乔尔·斯卡尔斯,斯科特·加拉布兰特即将到来内对准问题。”然而,他们应该对我们最近推动的代理基金会工作的一些方向有很好的理解。

2。需要更多资金的空间

如上所述,我们2018年预算估算中最大的不确定性来源是我们雇佣了多少研究人员,亚博体育官网还有我们搬到新办公室要花多少钱。

在我们2017年的筹款活动中,我们定下了在2018-2019年招聘10名新研究人员的目标。亚博体育官网到目前为止,我们有两名研究员,亚博体育官网有足够有前途的候选人在筹备中,我仍然认为10个是可行的(虽然雄心勃勃)的目标。

继去年我们从捐助者那里得到令人惊叹的支持之后(并持续到2018年),我们的资金比我们预期的要多得多,我们发现了比我们预想的更多有用的消费方式。特别地,我们已经能够翻译奖金我们在2017年得到了支持,扩大了我们的招聘范围。结果,我们2018年的开支,大约350万美元,实际上与我在2017年为我们的2019年预算给出的点估计相符,而不是我对2018年的预测——比我预测的要大得多,与去年210万美元的预算相比,又迈出了更大的一步。

我们的两个筹款目标,目标1500美元以及目标2(1.2万美元)与预算需求相对应,我们可以很容易的预测和说明。由于捐助者在2017年大大增加了支助,我们的2018年进展得更好,我们今天可能处于类似的情况,虽然我并不确信情况就是这样。

具体地说,由于我们所看到的惊人的支持,我们的决策发生了一些变化:

  • 我们在管理所有已付费用上花费更多。计算机科学家的人工智能风险讲习班。我们在二月份举办了第一个这样的研讨会,并将其视为具有相关技术经验的人员开始更多地推理AI风险的场所,具有很大的价值。从那时起,我们在2018年又举办了七项赛事,到2019年会有更多的计划。

    正如所希望的那样,这些研讨会还产生了加入MIRI和其他人工智能安全研究团队的兴趣。亚博体育官网这导致了一个MIRI的全职研究职员的雇佣,亚博体育官网并按10名有望在2019年全职加入的候选人的顺序排列,包括两个最近的实习生。

  • 我们一贯愿意和能够为顶尖技术人才支付具有竞争力的薪水。这种情况的一个特殊情况是雇佣相对高级的研究人员,比如亚博体育官网爱德华·克梅特.

  • 我们提高了一些现有工作人员的工资。我们有一批忠实的员工,MIRI的一些员工先前要求相当低的工资,以帮助保持MIRI的组织成本较低。这给员工带来的不便在我们目前的组织规模下没有多大意义,从我们团队的生产力和他们的福利两方面来说。

  • 我们跑了一个暑期研究实习计亚博体育官网划,规模比我们原本想的要大。

  • 我们已经考虑过可以容纳我们扩张的新办公空间的选择,相对于合适,我们能够在价格上过滤得更少。我们还能够花费更多的钱在翻新上,希望能够创造一个工作环境,使我们的研究人员能够以更少的干扰和不便来完成他们的工作。亚博体育官网

2018年,我们以成本效益的方式将惊喜的资金增长转化为非常高价值的行动的能力得到了积极的更新。上面的列表有望帮助澄清在实践中可能出现的情况。我们不能保证在2019年能够重复这一切,在这次筹款活动中,由于过火,但我们有理由乐观。



  1. 对于有兴趣从捐赠中获得税收优惠的美国税民,我们建议选择2-MIRI被IRS确认为501(c)(3)组织。γ
  2. 也就是说,我们的业务一如既往地模型试图消除一次性异常成本,以便更容易看到什么新常态是MIRI的支出,并考虑我们的长期增长曲线。γ
  3. 这个估计相当粗略和不确定。这个模型的一个缺点是它把输入看成是独立的,情况并非总是如此。我也没有试图解释这个事实,即我们可能会花更多的钱在世界上,我们看到更多的筹款成功。

    然而,对最终产出的敏感性分析表明,这个估计中的绝大多数不确定性来自于我们雇佣了多少研究人员,亚博体育官网这符合我的预期,并且表明该模型在跟踪直观上重要的变量方面做得不错。当我用其他方式运行关于我们的资金状况的数字,以及当我考虑不同的资金方案时,我也得到了类似的目标。γ

  4. 这不包括用于人工智能影响,一个独立的研究小组,设在MRI亚博体育官网。γ
  5. 我们也可以考虑目标0.5”10万美元,以便达到最低限度,4.4亿美元。然而,我担心一个10万美元的目标会误导我们,因为我们正在考虑一个440万到550万美元的预算。γ
  6. 引用2017年筹款职位:如果我们成功,我们预计2018年的预算是280万美元,2019年的预算是350万美元。从2017年的190万美元增长到现在。”这一190万美元的数字是2017年之前的估计。我们现在把这个数字修改为210万美元,这正好符合我们对2017年我们花费多少的2016年点估计。γ