米里2016年筹款活动

||MIRI策略,新闻

12月22日更新:我们的捐助者募捐活动中走到一起的方式最让我们以我们的$ 750,000的目标。在所有,251个捐赠者贡献$ 589,248这是我们迄今为止第二大的筹资活动虽然我们比目标少了16万美元,但由于11月/ 12月的捐助者,我们已经弥补了这一缺口。我非常感谢你们的支持,并将在接下来的一年为更多的员工增长做出相应的计划。

如我们在后募捐更新在美国,我们的资金仍然相当有限。12月/ 1月yabo体育官网下载ios 将会对我们二〇一七年至2018年的招聘计划和策略的影响特别大,因为我们试图评估我们的未来前景。对于MIRI的一些外部代言的好地方给这个冬天,看到最近的评估丹尼尔·杜威,尼克Beckstead,欧文棉巴勒特本霍斯金


我们的2016年募款活动进展中!不像在过去的几年中,我们将只在2016年运行的一个筹款活动,从9月16日至10月31日我们迄今取得的进展(实时更新):

2016筹款进度条

雇主匹配和承诺给今年晚些时候也对总数。yabo体育官网下载ios 了解更多。


MIRI是总部设在加州伯克利的非营利性研亚博体育官网究小组。我们在做数学和计算机科学基础研究认为的亚博体育官网目的是在确保更聪明,比人类的AI系统对世界产生积极影响。亚博体育苹果app官方下载

2016年对MIRI和更广泛的人工智能比对研究领域来说都是重要的一年。亚博体育官网我们的2016年战略更新8月初回顾了一些最新的发展:

  • 由谷歌Brain的Ch亚博体育官网ris Olah和OpenAI的Dario Amodei领导的研究小组发表了"人工智能安全中的具体问题”一组新的研究方向有可能在近期和亚博体育官网长期的安全问题承担两者。
  • 迪伦哈德菲尔德 - Menell,安卡德拉甘,彼得Abbeel,和斯图尔特罗素出版了一本新的价值的学习框架,“合作逆强化学习”,影响对于可以驯服
  • 谷歌DeepMind的Laurent Orseau和人类未来研究所的Stuart Armstrong得到了积极的关注新闻媒体从字母执行主席埃里克•施密特为了他们的新报纸”安全代理中断”部分由MIRI支持。
  • MIRI进行了为期三周的人工智能安全和健壮性测试讨论会和系列研讨会,带扬声器包括斯图尔特罗素,汤姆Dietterich,弗朗西斯·罗西,和Bart塞尔曼。
  • 我们收到一笔丰厚的$捐赠了30万,并扩大我们的研究和运作团队。亚博体育官网
  • 我们在一个新的研究议程开始工作,“亚博体育官网对齐先进的机器学习系统亚博体育苹果app官方下载“。该议程将占据大约我们的时间的一半前进,与另一半专注于我们代理基础议程

我们还出版了决策理论和逻辑的不确定性,其中包括新的成果“参数界界剂LOB定理和强大的合作“和”真实感问题的一种形式解决方案有关我们去年的研究进展和其他更新的调查,请参阅亚博体育官网我们的2015年评审

在过去的三个星期里,已经出现了三个主要发展:

  • 我们发表了一篇新论文,”逻辑归纳”描述了用于学习合理分配概率的数学猜想和计算事实的方式,速度超过扣除的方法。
  • 开放式慈善项目向MIRI提供一年50万美元的资助扩大我们的研究计划,明年有很大的亚博体育官网机会更新。
  • 开放慈善项目支持新加州大学伯克利分校的启动人类兼容AI中心拉塞尔(Stuart Russell)领导的。

在过去的九个月里,事情进展很快。如果我们能复制去年的筹款成功,我们将处于一个很好的位置,推进我们的计划,以扩大我们的团队和规模,我们的研究活动。亚博体育官网

该战略格局

人类是在改变我们的环境,以满足我们的偏好比其它品种好得多。这主要是由于没有我们的力量和速度,但我们情报从广义上讲,就是我们推理、计划、积累科学知识和发明新技术的能力。人工智能似乎有可能对世界产生独特的巨大影响,因为它有可能实现这些能力的自动化,并最终实现自动化果断地超越人类在相关的认知指标上。

从建筑智能化计算机系统的任务分开是确保这些系统与我们的价值观相一致的任务。亚博体育苹果app官方下载对齐的AI系统需要克服一些严重亚博体育苹果app官方下载的技术挑战,其中大部分已收到相对较少的学术关注至今。MIRI的是该领域的一个非盈利性的作用,从我们的角度来看,是帮助解决有问题的零件不合身为主流行业和学术团体。

我们的长期计划取决于人工智能领域的未来发展。由于这些发展是高度不确定的,我们目前主要关注的是我们期望在各种可能的情况下有用的工作。我们认为更乐观的情景通常是这样的:

  • 在短期内,一个研究团体聚结,开发的相关问题亚博体育官网是什么好原则性的认识,并产生正式的工具来解决这些问题。AI研亚博体育官网究者对最佳实践最小的共识移动,AI的正火讨论的长期社会影响,风险意识安全的心态,并负责误差公差和数值规范。
  • 中期内,研究人员在这些基础上发展出更成熟亚博体育官网的认识。随着我们对比人类更聪明的人工智能系统可能会是什么样子有了更清晰的认识——更接近于一个可信的路线图——我们想象研究社区会朝着加强协亚博体育苹果app官方下载调和合作以阻止种族动态的方向发展。亚博体育官网
  • 从长远来看,我们希望看到人工智能授权的项目(如杜威[2015])用来避免重大的AI灾难。出于这个目的,我们想要解决有限的人工智能系统对齐问题的一个弱版本——这些系统刚好有足够的能力作为有效的杠杆来防止人工智能事故和滥用。亚博体育苹果app官方下载
  • 在里面非常从长远来看,我们可以希望解决高性能、高度自治的人工智能系统的“完全”对齐问题。理想情况下,我们希望达到这样一个位置:我们有能力等到我们达到科学和制度的成熟——花点时间亚博体育苹果app官方下载跨越每一个Ť设计选择我们的风险之前,“锁定”。

以上只是一个模糊的草图,我们会优先考虑那些我们认为在不那么乐观的情况下有用的研究。亚博体育官网此外,这里的“短期”和“长期”是相对的,不同的时间预测可能会产生非常不同的政策影响。尽管如此,这幅草图可能有助于阐明我们希望看到研究团体前进的方向。亚博体育官网

有关我们的研究重点和方法的更多信亚博体育官网息,请参见亚博体育官网 美里的方法

我们的组织计划

我们目前雇佣了七名技术研究人员(六名研究人员和一名助理研究人员),外加两亚博体育官网名签约在未来几个月加入的研究人员,以及另外六名研究助理和研究实习生。1我们今年的预算约为175万美元,高于2015年的165万美元和2014年的95万美元。2

我们的最终目标(可能会修订)是增加到13至17名技术研究人员,届时我们的预算可能在3至4百万美元之间。亚博体育官网如果我们能成功地达到这一水平,同时维持两年的运营,我们就有可能摆脱增长模式。

我们对2017年的预算估计大约是200万到220万美元,这意味着我们进入这个筹资阶段还有大约14个月的时间。我们不确定在11月到明年9月之间会收到多少捐款,3.但是从目前的趋势突出,我们希望我们的捐赠总额的4/5度来自募捐和1/5进来关闭募捐。4在此基础上,我们有以下的筹款目标:


基本目标 - $ 750,000。我们对自己在这个资金水平上执行增长计划的能力感到满意。我们将能够轻松地前进,尽管要比达到更高的目标更加谨慎。


增长目标 - $ 1,000,000。这将相当于大约半年的跑道。在这个水平上,我们有能力在增长计划中进行更不确定但价值更高的押注。如果我们的招聘人数超过预期,那么到2017年,我们就有可能会跌到一年的低谷,但捐赠人越来越多的支持会让我们对承担这样的风险感到放心。


拓展目标——1250000美元。在这个水平上,即使我们超出了我的增长预期,我们也能够在没有真正风险的情况下实现增长,跌破一年的跑道。过去的125万美元,我们预计额外捐款不会对我们2017年的计划产生太大影响,前提是适度的非筹款支持。5


如果我们打我们的成长和舒展的目标,我们将能够执行我们更有信心考虑几个其他程序。这些措施包括承包研究者的较大池的逻辑归纳,并在我们的机器学习议程早做工作,我们和一般花亚博体育官网费更多的时间在学术推广,现场种植和培训或试运行潜在的合作者和员工。

和往常一样,如果你对我们即将到来的计划和最近的活动有任何疑问,欢迎与我们联系。我非常期待看到不断壮大的联盟研究社区在来年将会达到新的里程碑,我非常感谢那些帮助我们达到这一目标的深思熟虑的参与和支持。亚博体育官网

yabo体育官网下载ios


  1. 这就排除了Katja Grace,她领导的AI影响项目使用一个单独的专用于战略/预测研究的资金池。亚博体育官网这也把我排除在外:我对我们的技术研究有贡献,但我的主要角色是行政管理。亚博体育官网
  2. 我们预计将略低于18.25万美元的预算之前预测2016年,由于承担较少的新的研究人员比今年预期的。亚博体育官网
  3. 我们想象继续在未来几年运行每年一次募捐活动,可能在九月。
  4. 另外,开放式慈善项目很可能会重申我们500000美元的赠款明年,我们预计从生命研究所的未来最终收到($ 80,000)分期付款三年助学金

    为了便于比较,我们的收入约为1.6亿$,2015年:$ 167K的赠款,$ 960k中的募捐活动的捐款,以及$ 467k在非募捐现场(非授权)的贡献。我们在2015年的情况是有所不同,但是:我们跑了2015年的募捐活动,而我们今年跳过我们的冬季募捐活动,并建议十二月捐助者承诺月初或放出,募捐活动。

  5. 在显著较高的筹资水平,我们会考虑运行其他有用的程序,如奖金。拍我的电子邮件如果你想谈论细节。