我们的2018年筹款活动正在进行中!!

2017年回顾

γγMIRI战略

这篇文章的评论MIRI在2017年的活动,包括研究,亚博体育官网招聘,博览会,以及筹款活动。

2017年对MIRI来说是一个重大的过渡年,当我们承担新的研究项目时,这些项目更亚博体育官网加依赖于动手编程工作和实验。2018年我们继续这些项目,在2018年更新。这意味着更快增长的一个主要关注奠定比我们过去,包括建立基础设施和改变我们如何招募具有工程背景的接触更多的人。

阅读更多_

MIRI的新兵:爱德华·凯特!!

γγ新闻

多产的Haskell开发人员爱德华Kmett加入了米里团队!!

爱德华。也许是最出名的推广使用函数式编程的镜头。眼镜是一个工具,提供了一种用于访问更大的结构和成分的词汇描述你想怎么处理这些部分。

除了镜头库,Edward在Haskell核心库周围维护了大量库,涵盖从自动分化(大量使用在深度学习,计算机视觉,和金融风险)范畴论图形(偏见严重向组织软件),SAT绑定,RCU方案,用于编写编译器的工具,和更多。

最初支持爱德华加入米里的形式资助来自长期米里捐赠扬塔林。捐赠者热情的增加使得MIRI在总体上能够承担更多的工程师,考虑给像爱德华这样有兴趣和我们一起工作的顶尖工程师高竞争力的薪水。

在米里,爱德华分裂之间的时间帮助我们成长我们的研究团队和潜水的研究他已经独立发展的背景有一段时间了:建立一个新的语言和基础亚博体育官网设施,使人们更容易编写高度复杂的计算机程序与已知的属性。虽然我们是他工作的忠实粉丝,爱德华的研究与我们亚博体育官网描述的方向无关。2018年更新,我们不认为它的一部分我们的核心研究的焦点。亚博体育官网

我们非常兴奋有爱德华在美里。我们希望从我们的交互学习和收获了很多,我们也希望Edward加入这个团队,能让他和MIRI的其他员工窃取彼此最好的解决问题的试探法,并随着时间的推移,汇聚到研究方向上。亚博体育官网


正如我们最近所描述的更新,我们的新行研究重理论严密性和混合的亚博体育官网实际工程,爱德华和函数式编程社区是众所周知的:

我们所有新方法的共同之处在于集中使用高层次的理论抽象,以便能够对我们构建的系统进行连贯的推理。亚博体育苹果app官方下载一个具体的含义,我们在Haskell编写大量的代码,并且经常通过类型理论的视角来思考我们的代码。

米里的非营利组织的使命是确保自己的人工智能系统,亚博体育苹果app官方下载一旦发展起来,有一个积极影响在世界。我们希望在这个目标上取得成功,不仅工作走过场的问题。

我们目前的挑战模型指出,未来工程师的中心症结很可能是人工智能的构建模块不够透明。我们认为,一个人,在某个地方,需要发展一些新的基础和深入的理论/见解,超出当前标准技术的精炼或扩展可能产生的影响。

我们认为函数式程序员的技能往往是特别适合于这类的工作,我们相信我们的新研究领域能吸收大量的程序员和计算机科学家亚博体育官网。所以我们希望这个招聘公告能增加一倍:加入我们的研究工作亚博体育官网!!

更多地了解是什么样子在美里工作,我们正在寻找什么样的候选人,看到我们最后的大职位,或米里研究员巴克Shlege亚博体育官网ris开枪一个电子邮件

2018年11月通讯

γγ通讯

MIRI的2018年筹款人

γγ新闻

更新11月。二十八:我们更新这篇文章宣布Haskell开发者爱德华Kmett已加入MIRI团队!此外,我们添加了一些最近版本的链接代理基础研究亚博体育官网

我们的捐赠者大举出现周二给!到12月。29,,我们还有匹配的机会职业扑克选手丹·史密斯,亚伦·默切克,马特•阿什顿还有斯蒂芬·奇德威克,与提高有效给予(REG)合作。作为他们的一部分合力完成驱动,他们会匹配捐款米里和注册,总计200美元,000.捐款可以在doubleup..com,或者直接在下面捐赠,并将捐赠收据发送给receipts@doubleupdrive.com


MIRI正在运行2018年筹集资金一直到12月31日!我们的进展(最新实况):



MIRI是一个数学/计算机科学研究的亚博体育官网非营利组织,其任务是最大限度地利用比人类更聪明的人工智能的潜在人道主义利益。您可以了解更多关于我们所做的工作在““确保比人类更聪明的智力有积极的结果“和““嵌入式代理”。“

我们今年的资金目标是基于在2018年筹集足够的资金来满足我们的目标。常态”明年的预算。我们认为“每年挣足够的钱来支付下一年的费用作为一名优秀的启发式米里,鉴于我们是一个快速增长的非营利组织,拥有健康的储备水平和以研究人员工资为主的预算。亚博体育官网

阅读更多_


  1. 美国税务居民从捐赠中提取税收优势感兴趣,我们建议选择2 -美里是被美国国税局501(c)(3)组织。γ

2018年更新:我们新的研究方向亚博体育官网

γγMIRI战略,,新闻

多年来,MIRI的目标是解决周围足够的基本混乱对准以及智能,使人类能够清楚地思考技术人工智能安全风险,并在该技术发展到潜在的灾难点之前做到这一点。这个目标在我们看来总是很困难的,但可能。

去年,我们说,我们开始一个新的研究项目,旨在这一目标。亚博体育官网在这里,我们将提供关于我们如何思考这组新的研究方向的背景,亚博体育官网列出我们最近决定减少我们研究的违约分享背后的一些想法,亚博体育官网,让有兴趣的软件工程师加入我们的队伍有助于推动我们的理解。

阅读更多_


  1. 这个职位是由多种MIRI员工组合而成的。俗话说"伊北“意思是我(内特)支持这个职位,许多概念和主题在很大程度上来自我,我写了相当多的单词。然而,我没有把所有的单词都写下来,概念和主题是建立在与一群其他米里人员合作。(这大概就是MIRI博客上一段时间的字句的意思,明确和值得注意的。)γ
  2. 参见我们的2017年战略更新募捐者发布更多细节。γ

嵌入好奇心

γγ分析

这是 嵌入式代理系列。以前的职位:

嵌入式代理- - - - - -决策理论- - - - - -嵌入式世界模型
强大的代表团- - - - - -子系统亚博体育苹果app官方下载对准


最后一个字的好奇心,以及智力难题:

我描述了嵌入式代理,艾美奖,,说我不了解她评估选项,模拟世界,模特自己,或分解和解决问题。

过去,当研究人员亚博体育官网谈到处理这类问题的动机时,他们通常关注的动机人工智能的风险。人工智亚博体育官网能研究人员想要构建机器能够以通用的方式解决问题的人,和二元论这不是一个现实的框架来思考这样的系统。亚博体育苹果app官方下载特别地,随着人工智能系统变得更加智能,这个近似值特别容易崩溃。亚博体育苹果app官方下载当人们弄清楚如何构建通用人工智能系统,亚博体育苹果app官方下载我们希望这些研究人员能够更好亚博体育官网地理解他们的系统,亚博体育苹果app官方下载分析他们的内部属性,并对他们未来的行为充满信心。

这是大多数研究人员今天工作的动机updateless决策理论和子亚博体育官网系统对齐。亚博体育苹果app官方下载我们关心的基本概念上的难题,我们认为我们需要弄清楚为了达到对未来人工智能系统的信心,亚博体育苹果app官方下载而且不必太依赖暴力搜索或反复试验。

但是关于为什么我们可能需要或者可能不需要人工智能中的特定概念洞察力的争论相当长。我还没有试图深入讨论过这次辩论的细节。相反,我一直在讨论一组特定的研究方向亚博体育官网智力拼图,而不是作为一个工具的策略。

将这些问题作为工具性策略进行讨论的一个缺点是,这会导致为什么?我们认为这种工作是如此重要。与“工具策略镜头,人们很容易画一条直线从给定研究问题一个给定的安全担忧。亚博体育官网但这不是我想象实际嵌入式系统“亚博体育苹果app官方下载太贝叶斯"这在某种程度上造成了问题,如果我们不能弄清楚现行的理性代理模式有什么问题。这当然不是我想象的未来人工智能系统被写在二阶逻辑!亚博体育苹果app官方下载在大多数情况下,我不尝试直接绘制研究问题和之间的界线亚博体育官网特定人工智能失效模式

我不是思考是这样的:我们肯定做错似乎与基本概念今天当我们试图考虑机构是什么,所看到的事实,这些概念不转移到更实际的嵌入式框架。

在未来如果AI开发者仍然与这些混乱和不完整的基本概念一起工作,因为它们试图实际构建强大的现实世界优化器,这似乎是一个坏的位置。而且看起来,在试图开发更有能力的系统的过程中亚博体育官网,研究界在默认情况下不太可能找出其中的大部分。亚博体育苹果app官方下载进化论当然已经弄清楚了如何在没有大脑的情况下构建人类的大脑。理解”任何的,通过暴力搜查。

嵌入式代理我想点的方式我认为是一个非常重要的和中央地方我感到困惑,,我认为未来研究人员风险也陷入混乱。亚博体育官网

还有许多优秀的人工智能比对研究,正在做的目的在于更直接的应用;亚博体育官网但我认为这项安全研究具有与我在这里讨论的谜题不同的特征亚博体育官网。


好奇心不是我们特权这些研究方向的终极原因。亚博体育官网但是有一些实际的有时从一个好奇的地方向研究问题定向的优点,亚博体育官网相反只有应用“实际影响透镜我们如何看待世界。

当我们应用镜头世界的好奇心,我们朝向困惑的源头,阻止我们清楚地看到;我们地图上的空白点,缺陷在我们的镜头。它鼓励重新检查假设并注意盲点,这对我们的心理平衡很有帮助工具策略镜头-后者更容易受到冲动,以依靠任何不稳定的前提,我们手头上,所以我们可以得到更加坚实和封闭,在我们早期的思想。

嵌入式代理是大多数组织的主题,即使不是全部,我们的很大的好奇心。这似乎是许多具体困难背后的中心谜团。

子系统亚博体育苹果app官方下载对准

γγ分析


艾美嵌入式代理

你想知道什么,但你还不知道怎么做。

你必须以某种方式的任务分解成sub-computations。没有原子行为思考”;智能必须由非智能部件构成。

由零件制成的代理是制成品的一部分。反设事实硬的,自从代理可能不得不思考可能的配置部分。

使被做的部分自我推理与自我修正甚至成为可能。

我们主要要讨论在本节中,不过,另一个问题是:当代理的部分,可能会有对手不仅在外部环境中,但是在代理内部也是如此。

此集群的问题子系统亚博体育苹果app官方下载对准:确保子系统不是南辕北辙工作;亚博体育苹果app官方下载避免子流程优化为意想不到的目标。

  • 良性的感应
  • 良性的优化
  • 透明度
  • 内部优化器

阅读更多_

强大的代表团

γγ分析


自我完善

因为世界很大,代理人本身可能不足以实现其目标,包括思考能力。

因为代理的是做的部分,它可以提高自己,变得更有能力。

改进可以采取多种形式:代理可以制作工具,代理人可以成为继任代理,或者经纪人可以随着时间学习和成长。然而,继任者或工具需要更有能力,这是值得的。

这产生了一种特殊类型的委托/代理问题:

三个委托代理问题在强大的代表团

你有一个最初的代理,以及接班人。最初的代理可以决定继任者代理看起来像什么。接班人,然而,比最初更聪明和强大的代理。我们想知道如何有继任者代理强劲优化初始代理的目标。

问题不仅在于后续代理可能是恶意的。问题是,我们甚至不知道它意味着什么。

从两个角度来看,这个问题似乎都很难。

接班人

初始代理需要弄清楚比它更强大的东西有多可靠和可信,这似乎很难。但继任者代理必须找出在什么情况下,最初的代理甚至不能理解,试着尊重接班人可以看到的目标不一致的,这看起来也很难。

起初,这看起来不像是一个基本问题“做决定“或““有模特“。但视图有多种形式的“建立继任者问题是二元查看。

嵌入式代理,未来的自己没有特权;这只是环境的另一部分。没有建立一个继任者,深区别股票你的目标,只是确保你自己的目标随时间保持不变。

所以,虽然我谈论““初始”和“继任者代理人,记住,这不仅仅是人类目前面临的狭窄的问题,瞄准一个接班人。这是关于作为代理人的基本问题,随着时间的推移,代理人会坚持和学习。

我们称之为问题群强大的代表团。示例包括:

阅读更多_