MIRI的方法

||分析

MIRI的使命是“确保创造出比人类更聪明的人工智能具有积极的影响”,我们如何确保这类事情的发生?这是一项艰巨的任务,特别是考虑到我们目前没有比人类更聪明的机器来工作。在上一篇文章中我讨论了四个背景索赔激励着我们的使命;在这篇文章中,我将描述我们应对挑战的方法。

这个挑战是相当大的,我们只能解决一部分问题。因此,我们专攻。我们两个最大的专业假设如下:

我们重点放在聪明高于人机智力首次创建场景从头软件系统(与大脑模亚博体育苹果app官方下载拟相反)。

这部分是因为它似乎很难得到一路大脑仿真之前有人反向工程师的大脑和使用它们的软件系统中使用的算法,部分是因为我们希望任何高度可靠的AI系统将需要亚博体育苹果app官方下载有从地上爬起来内置安全性和透明度,至少一些部件。然而,这是很合理的,早期的超智系统不会是人类设计的软件,我非常赞同研究方案,重点是减少沿着其它途径的风险。亚博体育官网亚博体育苹果app官方下载

我们几乎完全专门从事技术研究。亚博体育官网

我们选择研究人员的标准是他们亚博体育官网在数学和计算机科学方面的熟练程度,而不是预测方面的专业知识或政治头脑。我强调这仅仅是谜题的一部分:如果正确的系统没有被建立起来,那么弄清楚如何建立正确的系统是没有用的,并且确保人工智能有积极的影响不仅仅是一个技术问题。亚博体育苹果app官方下载面对偷工减料的短期动机,这也是一个全球协调问题。解决这些非技术挑战是我们没有关注的重要任务。

总之,美里做技术研究,以确保亚博体育官网从头AI软件系统将产生积极的亚博体育苹果app官方下载影响。我们做不同类型的人工智能软件系统之间没有进一步的判别,我们也不做究竟我们预期的速度有多快AI系统达到超级智能强硬主张。亚博体育苹果app官方下载相反,我们目前的做法是使用下面的问题来选择开放式的问题:

什么将我们还是无法解决,即使面临的挑战是简单得多?

例如,我们可以研究AI对齐问题,即使我们有很多的计算能力和非常简单的目标,我们没能解决。

然后,我们对问题的过滤器是:(1)易处理的,在这个意义上,我们可以做他们今天生产的数学研究;亚博体育官网(2)不拥挤,在这个意义上,这些问题是不可能在正常的能力来解决研究;亚博体育官网(3)关键的,在这个意义上,他们不能安全地委托给一台机器,除非我们已经首先解决他们自己。(因为我们的目标是设计出智能机,还有许多技术问题,我们可以预期到最终委托给这些机器,但它很难与设计可靠推理的任务信任不可靠的推理!)

这三个过滤器通常是没有争议的。这里的争议的主张是,上述的问题 - “什么将我们无法解决,即使面临的挑战比较简单?”- 是一种开放的技术问题,为这些解决方案将帮助我们在未来的设计更安全,更可靠的AI软件,无论其建筑的产生。这篇文章的其余部分是专门为证明这一要求,并说明它背后的原因。

一。创建一个强大的人工智能系统而不了解其工作原理是危亚博体育苹果app官方下载险的。

从机超级智能风险的很大一部分来自人建立的可能性亚博体育苹果app官方下载他们不完全了解的系统

目前,这在实践中司空见惯:许多现代人工智能研究人员在缺乏理论基础的情况下,推动深层神经网络的能力,这些理论基础无法描述亚博体育官网它们为什么工作得如此出色,也无法对引擎盖下发生的事有一个可靠的概念。随着时间的推移,这些缺点正在得到解决:许多人工智能研究人员目前正在研究用于神经网络的透明工具,更多的人正在努力将理论基础置于深度学习系统之下。在此期间,利用试错来推动现代人工智能系统的能力,已经导致了许多有用的应用。亚博体育苹果app官方下载

相比之下,在设计一种超级智能剂时,我们需要对它的安全性有一种不同寻常的高度信心之前我们开始在线测试:在那个领域,仅仅是尝试和错误是不会减少的。

为了说明这一点,考虑的一项研究伯德和Layzell 2002年。他们使用一些简单的遗传程序设计在电路板上设计了一个振荡电路。遗传算法找到的一个解决方案是完全避免使用内置电容器(人为设计振荡器的必要硬件)。取而代之的是,它将主板上的电路轨道改造成一个无线电接收器,并放大了附近电脑发出的振荡信号。

这表明,强大的搜索过程往往可以通过非预期的路径实现其目标。如果Bird和Layzell希望用他们的遗传算法来找到一个健壮的振荡电路的代码——一个可以在许多不同的电路板上使用的代码,而不管是否有其他计算机存在——那么他们会非常失望。然而,如果他们已经在一个虚拟电路板上广泛测试了他们的算法,这个虚拟电路板捕获了他们思想是相关的(但不是诸如“电路轨迹可以携带无线电信号”之类的特征),那么他们在测试过程中就不会注意到故障的可能性。如果这是一个问题时,处理简单的遗传搜索算法,那么这将是一个更大的问题时,处理智能比人类的搜索过程。

当涉及到设计更聪明,比人类的机器智能,广泛的测试是必要的,但不是充分的:为了有信心的是,在现实世界中运行时,系统将无法找到意想不到的糟糕的解决方案,它是有一个坚实的重要亚博体育苹果app官方下载的搜索过程是如何工作的理解和为什么它预计将产生唯一满意的解决方案此外经验性测试数据。

MIRI的研究亚博体育官网计划的目的是确保我们有权检查和分析更聪明,比人的搜索过程之前,我们部署他们所需的工具。

通过类比,神经网络研究人员可能在没有任何对概率亚博体育官网论的正式理解的情况下取得了相当大的成就。然而,如果没有概率论,他们将缺乏理解现代人工智能算法所需的工具:他们将不知道贝叶斯网,他们将不知道如何制定像“独立和相同分布”这样的假设,他们也不会很清楚马尔科夫决策过程工作和失败的条件。他们将不能谈论先验,或者检查先验为零的地方(从而识别他们的系统无法学习的东西)。亚博体育苹果app官方下载他们不能讨论误差的界限,也不能证明最终能找到最优策略的算法的定理。

他们或许还能走得很远(并为这些想法开发出半成型的临时替代方案),但如果没有概率论,我想他们设计出高可靠的人工智能算法会更加困难。亚博体育官网MIRI的研究人员倾向于相信AI理论中类似的大块仍然缺失那些是我们研究项目要开发的工具亚博体育官网

2.我们还不能甚至通过暴力建立一个有益的AI系统。亚博体育苹果app官方下载

想象一下,你有一个木星大小的计算机和一个非常简单的目标:使宇宙包含尽可能多的钻石越好。计算机访问互联网和一些机器人工厂和实验室,并通过“钻石”是指碳共价结合其他四个碳原子的原子。(假装我们不关心它是如何使钻石,或者它拆开,以获得碳什么;我们的目标是研究一个简化的问题。)假设木星大小的计算机运行的是蟒蛇。你会是怎样计划,生产很多很多的钻石?

既然这样,我们还不知道如何对计算机进行编程以实现一个目标,例如一个。

我们还不能创造一种人工通用智能蛮力,这表明有我们还不知道这个问题的部分。

有许多的AI任务,我们可以蛮力。例如,我们可以写一个程序,将真的,真的很好在解决计算机视觉问题上:如果我们有一个不可摧毁的盒子,它可以生成关于它们的图片和问题,等待答案,对答案进行准确评分,然后重复这个过程,那么我们就知道如何编写与这个盒子交互的程序,并且能够很好地回答问题。(程序本质上是艾希。)

用类似的方法,如果我们有一个坚不可摧的盒子,它会产生对话和关于它的问题,等待自然语言的答案,并为它们的准确性打分,然后,我们可以编写一个非常擅长回答问题的程序。在这个意义上,我们知道如何通过蛮力解决计算机视觉和自然语言处理。(当然,在实际意义上,自然语言处理还远远没有“解决”——仍然有大量的工作要做。在现实世界中,蛮力解决方案不会让你走得太远。重点是,对于许多AI对齐问题,我们甚至还没有达到“我们可以强制它”的水平。)

为什么我们需要在上面的例子中坚不可摧的盒子?因为这样的现代蛮力解决办法的工作是通过考虑每个图灵机(达一定的复杂性限制)的有关箱,眼看哪些是与观测一致的假设,然后执行行动是导致高分数出来盒子的(如由剩余的假设,通过简单加权预测)。

每个假设是一个不透明的图灵机,算法从不偷窥内:它只是要求每个假设来预测什么得分框将输出,如果它执行特定的动作链。这意味着,如果该算法找到(通过穷举搜索)一个计划,最大程度地增强从盒子里出来的分数,盒子是可以破坏的,那么最大化分数的不透明动作链很可能是打开盒子并改变它的那个,这样它总是输出最高的分数。但如果有一个坚不可摧的盒子,我们知道如何用暴力来解决问题。

实际上,粗略地说,我们知道如何解决任何暴力强化学习问题。这与知道如何几乎解决强化学习问题!但它确实说明了两种类型的问题与实物有差别。我们可以(不完美,并试探性地)划分AI的问题,如下所示:

有两种类型的AI开放的问题。一个是盘算如何在实践中解决的问题,我们知道如何在原则解决。另一种是搞清楚如何在原则问题解决,我们甚至不知道如何蛮力呢。

米里专注于第二类问题。1个

强制使用钻石生产剂有什么困难?为了说明这一点,我将给出一个非常简单的草图,说明人工智能程序需要做什么才能在复杂的环境中有效地行动:

  1. 对世界建模:使用感知,并使用它们来精炼系统所嵌入的世界的一些内部表示。亚博体育苹果app官方下载
  2. 预测世界:采用这个世界模型,预测如果系统执行各种不同的计划会发生什么。亚博体育苹果app官方下载
  3. 排名结果:通过率好预测未来是怎样的,然后执行一个计划的可能性,导致一个高度评价的结果。2个

3步AI

考虑建模步骤。如上所述,我们知道如何编写一个算法,用蛮力找到好的世界模型:它查看大量的图灵机,以简单性为权重,将它们视为对其观测负责,并抛出迄今为止与观测不一致的图灵机。但是(除了非常不切实际)这只会产生不透明的假设:该系统可以问什么“感觉位”亚博体育苹果app官方下载每个图灵机的输出,但它不能偷看里面和检查中表示的对象。

如果有一些定义明确的“分数”被不透明的图灵机器(如在强化学习问题中)吐出,那么每个假设都是一个黑匣子并不重要;暴力算法可以简单地对大量输入运行黑匣子,并查看哪个结果是最高的分数。但是,如果问题是在现实世界中建造大量的钻石,那么代理必须按如下方式工作:

  1. 构建世界的模型 - 一个代表碳原子和共价键,等等。
  2. 预测世界将如何变化取决于系统可以执行的不同操作。亚博体育苹果app官方下载
  3. 内部每一个预测,看看哪个预测的未来钻石最多。执行导致更多菱形的操作。

换句话说,这是建立在一个可靠的AI影响世间万物需要采用世界的模型是经得起检验。系统需要亚博体育苹果app官方下载能够流行开来的世界模型,确定碳原子和共价键的表示,并估计有多少钻石是在现实世界中。

我们还没有对如何建设“检查的”世界模式清晰的画面 - 即使不是蛮力。试想一下,想写建立一个世界模型钻石决策程序的一部分:此功能需要采取知觉作为输入,并建立代表宇宙中的数据结构,在某种程度上允许系统检查宇宙的描述和亚博体育苹果app官方下载估计未来可能的钻石量。其中在该数据结构是碳原子数为?如何将数据结构允许形成并贴上了“共价键”的概念,以这样一种方式,它甚至成为世界模型保持准确停止代表钻石作为由原子组成,并代表他们开始为做质子,中子和电子呢?

我们需要一个世界建模算法,建立世界的多层次表示,并允许系统追求相同的目标(使钻石),即使其模型急剧变化(因为它发现量子力学)。这与使用不透明图灵机作为假设的现有暴力解决方案形成鲜明对比。亚博体育苹果app官方下载4个

什么时候人类原因关于宇宙,我们似乎做一些从中间向外推理:我们通过模拟的东西喜欢的人,岩石开始,最终实现,这些都是由原子组成,这是由质子和中子和电子,这是扰动量子字段。在任何时候都是我们确信,在我们的模型中的最低水平是在现实中的最低水平;我们将继续对世界的思考,我们构造解释我们模型中奇怪现象的新假设。我们用的是什么样的数据结构?我们如何给世界模型添加新的视角?这是一种我们还不知道如何形式化的推理算法。5个

这一步在残酷的强迫一个AI追求一个简单的目标。我们还不知道如何使用第二步或第三步。通过简化问题——例如讨论钻石,而不是提出其他许多困难的更现实的目标——我们能够分解出那些我们还不知道如何解决的部分问题,即使是在原则上。我们的技术议程介绍了一些使用这种方法确定的有待解决的问题。

3.在原则上找出解决问题的方法会带来很多好处。

1836年,埃德加爱伦坡写了一精彩的文章在Maelzel的下的Mechanical Turk,这是一个声称机器能够下棋。在文章中,坡认为,土耳其机器人必须是一个骗局:他开始通过争辩说,机器不能下棋,并且进行解释(用他的舞台艺术方面的知识)一个人怎么可以在机器内被隐藏。Poe’s essay is remarkably sophisticated, and a fun read: he makes reference to the “calculating machine of Mr. Babbage” and argues that it cannot possibly be made to play chess, because in a calculating machine, each steps follows from the previous step by necessity, whereas “no one move in chess necessarily follows upon any one other”.

在燃油系统采用机械土耳其人的确原来是一个骗局。1950年,然而,香农发表了相当令人信服的反驳到坡的推理在一份文件的形式解释如何对计算机编程玩完美国际象棋

香农的算法绝不是对话结束。花了46年从纸张到深蓝,从而击败人类世界冠军的一个实际的国际象棋程序中去。不过,如果你配备了知识的坡的状态,尚未确定它是否是可能对于一台下棋的计算机来说——因为你还没有理解构建游戏树和做回溯搜索的算法——那么你可能还没有准备好开始编写实用的国际象棋程序。

同样,如果你缺乏概率论的工具 - 贝叶斯推理的理解,并从坏的先验干的局限性 - 那么你可能还没有准备好到AI系统需要管理的高风险情况下的不确定性编程。亚博体育苹果app官方下载

如果你试图编写一个程序,但你还不能说出在任意大的计算机上如何编写它,那么你可能还没有准备好设计一个实际的近似的暴力解决方案。实际的国际象棋程序不能生成一个完整的搜索树,因此在很大程度上依赖于试探法和近似法;但是如果你不能强力地给出答案任意的大量的计算能力,那么很可能你遗漏了一些重要的概念工具。

马库斯·特(爱溪的发明人)和Shane股骨头(的发明者普遍智力测量)似乎赞同这一做法。他们的工作可以被解释为如何找到一个蛮力解决方案,任何强化学习问题的描述,而事实上,如何做到这一点上面的描述是由于莱格和胡特。

事实上,谷歌DeepMind的创始人肖恩引用论文的完成情况作为四个关键指标之一的时机已经成熟,开始对AGI工作:一个理论框架,描述了如何解决强化学习问题原则上说明对这个问题的现代理解已经成熟到实际工作开始的时候了。

在我们正式了解这个问题之前,我们还不能确定是什么问题. 我们可能没有注意到我们推理中的漏洞;我们可能没有适当的工具来承担;我们可能无法判断我们何时取得进展。在我们原则上对这个问题有了正式的了解之后,我们就有了更好的条件取得实际进展。

发展问题的认识正规的一点是不要运行生成的算法。深蓝并不是通过计算一个完整的游戏树来工作的,而DeepMind也不是试图实现AIXI。相反,重点是识别和开发对解决问题有用的基本概念和方法(比如象棋中的博弈树和回溯搜索算法)。

概率论的发展对人工智能领域有很大的帮助,这并不是因为有人试图建立一个完美的贝叶斯推理机,而是因为概率论是不确定性推理的统一理论。这使得概率论的工具对于在许多实现细节上都有所不同的人工智能设计非常有用:每当你构建一个试图管理不确定性的算法时,对概率推理的深入理解有助于你对系统将要成功的领域和它能够成功的条件进行推理失败。亚博体育苹果app官方下载

这就是为什么我们认为我们可以找出有待解决的问题,我们可以在今天的工作,并能可靠有用,不管未来如何的一般智能机的设计(或需要多长时间到那里)。通过寻找问题,即使问题要容易得多,我们解决不了,我们希望查明核心AGI算法遗漏的地方。通过开发如何解决原则的问题,正式的理解,我们的目标是确保当谈到时间来解决实践中的问题,程序员们,他们需要开发的解决方案,他们深深懂得,他们需要的知识和工具确保他们开发的系统具有很高的可靠亚博体育苹果app官方下载性。

四。这是研究人员过去成功使用的一种方法。亚博体育官网

我们主要的开放问题发电机 - “什么将我们无法解决即使问题是更容易?”- 实际上是整个数学和计算机科学中使用一个相当常见的一种。它更容易认识到,如果我们稍微改换:“我们可以减少建立一个有利的AI到一些其他的,简单的问题的问题吗?”

例如,而不是问你是否可以设定一个木星大小的计算机生产钻石,你可以改写这个作为我们是否可以将钻石最大化问题减少到已知的推理和规划程序的问题。(目前的答案是“没有”。)

这是计算机科学中的一个相当标准的实践,将一个问题简化为另一个问题是可计算性理论的主要特征。在数学上,通常通过减少一个问题,另一个实现了证明(见,例如,著名案例费马大定理)。这有助于一个重点问题的部分解决,并确定基本的了解缺乏,其中的主题。

碰巧的是,人类在处理这些问题上有很好的记录。人类虽然不善于预测长期的技术趋势,但只要我们付出足够的努力,几十年前就已经为技术问题奠定了理论基础,并取得了一定的成功。Alan Turing和Alonzo Church成功地发展了一种稳健的计算理论,这种理论在计算机开发后证明是非常有用的,在很大程度上是通过解决(原则上)他们还不知道如何用机器解决的问题。同样,安德烈·科尔莫戈罗夫(Andrey Kolmogorov)也着手将管理不确定性的直观但尚未被很好理解的方法形式化;他成功了。克劳德·香农和他的同时代人在国际象棋方面取得了成功。

概率论的发展是一个特别好的比喻我们的情况:它是行业里,数百谁试图形式化他们的“不确定性”的概念直观年,哲学家和数学家反复推论自己陷入悖论和矛盾。当时的概率论,最缺正式的基础,被冠以一个“不幸的理论。”然而,齐心协力通过柯尔莫哥洛夫等人正式理论是成功的,他的努力激发了有用的工具,一台主机的发展不确定条件下的设计系统,其原因可靠。亚博体育苹果app官方下载

许多人开始为一个新的研究领域打下基础(这在某种程度上是直观的理解,但还没有正式化),他们已经成功了,他们的成功实际上意义重大。我们的目标是做一些类似的事情,以解决一些与高可靠性推理机的设计有关的开放性问题。

MIRI关注的问题,比如“一个人如何理想地处理逻辑不确定性?”?或者“一个人如何理想地建立一个复杂环境的多层次世界模型?”?与科尔莫戈罗夫的“一个人如何理想地处理经验不确定性”相比较,存在于一个普遍性的水平上?或者哈特的“在一个任意复杂的环境中,一个人怎样才能理想地获得最大的回报?”?“历史记录表明,这类问题有可能(a)看到提前到来,和(b)在没有获得一般情报具体实际执行的情况下着手解决。

通过识别部分的问题,我们仍然无法解决问题,即使是更容易,我们希望磨练在核心算法部分的问题和见解失踪:算法和见解,将有用不管建筑早期智能机器承担什么,无论花多长时间去创造自己机器智能。

目前我们的研究小组只有三个人,这限制了我们自己可以解决的问题的数量。亚博体育官网但我们的方法是一种我们可以大幅扩大规模的方法:它产生了大量的开放问题,我们并不缺少需要研究的问题。6个

在过去,这种方法在人类试图理解如何进入一个新的研究领域时,通常都很有效。我相信,这种方法正指向这个人工智能结盟的年轻领域的一些核心障碍。


  1. 大多数人工智能领域都关注第一类问题。例如,深度学习是一种非常强大和令人兴奋的工具,可以用来解决我们知道如何使用暴力的问题,但直到几年前,这些问题还非常棘手。一级问题往往是构建更具能力的人工智能系统的重要问题,但对于确保高能力系统符合我们的利益而言,优先级较低。亚博体育苹果app官方下载
  2. 在现实中,当然不会有这些步骤之间的清洁分离。在“预测”的步骤一定要多一个排名相关的规划步骤,以避免浪费计算预测结果,将明显地较差的排名。该模拟步骤依赖于预测的步骤,因为这世界模型细化的部分取决于这个世界的模型将被用于。A realistic agent would need to make use of meta-planning to figure out how to allocate resources between these activities, etc. This diagram is a fine first approximation, though: if a system doesn’t do something like modeling the world, predicting outcomes, and ranking them somewhere along the way, then it will have a hard time steering the future.
  3. 在强化学习的问题,这个问题是通过一个特殊的“奖赏通道”避免意在间接地站在东西上司想要的。(例如,监督员可以每学习者需要,似乎一个动作时间按下一个按钮奖励,向主管,是用于制造钻石是有用的。)然后,程序员可以通过手,挑出世界 - 内的奖励信道模型和程序的系统来执行动作,这预示导致高回报亚博体育苹果app官方下载。这比以这样的方式,该系统能可靠地识别在它的碳原子表示和共价键(尤其是如果世界是牛顿力学一天,量子力学的未来而言建模)设计世界的模型要容易得多,亚博体育苹果app官方下载但doesn’t provide a framework for agents that must autonomously learn how to achieve some goal. Correct behavior in highly intelligent systems will not always be reducible to maximizing a reward signal controlled by a significantly less intelligent system (e.g., a human supervisor).
  4. ,根据模拟优化搜索算法的思路关于世界的事实而不是仅仅预期的知觉可能听起来很基本,但我们还没有找到任何深入的见解(或聪明的技巧)可以让我们将这个想法形式化(例如,作为一个蛮力算法)。如果我们能将其形式化,我们可能会更好地理解自我指涉的,逻辑上不明朗,程序员检查的推理
  5. 我们也怀疑,以建立多层次的世界模型蛮力算法将是更适合于被“缩小”比Solomonoff感应,因此将给予一些深入了解如何在实际环境建立多层次的世界模型。
  6. 例如,而不是问给大量的计算能力时,依然有什么问题,可以转而问我们是否可以降低建筑对齐AI来作出关于人类行为的可靠预测的问题的问题:一种方法其他人主张