米里指南的研究亚博体育官网

,内特苏亚雷斯


如果人类要发展自己的人工智能,有积极的影响,我们必须满足三个强大的挑战。首先,我们必须设计出比人类更聪明的系统亚博体育苹果app官方下载高度可靠,这样我们就可以证明信心,该系统将满足指定的目标或偏好。亚博体育苹果app官方下载第二,设计必须不变性,这样系统适合在线修改和校亚博体育苹果app官方下载正在面对不可避免的人为错误。第三,系统必须亚博体育苹果app官方下载真正学到有益的目标或偏好。

米里当前的研究项目的重点是理解亚博体育官网如何原则上应对这些挑战。方面有可靠的推理,我们尚不清楚即使在理论;有问题的有限理性,我们可能没有解决即使是在简化设置。我们的研究集中在简化设置,寻找解决方案作为第一步。因此,我们的现代研究看起来更亚博体育官网像纯数学比软件工程或实用机器学习。

本指南简要概述我们的研究重点,亚博体育官网并提供资源,帮助您达到每个主题领域的前沿。本指南并不打算证明这些研究主题;亚博体育官网为了进一步激励我们的方法,把这篇文章“"美里的方法",或者我们的技术议程支持文件

注意(2016年9月):这个指南是基于我们的亚博体育官网研究代理基础议程。在2016年,我们也有一个机器学习的主要议程。请参考该文档的更多信息我们认为有前途的研究方向,亚博体育官网不受本指南。


如何使用本指南吗

本指南旨在为尚未精通相关主题领域的有抱负的研究人员。亚博体育官网如果你已经人工智能专业或经验丰富的数学家,我们认为不现有的出版物代替。(我们的技术议程这是一个很好的起点。)本指南针对的是那些想知道如果将来想成为MIRI研究人员应该学习什么的学生,亚博体育官网向其他领域的专业人士谁想要对我们的工作速度。

亚博体育官网研究人员通常通过两条途径之一加入我们的团队。首先是参加米里研讨会,与我们建立关系。您可以使用这种形式申请参加研究研讨会。亚博体育官网被警告说,经常有相当多的时间在车间之间,他们有能力有限。

第二条路径是独立研究议程上取得一些进展,让我们知道你的结果。亚博体育官网您可以使用我们的在线表单申请援助或输入你的工作,但是最快的方式开始贡献是阅读文章智能代理基础论坛(IAFF),人们正在注意开放问题,和解决。你可以把你的结果链接在论坛上。

研究论坛的主要目的是为研究人员已经在相同的页面上,讨论亚博体育官网无光泽的部分结果。因此,论坛上的帖子可能很不透明。本研究指南亚博体育官网可以帮助你赶上IAFF开放问题正在讨论。它还可以帮助您开发必要的技能来获得车间,或者找到工作在开放问题在人工智能方法对齐在其他机构。

本指南从基本主题的建议开始,在尝试这种类型的研究之前,了解这些主题很重要,亚博体育官网如概率论。在那之后,分解成一系列的领域,与论文将抓住你艺术的状态。

这不是一个直线导轨:如果你想成为一个米里研究员,亚博体育官网我建议首先确保您了解基本知识,然后选择一个你感兴趣的话题和进入深度。一旦你了解一个主题,你会准备尝试在IAFF主题区域。

所有的材料在本指南,请不要去为了磨去。如果你已经知道的材料,跳过。如果其中一个活跃的研究领域未能捕获你的兴趣亚博体育官网,切换到另一个。如果你不喜欢其中的一个推荐的教材,找一个更好的,或者完全跳过。本指南应该作为一种工具来找出你可以贡献,这一目标的障碍。


最基本的

很重要有流利的用初等数学概念在直接转入我们之前活跃的研究课题。亚博体育官网我们所有的研究领域由一亚博体育官网个基本的了解非常完善的计算,逻辑,和概率理论。下面是一些帮助您入门的资源。

你不需要读的书在这一节中列出的顺序。拿起任何有趣,不要犹豫之间来回跳跃的研究领域和必要的基础知识。亚博体育官网

集理论

大多数现代数学是集理论形式化,这里列出的教科书和报纸也不例外。这使得集理论一个开始的好地方。



队章

可计算性和逻辑

可计算性理论(和对角化带来的限制)是理解的基础,不能可以由机器完成。



1 - 4章

概率论

概率论是理性的理解的核心机构。熟悉下推理的不确定性在我们所有的活跃的研究领域是至关重要的。亚博体育官网



1 - 5章

概率推理

这本书将帮助充实的理解如何使用概率推理世界模型。


统计数据

流利与统计建模有利于促进我们的“"先进的机器学习的对齐"亚博体育官网研究议程。一些之前熟悉概率推理是一个好主意。


机器学习

培养对机器学习的实际熟悉度,我们强烈推荐Andrew Ng Coursera课程(讲稿)在这里)。对于ML的更多理论介绍,试一试了解机器学习


人工智能

虽然我们的许多工作都是理论性的,现代人工智能领域的知识把这个工作环境是很重要的。

同样重要的是理解VNM理性的概念,我建议学习维基百科的文章但也可以拿起的原来的书。Von Neumann和Morgenstern证明了任何遵循几个简单一致性公理的代理都具有可用效用函数表征的偏好。虽然有些期待,我们最终可能需要放弃VNM理性为了构建可靠的智能代理,VNM框架仍是最富有表现力的框架我们已经描述任意强大的代理的行为。(例如,看到正交性的论文仪器收敛的论文从博斯特罗姆的“"有超常智慧的意志。")VNM合理性的概念在我们所有活跃的研究领域。亚博体育官网



现实世界模型

形式化有益的目标对你没有什么好处,如果你自己系统是不可靠的。亚博体育苹果app官方下载方面有良好的推理,我们还不了解,即使在原理。很可能可以了解通过建立实际系统使用算法似乎工作,亚博体育苹果app官方下载即使他们工作的原因还不是很清楚:经常,理论理解的实际应用。然而,我们认为这种方法轻率的在设计系统时,有可能成为有超常智慧的:我们将会更安全,如果我们有一个理论的一般智亚博体育苹果app官方下载力之前创建实际有超常智慧的系统。

由于这个原因,我们的许多活跃的研究主题聚焦于一般智力亚博体育官网的部分,我们还不知道如何解决,即使在原理。例如,考虑以下问题:

我有一个计算机程序,被称为“宇宙。”宇宙中的一个函数没有定义。你的工作是提供给我合适的类型的计算机程序来完成我的宇宙计划。然后,我将我的宇宙运行程序。我的目标是进你的代理根据如何学习原始宇宙计划是什么。

我怎么能这样做呢?Solomonoff的归纳推理理论阐明了一个理论上的解决方案:它描述了一个理想的预测方法的观察,但是只有在外面的情况下,预测的生活环境。Solomonoff感应导致许多有用的工具思考归纳推理(包括Kolmogorov复杂度,通用之前,和AIXI),但问题变得明显更困难的情况下,代理是一个宇宙的子流程,计算的宇宙。

在代理嵌入到环境内的情况下,归纳问题变得不明朗:什么是“学习宇宙计划”吗?对什么分布环境代理应该得分吗?什么是理想的感应的情况”之间的界限代理”和“环境”变得模糊?这些问题的“归化感应。”"

  1. 索雷斯"形式化现实世界模型的两个问题"进一步激励问题的归化感应相关的建设一般智力的理论。

  2. “牵牛星”的“"直观的解释Solomonoff归纳"解释所罗门诺夫的归纳推理理论,这是很重要的背景知识时理解归化感应的开放问题。

  3. Bensinger的“"归化感应"(系列)更详细地探讨了归化感应的问题。

解决问题的归化感应需要获得更好的理解现实世界模型:集”可能的现实”吗?什么样的先验环境理想的代理会使用呢?这些问题的答案不仅必须允许良好的推理,他们必须允许人类目标的规范的世界模型。

例如,在Solomonoff感应(Hutter AIXI),图灵机被用来模拟环境。假装我们唯一值是钻石(碳原子共价绑定到其他四个碳原子)。现在,说我给你一个图灵机。你能告诉我钻石是在多少?吗?

为了设计一个代理,追求目标指定的世界模型,代理必须有某种程度的确定我们的目标(碳原子)的本体内部世界模型(图灵机)。这种“本体标识”讨论的问题是“现实世界模型的形式化两个问题”(链接),首次引入了德布兰科:

  1. 德布兰科的“"本体论危机在人工代理商的价值体系亚博体育苹果app官方下载"询问如何使代理的目标对本体的变化具有鲁棒性。如果代理从物理学的原子模型(其中碳原子在本体上是基本的)开始,那么这可能并不困难。但是当代理构建一个核的物理模型(原子都是由质子和中子)?如果“碳识别器”是硬编码的,在这个新的世界模型中,代理人可能无法识别任何碳,和可能会开始表现异常(在搜索隐藏的”真正的碳”)。代理怎么可能的设计,使它可以成功地识别”six-proton原子”以“碳原子”为了应对这种本体论危机?吗?


莱格和Hutter”"通用智能:机器智能的定义"描述了AIXI,普遍智能代理在代理设置独立于环境,和“评分标准”用于率不同的智能代理程序在此设置。Hutter AIXI和莱格的得分指标非常相似的精神我们正在寻找在回应归化感应和本体识别的问题。两个不同之处在于,AIXI生活在代理和环境分开的宇宙中,而归化归纳需要将代理嵌入环境中的解决方案,和AIXI最大化回报条款规定的观察而我们渴望一个解决方案,优化奖励条款规定的外面的世界。

您可以了解更多关于AIXI Hutter的书普遍的人工智能,虽然阅读莱格的纸(与上图)可能满足我们的目的。


决策理论

我给你以下说:(1)计算机程序描述宇宙;(2)描述代理的计算机程序;(3)可用一组行动代理人;(4)一组指定的偏好在州,宇宙的历史。我任务你确定最好的行动提供给代理,关于那些喜好。例如,你的输入可能是:

def宇宙():结果= {罗,地中海,你好={1,}操作两个,3 } def代理():worldmodel = {瞧:一,嗨:两个,Med:3}返回世界模型[Hi].={One:Lo,二:地中海,三:你好}返回领土[代理()]
def代理():worldmodel ={瞧:一,嗨:两个,地中海:三}返回worldmodel(你好)
行动= {1,两个,3}
嗨地中海> >瞧

(注意代理是如何嵌入到环境中的。)这是我们不知道如何回答的另一个问题,即使在原理。看起来简单:遍历每一个行动,找出哪些结果代理会如果采取的行动,然后选择行动导致最好的结果。但事实上,在这个思维实验中,代理是一个确定的子流程确定的计算机程序:有一个行动,代理将输出,并要求“会发生“如果一个确定的确定性项目的一部分的东西它不做是不明确的。

为了评估”会发生“如果代理采取不同的行动,一个“反事实的环境”(代理的东西它不会)必须构造。令人满意的反事实的推理理论尚不存在。我们还不理解如何识别嵌入其环境中的代理可用的最佳操作,即使在理论,甚至宇宙的充分知识和我们的偏好并给予无限的计算能力。

解决这个问题需要更好的理解反事实的推理;这是决策理论的领域。

决策理论

彼得森的教科书对规范决策理论的领域进行了广泛的阐述。更快的调查,更关注Newcomblike问题,看到Muehlhauser”"决策理论常见问题解答”。"


博弈理论

许多开放问题决策理论涉及多代理设置。我听到好事Tadelis的教科书,但自己没有读过它。你也可能与斯科特·亚历山大的运气”"介绍博弈论"LessWrong。



1 - 5章
(如果热情+ 6 - 9)

只是逻辑

多代理设置的玩具模型,可以研究的环境中,代理人的行为是基于他们对其他代理在相同的环境中可以证明。目前大量使用的玩具模型只是逻辑。

现有的反事实的推理方法在短期内都是令人不满意的(在这个意义上他们系统地实现贫困结果在一些问题上好的结果是可能的)和长期(在这个意义上使用坏反设事实将变为无效来代理推理,亚博体育苹果app官方下载根据这些破碎的反设事实,认为他们不应该修正所有的缺陷)。我的演讲”"为什么你不是有钱吗?吗?"短暂触及这两个点。要了解更多,我建议以下资源:

  1. 苏亚雷斯& Fallenstein的“"对理想化的决策理论"作为一个总体概述,,进一步激励问题的决策理论相关米里的研究项目。亚博体育官网本文论述了两个现代决策理论的缺点,并讨论决策理论中的一些新见解,指出执行反事实推理的新方法。

如果“理想化的决策理论”动作太快,这一系列的博文可能是一个更好的起点:

  1. 尤德考斯基"真正的囚徒困境"解释了为什么合作不是自动“正确”或“好”选项。

  2. 索雷斯"因果决策理论并不令人满意。"使用“囚徒困境”来说明非因果决定算法之间的联系的重要性。

  3. 尤德考斯基"纽科姆的理性问题和遗憾"主张关注决策理论”赢了,“不只是那些看起来直观合理。索雷斯"介绍Newcomblike问题"涵盖了类似的地面。

  4. 索雷斯"Newcomblike问题是常态"指出人工代理概率模型在常规的基础上彼此的决策标准。

美里的研究导致亚博体育官网了发展的“Updateless决策理论”(UDT),一个新的决策理论,地址上面讨论的许多缺点。

  1. 迈克的“"问题类优势预测难题"总结了UDT的主导地位在其他已知的决策理论,包括永恒的决策理论(TDT),另一个主导CDT和EDT的理论。

  2. Fallenstein的“"UDT的模型与前一个具体的逻辑语句"提供了一个概率形式化。

然而,UDT绝不是一个解决方案,和自己有很多的缺点,讨论了在以下地方:

  1. Slepnev的“"自我实现的一个例子在UDT假证明"解释了UDT能够达到最优结果由于虚假证明。

  2. Benson-Tilsen的“"UDT与已知的搜索顺序"是有点不满意的解决方案。它包含具有已知证明搜索顺序的UDT的形式化,并演示了使用称为“打鸡与宇宙”为了避免假证明。

为了研究多代理设置,帕特里克LaVictoire已经开发了一种模态代理框架,也允许我们使用只是逻辑做出一些新颖的进步领域的决策理论:

  1. 巴拉斯等人"健壮的囚徒困境中的合作"允许我们考虑代理它决定是否与对方合作只基于他们所能证明对彼此的行为。这可以防止无限倒退;事实上,两个代理的行为,行为只根据他们的行为可以证明其他可以确定二次时间使用的结果只是逻辑。


UDT是由魏戴秉国和弗拉基米尔•Slepnev等等。戴笠的”"对一个新的决策理论"介绍了这个想法,和Slepnev的“"带有停止预言的UDT模型"提供了一个早期的第一个规范化。UDT Slepnev还描述了一个奇怪的问题,好像代理商的奖励有智力低,在“"代理模拟预测"。

这些博客文章感兴趣的历史,但几乎所有的内容都是在“理想化的决策理论”,上面。


逻辑的不确定性

想象一个黑盒,一个输入槽和两个输出降落伞。一个球可以放在输入槽,并将两个输出的降落伞。在黑盒是小题大作的机器将球从输入输出斜槽的槽。

一个完美的概率推理者,如果不知道盒子里装的是哪台Rube Goldberg机器,就不知道盒子会如何工作,但是如果他们能找出哪些机器是在盒子里面,然后他们会知道哪个槽将球。这个寻欢环境不确定

理性现实的人可能知道这机器是在箱子里,并且可能知道这台机器是如何工作的,但可能缺乏找出机器的演绎能力将会下降。这个寻欢逻辑上不确定。

概率理论假定逻辑全知;它假设推理者知道所有的事情他们知道后果。在现实中,有限推理器在逻辑上不是全知的:我们可以精确地知道箱子实现哪台机器,以及机器如何工作,就没有时间来推断出来的球。我们在逻辑不确定性原因。

一个正式的理论下的推理逻辑不存在不确定性。获得这种理解是极其重要的在构建一个高度可靠通常智能系统:每当一个代理对复杂系统的行为的原因,亚博体育苹果app官方下载计算机程序,或其他代理人,它必须在至少一个逻辑操作的不确定性。

要了解最新技术,概率论的一个坚实的理解是必须的;考虑扩充的前几章我们费勒,章1,5,6,9,然后研究以下文件:

  1. 苏亚雷斯& Fallenstein的“"问题的推理逻辑下的不确定性"提供了一个通用的介绍,解释逻辑领域的不确定性和激励其相关性米里的研究项目。亚博体育官网

  2. Gaifman的“"在一阶结石有关措施"很多年前就看过这个问题。Gaifman主要集中在一个相关的子问题,的概率分配给不同的模型一个正式的系统(假设一旦模型是已知的,亚博体育苹果app官方下载所有的后果模型是已知的)。我们现在尝试这种方法扩大到一个更完整的概念逻辑的不确定性(推理程序可以知道模型是什么但不知道的的影响,模型),但通过Gaifman仍是有用的历史背景和理解周围的困难逻辑的不确定性。

  3. Hutter et al。”"概率在一个句子表达逻辑"主要看逻辑问题的不确定性假设获得无限的计算能力(和许多阻止神谕的水平)。Hutter理解的方法(和什么可以用无限的计算能力)有助于充实我们理解困难的问题在哪里。

  4. Demski的“"合理的先验概率"提供可计算近似的逻辑先验。Demski后,我们的工作主要关注创建一个可逼近的先验概率分布逻辑的句子,《炼油和近似逻辑之前非常相似的推理逻辑下的不确定性。

  5. global的“"Non-omniscience,概率推理,和元数学"很大程度上遵循这种方法。本文提供了一些早期的实际考虑的生成逻辑先知先觉,并强调了一些开放的问题。


更多的历史在这个问题上工作,看到Gaifman”"概率在丰富的语言……”和“"与有限的资源和分配概率推理算法语句”。"


Vingean反射

大量独特的人工智能问题是一个非常先进的系统能够比人类程序员做高质量的科学和工程。亚博体育苹果app官方下载许多可能的风险和好处的高级系统源于其潜力引导自身更高层次的能力,亚博体育苹果app官方下载可能导致智能爆炸

如果一个代理实现超智通过递归自我完善,然后生成系统的影响完全取决于初始系统推理的能力可靠的代理,比自己更亚博体育苹果app官方下载聪明。什么样的推理方法的系统可以使用为了证明极高的信心的行为更多的智能系统吗?亚博体育苹果app官方下载我们称这种推理为“文根反射,》后,弗诺·文奇(1993),世卫组织指出,一般来说,不可能精确地预测比推理者更聪明的代理人的行为。

推理程序执行Vingean反射一定会的原因抽象地更多的智能代理。这几乎肯定需要某种形式的逻辑上不确定的高置信度推理,但是代替工作的逻辑理论的不确定性,使用形式逻辑推理证明()是最好的可用的研究抽象推理的形式主义。因此,现代Vingean反射的研究需要一个背景在形式逻辑:

一阶逻辑

美里现有的玩具模型为研究变为无效来代理,很大程度上都是基于这个逻辑。理解一阶逻辑的细微差别对于使用我们开发的工具来研究能够在类似系统中接近置信度的形式系统是至关重要的。亚博体育苹果app官方下载

我们研究Vingean反射通过构造玩具模型的代理能够获得某种形式的高度相似系统的信心。亚博体育苹果app官方下载前沿,阅读以下文件:

  1. Fallenstein & Soares'"Vingean反射:可靠的理由自我完善的代理"介绍了Vingean反射,并激励其连接米里的研究项目。亚博体育官网

  2. 尤德考斯基"拖延悖论"进入更详细的需要满意的解决方案之间走钢丝Lobian障碍(问题源于太少”自信”)和不健全自信。

  3. global et al。”"可定义性概率逻辑真理"描述早期试图创建一个正式的系统思考本身,同时避免自我参照的悖论。亚博体育苹果app官方下载它成功了,但最终证明是不健全的。我的预排本文可以帮助把它放到更多的上下文。

  4. Fallenstein & Soares'"自我参照完善时空嵌入式智能的问题"描述我们的简单suggester-verifier模型研究代理生产略有改进的版本的自己,或“瓷砖”自己。本文演示了一个玩具的场景,在该场景中,声音代理可以成功地瓷砖(例如,获得高的信心)其他类似的代理。


Yudkowsky &赫列斯果夫倍烧的“"瓷砖变为无效来人工智能代理"是一个老的,股市介绍Vingean反射可能更容易通过使用我的工作预排

如果你兴奋的研究课题,亚博体育官网有许多其他相关技术报告。不幸的是,他们中的大多数无法解释他们的动机,和尚未投入更大的背景。

Fallenstein的“"拖延症的概率逻辑"说明global等的概率推理系统不健全,容易受到拖延悖论。亚博体育苹果app官方下载尤德考斯基"分布允许瓷砖……”一些早期的概率花砖设置步骤。

Fallenstein的“"减少数学的力量……”描述了一个不满意的属性参数多态性,部分解决Lobian障碍。索雷斯"法伦斯坦怪物"描述了一个避免上述问题的骇客形式系统。亚博体育苹果app官方下载它还展示了一个机制来限制代理人的目标谓词参数多态性也可以使用创建页限制较少的版本比探索瓷砖的代理。Fallenstein的“"一个无限降序的声音序列理论……”描述了一个更加优雅Lobian障碍部分解决方案,目前在我们青睐的部分解决方案。

理解递归序列提供了一个有用的上下文来理解这些结果,并且可以通过阅读获得弗兰岑的“"超限进展:一眼完整性。""


可订正

随着人工智能系统在智能和能力方面的发展,亚博体育苹果app官方下载他们的一些可用选项允许他们抵制干预的程序员。我们称之为一个人工智能系统”亚博体育苹果app官方下载可改正的“如果它与它的创造者合作视为一种纠正干预,尽管理性代理人拒绝关闭他们或修改他们的偏好的企图是默认的激励。

这一领域的研究基本上是全新的亚博体育官网,所以只需要为了达到速度是阅读一篇论文或两个:

  1. 苏亚雷斯等人的“"可订正"介绍整个领域,还有一些未解决的问题。

  2. 阿姆斯特朗的"通过冷漠进行正确的价值学习"讨论了一个潜在的方法使代理人的效用函数最大化之间的冷漠,这是一个很小的一步代理,允许自己被修改。

关于可订正我们目前的工作主要集中在一个小的子问题被称为“关闭问题”:如何构造一个代理关闭的关闭按钮,并没有激励引起或阻止按的按钮吗?在这个子问题中,我们目前专注于效用无差异的问题:你怎么能构造一个代理你可以开关的效用函数最大化,没有给它激励影响是否切换?即使我们有一个令人满意的解决方案的效用无差异的问题,这不能令人满意地解决关机问题,因为它似乎仍然难以充分指定”关闭行为”的方式是免疫的实例化。斯图亚特·阿姆斯特朗写了几个博客文章的规范”减少影响”世界:

  1. ""AIs驯养减少影响""
  2. ""减少影响人工智能:没有渠道""

这些第一次还没有一个完整的解决方案,但他们应该让你赶上我们当前的问题的理解。


早期作品中可以找到可订正在网上论坛更少的错误。大部分的捕获相关的结果在上面的文件。其中最有趣的是"蛋糕或死亡",”的一个例子动机的价值选择”问题。在这个例子中,具有效用函数不确定性的agent从避免降低其不确定性的信息中获益。

阿姆斯特朗的"减少影响的数学:需要的帮助"列出指定减震剂的初步想法,和他的“"在实践中减少影响:随机抽样的未来"素描一个简单的方法来评估未来是否被影响。

阿姆斯特朗的"效用无差异"概述了最初的效用无差别的想法,由于历史原因,在很大程度上是有趣。它是被归入“适当的学习通过冷漠”价值纸上面的链接。


值的学习

因为我们自己的理解我们的价值观是模糊的和不完整的,也许最有前途的值加载到一个强大的人工智能方法是指定代理的标准学习我们的价值观不断。但这带来了很多有趣的问题:

说你构建一个训练集包含许多结果充满快乐的人类(标记为“好”)和其他结果充满悲伤的人类(标记为“坏的)。最简单的概括,从这些数据中,可能是人类真的很喜欢人形smiling-things:这个代理可能会试图构建许多微小的电子满脸幸福的人。

价值必须在线学习过程:系统必须能够识别模棱两可,提高用户查询关于这些模棱两可。亚博体育苹果app官方下载它不仅必须确定哪些情况不知道如何分类(如情况下它不能分辨一个脸看起来快乐或悲伤),但识别维度在训练数据没有提供的信息(比如当你训练数据没有显示结果充满了人形机器人看起来开心,被贴上毫无价值的标签。

当然,歧义识别仅是不够的:你不希望一个系统,花前三周要求澄清人类是否还值得当他们是在不同的海拔高度,亚博体育苹果app官方下载或者刮风的时候,最后(运营商停止后注意)问是否重要的是人形的东西是自己的意志。

为了让一个代理可靠地学习意图,代理必须构建和精炼的模型算子和使用该模型通知其查询和改变其偏好。了解更多关于这些和其他问题,见以下:

  1. 索雷斯"价值学习问题"提供了一个总体概述一些开放的学习与价值相关的问题。

  2. 杜威的“"学习什么价值"进一步探讨了价值学习的困难。

  3. 正交性的论文认为默认值学习不会被解决。

  4. 麦卡斯基尔的“"规范的不确定性"为讨论提供了一个框架规范的不确定性。被警告,完整的工作,虽然包含许多见解,很长。你可以跳过部分和/或跳过一些,特别是如果你更兴奋活跃研究的其他领域。亚博体育官网


一种方法解决规范的不确定性是博斯特罗姆&奥德的“"议会模型,"这表明学习有点价值相当于一个选民聚集的问题,和许多价值学习系统可以建模为议会投票系统可能的效用函数(选亚博体育苹果app官方下载民)。

欧文Cotton-Barratt的“"几何正常化的原因……”讨论了效用函数的归一化;这是有关玩具模型的推理在道德上的不确定性。

Fallenstein &施奈尔的“"响度"讨论关注聚合效用函数源于这一事实偏好由效用函数保存在积极的仿射变换编码(例如效用函数的扩展或转移)。这意味着需要特别注意为了规范化的一组可能的功能。


其他工具

掌握在任何主题可以是一个非常强大的工具,特别是在数学领域,在表面上不相关的主题实际上是紧密联系的。数学的许多领域的财产,如果你理解很好,然后理解是有用的无论你去哪里。考虑到这一点,虽然下面列出的主题是没有必要为了理解米里的活性研究,亚博体育官网这些科目的理解构成一个额外的工具时往往会证明非常有用的数学工具进行新的研究。亚博体育官网

离散数学

教科书可用在线。大多数数学研究连续或离散结构。许多人发现离散数学更直观,和一个坚实的离散数学的理解将会帮助你获得一个快速处理离散版本的其他许多数学工具,群理论等拓扑结构,和信息理论。


线性代数

线性代数是数学中几乎无处不在的工具之一。对线性代数的深入理解将有助于许多领域。


类型理论

一般集合理论作为现代数学的基础,但它不是唯一的候选人。类型理论为数学也能作为一个基础,在许多情况下,类型理论是更适合手头的问题。类型理论也桥梁的大部分理论计算机程序之间的差距和数学证明,因此常常与某些类型的人工智能的研究。亚博体育官网


范畴论

范畴论研究许多数学结构在一个非常高水平的抽象。这可以帮助你发现在不同数学分支的模式,并使它更容易转移你的数学工具从一个域到另一个地方。


拓扑结构

拓扑是另一个其中的一个科目,数学几乎无处不在。充分了解拓扑是有用的在很多意想不到的地方。


可计算性和复杂性

米里的数学研究是朝着解决亚博体育官网方案,最终将相关的计算机程序。良好的直觉对计算机有能力往往是必不可少的。


程序验证

程序验证技术允许程序员成为相信一个特定的程序会根据一些行为规范。(它是什么,当然,尽管MIRI的工作目前并不涉及验证真实世界的程序,它是非常有用的理解现代程序验证技术可以和不能做什么。

理解任务

为什么这种研究呢?亚博体育官网吗?

超智

本指南主要假定你已经与美里的使命,但如果你想知道为什么这么多人认为这是一个重要而紧迫的研究领域首先,亚博体育官网,超智提供了一个很好的概述。


理性,从人工智能到僵尸

这个电子多美编译六卷的文章解释米里背后的哲学和认知科学的角度对人工智能。


不平衡

微观经济学的讨论和认识论在发现社会失误和盲点,包括被忽视的研究机会。亚博体育官网试图回答的基本问题,"雄心勃勃的项目什么时候可以实现不同寻常的目标希望能成功吗?""