米里指南的研究亚博体育官网

Nate Soares


如果人类要发展自己的人工智能,有积极的影响,我们必须迎接三个严峻的挑战。首先,我们必须自己设计系统亚博体育苹果app官方下载高度可靠,这样我们就可以证明系统将满足指定目标或偏好的信心。亚博体育苹果app官方下载第二,设计必须是不变性,使得系统在面对不可避免的亚博体育苹果app官方下载人为错误时能够进行在线修改和校正。第三,系统必须亚博体育苹果app官方下载实际学习有益的目标或偏好。

MIRI目前的研究项目集中在如亚博体育官网何理解原则上迎接这些挑战。方面有可靠的推理,我们尚不清楚即使在理论;甚至在简化的设置中,我们也无法解决有限理性的问题。我们的研究重点是在简化的设置中找到解决方案,作为第一步。像这样的,我们的现代研究看起来更亚博体育官网像是纯数学,而不是软件工程或者实际的机器学习。

本指南简要概述了我们的研究重点,亚博体育官网并提供资源可以帮助你获得每个学科领域的前沿。本指南并不旨在证明这些研究课题的正确性;亚博体育官网为进一步激励我们的方法,参考文章“米里法“,或者对我们技术议程支持文件

注释(2016年9月):这项研究指南是基于我亚博体育官网们的代理基金会议程。截至2016,我们还有一个机器学习的主要议程。查阅该文件,获取我们认为很有前途的研究方向的更多信息,亚博体育官网以及本指南未包括的内容。


如何使用本指南

本指南的目的是为有抱负的研究人员还没有精通相关的主题领域。亚博体育官网如果你已经是人工智能专家或者经验丰富的数学家,我们认为不现有出版物相反。(我们的技术议程这是一个很好的起点。)本指南针对的是那些想知道如果将来想成为MIRI研究人员应该学习什么的学生,亚博体育官网还有其他领域的专业人士,他们希望加快我们的工作进度。

亚博体育官网研究人员通常最终加入我们的团队通过两条路径之一。第一是参加MIRI研讨会,亲自与我们建立关系。您可以使用这种形式申请参加研究研讨会。亚博体育官网请注意,车间之间通常有相当长的时间,他们有能力有限。

第二条路径是独立研究议程上取得一些进展,让我们知道你的结果。亚博体育官网您可以使用我们的在线表格申请协助或协助你的工作,但是开始贡献的最快方式是阅读智能代理基础论坛(IAFF)注意人们正在处理的未决问题,解决一个问题。然后您可以将结果作为链接在论坛上。

这个研究论坛的主要目的是让那些已经站在同一页上的研究人亚博体育官网员讨论未抛光的部分结果。像这样的,帖子在论坛上可能非常不透明。本研究指南亚博体育官网可以帮助你赶上IAFF开放问题正在讨论。它还可以帮助您开发必要的技能来获得车间,或者想办法解决其他机构在人工智能方面的开放性问题。

本指南开始对基础学科的建议之前,重要的是要理解尝试这种风格的研究,亚博体育官网如概率论。在那之后,分解成一系列的领域,与论文将抓住你艺术的状态。

这不是一个线性指南:如果你想成为MIRI的研究者,亚博体育官网我建议首先确保您了解基本知识,然后选择一个你感兴趣的话题,深入那个领域。一旦你理解了一个主题,你会准备尝试在IAFF主题区域。

所有材料都在本指南中,请不要为了磨掉而磨掉。如果你已经知道材料,跳过前面。如果其中一个活跃的研究领域未能引起你的兴趣亚博体育官网,换个别的。如果你不喜欢推荐的教科书,找到一个更好的一个或完全跳过它。这个指南应该作为一个工具,用来找出你可以在哪里做出贡献,不会成为实现这一目标的障碍。


基础知识

很重要有流利的用初等数学概念在直接转入我们之前活跃的研究课题。亚博体育官网我们对计算的基本理解很亚博体育官网好地服务于所有的研究领域,逻辑,概率论。以下是一些资源来帮助您开始。

你不需要按照列出的顺序阅读本节中的书。拿起任何有趣的东西,如果需要的话,不要犹豫,在研究领域和基础知识之间来回跳跃。亚博体育官网

集合论

大多数现代数学是以集合论形式化的,这里列出的教科书和报纸也不例外。这使得集合论成为一个很好的起点。



第1-18章

可计算性和逻辑

可计算性理论(以及对角化带来的限制)是理解机器能做什么和不能做什么的基础。



第1-4章

概率论

概率论是理性的理解的核心机构。熟悉下推理的不确定性在我们所有的活跃的研究领域是至关重要的。亚博体育官网



第1-5章

概率推理

这本书将帮助充实的理解如何使用概率推理世界模型。


统计

流利的统计建模有助于“面向高级机器学习的校准“亚博体育官网研究议程。一些之前熟悉概率推理是一个好主意。


机器学习

制订一个切实可行的熟悉机器学习,我们强烈推荐安得烈吴Coursera课程(课堂讲稿在这里)更多的理论引入毫升,尝试理解机器学习


人工智能

虽然我们的工作特征理论,了解现代人工智能领域的知识对于将此工作置于背景中很重要。

同样重要的是理解VNM理性的概念,我建议学习维基百科文章但也可以从原著。冯·诺依曼和Morgenstern表明任何代理遵守一些简单的一致性公理行为与偏好characterizable效用函数。虽然有些人预期,为了构造可靠的智能代理,我们最终可能需要放弃VNM的合理性,VNM框架仍然是我们用来描述任意强大代理的行为的最具表现力的框架。(例如,看到正交性命题工具收敛命题从Bostrom的““超智者的意志。“)VNM合理性的概念在我们所有活跃的研究领域。亚博体育官网



现实世界模型

形式化有益的目标对你没有什么好处,如果你自己系统是不可靠的。亚博体育苹果app官方下载方面有良好的推理,我们还不了解,甚至在原则上。通过构建使用似乎有效的算法的实际系统,有可能获得洞察力,亚博体育苹果app官方下载即使他们工作的原因是没有很好理解:通常,理论理解是随着实际应用而产生的。然而,当设计具有成为超智能的潜力的系统时,我们认为这种方法是不明智的:在试图创建实用的超智能系统之前,如果我亚博体育苹果app官方下载们手头有通用智能理论,我们将更安全。

由于这个原因,我们许多活跃的研究课题都集中在我们还不亚博体育官网了解如何解决的部分普通智力上,甚至在原则上。例如,考虑以下问题:

我有一个计算机程序,被称为“宇宙。”宇宙中的一个功能是未定义的。你的工作是为我提供一个合适的计算机程序,以完成我的宇宙计划。然后,我将运行我的宇宙计划。我的目标是根据你的经纪人对原始宇宙计划的了解程度来评分。

我该怎么办呢?所罗门诺夫的归纳推理理论揭示了一个理论解:它描述了一种从观测中做出理想预测的方法,但是只有在外面的情况下,预测的生活环境。所罗门诺夫归纳法为思考归纳推理提供了许多有用的工具(包括Kolmogorov复杂性,普遍先验,艾熙)但问题变得明显更困难的情况下,代理是一个宇宙的子流程,由宇宙计算的。

如果代理是嵌入的环境,归纳问题变得模糊:什么算学习宇宙计划?对于环境上的什么分布,应该对代理进行评分?什么是理想的感应的情况”之间的界限代理“和“环境“变得模糊?这些问题的“归化诱导。”“

  1. 苏亚雷斯’”“形式化的现实世界模型的两个问题“进一步激发归化归纳问题,因为它与一般智力理论的建设有关。

  2. “牵牛星”的““Solomonoff感应的直观解释“Solomonoff的归纳推理理论解释说这是理解自然化归纳的开放性问题的重要背景知识。

  3. 本辛格的““归化诱导“(系列)更详细地探讨了归化感应的问题。

解决归化归纳问题需要更好地理解现实世界模型:什么是可能的现实?理想的代理人使用什么样的环境先决条件?这些问题的答案必须不仅允许良好的推理,它们必须允许根据这些世界模型来指定人类目标。

例如,在所罗门诺夫归纳(和在哈特的AIXI),图灵机是用来模拟环境。假设我们唯一看重的是钻石(碳原子与其他四个碳原子共价结合)。现在,说我给你一台图灵机。你能告诉我钻石是在多少??

为了设计一个代理,追求目标指定的世界模型,代理必须在其世界模型(图灵机)内有某种方式识别我们的目标(碳原子)的本体。这种“本体识别在"将现实世界模型的两个问题形式化(上文链接)首先由De Blanc介绍:

  1. De Blanc的““本体论危机在人工代理商的价值体系亚博体育苹果app官方下载“问一个如何让一个代理的目标鲁棒本体的变化。如果代理开始于一个原子物理模型(碳原子本体论地基本),那么这可能不是很难。但是当代理构建一个核的物理模型(原子都是由质子和中子)?如果“碳识别器”是硬编码的,代理可能无法识别任何碳在这个新的世界模型,可能开始表现奇怪(寻找隐藏的)真碳)如何设计代理以便它能够成功地识别六质子原子用“碳原子为了应对这种本体论危机??


莱格和Hutter”“通用智能:机器智能的定义“形容艾溪,一种通用智能代理,在代理与环境分离的设置中,和“评分指标用于在此设置中评估各种代理程序的智能。Hutter AIXI和莱格的得分指标非常相似的精神我们正在寻找在回应归化感应和本体识别的问题。两个差异是AIXI住在一个宇宙中代理和环境分离而归化感应需要一个解决方案,代理是嵌入到环境,AIXI最大化了根据观察而指定的奖励,而我们希望有一种解决方案来优化根据外部世界指定的奖励。

您可以了解更多关于AIXI Hutter的书通用人工智能,尽管阅读Legg的论文(上面链接)对于我们的目的来说可能已经足够了。


决策理论

我给你以下说:(1)计算机程序描述宇宙;(2)计算机程序描述代理;(3)可用一组行动代理人;(4)在宇宙所处的状态的历史中指定的一组偏好。我任务你确定最好的行动提供给代理,关于那些偏好。例如,您的输入可以是:

def Universe(): .={Lo,医学博士Hi}action={One,两个,3}def Agent(): worldmodel={Lo:One,嗨,两个,地中海:三}返回worldmodel(Hi)领土= {:瞧,二:医学博士,三:嗨}返回领土(代理())
def Agent(): worldmodel={Lo:one,嗨,两个,地中海:三}返回worldmodel(你好)
行动= {1,两个,3 }
嗨!

(注意代理是如何嵌入到环境中的。)这是我们不知道如何回答的另一个问题,甚至在原则上。看起来简单:遍历每一个行动,弄清楚如果代理人采取那个行动,将会得到什么结果,然后选择行动导致最好的结果。但事实上,在这个思想实验,代理是确定性计算机程序的一个确定性子过程:代理将输出一个确切的动作,问什么“会发生”如果一个确定的确定性项目的一部分的东西它不做是不明确的。

为了评估什么“会发生”如果代理人采取了不同的行动,A反事实的环境”(代理的东西它不会)必须构造。反事实推理的令人满意的理论还不存在。我们尚不知道如何识别出内嵌的最佳动作可以代理它的环境,即使在理论上,甚至给予我们对宇宙的充分知识和我们的偏好,以及无限的计算能力。

解决这个问题需要更好地理解反事实推理;这是决策理论的一个领域。

决策理论

彼得森的教科书解释领域的规范性决策理论在宽阔的中风。为了更快的调查,更加关注Newcomblike问题,见穆勒豪泽的“决策理论常见问题."“


博弈论

决策理论中的许多未决问题涉及多智能体设置。我听说过塔德利斯教科书的好消息,但是我自己没有读过。你也可以和斯科特·亚历山大一起走运“博弈论导论“少犯错误。



第1-5章
(+6-9,如果热情)

证明逻辑

多智能体设置的玩具模型可以在一个环境中研究,在该环境中,智能体基于它们能够证明的关于同一环境中的其他智能体的东西来采取行动。目前大量使用的玩具模型只是逻辑。

现有的反事实推理方法在短期(在有可能取得良好结果的一些问题上,它们系统性地取得不良结果)和长期(在使用不良反事实进行自我修正代理人推理时,亚博体育苹果app官方下载根据这些破碎的反设事实,决定他们不应该修复所有的缺陷)。我的谈话“你为什么不富有??“简要地谈到这两点。为了了解更多,我建议以下资源:

  1. 苏亚雷斯& Fallenstein的““走向理想化决策理论“作为总体概述,,进一步激励问题的决策理论相关米里的研究项目。亚博体育官网本文论述了两个现代决策理论的缺点,并讨论了决策理论的一些新见解,指向新方法执行反事实的推理。

如果“理想化的决策理论”动作太快,这一系列的博客帖子可能是一个更好的开始:

  1. Yudkowsky的““真正的囚徒困境“解释了为什么合作不是自动“正确”或“好”选项。

  2. 苏亚雷斯’”“因果决策理论是令人不满意的“使用“囚徒困境”来说明非因果决定算法之间的联系的重要性。

  3. Yudkowsky的““纽科姆的问题与理性的遗憾“主张关注于“获胜”的决策理论,不仅仅是那些直觉上合理的。苏亚雷斯’”“Newcomblike问题简介“覆盖相似的地面。

  4. 苏亚雷斯’”“新问题很常见。“注意,人类代理在常规基础上对彼此的决策标准进行概率建模。

MIRI的研究亚博体育官网导致了Updateless决策理论”(UDT),一个新的决策理论,地址上面讨论的许多缺点。

  1. Hintze的““预测性困境中的问题类优势“总结了UDT相对于其他已知决策理论的优势,包括永恒决策理论(TDT),另一种理论主导CDT和美国东部时间。

  2. Fallenstein的““一个具有具体优先于逻辑语句的UDT模型“提供概率形式化。

然而,UDT绝不是一个解决方案,和自己有很多的缺点,讨论了在以下地方:

  1. Slepnev的““UDT中自实现伪证明的一个例子“解释了UDT能够达到最优结果由于虚假证明。

  2. 本森-蒂尔森氏“具有已知搜索顺序的UDT“是有点不满意的解决方案。它包含一个形式化的UDT已知proof-search秩序和演示了利用一种被称为“技术的必要性和宇宙玩鸡皮疙瘩为了避免伪证。

为了研究多代理设置,Patrick LaVictoire开发了一个模态代理框架,这也使我们能够利用可证明性逻辑在决策理论领域取得一些新的进展:

  1. Barasz et al。”“牢靠的合作在囚徒困境“允许我们考虑代理它决定是否与对方合作只基于他们所能证明对彼此的行为。这防止了无限回归;事实上,两个代理的行为只能根据它们能够证明的关于另一个代理的行为来确定,可以使用来自可证明性逻辑的结果在二次时间中确定这两个代理的行为。


UDT由魏岱和弗拉基米尔·斯莱普涅夫共同开发,在其他中。戴笠的”“对一个新的决策理论“介绍了想法,Slepnev的““停止oracle UDT的典范“提供了早期的第一个正式化。UDT Slepnev还描述了一个奇怪的问题,好像代理商的奖励有智力低,在““代理模拟预测器“。

这些博客文章感兴趣的历史,但几乎所有的内容都是在“理想化的决策理论”,以上。


逻辑不确定性

想象一个黑盒子,一个输入滑道和两个输出滑道。一个球可以放进输入斜槽,并将两个输出的降落伞。黑匣子里面有一台Rube Goldberg机器,它把球从输入滑道带到输出滑道之一。

完美的概率reasoner谁不知道哪个小题大作的机器是在盒子里不知道盒子将如何表现,但如果他们能弄清楚盒子里是哪台机器,然后他们会知道哪个滑道会带球。这个推理者是环境不确定的

一个现实的推理者可能知道盒子里装的是哪台机器,也许能确切地知道机器是如何工作的,但可能缺乏找出机器的演绎能力将会下降。这个推理者是逻辑上不确定。

概率论假设逻辑全知;它假设推理者知道所有的事情他们知道后果。事实上,有界的推理者不是逻辑上无所不知:我们可以清楚地知道哪些机器箱实现和精确的机器是如何工作的,只是没有时间推断球从哪里出来。我们在逻辑不确定性下推理。

一个正式的理论下的推理逻辑不存在不确定性。在构建高度可靠的一般智能系统时,获得这种理解是极其重要的:无论何时,当代理人为复杂系统的行为提出理由时,亚博体育苹果app官方下载计算机程序,或其他代理,它必须在至少一个逻辑操作的不确定性。

为了理解艺术的状态,必须对概率论有扎实的理解;考虑扩充杰恩斯具有樵夫,第1章,5,6,9,然后研究以下论文:

  1. 苏亚雷斯& Fallenstein的““逻辑不确定条件下的推理问题“提供了一个通用的介绍,解释逻辑领域的不确定性和激励其相关性米里的研究项目。亚博体育官网

  2. Gaifman的““关于一阶微积分的测度“很多年前看这个问题。Gaifman主要关注一个相关的子问题,这是对形式系统的不同模型的概率分配(假设一旦模型已知,亚博体育苹果app官方下载所有的后果模型是已知的)。我们现在正试图将这种方法扩展到逻辑不确定性的更完整的概念(其中推理者可以知道模型是什么,但不知道该模型的含义),但是盖夫曼的作品对于理解围绕逻辑不确定性的历史背景和困难仍然很有用。

  3. 哈特等人“表达逻辑中句子的概率“主要关注假设访问无限计算能力(以及许多级别的暂停预言)的逻辑不确定性问题。Hutter理解的方法(和什么可以用无限的计算能力)有助于充实我们理解困难的问题在哪里。

  4. Demski的““逻辑先验概率“提供了一个可计算的可逼近的逻辑之前。跟着德姆斯基,我们的工作主要集中于在逻辑句子上建立一个近似的先验概率分布,《炼油和近似逻辑之前非常相似的推理逻辑下的不确定性。

  5. global的““Non-omniscience,概率推理,和元数学“基本上遵循这种方法。本文提供了一些早期的实际考虑的生成逻辑先知先觉,并强调了一些尚未解决的问题。


关于这个问题的更多历史工作,看到Gaifman”“富语言上的概率……”和““用有限的资源进行推理并将概率分配给算术语句."“


文根反射

人工智能问题的独特之处在于,一个足够先进的系统将能够比它的人类程序员进行更高质量的科学和工程。亚博体育苹果app官方下载先进系统的许多可能危害和益处源于其将自身提升到更高能力级别的潜力,亚博体育苹果app官方下载可能导致情报爆炸

如果代理人通过递归自我改进获得超智能,那么结果系统的影响完全取决于初始系统对比自身更智能的代理进行可靠推亚博体育苹果app官方下载理的能力。什么样的推理方法的系统可以使用为了证明极高的信心的行为更多的智能系统吗?亚博体育苹果app官方下载我们把这种推理称为“Vingean反射”,》后,弗诺·文奇(一千九百九十三)他指出,一般是不可能精确地预测行为的代理比理性的人聪明。

进行文根式反思的推理者必须进行推理。抽象关于更聪明的代理人。这几乎肯定会需要某种形式的高信任度逻辑上不确定推理,但是代替了逻辑不确定性的工作理论,使用形式逻辑推理证明()是最好的可用的研究抽象推理的形式主义。像这样的,文根反思的现代研究需要形式逻辑的背景:

一阶逻辑

美里现有的玩具模型为研究变为无效来代理,很大程度上都是基于这个逻辑。理解一阶逻辑的细微差别的关键研究正式系统使用我们所开发的工具能够接近对类似系统的信心。亚博体育苹果app官方下载

我们通过构建代理的玩具模型来研究Vingean反射,这些模型能够在高度相似的系统中获得某种形式的置信度。亚博体育苹果app官方下载为了达到前沿,阅读下列论文:

  1. Fallenstein & Soares’”“Vingean反射:可靠的理由自我完善的代理“介绍了文根反射场,并激励其连接米里的研究项目。亚博体育官网

  2. Yudkowsky的““拖延悖论“更详细地讨论在Lbian障碍物之间走一条细线需要令人满意的解决方案(这个问题源于太少)自信”(以及)也来自于不健康许多的自信心。

  3. global et al。”“可定义性概率逻辑真理“描述了一个早期的尝试,试图创建一个正式的系统,它可以在避免自我参照悖论的同时进行自我推理。亚博体育苹果app官方下载它成功了,但最终被证明是不健全的。我的演练因为这篇论文可能有助于把它放到一个更宽泛的背景中。

  4. Fallenstein & Soares’”“自改进时空嵌入智能中的自参照问题“描述我们简单的建议者-验证者模型,用于研究产生稍微改进的自身版本的代理,或者“瓦片”本身。本文演示了一个玩具场景,其中声音代理可以成功地平铺到(例如,获得高度的信心)其他类似的代理。


尤德科夫斯基和赫雷肖夫氏"“自改性AI耕作剂“是一个古老的,股市介绍Vingean反射可能更容易通过使用我的工作演练

如果你兴奋的研究课题,亚博体育官网还有许多其他相关的技术报告。不幸的是,他们中的大多数人没有很好地解释他们的动机,并且还没有被放到他们更大的背景中。

Fallenstein的““概率逻辑中的拖延“说明Christiano等人的概率推理系统如何不健全,容易受到拖延悖论的影响。亚博体育苹果app官方下载Yudkowsky的““允许平铺的分配……”采取一些早期步骤实现概率平铺设置。

Fallenstein的““减少数学的力量……”描述了一个不满意的属性参数多态性,Lbian障碍的局部解。苏亚雷斯’”“Fallenstein的怪物“描述了一个独创性的正式系统,避免了上述问题。亚博体育苹果app官方下载它还展示了用于限制代理的目标谓词的机制,该机制还可以被参数多态性用于创建比平铺代理文件中所探索的版本更少限制的PP。Fallenstein的““一个无限降序的声音序列理论……”描述了一种更优雅的Lbian障碍的局部解决方案,这是我们现在偏爱的部分解决方案之一。

理解递归序列提供了一个有用的上下文来理解这些结果,并且可以通过阅读获得弗兰岑的““超限进展:一眼完整性。““


可矫正性

随着人工智能系统的智力和能力的增长,亚博体育苹果app官方下载他们的一些可用选项可能允许他们抵制程序员的干预。我们称之为人工智能系统”亚博体育苹果app官方下载可纠正的如果它与其创建者认为的纠正性干预进行合作,尽管违约鼓励理性的代理人拒绝尝试关掉或修改他们的偏好。

这个研究领域基本上是全新的,亚博体育官网所以,要想赶上速度,只需要读一两篇论文:

  1. 苏亚雷斯等人的““可矫正性“介绍了现场,随着几开放问题。

  2. 阿姆斯特朗的““本征值学习冷漠“讨论一种使代理人无动于衷的潜在方法,在代理人最大化的效用函数之间,这是向允许自己修改的代理迈出的一小步。

我们目前关于可纠正性的工作主要集中于一个小的子问题,称为关机问题_如何构造在按下关闭按钮时关闭的代理,哪些人没有动力去引起或阻止按下按钮?在该子问题,我们目前专注于效用无差异的问题:你怎么能构造一个代理你可以开关的效用函数最大化,没有给它激励影响是否切换?即使我们有一个令人满意的解决方案的效用无差异的问题,这不会产生一个令人满意的解决停车问题,因为它似乎仍然难以充分指定”关闭行为的方式是免疫的实例化。斯图尔特·阿姆斯特朗已经写了几篇关于减少冲击AGIS:

  1. ““国内化减少影响的人工智能““
  2. ““减少影响人工智能:没有渠道““

这些最初的尝试尚未完全解决,但是他们应该能让你了解我们目前对这个问题的理解。


早期的可靠性工作可以在网络论坛上找到。少错。大部分相关结果都包含在上述论文中。更有趣的是““蛋糕还是死亡“,例如动机价值选择问题。在这个例子中,代理人的效用函数的好处避免不确定性信息,减少不确定性。

阿姆斯特朗的““减少影响的数学:需要帮助“列表初始想法影响减轻指定代理,还有他的““在实践中减少影响:随机抽样的未来“勾画了一个简单的方法来评估未来是否受到了影响。

阿姆斯特朗的““效用冷漠“勾勒出最初的效用无关思想,由于历史原因,在很大程度上是有趣。它被通过冷漠进行正确的价值学习上面链接的纸张。


值的学习

由于我们自己的价值观是模糊和不完整的,也许将值加载到功能强大的AI中最有希望的方法是为代理指定一个条件学习我们的价值观不断。但这带来了很多有趣的问题:

说你构建一个训练集包含许多结果充满快乐的人类(标记为“好”)和其他结果充满悲伤的人类(标记为“坏”)最简单的概括,从这个数据,可能是人类真的很喜欢人形smiling-things:这个代理可能会试图构建许多微小的电子满脸幸福的人。

价值学习必须是一个在线过程:系统必须能够识别歧义并向用户提出关于这些歧义的查询。亚博体育苹果app官方下载它不仅必须识别那些不知道如何分类的案例(比如不能分辨一张脸是开心还是悲伤的情况),但是识别培训数据没有给出任何信息的维度(比如,当培训数据从来没有显示出充满看起来快乐的人形自动机的结果时,贴上一文不值)。

当然,单靠模棱两可的识别是不够的:你不希望一个系统花头三周时间要求澄清人类在不同海拔高度时是否仍然值得,亚博体育苹果app官方下载或当风吹,在最后(在操作者停止注意之后)询问人类形状的东西是否按照自己的意愿行事是重要的。

为了让代理人能够可靠地了解我们意图,代理必须构建和精炼的模型算子和使用该模型通知其查询和改变其偏好。为了更多地了解这些问题和其他问题,参见以下内容:

  1. 苏亚雷斯’”“值的学习问题“提供几个与价值学习相关的开放问题的一般概述。

  2. 杜威的““学会珍惜什么“进一步探讨了价值学习的难点。

  3. 这个正交性命题认为价值学习在缺省情况下不会得到解决。

  4. 麦卡斯基尔的““规范的不确定性“为讨论规范不确定性提供了一个框架。被警告,充分的工作,虽然包含许多见解,很长。你可以侥幸略读零部件和/或跳过一些,尤其是当你对积极研究的其他领域更兴奋的时候。亚博体育官网


一种方法解决规范的不确定性是博斯特罗姆&奥德的““议会模式,“这表明学习有点价值相当于一个选民聚集的问题,和许多价值学习系统可以建模为议会投票系统可能的效用函数(选亚博体育苹果app官方下载民)。

欧文Cotton-Barratt的““归一化的几何原因……”讨论了效用函数的归一化;这是有关玩具模型的推理在道德上的不确定性。

Fallenstein & Stiennon氏"“响度“讨论关注聚合效用函数源于这一事实偏好由效用函数保存在积极的仿射变换编码(例如当效用函数被缩放或移位时。这意味着需要特别注意,以便规范化一组可能的函数。


其他工具

掌握任何学科都是非常有力的工具,特别是在数学领域,表面上不相交的话题实际上是紧密相连的。许多数学领域都具有这样的性质,如果你非常理解它们,那么无论你去哪里,这种理解都是有用的。记住这一点,虽然为了理解MIRI的积极研究,下面列出的课题不是必须的,亚博体育官网对这些主题的理解构成了数学工具箱中的一个附加工具,当进行新的研究时,这个工具箱将经常被证明是非常有用的。亚博体育官网

离散数学

有课本在线。大多数数学研究连续或离散结构。许多人发现离散数学更直观,对离散数学的深刻理解将帮助您快速掌握许多其他数学工具的离散版本,如群论,拓扑学,和信息理论。


线性代数

线性代数是一种工具,显示几乎在数学。充分理解线性代数将帮助在许多领域。


类型理论

一般集合理论作为现代数学的基础,但它不是唯一可用的候选人。类型理论也可以作为数学的基础,在许多情况下,类型理论更适合于手头的问题。类型理论也桥梁的大部分理论计算机程序之间的差距和数学证明,因此,通常与某些类型的人工智能研究相关。亚博体育官网


范畴论

范畴理论在很高的抽象层次上研究许多数学结构。这可以帮助你注意到不同数学分支中的模式,并且使你的数学工具从一个领域转移到另一个领域更容易。


拓扑

拓扑是另一个其中的一个科目,数学几乎无处不在。在许多意想不到的地方,对拓扑的深入理解是有帮助的。


可计算性和复杂性

米里的数学研究是朝着解决亚博体育官网方案,最终将相关的计算机程序。对计算机能力的良好直觉往往是必不可少的。


程序验证

程序验证技术允许程序员对特定程序将根据某些规范实际操作变得有信心。(是,当然,尽管MIRI的工作目前并不涉及验证真实世界的程序,理解现代程序验证技术能做什么和不能做什么非常有用。

理解使命

为什么首先要进行这种研究?亚博体育官网?

超智能

本指南主要假设您已经完成了MIRI的任务,但如果你想知道为什么这么多人首先认为这是一个重要而紧迫的研究领域,亚博体育官网,超智能提供了一个很好的概述。


理性,从人工智能到僵尸

这本电子书汇编了六卷论文,解释了MIRI对人工智能观点背后的哲学和认知科学。


不平衡

讨论微观经济学和认识论在指出社会失误和盲点方面的作用,包括被忽视的研究机会。亚博体育官网试图回答基本问题,“什么时候实现非同寻常目标的雄心勃勃的项目才有希望成功?““