米里常见问题解答


  1. 1。MIRI的任务是什么?吗?
  2. 2。为什么认为人工智能可以胜过人类?吗?
  3. 三。为什么安全对于比人类智能的人工智能来说很重要?吗?
  4. 4.研究人亚博体育官网员认为人工智能迫在眉睫吗?吗?
  5. 5.你在解决什么技术问题?吗?
  6. 6。为什么要早点从事人工智能安全工作?吗?
  7. 7。我该如何贡献?吗?

1。MIRI的任务是什么?吗?


我们的使命宣言是“确保创造出比人类更聪明的人工智能具有积极的影响。”这是一个雄心勃勃的目标,但是我们相信早期的进步是可能的,和我们认为目标的重要性和难度使其早日谨慎地开始工作。

我们的两个研究议亚博体育官网程,””代理基础调整机器智能与人类的利益”和“”先进机器学习系统的价值定位亚博体育苹果app官方下载,”关注三组技术问题:

  • 高度可靠的代理设计——学习如何指定高度的自治系统可靠地追求一些固定的目标;亚博体育苹果app官方下载;
  • 价值规范-向自治系统提供预期目标;亚博体育苹果app官方下载和
  • 误差容限——使这种系统健壮的程序员的亚博体育苹果app官方下载错误。

我们发布新亚博体育官网 ,主机亚博体育官网 ,参加会议,和基金以外的人员亚博体育官网有兴趣调查这些问题的人。我们还举办了一个yabo体育官网 和一个在线亚博体育官网研究论坛.

2。为什么认为人工智能可以胜过人类?吗?


机器在许多特定任务上已经比人类更聪明:执行计算,下棋,搜索大型数据库,探测水下地雷,还有更多。然而,人类智能在总体上继续主导着机器智能。

一台功能强大的国际象棋计算机是狭隘的它不能玩其他的游戏。相反,人类具有解决问题的能力,允许我们适应新的环境,在许多领域超越祖先环境为我们准备的。

正式定义的““智力””(因此)”人工智能”)我们可以启发性地引用人类的感知,推理的,和深思熟虑的能力(相反,例如。,我们的身体力量或敏捷性)和说,智慧是“那些东西。”在这个概念,智力是一堆独特的能力-尽管是一个非常重要的捆绑,包括我们的科学能力。

我们的认知能力源于高级模式在我们的大脑中,这些模式可以被实例化硅和碳。这告诉我们通用人工智能是可能的,虽然它没有告诉我们有多难。如果智力足够难以理解,然后我们可以通过扫描和模拟人脑或者通过反复试验(比如进化)来获得机器智能,而不是通过手工编码软件代理。

如果机器能够在认知任务中实现人类的等效性,那么它们最终很可能会超过人类。没有理由期待生物进化,由于缺乏远见和规划,会碰到一般智能的最优算法(比它碰到鸟类中最优的飞行机器更多)。超越质量改进在认知,尼克·博斯特伦笔记我们可以在数字头脑中实现更直接的优势,例如。:

  • - - - - - -”在软件中进行参数变化的实验比在神经湿器上更容易。””2
  • 速度- - - - - -”光速比神经传递的速度大一百多万倍,突触尖峰耗散的热量是热力学必要量的一百多万倍,电流晶体管的频率比神经元的尖峰频率快一百多万倍。””
  • 序列深度-在短期内,机器可以执行更长的顺序过程。
  • 存储容量计算机似乎具有更大的工作能力和长期记忆。
  • 大小计算机可以比人脑大得多。
  • 复制性-将软件复制到新的硬件上比生物复制要快得多,保真度更高。

这些优点中的任何一个都可能使人工智能推理机优于人类推理机,或给一群人工智能推理者胜过人类的群体。他们的结合表明,数字头脑可以比我们预期的更快、更果断地超越人类头脑。

三。为什么安全对于比人类智能的人工智能来说很重要?吗?


当人工智能算法必须在没有人工监督的情况下在重要领域工作时,它们已经需要特殊的安全保证,特别是当它们或其环境可以随时间改变时:

实现[来自自治系统的]这些收益将取决于开发全新的实现方法亚博体育苹果app官方下载自主信任通过验证和确认(v和v)接近无限状态的系统,由于高水平的适应性和自主性。亚博体育苹果app官方下载实际上,可能的输入状态数,这样的系统可以提供如此之多,它不仅是不可能测试所有直接的,亚博体育苹果app官方下载甚至不可能测试多于一小部分。因此,此类系统的开发本质上不能通过今天的亚博体育苹果app官方下载方法验证,因此,它们在所有但相对较小的应用程序中的操作是不可靠的。

可以开发系统有高水平的自主权,亚博体育苹果app官方下载但是,缺乏合适的V&V方法会阻止所有但相对较低的自治级别被认证为使用。

随着人工智能能力的提高,给予AI系统更大的自主权将变得更容易,亚博体育苹果app官方下载灵活性,和控制;会有越来越大的激励措施,利用这些新的可能性。人工智能系统变得更加通用的潜力,亚博体育苹果app官方下载特别地,将很难建立安全保证:在测试过程中可靠的规律并不总是保持测试后。

人类福利的最大、最持久的变化来自科技创新——这反过来来自我们的情报。从长远来看,然后,人工智能的重要意义在于其自动化和增强科学技术进步的潜力。创建自己的人工智能带来了基本知识进步本身的风险和好处,以数字的速度。

随着人工智能代理变得更有能力,分析和验证他们的决策和目标变得更重要(也更困难)。斯图尔特·罗素:

主要关心的不是可怕的紧急意识,而是简单的能力,使高质量的决策.在这里,质量是指所采取行动的预期结果效用,其中,效用函数是,大概,由人工设计器指定。现在我们有一个问题:

  1. 效用函数可能不完全符合人类的价值观,最多很难确定。
  2. 任何具有足够能力的智能系统都希望确保自身的持续存在并获取物理和计算资源——亚博体育苹果app官方下载而不是为了它们自己,但是为了完成分配的任务。

正在亚博体育苹果app官方下载优化以下功能的系统n变量,其中目标取决于大小子集k ,将剩余的无约束变量设置为极值;如果这些无约束变量之一是我们真正关心的,所发现的解决方案可能是非常不理想的。这基本上是灯中精灵的古老故事,或者巫师的学徒,或者迈达斯国王:你得到了你想要的,不是你想要的。

Bostrom的“”超智者的意志”更详细地阐述这两个问题:我们可能没有正确地指定编程比人类更智能的人工智能系统的实际目标,亚博体育苹果app官方下载并且大多数为错误指定目标而优化的代理将具有对人类进行敌对对待的激励,作为实现代理人目标的潜在威胁或障碍。

如果人类和人工智能代理的目标不一致,更多的知识和技术能力代理可能会使用武力来得到自己想要的东西,正如在人类社会之间的许多冲突中发生的那样。事先注意到了这类问题,我们有机会通过将研究导向将人造决策者的利益与我们自己的利益结合起来,来降低这种违约情形的风险。亚博体育官网

4.研究人亚博体育官网员认为人工智能迫在眉睫吗?吗?


2013年初,博斯特罗姆和穆勒调查了一百top-cited作者生活在人工智能,微软学术搜索排名。有条件的没有一场全球性的灾难会阻碍进展,”29专家回应分配一个值10%概率对我们开发一个机器”可以执行大多数人类职业至少还有一个典型的人”到2023年,到2048年50%的可能性,到2080年,概率达到90%。5

MIRI的亚博体育官网大多数研究人员大致同意10%和50%的日期,但认为人工智能可以到达明显晚于2080年。这与Bostrom在超智:

我个人的看法是,专家调查中报告的中值数字在晚些时候到达时没有足够的概率质量。到2075年甚至2100年(在条件化之后)HLMI(人级机器智能)没有开发的概率为10%;人类科学活动没有大的负面影响(似乎)太低了。

历史上,人工智亚博体育官网能研究人员还没有一个强有力的记录能够预测在他们自己的领域的进展速度或这种进展将采取的形式。一方面,一些任务,喜欢下棋,结果证明通过令人惊讶的简单程序是可以实现的;反对者声称机器会永不“能做这个或那个一再被证明是错误的。另一方面,从业人员中比较典型的错误是低估了让系统可靠地执行现实任务所遇到的困难,亚博体育苹果app官方下载并且高估自己特定的宠物项目或技术的优势。

鉴于专家(和非专家)在预测人工智能进展方面的不良记录,,我们对何时将发明完全人工智能相对不可知。.它可能会比预期来得早,或晚于预期。

专家也信心中值10%,超智将开发人类等价的两年内,和75%的信心,超智将在30年的发展人类的等价性。这里米里研究者的观点亚博体育官网差别很大从人工智能专家的中间视图;我们期望人工智能系统一旦接亚博体育苹果app官方下载近人类的同等程度,就会相对迅速地超越人类。

5.你在解决什么技术问题?吗?


”将比人类更聪明的人工智能与人类利益结合起来这是一个极其模糊的目标。高效地处理这个问题,我们试图把它分解成几个子问题。作为起点,我们问:即使这个问题容易得多,我们仍然无法解决这个问题的哪些方面?””

为了比人类更有效地实现现实世界的目标,一般的人工智能系统将需要能亚博体育苹果app官方下载够随着时间推移了解其环境,并在可能的建议或行动之间作出决定。校准问题的简化版本,然后,会问,我们如何才能构建一个系统,了解它的环境,并有一个非常粗糙的决策标准,亚博体育苹果app官方下载像“选择能使世界钻石数量最大化的政策。””

高度可靠的代理设计这是正式指定一个软件系统的技术挑战,该软件系统可以被依赖来追求一些预先选择的玩具目标。亚博体育苹果app官方下载这个空间中的子问题的一个例子是本体标识:我们如何形式化”的目标最大化钻石”总的来说,允许一个完全自主的代理最终可能出现在意想不到的环境中,并且可以构建意想不到的假设和政策?即使我们有无限的计算能力,世界上所有的时间,目前我们不知道如何解决这个问题。这表明我们不仅缺少实用算法,还一个基本的理论框架,通过它来理解这个问题。

正式的代理AIXI试图定义是什么意思”最优行为”对于强化学习者。缺少一个简单的类AIXI方程,然而,定义是什么意思”良好行为如果目标是改变外部世界的某些东西(而不仅仅是最大化预先指定的奖励数量)。为了让代理商评估其世界模型以计算钻石的数量,与拥有特权奖励渠道相反,它的世界模型必须具有什么样的一般形式属性?如果系统更新其亚博体育苹果app官方下载假设(例如,发现弦论是真的,量子物理是假的)在某种程度上它的程序员没有预料,它是如何识别““钻石”在新款里?这是一个非常基本的问题,然而,相关理论目前还处于缺失状态。

我们可以区分高度可靠的代理设计和价值规范:一旦我们理解了如何设计一个促进目标的自主人工智能系统,亚博体育苹果app官方下载我们如何确保它的目标实际上符合我们的需要?”由于人为错误是不可避免的,我们需要能够安全地监督和重新设计人工智能算法,即使它们接近人类在认知任务中的等价性,MIRI还致力于形式化容错代理的属性。人工智能:一种现代方法,标准的教科书在人工智能,总结挑战:

尤德考斯基[…]主张友善(一种不伤害人类的愿望)应该从一开始就加以设计,但是,设计师们应该认识到,自己的设计可能是有缺陷的,而且机器人会随着时间学习和进化。因此,挑战之一是机制设计——设计一种机制以便在制衡系统下进化人工智能,亚博体育苹果app官方下载并且给出系统实用功能,这些功能在亚博体育苹果app官方下载面对这些变化时将保持友好。6

我们的技术议程更详细地描述这些未决问题,以及我们的亚博体育官网研究指南收集在线资源以供进一步学习。

6。为什么要早点从事人工智能安全工作?吗?


米里早期重视安全工作,因为我们相信这样的工作重要的,,时间敏感的,,驯服的,和翔实的.

中概述人工智能安全工作的重要性第三季度,以上.我们认为这个问题是时间敏感的结果:

  • 疏忽-目前只有少数人致力于解决MIRI技术议程中概述的未决问题。
  • 明显的困难——解决一致性问题可能需求大量的研究时间,亚博体育官网而且可能比能力研究更难并行化。亚博体育官网
  • 风险不对称-过早从事安全工作比过早从事安全工作具有更大的风险。
  • AI时间不确定性-人工智能的进展可能比我们预期的要快,谨慎地犯错误。
  • 人工智能的不连续进展——人工智能的进展可能会加速当我们接近一般的人工智能。这意味着,即使AI是几十年,等待一般人工智能接近的明确迹象将是危险的:只有当开始安全工作太晚时,才会出现明确的迹象。

我们还认为,今天在人工智能安全方面可以做有益的工作,即使自己的人工智能是50或100年。我们认为这有几个原因:

  • 缺乏基本理论-如果我们对自治代理人的正确行为有简单的理想化模型,但是不知道如何设计实际的实现,这可能表明需要使用开发系统进行更多的实际工作。亚博体育苹果app官方下载相反,然而,简单的模型是我们所缺失的。基本理论不一定要求我们具有软件系统实现细节的经验,亚博体育苹果app官方下载同样的理论可以应用于许多不同的实现。
  • 判例理论计算机科学家在相对缺乏实际实施的情况下,在发展基本理论方面已经多次取得成功。(众所周知的例子包括克劳德·香农,Alan Turing安德烈·科尔莫戈罗夫,和犹太珍珠)。
  • 早期结果以来,我们已经取得了重大进展优先我们看的一些理论问题,尤其在决策理论逻辑不确定性.这表明,有待采摘的低悬理论成果。

最后,我们期望人工智能安全理论的进展将有助于提高我们对鲁棒人工智能系统的理解,亚博体育苹果app官方下载在现有技术方案中,以及更广阔的战略前景。特别是,,我们期望透明度对于可靠的行为是必要的,我们认为,使自主人工智能系统对人类设计者和用户透明,具有基本的理论前提。亚博体育苹果app官方下载

对于设计比人类更智能的人工智能系统,掌握相关的理论可能不是严格必要的,高可靠性代理可能需要采用与最容易构建的、表现出不可靠行为的比人类更智能的系统非常不同的体系结构或认知算法。亚博体育苹果app官方下载出于这个原因,一些相当一般的理论问题可能与人工智能安全工作比与人工智能能力工作更为相关。人工智能安全工作信息化的关键优势,然后,包括:

  • 一般的信息价值-让人工智能安全问题更清晰、更精确,可能会让人们洞察到什么样的正式工具在回答这些问题时是有用的。因此,我们不太可能把时间花在完全错误的研究方面。亚博体育官网研究这个领域的技术问题也可以帮助我们更好地理解人工智能问题的难度,以及人工智能对准问题有多困难。
  • 信息测试要求-如果系统不透明,亚博体育苹果app官方下载那么在线测试可能不会给我们设计更安全的系统所需的大部分信息。亚博体育苹果app官方下载人类是不透明的一般推理者,研究大脑对于设计更有效的人工智能算法非常有用,但是,对于构建用于验证和验证的系统,它没有那么有用。亚博体育苹果app官方下载
  • 安全测试要求-从不透明系统中提取信息可能不安全,亚博体育苹果app官方下载因为我们建造的任何沙箱都有缺陷,这些缺陷对于超智者来说显而易见,但对于人类来说却不明显。

7。我该如何贡献?吗?


MIRI是一个主要由亚博体育官网中小型捐助者资助的非营利性研究机构。捐赠因此有助于资助我们的数学工作,讲习班,学术宣传,等。

对于那些有兴趣了解更多我们研究重点并可能和我们一起工作的人来说,亚博体育官网我们的亚博体育苹果app官方下载 有一个申请表以及一些定期更新的在线资源。

Rob Bensinger写的。上一次更新的9月18日,2016。

  1. 尼尔森(2009)。追求人工智能.剑桥大学出版社。
  2. 波斯特罗姆(2014)。超智能:路径,危险,策略.牛津大学出版社。
  3. 美国空军首席科学家办公室(2010)。技术视野:愿景空军科技2010 - 30.
  4. 罗素(2014)。””的神话和月光."”EGG.ORG.优势基础上,股份有限公司。
  5. 穆勒和博斯特罗姆(2014)。””人工智能的未来发展:专家意见综述."在穆勒(ed)。,人工智能的基本问题.Springer。
  6. 罗素和诺维格(2009)。人工智能:一种现代方法.皮尔森。