米里常见问题解答


  1. 1.MIRI的使命是什么?
  2. 2.为什么认为人工智能可以超越人类?
  3. 3.为什么是安全的更聪明,比人类的AI重要?
  4. 4.研究人亚博体育官网员认为人工智能即将到来吗?
  5. 5.你在解决什么技术问题?
  6. 6。为什么在AI安全早期工作?
  7. 7。我该如何贡献?

1.什么是美里的使命是什么?


我们的使命宣言是“确保创造比人类更聪明的人工智能产生积极影响”。“这是一个雄心勃勃的目标,但我们相信一些早期的进步这是可能的,我们认为,这个目标的重要性和艰巨性使我们谨慎地尽早开始工作。

我们的两位研究议亚博体育官网程,“使机器智能与人类利益相一致的代理基础”和“先进机器学习系统的价值取向亚博体育苹果app官方下载”集中在三个组的技术问题:

  • 高度可靠的代理设计-学习如何指定高度自主的系统,可靠地追求某个固定目标;亚博体育苹果app官方下载
  • 值规范-为自治系统提供预期目标;以及亚博体育苹果app官方下载
  • 容错-使这样的系统对程序员的错误亚博体育苹果app官方下载具有鲁棒性。

我们发布新亚博体育官网 、主机亚博体育官网 ,出席会议,以及基金以外的人员亚博体育官网谁感兴趣的研究这些问题。我们也主机yabo体育官网 和一个在线亚博体育官网研究论坛

2。为什么认为人工智能可以胜过人类?


机器已经聪明比人类是许多具体的任务:执行计算,下棋,搜索资料库大,探测水雷等。1然而,人类智能继续在总体上主导着机器智能。

一个强大的国际象棋电脑“缩小”:它不能玩其他游戏。相比之下,人类具有解决问题的能力,使我们能够适应新的环境,并在比祖传的环境为我们准备了其他许多领域脱颖而出。

在不存在的“智力”的正式定义(因此的“人工智能”),我们可以直观地引用人类的知觉、推理和思考能力(与之相对的是我们的体力或敏捷性),并说智力是“这一类的东西”。根据这一概念,智力是一组独特的官能——尽管这是一组非常重要的官能,包括我们的科学能力。

我们的认知能力源于我们大脑中的高级模式,这些模式可以在硅和碳中进行实例化。这告诉我们,一般的人工智能是可能的,虽然它没有告诉我们有多么困难。如果智能是很难理解的,那么我们可以通过扫描和模仿人类的大脑,或者通过一些试错过程(比如进化),而不是手工编写一个软件代理程序,来获得机器智能。

如果机器能够在认知任务中实现人类的对等,那么它们很可能最终会超过人类。没有什么理由期望生物进化,由于缺乏远见和计划,会对一般智能的最佳算法产生影响(比它对鸟类中的最佳飞行机器的影响更大)。超越质量改进在认知方面,尼克·博斯特罗姆指出我们可以在数字思维中实现更直接的优势,例如:

  • 可编辑- “这是不是神经湿件容易的实验与软件参数的变化。”2
  • 速度-“光速比神经传导的速度快100多万倍,突触尖峰消耗的热量比热力学需要的热量多100多万倍,当前晶体管频率比神经元尖峰频率快100多万倍。”
  • 连续的深度- 在短时标,机器可以进行连续的更长的时间过程。
  • 存储容量- 计算机可以振振有词地具有更大的工作和长期记忆。
  • 大小电脑可以比人脑大得多。
  • 可复制性-将软件复制到新的硬件上比生物复制要快得多,保真度也高得多。

这些优点中的任何一个都可能使人工智能推理机比人类推理机更具优势,或者使一群人工智能推理机比人类推理机更具优势。它们的结合表明,数字思维可能比我们预期的更快、更果断地超越人类思维。

3.为什么是安全的更聪明,比人类的AI重要?


当今的人工智能算法已经要求在没有人类监管的情况下,在重要领域采取行动时提供特殊的安全保障,尤其是当它们或它们所处的环境可能随着时间发生变化时:

要想(从自治系统中)获得这些收益,就需要开发全新的方法,通过验证和验证(V&V亚博体育苹果app官方下载)近乎无限的状态系统来实现“对自治的信任”,这些状态系统是由高水平的[适应性]和自治产生的。实际上,这样的系统可以提供的可能输入状态的数量是如此之大,以至于不仅不可能直接测试所有的输入状态,甚至不可能测试它亚博体育苹果app官方下载们中不重要的一小部分。因此,这种系统的开发在本质上是不可用今天亚博体育苹果app官方下载的方法验证的,因此,除了相对琐碎的应用程序之外,它们在所有应用程序中的操作都是不可验证的。

有可能开发出具有高水平的自治系统,但它是缺乏合适的V亚博体育苹果app官方下载&V方法阻止所有,但自主性相对较低的水平被证明使用。3.

随着人工智能能力的提高,赋予人工智能系统更大的自主权、灵活性和控制力将变得更加容易;亚博体育苹果app官方下载而且将会有越来越大的动机去利用这些新的可能性。特别是,人工智能系统变得更通用的潜力,将使亚博体育苹果app官方下载建立安全保障变得困难:测试期间可靠的规则性可能并不总是在测试后成立。

人类福利最大、最持久的变化来自科技创新,而科技创新又来自我们的智慧。从长远来看,人工智能的意义很大程度上来自于它在自动化和促进科学技术进步方面的潜力。创造出比人类智能更聪明的人工智能,带来了智能进步本身的基本风险和好处,而且是以数字速度进行的。

随着人工智能智能体变得越来越有能力,分析和验证他们的决策和目标就变得越来越重要(也越来越困难)。斯图亚特·罗素:

主要关注的不是可怕的紧急意识,而是高品质的决定。在这里,质量是指行动的预期结果效用拍摄,这里的效用函数是,据推测,由人类设计者指定。现在我们有一个问题:

  1. 效用函数可能与人类的价值观不完全一致,而人类的价值观(充其量)是很难确定的。
  2. 任何有足够能力的智能系统都更愿意确保自己的继续存在,并获取物理和计算资源—亚博体育苹果app官方下载—不是为了它们自己,而是为了成功地完成指定的任务。

优化亚博体育苹果app官方下载某一功能的系统n变量,其中目标取决于大小的子集k < n,往往会将剩余的无约束变量设置为极值;如果这些无约束变量中的一个确实是我们所关心的,那么找到的解决方案可能是非常不可取的。这本质上是关于灯中的精灵,或者巫师的学徒,或者迈达斯国王的古老故事:你得到你想要的,而不是你想要的。4

博斯特罗姆的“该超智威尔”勾画出这两个问题的详细信息:我们可能不能正确地指定我们的实际目标的编程更聪明,比人类的AI系统,而且大多数代理商的错误指定目标的优化将有动力治疗人类adversarially,作为潜在的威胁或亚博体育苹果app官方下载obstacles to achieving the agent’s goal.

如果人类和人工智能智能体的目标没有很好地结合,更有知识和技术能力的智能体可能会使用武力来得到它想要的,就像在人类社区之间的许多冲突中发生的那样。在预先注意到这类问题之后,我们有机会通过引导研究将人工决策者的利益与我们自己的利益结合起来,从而降低这种默认场景的风险。亚博体育官网

4.研究人亚博体育官网员认为人工智能即将到来吗?


在2013年初,博斯特伦和穆勒调查一百顶举住作者在AI,由微软学术搜索排名。有条件的“没有全球性的灾难叫停[和]进步”的29专家谁回应分配的中位数10%的概率我们的开发机“可至少也完成大部分人的职业作为一个典型的人类”2023年,由2048年50%的概率,和2080有90%的概率。5

MIRI的亚博体育官网大多数研究人员大致同意10%和50%的日期,但认为人工智能可能会在2080年之后才出现。这与博斯特罗姆的分析是一致的超级智能:

我自己的观点是,专家调查报告的中位数在以后的到达日期没有足够的概率质量。HLMI[人-级机器智能]到2075年甚至2100年都没有开发出来的可能性(在“人类科学活动在没有重大负面干扰的情况下继续进行”这一条件下)似乎太低了。

从历史上看,人工智能研究人员在预测亚博体育官网自己所在领域的进步速度或这种进步的形式方面还没有很强的记录。一方面,有些任务,比如下棋,结果证明是可以通过非常简单的程序完成的;而那些声称机器“永远”不可能做到这一点或那一点的反对者已经被证明是错误的。另一方面,从业者中更典型的错误是低估了让系统在实际任务中稳定运行的难度,并且高估了他们自己特殊的项目或技术的优势。亚博体育苹果app官方下载

鉴于专家(和非专家)在AI预测进度纪录不佳,我们相对不知道什么时候会发明完整的人工智能. 它可能比预期来得早,也可能比预期来得晚。

专家们还报告说,超级智能将在与人类相当的2年内得到发展的信心中值为10%,而超级智能将在与人类相当的30年内得到发展的信心中值为75%。在这里,MIRI研究亚博体育官网人员的观点与人工智能专家的中间观点有显著差异;我们预计,一旦人工智能系统亚博体育苹果app官方下载接近人类,它们将相对迅速地超越人类。

5.你在解决什么技术问题?


“将比人类更聪明的人工智能与人类利益结合起来”是一个极其模糊的目标。为了有效地解决这个问题,我们试图把它分解成几个子问题。作为一个起点,我们问:“这个问题的哪些方面即使这个问题更简单,我们仍然无法解决?”

为了比人类更有效地实现现实世界的目标,一个通用的人工智能系统需要能够随着时间的推移了解其环境,并在可能的建议或行动之间做出决定。那么,一个简化版的对准问题将是,我亚博体育苹果app官方下载们如何能够构建一个系统,学习其环境,并有一个非常粗糙的决策标准,如“选择最大化世界上预期钻石数量的政策”

高可靠的代理设计是技术上的挑战,正式指定一个软件系统,可以用来追求一些预先选定的玩具目标。亚博体育苹果app官方下载子问题的一个例子是本体识别:我们如何在正式全面通用“最大化钻石”,让一个完全独立的代理可以在意想不到的环境中结束,并可以构造意料之外的假设和政策的目标是什么?即使我们有无限的计算能力和在世界上所有的时间,我们目前不知道如何解决这个问题。这表明,我们不仅缺少的实用算法,而且还通过其基本的理论框架来理解这个问题。

正式代理艾希是试图定义我们在加强学习的情况下,“最佳行为”的意思。一个简单的艾希样缺乏公式,但是,对于界定我们所说的“良好行为”的意思是,如果我们的目标是什么改变关于外部世界的(而不是仅仅以最大限度地预先指定的奖励数目)。为了评估其世界的模型来计算的钻石的数量,而不是有特权奖励渠道代理,什么一般正规的属性必须在其全球车型拥有?如果系统更新它亚博体育苹果app官方下载的假设(例如,发现弦理论是正确的和量子物理学是假的),在某种程度上它的程序员没有想到的,它是如何确定的新模式“钻石”?现在的问题是一个非常基本的一个,但相关的理论,目前下落不明。

我们可以将高可靠的代理设计与值规范:“一旦我们理解了如何设计一个自主的AI系统来推动一个目标,我们如何确保它的目标与我们想要的相匹配?”亚博体育苹果app官方下载“由于人类错误是不可避免的,我们将需要能够安全地监督和重新设计AI算法,即使它们在认知任务中接近人类的等价性,MIRI也在形式化工作。不变性代理属性。人工智能:一种现代方法的标准教科书,总结了挑战:

尤德科夫斯基(Yudkowsky)[……]声称,友好(不伤害人类的愿望)应该从一开始就设计出来,但设计师应该认识到,他们自己的设计可能存在缺陷,而且机器人将随着时间的推移而学习和进化。因此,挑战在于机制设计——设计一种在制衡系统下进化人工智能的机制,并赋予系统在这种变化面前保持友好的实用功能。亚博体育苹果app官方下载6

我们的技术议程详细描述了这些开放的问题,而我们的亚博体育官网研究指南收集网上学习资源更多。

6. AI安全早期为什么工作?


MIRI优先考虑早期的安全工作,因为我们相信这样的工作是重要的,对时间敏感的,听话的,和信息

人工智能安全工作的重要性在第三季度,。我们看到了问题,因为时间敏感的的结果:

  • neglectedness-目前只有少数人在处理MIRI技术议程中列出的开放问题。
  • 明显的困难-解决对齐问题可能需要大量的研究时间,而且可能比能力研究更难并行化。亚博体育官网
  • 风险不对称-太晚从事安全工作比过早从事安全工作的风险更大。
  • AI时间表的不确定性-人工智能的发展速度可能比我们预期的要快,这使得我们谨慎行事。
  • 在AI不连续的进步-人工智能的进展可能会加快,因为我们接近一般的人工智能。这意味着,即使人工智能离我们还有几十年的时间,等待人工智能大将到来的明确信号也是危险的:只有当开始安全工作为时已晚时,才会出现明确的信号。

我们还认为,即使比人类智能更聪明的人工智能还有50到100年的时间,在今天的人工智能安全领域也有可能做一些有用的工作。我们认为这有几个原因:

  • 缺乏基本的理论-如果我们有一个简单的理想模型来定义自治代理中的正确行为,但是不知道如何设计实际的实现,这可能意味着我们需要对开发的系统进行更多的实践工作。亚博体育苹果app官方下载然而,我们缺少的是简单的模型。基本理论并不一定要求我们具有软件系统实现细节的经验,同样的理论可以应用于许多不同的实现。亚博体育苹果app官方下载
  • 先例- 理论计算机科学家不得不在相对缺乏实际实现的开发基础理论屡创佳绩。(著名的例子包括香农,阿兰·图灵,安德烈·洛夫和犹太珍珠。)
  • 初步结果- 因为优先一些我们正在寻找在理论问题,我们已经取得了显著的进步,特别是在决策理论逻辑不确定性。这表明,理论果实唾手可得。

最后,我们期望人工智能安全理论的进展将有助于我们更好地理解强大的人工智能系统、可用的技术选择以及更广阔的战略前景。特别地,亚博体育苹果app官方下载我们期望透明度是可靠行为的必要条件我们认为,要让自主人工智能系统对人类设计师和用户透明,有基本的理论前提。亚博体育苹果app官方下载

在设计比人类聪明的人工智能系统时,掌握相关理论可能并不是绝对必要的——高度可靠的人工智能系统可能需要采用非常不同的体系结构或认知算法,而最容易构造的比人类聪明的系统则表现出不可靠的行为。亚博体育苹果app官方下载因此,一些相当普遍的理论问题可能与人工智能安全工作比与主流人工智能能力工作更相关。人工智能安全工作信息化的主要优势包括:

  • 信息的一般价值-让人工智能安全问题更清晰、更精确,很可能会让人们洞察到什么样的正式工具对回答这些问题是有用的。因此,我们不太可能把时间花在完全错误的研究上。研究这一领域的技术问题也有助于我们更好地理解人工智能问题的难度,以及人工智能校准问题的难度。亚博体育官网
  • 对于信息的测试要求-如果系统不透明,亚博体育苹果app官方下载那么在线测试可能无法提供我们设计更安全系统所需的大部分信息。人类是不透明的一般推理者,研究大脑对于设计更有效的人工智能算法非常有用,但对于构建用于验证和验证的系统却没有那么有用。
  • 安全测试要求- 从一个不透明的系统提取信息未必是安全的,因为任何沙盒,我们积累可能有明显的超亚博体育苹果app官方下载级智能而不是人类的缺陷。

7.我如何贡献?


MIRI是一个主要由亚博体育官网中小捐赠者资助的非盈利研究机构。捐赠因此有助于资助我们的数学工作、研讨会、学术推广等。

对于有兴趣进一步了解我们的研究重点并可能与我们合作的人,我们的亚博体育官网亚博体育苹果app官方下载 申请表和一些定期更新的网上资源。

撰稿罗布本辛格。上次更新2016年9月18日。

  1. 尼尔森(2009年)。对人工智能的探索. 剑桥大学出版社。
  2. 博斯特罗姆(2014)。超级智能:路径,危险,策略. 牛津大学出版社。
  3. 美国空军首席科学家办公室(2010)。技术视野:空军科技展望2010-30
  4. 拉塞尔(2014)。“神话和月光。”edge.org。边缘基金公司
  5. Müller和博斯特伦(2014)。“未来发展在人工智能:专家意见调查在Muller (ed.)人工智能的基本问题。斯普林格。
  6. 罗素和诺维格(2009)。人工智能:一种现代方法。皮尔森。