对齐高级AI与人类兴趣

MIRI的使命是确保创造出比人类更聪明的智能
一个积极的影响。我们的目标是使先进的智能系统表现为亚博体育苹果app官方下载
我们即使在没有立即人类监督的情况下也打算。

yabo live
(高可靠性聚焦)

机器学习技术议程
(错误容忍聚焦)

高度可靠
代理设计

什么是最佳推理
就像物质世界中资源受限的代理一样?

MIRI专注于可以制造的人工智能方法透明的(例如,精确指定的决策算法,而不是遗传算法),这样人类就可以理解为什么人工智能系统会这样做。亚博体育苹果app官方下载出于安全考虑,定义一般智能的数学方程比令人印象深刻但理解很差的代码组合更可取。

因此,我们的很多研究旨在亚博体育官网为人工智能稳健性工作奠定理论基础。我们考虑传统决策和概率论经常失效的情况计算昂贵,没有尖锐代理/环境边界多个代理存在,或自称推理是承认。


逻辑归纳

eprint at arXiv:1609.03543 [cs.AI]。

逻辑归纳

我们介绍了一种可计算算法,可将概率分配给给定的正式语言的每个逻辑语句,并随着时间的推移赋予这些概率。我们展示它满足了许多直观的探索,包括:(1)它学会在逻辑陈述中预测真理和虚假模式,通常很长,在拥有资源来评估陈述之前,只要这些模式可以被写入多项式时间;(2)它学会使用适当的统计摘要来预测陈述的序列,其真实值出现伪随机;(3)它有人学会在避免自我参考标准悖论的方式上对自己目前的信仰进行准确的信念。

这些性质和许多其他性质都是由a衍生而来的逻辑归纳标准这是受到一系列股票交易类比的启发。粗略地说,每个逻辑句子φ.是否与每股价值1美元的股票相关联φ.,我们将逻辑上不确定的推理者的信念状态解释为一组市场价格,其中Pnφ.) = 50%表示当天n,股φ.可以从推理机以50美分的价格购买或出售。逻辑归纳标准(非常粗略地)说,不应该有任何多项式时间可计算的交易策略,具有有限的风险容忍度,随着时间的推移在市场上赚取无限的利润。


对真理问题的正式解决方案

人工智能中的不确定性:第三十二届会议论文集(2016)

真粒问题的正式解决方案在多智能体环境中,一个贝叶斯智能体学习预测其他智能体的策略,如果它的先验为它们分配了正概率(换句话说,它的先验包含一个道理).找到一个相当大的策略类,其中包含了关于这类的贝叶斯最优策略被称为真粒问题.只有小班才知道有一些真理,而文献中包含了几个相关的不可能的结果。

在本文中,我们给出了全真粒子问题的一个形式化和通解:我们构造了一类策略,它包含了所有可计算的策略以及对于类上每个下半可先验的贝叶斯最优策略。当环境是未知的时候,贝叶斯最优代理即使是渐进地也可能无法最优地行动。然而,在任意未知可计算的多智能体环境下,基于汤普森抽样的智能体会收敛到ε-纳什均衡。虽然这些结果是纯理论的,但我们表明,它们可以在计算上任意接近。


功能决策理论:工具理性的新理论

eprint at arXiv:1710.05060 [cs.AI]。

功能决策理论:工具理性的新理论本文描述并提出了一种新的决策理论功能决策理论它有别于因果决策理论和证据决策理论。功能决策理论家认为,行为的规范原则是将一个人的决定视为一个固定的数学函数的输出,这个数学函数回答了这样一个问题:“这个函数的哪个输出会产生最好的结果?”遵循这一原则可以带来许多好处,包括在一系列传统决策理论和博弈论问题中实现财富最大化的能力,在这些问题中CDT和EDT表现不佳。使用一个简单和连贯的决策规则,功能决策理论家(例如)在纽科姆问题上比CDT更有用,在吸烟损害问题上比EDT更有用,在帕菲特的搭便车问题上比两者都更有用。在本文中,我们定义了FDT,探讨了它在许多不同的决策问题中的处方,并将其与CDT和EDT进行了比较,并为FDT作为一种规范的决策理论提供了哲学上的理由。


对HOL的证明反射

交互定理证明:第六届国际学术会议,中国,南京,2015年8月24-27日,会议论文集

对HOL的证明反射我们提出了一个反射原理的形式“如果⌜⌝是可证明的,那么”实现在HOL4定理证明,假设存在一个大基数。We use the large-cardinal assumption to construct a model of HOL within HOL, and show how to ensure has the same meaning both inside and outside of this model. Soundness of HOL implies that if ⌜⌝ is provable, then it is true in this model, and hence holds. We additionally show how this reflection principle can be extended, assuming an infinite hierarchy of large cardinals, to implement模型多态性,一种用于验证具有自我替换功能的系统的技术。亚博体育苹果app官方下载

容忍误差

价值学习

如何使高级学习系统接受和亚博体育苹果app官方下载
协助在线调试
并调整其目标?

使用训练数据来教会先进的人工智能系统我们所看重的东西,这看起来比手工编写我们所关心亚博体育苹果app官方下载的所有东西更有前途。然而,我们对如何识别训练数据不代表agent的未来环境,或如何确保agent不仅仅学习知之甚少关于我们的价值观,但接受它们作为自己的。

此外,追求某些目标的理性行为者有保护目标内容的动机。不管他们当前的目标是什么,如果代理继续推动它,而不是改变目标,很可能会更好。这表明,随着时间的推移,提高代理与人类利益的一致性可能是困难的,特别是当代理足够聪明,能够建模并适应其程序员的目标时。建立价值学习系统亚博体育苹果app官方下载不变性可能是安全在线学习的必要条件。


价值学习问题

在IJCAI 2016年人工智能伦理研讨会上发表。

价值学习问题超级智能机器不会自动按照预期行动:它会按照程序行动,但人类意图和书面代码之间的契合度可能很差。我们讨论了一些方法,通过这些方法可以构建一个系统来学习什么是亚博体育苹果app官方下载值得重视的。我们强调了归纳价值学习(来自有标记的训练数据)特有的开放问题,并提出了一些关于系统构建的问题,这些系统模拟了操作者的偏好并据此采取行动。亚博体育苹果app官方下载


可订正

在AAAI 2015伦理与人工智能研讨会上发表。

可订正随着AI系统亚博体育苹果app官方下载在智能和能力中增长,其一些可用的选项可能允许他们抵制其程序员的干预。如果它与其创造者作为纠正干预亚博体育苹果app官方下载的内容合作,我们会致电AI系统“违规”,尽管Rational Terments抵制将其抵消或修改其偏好的默认激励,但违反了纠正干预。我们介绍了易燃性和分析实用程序功能,该功能试图将代理程序安全关闭,如果按下关闭按钮,则避免激励以防止按钮被按下或导致按下按钮,同时确保传播的同时截止行为,因为它创建了新的子系统或自我修改。亚博体育苹果app官方下载虽然有些提议很有趣,但没有人已经证明满足我们所有直观的探索,在宽敞开放中留下这个简单的问题。

预测

什么时候会发明高度适应性和通用的机器智能,在什么情况下?

除了我们的数学研究外,Miri还调查了重要的战略问题。亚博体育官网我们可以预测ai的未来可以(并且不能)是什么?我们如何提高预测能力?今天的哪些干预措施似乎是最有益的,鉴于我们的一点知道吗?


人工智能伦理

剑桥人工智能手册

人工智能的伦理创造会思考的机器的可能性引发了一系列伦理问题。这些问题既与确保这些机器不会伤害人类和其他道德相关的生物有关,也与机器本身的道德地位有关。第一部分讨论了人工智能在不久的将来可能出现的问题。第二部分概述了确保人工智能在接近人类智能时安全运行所面临的挑战。第三部分概述了我们如何评估人工智能本身是否具有道德地位,以及在何种情况下具有道德地位。在第四部分,我们考虑人工智能与人类在某些基本方面的不同,这些方面与我们对人工智能的道德评估有关。最后一部分讨论了创造比人类更聪明的人工智能的问题,并确保他们利用先进的智能做好事而不是做坏事。


正式化收敛工具目标

在AAAI 2016年人工智能、伦理与社会研讨会上发表。

正式化收敛工具目标Omohundro认为,任何设计中足够先进的人工智能系统,默认情况下都有动机去追求一些有用的子目标,比亚博体育苹果app官方下载如获得更多的计算能力和聚集更多的资源。Omohundro将这些称为“基本的人工智能驱动”,他和博斯特罗姆等人都认为,这意味着在设计强大的自主系统时必须非常小心,因为即使它们有无害的目标,追求这些目标的副作用可能非常有害。亚博体育苹果app官方下载这些论点,虽然直觉上令人信服,但主要是哲学上的。在这篇论文中,我们提供了正式的模型来证明Omohundro的论点,从而在这些直观的主张背后增加了数学的分量。


智力爆炸微观经济学

MIRI技术报告2013-1。

智力爆炸微观经济学I.J. Good提出,一个足够先进的机器智能可以制造出一个更智能的自己,然后再制造出一个更智能的自己,这个过程可以继续下去,直到大大超过人类的能力。我们如何建模和检验这个假设?

我们认为关键的问题是认知再投资的回报——投资更多的计算能力、更快的计算机或改进的认知算法,以产生更大、更快的大脑或更好的思维设计的认知劳动的能力。许多现象被认为是这场辩论中不同立场的证据,从观察到的原始人类进化过程,到摩尔定律,再到国际象棋程序随时间变化的能力。本文探讨了在试图根据Good的假设解释这一证据时所出现的问题,并提出,本研究的下一步是形式化投资回报曲线,以便每个头寸可以形式化地陈述它们所持有的被历史观察证伪的模型。亚博体育官网