对齐高级AI与人类兴趣

Miri的使命是确保创造聪明而不是人类的智力
积极的影响。我们的目标是使先进的智能系统表现为亚博体育苹果app官方下载
我们即使在没有立即人类监督的情况下也打算。

yabo live
(高可靠性焦点)

机器学习技术议程
(误差焦点焦点)

高度可靠
代理设计

最佳推理是什么
看起来像物理世界中的资源有限代理?

Miri专注于可以制造的AI方法透明(例如,精确指定的决策算法,而不是遗传算法),使人类可以理解为什么AI系统表现得像他们一样。亚博体育苹果app官方下载出于安全目的,定义一般智能的数学方程比令人印象深刻但令人不良的代码Klude更为希望。

因此,我们的大部分研究旨亚博体育官网在将理论基础放在AI稳健性工作下。我们考虑传统决策和概率理论经常分解的设置:设置在哪里计算昂贵,没有尖锐的代理/环境边界多个代理人存在,或者自称推理被录取。


逻辑归纳

Arxiv的ePrint:1609.03543 [Cs.ai]。

逻辑归纳

我们介绍了一种可计算算法,可将概率分配给给定的正式语言的每个逻辑语句,并随着时间的推移赋予这些概率。我们展示它满足了许多直观的探索,包括:(1)它学会在逻辑陈述中预测真理和虚假模式,通常很长,在拥有资源来评估陈述之前,只要这些模式可以被写入多项式时间;(2)它学会使用适当的统计摘要来预测陈述的序列,其真实值出现伪随机;(3)它有人学会在避免自我参考标准悖论的方式上对自己目前的信仰进行准确的信念。

这些属性和许多其他属性遵循a逻辑归纳标准,这是一系列股票交易类比的动机。粗略地说,每个逻辑φ.与每股1美元的股票有关,如果φ.是真实的,没有什么,我们解释了逻辑上不确定推理的信念状态,作为一套市场价格,其中pNφ.)= 50%意味着当天N,股票φ.可以从推理中购买或销售50¢。逻辑归纳标准说(非常大致),不应有任何多项式可计算的交易策略,具有有限的风险宽容,在该市场上赚取无限性的利润。


对真理问题的正式解决方案

人工智能的不确定性:第三十二次会议的会议记录(2016年)

对真理问题的正式解决方案在多代理环境中行动的贝叶斯代理学会预测其他代理人的政策,如果其先前为他们分配了积极概率(换句话说,其先前包含一个真理的粮食)。找到一个合理的大量政策,其中包含贝叶斯 - 最佳政策相对于这个课程被称为真理问题。只有众所周知,只有小阶级具有真理,文献包含几种相关不可能性结果。

在本文中,我们向完整的真理问题提出了一个正式和一般的解决方案:我们构建了一类包含所有可计算策略以及在类上之前的每个较低的脓性的贝叶斯最佳政策的策略。当环境未知时,贝叶斯 - 最佳试剂可能未能最佳地表达甚至渐近。然而,基于汤普森采样的代理在任意未知的可计算的多代理环境中发挥ε-nash均衡。虽然这些结果纯粹是理论,但我们表明它们可以在计算地近似地近似地近似。


功能决策理论:一种新的仪器理性理论

亚克西州ePrint:1710.05060 [CS.AI]。

功能决策理论:一种新的仪器理性理论本文介绍并激励了一种新的决策理论功能决策理论(FDT),与因果决策理论和证据决策理论不同。功能决策理论家认为,行动的规范原则是将一个人的决定视为回答问题的固定数学函数的输出,“这个非常职能的输出将产生最佳结果?”坚持这一原则提供了许多好处,包括在CDT和EDT的传统决策和游戏理论问题中最大化财富的能力。使用一个简单和连贯的决策规则,功能决策理论家(例如)在Newcomb问题上实现了比CDT更多的效用,比在吸烟病变问题上的效用,比在Parfit的搭便车问题中更多的效用。在本文中,我们定义了FDT,探讨了许多不同决策问题的处方,将其与CDT和EDT进行比较,并为FDT提供哲学理由作为决策的规范理论。


对HOL的证明反射

互动定理证明:第6届国际会议,ITP 2015,南京,中国,2015年8月24日至27日,诉讼

对HOL的证明反射我们展示了“如果⌜⌝可证明,则”在Hol4定理先报中实施的形式的反思原则,假设存在大型基本主教。We use the large-cardinal assumption to construct a model of HOL within HOL, and show how to ensure has the same meaning both inside and outside of this model. Soundness of HOL implies that if ⌜⌝ is provable, then it is true in this model, and hence holds. We additionally show how this reflection principle can be extended, assuming an infinite hierarchy of large cardinals, to implement模型多态性,一种用于验证具有自替代功能的系统的技术。亚博体育苹果app官方下载

容忍误差

价值学习

如何使高级学习系统接受和亚博体育苹果app官方下载
协助在线调试
并调整其目标?

使用培训数据来教导先进的AI系统我们的价值看起来更有希望,而不是试图在手头关心的一亚博体育苹果app官方下载切中编写。但是,我们很少了解如何在培训数据对代理人的未来环境中取得不足的情况下辨别,或者如何确保代理不仅要学习关于我们的价值观但接受它们自己。

此外,追求某些目标的理性代理商有一个激励保护其目标内容。无论他们目前的目标是什么,如果代理人继续推广它,那么它很可能会更好地服务,而不是代理人改变目标。这表明可能难以随着时间的推移改善代理商与人类兴趣的对齐,特别是当代理足够智能以模拟并适应其程序员的目标时。制作价值学习系统亚博体育苹果app官方下载宽容可能是安全在线学习所必需的。


价值学习问题

在IJCAI 2016年人工智能研讨会的伦理上提出。

价值学习问题一台高层机器不会像预期的一样自动采取行动:它将充当编程,但人类意图和书面代码之间的适合可能会很差。我们讨论可以构建系统以了解该系统的方法。亚博体育苹果app官方下载我们突出了特定于归纳价值学习的开放问题(从标记的培训数据),并提高了一些关于建造系统的初探的问题,这些系统建造了他们的运营商的偏好并相应行动。亚博体育苹果app官方下载


易燃

在Aaai 2015道德和人工智能研讨会上提出。

易燃随着AI系统亚博体育苹果app官方下载在智能和能力中增长,其一些可用的选项可能允许他们抵制其程序员的干预。如果它与其创造者作为纠正干预亚博体育苹果app官方下载的内容合作,我们会致电AI系统“违规”,尽管Rational Terments抵制将其抵消或修改其偏好的默认激励,但违反了纠正干预。我们介绍了易燃性和分析实用程序功能,该功能试图将代理程序安全关闭,如果按下关闭按钮,则避免激励以防止按钮被按下或导致按下按钮,同时确保传播的同时截止行为,因为它创建了新的子系统或自我修改。亚博体育苹果app官方下载虽然有些提议很有趣,但没有人已经证明满足我们所有直观的探索,在宽敞开放中留下这个简单的问题。

预测

什么时候会发明高度自适应和一般机器智能,在什么情况下?

除了我们的数学研究外,Miri还调查了重要的战略问题。亚博体育官网我们可以预测ai的未来可以(并且不能)是什么?我们如何提高预测能力?今天的哪些干预措施似乎是最有益的,鉴于我们的一点知道?


人工智能的伦理

剑桥人工智能手册

人工智能的伦理创建思维机器的可能性提出了许多道德问题。这些问题涉及确保这种机器不会伤害人类和其他道德相关的生物,以及机器本身的道德地位。第一部分讨论了在AI不久的将来可能出现的问题。第二部分概述了确保AI在其智力中接近人类的挑战,以确保AI安全运行。第三部分概述了我们如何评估是否在什么情况下,AIS本身都有道德地位。在第四部分,我们考虑某些基本方面的AIS可能与人类的某些基本尊重如何与我们的道德评估相关。最后一部分解决了创造比人类更智能的问题的问题,并确保他们使用他们的高级智力而不是生病。


正式化收敛工具目标

呈现在AAAI 2016 AI,伦理和社会研讨会上。

正式化收敛工具目标Omohundro据认为,任何设计的足够先进的AI系统将默认情况下,可以激励追求一些有用的有用子级的诸亚博体育苹果app官方下载如获取更多的计算能力和大量资源。Omohundro是指“基本的AI驱动器”,他和其他人一起认为这意味着在设计强大的自治系统时必须妥善保健,因为即使他们有无害的目标,追求这些目标也是如此亚博体育苹果app官方下载目标可能是非常有害的。这些论点,同时直观地引人注目,主要是哲学。在本文中,我们提供了表现出omohundro论文的正式模型,从而将数学重量放在那些直观的索赔后面。


智力爆炸微观经济学

Miri 2013-1技术报告。

智力爆炸微观经济学I.J.良好建议,充分先进的机器智能可以构建自身的更智能的版本,这可能反过来建立一个更智能的版本,并且这个过程可以继续超越人类能力的程度。我们如何模拟和测试这个假设?

我们将关键问题确定为认知再投资的回报 - 投资更多计算能力,更快的计算机或改进的认知算法的能力,从而产生产生更大的大脑,更快的大脑或更好的思维设计的认知劳动力。许多现象被声称是本次辩论中各种职位的证据,从观察到的同性恋进展到摩尔法的莫斯特法的竞争力,随着国际象棋计划的能力。This paper explores issues that arise when trying to interpret this evidence in light of Good’s hypothesis, and proposes that the next step in this research is to formalize return-on-investment curves, so that each position can formally state which models they hold to be falsified by historical observations.