将先进的人工智能与人类的利益

米里的使命是确保创建自己的情报
一个积极的影响。我们的目标是,让先进的智能系统的行为亚博体育苹果app官方下载
我们打算即使没有人类直接监督。

代理基础技术议程
(高可靠性聚焦)

机器学习技术议程
(错误容忍聚焦)

高度可靠
代理设计

什么最佳推理
看起来像resource-bounded代理在现实世界吗?吗?

米里侧重于人工智能的方法透明的(例如,精确地指定决策算法,不是遗传算法),所以,人类可以理解为什么AI系统的行为。亚博体育苹果app官方下载为安全起见,一个数学方程定义一般智力比令人印象深刻,但更可取的了解甚少的代码组装机。

因此我们的研究旨在将理论亚博体育官网基础下人工智能鲁棒性工作。我们考虑设置传统决策和概率论经常打破:设置的地方计算是昂贵的,没有锋利的代理/环境边界,,多个代理存在,或自我指涉的推理是承认。


逻辑归纳

eprint在arXiv:1609.03543(cs.AI)。

逻辑归纳

我们提出一个可计算的算法,分配概率每logicalstatement给定的正式语言,随着时间的推移和改进这些概率。我们表明,它满足迫切需要得到直观的东西,包括:(1)它学会预测模式逻辑真理和谎言的语句,经常很久以前拥有的资源评价语句,只要模式可以在多项式时间写下来;(2)学习使用适当的统计总结预测语句的真值出现伪随机序列;和(3)学会对自己当前的信仰,准确的信念的方式避免了自我参照的标准悖论。

这些属性和许多其他人跟随的逻辑归纳的标准,这是出于一系列股票交易的类比。粗略地说,每个逻辑的句子φ与股票价值每股1美元如果φ是真的,否则,和我们解释的信念逻辑上不确定的reasoner作为一组的市场价格,Pn(φ意味着天)= 50%n,的股票φ可能从reasoner 50¢买卖。逻辑归纳标准(大致)说,不应当有任何多项式时间可计算的交易策略和有限的风险容忍度,挣的利润在这个市场。


真理的一个正式的解决粮食问题

不确定性人工智能:三十二研讨会论文集(2016)

真理的一个正式的解决粮食问题贝叶斯代理代理在多代理环境中学会预测其他代理商的政策如果之前分配积极的概率(换句话说,之前它包含一个道理)。找到一个相当大的政策包含Bayes-optimal政策对这个类被称为真理的粮食问题。只有小类是已知的真理和文学包含了几个相关的不可能的结果。

在本文中,我们提出一个正式和通解的全部粮食真理问题:我们构造一个类包含所有的政策可计算的政策以及Bayes-optimal政策每降低semicomputable类之前。当环境是未知的,Bayes-optimal代理可能会失败甚至渐近最优行动。然而,代理根据汤普森抽样收敛在任意未知ε-Nash平衡可计算的多代理环境。虽然这些结果是纯粹的理论,我们证明他们可以计算近似任意密切。


功能决策理论:工具理性的新理论

eprint在arXiv:1710.05060(cs.AI)。

功能决策理论:工具理性的新理论本文描述和激励理论被称为一个新的决定功能决策理论(FDT),不同于因果决策理论和证据决策理论。功能决定论者认为,行为的规范性原则是把一个人的决定是一个固定的数学函数的输出,回答了这个问题,”这个函数的输出会产生最好的结果吗?”坚持这一原则提供了许多好处,数组中包括的能力最大化财富的传统决策理论和博弈论的问题,CDT,美国表现不佳。使用一个简单的和一致的决策规则,功能决定论者(例如)实现效用比CDT纽科姆的问题,比美国更实用的吸烟损伤问题,和效用比帕菲特的搭便车问题。在这篇文章中,我们定义FDT,探索许多不同的决策问题的处方,CDT和美国进行比较,并给哲学理由FDT作为规范性决策理论。


Proof-Producing反射的假日

交互式定理证明:第六届国际会议,2015年国际旅游业伙伴关系,南京,中国8月24日,2015年,诉讼

Proof-producing反射的假日我们现在一个表单的反射原理”如果 ⌜𝜑⌝ provable,然后𝜑”实现HOL4定理验证,假设存在一个大的红衣主教。我们使用large-cardinal假设构建一个模型,在假日,假日和展示如何确保𝜑内外具有相同含义的这个模型。稳健的假日意味着如果⌜𝜑⌝可证明的,那是真的在这个模型中,因此𝜑holds.我们另外展示这个反射原理可以扩展,假设一个无限层次的大红衣主教,来实现模型多态性,为验证系统设计的技术与更换自律功能。亚博体育苹果app官方下载

错误宽容

值的学习

一个先进的学习系统怎么能接受亚博体育苹果app官方下载
协助在线调试
和调整的目标?吗?

使用训练数据来教我们先进的人工智能系统的价值看起来更有前途比手工代码一切我们所关心亚博体育苹果app官方下载的。然而,我们知之甚少如何辨别当训练数据代理的未来环境的代表性,或如何确保代理不仅学习关于我们的价值观,但接受他们作为自己的。

此外,理性的代理人追求某些目标有动力去保护他们的目的内容。无论他们现在的目标是什么,很可能会更好如果代理继续推动它比如果代理改变目标。这表明,它可能很难改善代理的随着时间的推移,符合人类的利益特别是当代理是足够聪明的模型和适应它的程序员的目标。使价值学习系统亚博体育苹果app官方下载不变性可能是必要的安全在线学习。


值的学习问题

IJCAI 2016年展出伦理的提出人工智能车间。

值的学习问题有超常智慧的机器不会自动作为目的:它将作为编程,但人类的意图之间的配合和写代码可能是可怜的。我们讨论的方法可以构造一个系统了解。亚博体育苹果app官方下载我们强调开放问题特定的电感值学习(从标记的训练数据),和提高的问题系统的建设模式的偏好运营商并采取相应行动。亚博体育苹果app官方下载


可订正

提出2015年AAAI伦理和人工智能车间。

可订正随着人工智能亚博体育苹果app官方下载系统的智力和能力的增长,他们的一些可用选项允许他们抵制干预的程序员。我们称之为一个人工智能系统”亚博体育苹果app官方下载可改正的“如果它与它的创造者合作视为一种纠正干预,尽管违约鼓励理性的代理人拒绝尝试关掉或修改他们的偏好。我们引入可订正和分析效用函数的概念,试图让一个代理安全关闭如果一个关闭按钮被按下,同时避免激励措施防止按钮被按下或导致按钮按下,和关闭的同时确保传播行为,因为它创造了新的子系统或根据。亚博体育苹果app官方下载有些建议很有趣,没有一个尚未被证明满足我们所有的迫切需要得到直观的东西,离开这个简单问题可订正完全开放的。

预测

当高度自适应和通用机器智能会发明,在什么情况下?吗?

除了我们的数学研究,亚博体育官网米里调查重要的战略问题。我们能(不能)预测人工智能的未来呢?我们怎样才能改善我们的预测能力?今天可用的干预似乎是最有益的,考虑到我们知道吗?吗?


人工智能的伦理

人工智能的剑桥手册

人工智能的伦理创造思考机器的可能性引发了一系列的伦理问题。这些问题既涉及确保这样的机器不伤害人类和其他道德相关的人,和机器本身的道德地位。第一节讨论可能出现的问题在不久的将来,人工智能。第二部分概述了挑战确保人工智能安全运行在它接近人类的智慧。第三部分概述了如何评估,是否在什么情况下,AIs自己有道德地位。在第四节中,我们考虑AIs可能不同于人类在某些基本的方面与我们的道德评价。最后一部分地址创建AIs的问题比人类更聪明,并确保他们使用先进的好而不是坏情报。


形式化收敛的工具性目标

发表于2016 AI AAAI,道德与社会研讨会。

形式化收敛的工具性目标Omohundro认为足够先进的人工智能系统的设计,亚博体育苹果app官方下载默认情况下,有动力去追求一些工具有用的子目标,如收购更多的计算能力和积累了许多资源。Omohundro指的是这些“基本的人工智能驱动器,”而他,博斯特罗姆和其他人,认为,这意味着设计强大的自治系统时必须非常小心,亚博体育苹果app官方下载因为即使他们无害的目标,追求这些目标的副作用可能是非常有害的。这些参数,尽管直觉令人信服,主要是哲学。在这篇文章中,我们提供正式的模型展示Omohundro的论文,从而使数学支持那些直观的说法。


智能爆炸微观经济学

米里技术报告2013 - 1。

智能爆炸微观经济学I.J.好的建议足够先进的机器智能可以构建一个智能版的本身,这可能进而构建一个更加智能的版本,,这一过程可能会继续大大超越了人类的能力。我们怎么能模型和测试这个假设?吗?

我们识别的关键问题是认知能力reinvestment-the投资回报更多的计算能力,更快的计算机,或改进认知算法产生认知劳动产生更大的大脑,更快的大脑,或更好的设计。许多现象都声称对不同位置在这场辩论中,作为证据从观察到的原始人类的进化过程,摩尔定律的能力随着时间的推移,象棋程序。本文探讨了出现的问题,试图解释这些证据时的良好的假说,并提出本研究的下一步是形式化投资回报曲线,亚博体育官网这样每个位置可以正式状态模型他们持有伪造的历史观察。