CSRBAI谈agent模型与多agent困境

||新闻,视频

我们已经上传了最后一组视频从我们最近的健壮和有益人工智能系列讨论会(CSRBAI)在MIRI办公室,与人类未来研究所. CSRBAI与公众视频或幻灯片对话的完整列表:


有关在CSRBAI前几周的谈话的摘要,请参阅我以前在透明度,稳健性和容错性,和偏好规范. 最后一组会谈是本周的一部分,集中讨论了代理模型和多代理困境:

迈克尔·威尔曼,密歇根大学计算机科学与工程教授,谈到了金融市场中自主代理的含义和风险(幻灯片)。抽象:

设计健壮且有益的人工智能是未来的一个话题,但也是当今许多领域出现的自治代理的前沿问题。人工智能已经无处不在的一个领域是金融市场,在那里,很大一部分交易通常是由算法发起和进行的。模型和观察研究让我们对人工智能交易者对市场表现和稳定性的影响有了一些了解。考虑到AIs的存在,市场环境的设计和监管也可能为更普遍地处理自主代理提供经验教训。

斯特凡诺·阿尔布雷希特,德克萨斯大学奥斯汀分校计算机科学系博士后研究员,谈到“学会区分信仰和真理”(幻灯片)。抽象:

智能代理通常会建立其他代理的模型,以便于规划自己的操作。复杂的代理也可能对一组替代模型保持信念。不幸的是,这些方法通常不会在交互过程中检查模型的有效性。因此,一个代理可能在没有意识到的情况下学习和使用不正确的模型。在本次演讲中,我将论证健壮代理应该具备两种能力:构建其他代理的模型并考虑其模型的正确性。我将提出一种行为假设检验的方法和一些实验结果。会谈将以开放的问题和可能的研究议程结束。亚博体育官网

斯图尔特·阿姆斯特朗,来自牛津未来人类研究所,谈到“减少影响人工智能”(幻灯片)。抽象:

本次演讲将探讨在不解决友好性问题的情况下创建安全人工智能的一些想法。它将首先关注“减少影响的人工智能”,人工智能旨在对世界几乎没有影响,但仍然可以从中提取高影响。然后,它将深入研究AIs的新理念,设计成只对自己的虚拟世界有偏好,并研究使用冷漠作为AI控制工具的优势和局限性。

最后,安德鲁·克里奇一位MIRI研究人亚博体育官网员谈到了有界代理中的健壮合作。这篇演讲是以论文为基础的。”参数界LOB定理和有界代理的鲁棒合作“。谈话摘要:

一对可能互相残杀的特工之间的第一次互动,可能类似于一个一次性的囚徒困境。考虑这样一个游戏,每个玩家都是一个可以读取对方源代码的算法。Tennenholtz(2004)引入了一种代理,当对手的源代码与自己的源代码相同时,该代理进行合作,从而有时在总体上保持不可开发的同时实现相互合作。然而,精确的程序平等是一个脆弱的合作标准。在这里,我将展示一个新的和更稳健的合作准则,它受到LaVictoire,Barasz和其他人(2014)的启发,使用一个新的定理在有界推理机的可证明逻辑中。