我们的2018年筹款活动正在进行中!!

嵌入好奇心

γγ分析

这是 嵌入式代理系列。以前的职位:

嵌入式代理-决策理论-嵌入式世界模型
强有力的代表团-子系统亚博体育苹果app官方下载对准


关于好奇心的最后一句话,以及智力难题:

我描述了一个嵌入式代理,艾美奖,说我不明白她如何评价自己的选择,模拟世界,模特自己,或者分解和解决问题。

过去,当研究人员亚博体育官网谈到处理这类问题的动机时,他们通常关注于人工智能风险.人工智亚博体育官网能研究者想要建造能解决人类普遍问题的机器,和二元论不是一个现实的框架来思考这样的系统。亚博体育苹果app官方下载特别地,随着人工智能系统变得更加智能,这个近似值特别容易崩溃。亚博体育苹果app官方下载当人们想出如何构建通用AI系统时,亚博体育苹果app官方下载我们希望这些研究人员能够更好亚博体育官网地理解他们的系统,亚博体育苹果app官方下载分析它们的内部特性,并对他们未来的行为充满信心。

这是今天从事无更新决策理论和子系统对齐等工作的大多数研究人员的动亚博体育官网机。亚博体育苹果app官方下载我们关心的基本概念难题,我们认为我们需要弄清楚,以实现对未来的人工智能系统的信心,亚博体育苹果app官方下载而且不必太依赖暴力搜索或反复试验。

但是关于为什么我们可能需要或者可能不需要人工智能中的特定概念洞察力的争论相当长。我还没有试图深入讨论过这次辩论的细节。相反,我一直在讨论一组特定的研究方向亚博体育官网智力难题,而不是作为一种工具性的策略。

将这些问题作为工具性策略进行讨论的一个缺点是,这会导致为什么?我们认为这种工作很重要。与“工具策略透镜,从给定的研究问题到给定的安全问题,画一条直线是很诱人的。亚博体育官网但是,我并不是在想象现实中的嵌入式系统是”亚博体育苹果app官方下载太贝叶斯"这在某种程度上造成了问题,如果我们不能弄清楚现行的理性代理模式有什么问题。这当然不是我想象的未来人工智能系统被写在二阶逻辑!亚博体育苹果app官方下载在大多数情况下,我根本没有试图在研究问题和亚博体育官网特定人工智能失效模式.

我倒是想的是:今天,当我们试图思考什么是代理时,我们确实似乎在处理错误的基本概念,从这些概念不能很好地传递到更实际的嵌入式框架这一事实可以看出。

如果未来的AI开发人员是仍然与这些混乱和不完整的基本概念一起工作,因为它们试图实际构建强大的现实世界优化器,这似乎是个糟糕的处境。而且看起来,在试图开发更有能力的系统的过程中亚博体育官网,研究界在默认情况下不太可能找出其中的大部分。亚博体育苹果app官方下载进化论当然已经弄清楚了如何在没有大脑的情况下构建人类的大脑。理解这些中的任何一个,通过暴力搜查。

嵌入式代理是我试图指出我认为是一个非常重要和中心的地方,在那里我感到困惑,我认为未来的研究人员也有陷入困惑的风险。亚博体育官网

还有许多优秀的人工智能比对研究,正在做的目的在于更直接的应用;亚博体育官网但我认为这项安全研究具有与我在这里讨论的谜题不同的特征亚博体育官网。


智力的好奇心不是我们优先考虑这些研究方向的最终原因。亚博体育官网但是有一些实际的有时从一个好奇的地方向研究问题定向的优点,亚博体育官网相反只应用实际影响透镜我们如何看待这个世界。

当我们把好奇镜头运用到世界时,我们朝向困惑的源头,阻止我们清楚地看到;我们地图上的空白点,我们镜头的缺陷。它鼓励重新检查假设并注意盲点,这对我们的心理平衡很有帮助工具策略镜头-后者更容易受到冲动,以依靠任何不稳定的前提,我们手头上,所以我们可以得到更加坚实和封闭,在我们早期的思想。

嵌入式代理是大多数组织的主题,如果不是全部,我们最大的好奇心。这似乎是许多具体困难背后的中心谜团。

你喜欢这个职位吗??你可以享受我们的另一半分析帖子,包括: