嵌入式奇特

||分析

这是结论的结论嵌入式机构系列。以前的帖子:

嵌入式代理人-决策理论-嵌入式世界型号
强大的代表团-子系统亚博体育苹果app官方下载对齐


关于好奇心的最后一句话,智力难题:

我描述了一个嵌入式代理人,艾美,并表示我不明白她如何评估她的选择,模拟世界,型号,或分解和解决问题。

在过去,当研究人员讨论了履行这些问题亚博体育官网的动机时,他们通常专注于动力ai风险。AI研亚博体育官网究人员希望建造可以解决人类通用方式解决问题的机器,以及二元主义不是思考这种系统的现实框架。亚博体育苹果app官方下载特别是,随着AI系统变得更智能,它特别容易发生近似。亚博体育苹果app官方下载当人们弄清楚如何建立一般AI系统时,我们希望这些研究人员能够更好地了解他们的系统,分析其内部属亚博体育苹果app官方下载性,并对他们的未来行为充满信心。亚博体育官网

这是当今大多数研究人员的动机,他们正在努力更新的决策理论和子系统亚博体育官网对齐。亚博体育苹果app官方下载我们关心我们认为我们需要弄清楚的基本概念拼图,以便在未来的AI系统中实现信心,并且不必依赖于蛮力搜索或试验和错误。亚博体育苹果app官方下载

但是,为什么我们可能或可能不需要特别是AI的特定概念见解的论据很长。我没有试图涉及此辩论的细节。相反,我一直在讨论一组特定的研究方向亚博体育官网智益拼图,而不是作为工具策略。

讨论这些问题作为工具策略的一个缺点是它可以导致一些误解为什么我们认为这种工作非常重要。通过“乐器策略”镜头,从给定的研究问题到给定的安全问题,将直接线路绘制了诱人。亚博体育官网但是,我认为我想象真正的嵌入式系统是“太贝叶斯”,如果我们不弄清楚当前理性代理模型出现问题,那就造成了问亚博体育苹果app官方下载题。这当然不是我想象未来的AI系统以二阶逻辑编写!亚博体育苹果app官方下载在大多数情况下,我根本并不努力在研究问题之间绘制直接线条亚博体育官网特定的AI失效模式

What I’m instead thinking about is this: We sure do seem to be working with the wrong basic concepts today when we try to think about what agency is, as seen by the fact that these concepts don’t transfer well to the more realistic embedded framework.

如果未来的AI开发人员是仍然使用这些困惑和不完整的基本概念,因为他们试图建立强大的现实世界优化器,似乎是一个不好的位置。它似乎在课程中默认情况下,研究界不太可能占据这些问题亚博体育官网只是试图开发更多能力的系统。亚博体育苹果app官方下载进化肯定会弄清楚如何在没有“理解”这一点的情况下,通过蛮力搜索来构建人类大脑。

嵌入式机构是我试图指出我认为是一个非常重要和中央的方式,我觉得在那里我认为未来的研究人员也风险陷入混乱。亚博体育官网

还有很多优秀的AI对准研究,可以朝着更直接的应用程序进行;亚博体育官网但我认为安全研究具有不同类型的签名,而不是我在这里谈过亚博体育官网的谜题。


智力的好奇心不是我们特权这些研究方向的最终原因。亚博体育官网但有些人有一些实际的在一个好奇地位的研究问题中,与倍时的优势相反亚博体育官网只应用“实际影响”镜头我们如何考虑世界。

当我们向世界应用好奇镜头时,我们朝着混乱的来源定位,阻碍了我们清楚地看到了;我们地图中的空白斑点,我们镜头中的缺陷。它鼓励重新检查假设并参加盲点,这有助于作为我们的“乐器战略”镜头的心理对比 - 后者更容易受到靠在我们手头的摇晃前置的呼吸之外的兴奋所以我们可以进入在我们的早期思考中更加坚固和关闭。

嵌入式机构是我们大多数,如果不是全部,我们的大教堂是一个组织主题。它似乎是一个潜在的许多具体困难的历史。