All MIRI Publications

Articles

杂志文章会议/车间论文Book ChapterTechnical Report/Working Paper

近期和即将到来的论文

艾豪林。2020.“概述建设安全高级AI的11个建议。“arXiv:2012.07532 [cs.LG].
E Hubinger, C van Merwijk, V Mikulik, J Skalse, and S Garrabrant. 2019. “高级机器学习系统中学到的学习优化风险亚博体育苹果app官方下载。“arXiv:1906.01820 [cs.AI].
v Kosoy。2019年。“授权加固学习:学习避免陷阱有点帮助。“在ICLR的安全机器学习研讨会上提出。
一个demski和s garrabrant。2019年。“嵌入式机构。“arxiv:1902.09469 [cs.ai]。

2018年

S Armstrong and S Mindermann. 2018. “冬季的剃刀不足以推断不合理代理的偏好。“In神经信息处理系统的进步亚博体育苹果app官方下载31。
D Manheim和S Garrabrant。2018。“对古德哈特法的分类变体。“arXiv:1803.04585 [cs.AI].

2017年

R Carey. 2018. “Cirl框架中的不知形性。“arXiv:1709.06275 [cs.AI]. Paper presented at the AAAI/ACM Conference on Artificial Intelligence, Ethics, and Society.
克码。2017年。“转向可转让钢筋学习:在帕累托最优连续决策中转移优先事项。“arXiv:1701.01302 [cs.AI].
S Garrabrant, T Benson-Tilsen, A Critch, N Soares, and J Taylor. 2017. “A Formal Approach to the Problem of Logical Non-Omniscience。“论文在第16次理论方面的理论和知识的理论方面。
K Grace,J Salvatier,A Dafoe,B Zhang和O Evans。2017年。“什么时候AI将超过人类的表现?来自AI专家的证据。“arxiv:1705.08807 [cs.ai]。
v Kosoy。2017年。“使用不完整模型预测。“arxiv:1705.04630 [cs.lg]。
n拍卖和b levinstein。2020.“在大马士革欺骗死亡。“The Journal of Philosophy117(5):237–266. Previously presented at the 14th Annual Formal Epistemology Workshop.
E Yudkowsky and N Soares. 2017. “Functional Decision Theory: A New Theory of Instrumental Rationality。“arxiv:1710.05060 [cs.ai]。

2016年

T Benson-Tilsen and N Soares. 2016. “Formalizing Convergent Instrumental Goals。“Paper presented at the AAAI 2016 AI, Ethics and Society Workshop.
克码。2019年。“Löb定理的参数,资源有限泛化,以及开放源游戏理论的强大合作标准。“arXiv:1602.04184 [cs:GT].The Journal of Symbolic Logic84(4):1368–1381. Previously published as “参数界Löb的定理和有界代理的强大合作。“
S Garrabrant, T Benson-Tilsen, A Critch, N Soares, and J Taylor. 2016. “逻辑归纳。“arxiv:1609.03543 [cs.ai]。
S Garrabrant, T Benson-Tilsen, A Critch, N Soares, and J Taylor. 2016. “逻辑归纳(Abridged)。“Miri技术报告2016-2。
S Garrabrant,B Fallenstein,Demski和N拍卖。2016年。“归纳连贯。“arXiv:1604.05288 [cs:AI]. Previously published as “Uniform Coherence.”
S garrabrant,n拍卖和j泰勒。2016年。“与无限延迟的在线学习中的渐近融合。“arxiv:1604.05280 [CS:LG]。
v Kosoy和Appel。2020.“最优多项式估计:近似算法的贝叶斯概念。“arXiv:1608.04112 [cs.CC]. Forthcoming inJournal of Applied Logics
J Leike,J Taylor和B Fallenstein。2016年。“对真理问题的正式解决方案。“纸张在第32次人工智能下的不确定性会议上。
L Orseau and S Armstrong. 2016. “Safely Interruptible Agents。“纸张在第32次人工智能下的不确定性会议上。
K Sotala。2016年。“定义价值学习者的人类价值观。“Paper presented at the AAAI 2016 AI, Ethics and Society Workshop.
J Taylor。2016年。“定量器:最大限度的替代品,可用于有限优化。“Paper presented at the AAAI 2016 AI, Ethics and Society Workshop.
J Taylor, E Yudkowsky, P LaVictoire, and A Critch. 2016. “Alignment for Advanced Machine Learning Systems。“Miri 2016-1技术报告。

2015年

B Fallenstein和R Kumar。2015.“对HOL的证明反射:用申请模拟多态性。“In互动定理证明:第6届国际会议,ITP 2015,南京,中国,2015年8月24日至27日,诉讼。Springer。
b fallenstein和n飙升。2015.“视频反思:自我改善代理商可靠推理。“MIRI technical report 2015–2.
b expenstein,n飙升和j泰勒。2015.“Solomonoff诱导和AIXI的反光变种。“In2015年AGI的诉讼程序。Springer。以前发布为2015-8 2015-8的Miri技术报告。
B Fallenstein, J Taylor, and P Christiano. 2015. “反思性奥卡尔:古典博弈论的基础。“arXiv:1508.04145 [cs.AI]. Previously published as MIRI technical report 2015–7. Published in abridged form as “Reflective Oracles: A Foundation for Game Theory in Artificial Intelligence“ 在Proceedings of LORI 2015
S Garrabrant, S Bhaskar, A Demski, J Garrabrant, G Koleszarik, and E Lloyd. 2016. “Asymptotic Logical Uncertainty and the Benford Test。“arXiv:1510.03370 [cs.LG]. Paper presented at the Ninth Conference on Artificial General Intelligence. Previously published as MIRI technical report 2015–11.
K Grace. 2015. “亚利奥马尔会议:风险缓解的案例研究。“MIRI technical report 2015–9.
p救星。2015.“Miri研究中Löb的定理介绍亚博体育官网。“Miri技术报告2015-6。
n拍了。2015.“对齐过度智能化与人类兴趣:一个注释的参考书目。“Miri 2015-5技术报告。
n拍了。2015.“正式化现实世界模型的两个问题。“MIRI technical report 2015–3.
n拍了。2018。“The Value Learning Problem。“InArtificial Intelligence Safety and Security。查普曼和大厅。此前在IJCAI 2016年人工智能研讨会伦理上介绍,并于2015-4年之前发表于Miri技术报告。
n飙升和b expenstein。2015.“Questions of Reasoning under Logical Uncertainty。“MIRI technical report 2015–1.
n飙升和b expenstein。2015.“走向理想化决策理论。“arXiv:1507.01986 [cs.AI]. Previously published as MIRI technical report 2014–7. Published in abridged form as “两次尝试在确定性设置中正式化逆向上学推理“ 在2015年AGI的诉讼程序
K Sotala。2015.“Concept Learning for Safe Autonomous AI。“纸介绍在2015年2015年伦理和人工智能研讨会上。

2014年

S Armstrong,K Sotala和Sóhéigeartaigh。2014年。“The Errors, Insights and Lessons of Famous AI Predictions – and What They Mean for the Future。“中国实验与理论人工智能学报26(3):317-342。
star_icon.
MBárász,P Christiano,B Fallenstein,M Herreshoff,P Lavictoire和E Yudkowsky。2014年。“对囚犯困境的强大合作:通过可证明逻辑计划均衡。“arXiv:1401.5577 [cs.GT]。
T Benson-Tilsen. 2014. “UDT具有已知的搜索顺序。“MIRI technical report 2014–4.
n bostrom和e dudkowsky。2018。“人工智能的伦理。“InArtificial Intelligence Safety and Security。查普曼和大厅。Previously published in人工智能的剑桥手册(2014年).
P Christiano. 2014. “Non-Omniscience, Probabilistic Inference, and Metamathematics。“MIRI technical report 2014–3.
B Fallenstein。2014年。“概率逻辑的拖延。“工作文件。
star_icon.
b fallenstein和n飙升。2014年。“Problems of Self-Reference in Self-Improving Space-Time Embedded Intelligence。“In2014年AGI的诉讼程序。Springer。
b expenenstein和n stiennon。2014年。“‘Loudness’: On Priors over Preference Relations。“简要技术说明。
P LaVictoire, B Fallenstein, E Yudkowsky, M Bárász, P Christiano and M Herreshoff. 2014. “通过Löb的定理囚犯困境的计划均衡。“Paper presented at the AAAI 2014 Multiagent Interaction without Prior Coordination Workshop.
l Muehlhauser和N Bostrom。2014年。“为什么我们需要友好的ai。“Think13(36):42-47。
L Muehlhauser and B Hibbard. 2014. “Exploratory Engineering in AI。“ACM的通讯57 (9): 32–34.
C Shulman和N Bostrom。2014年。“胚胎选择认知增强:好奇心或游戏 - 更换者?全球政策5(1):85-92。
n拍了。2014年。“因果图中的剪辑代理。“MIRI technical report 2014–5.
n飙升和b expenstein。2014年。“BOTWORLD 1.1。“MIRI technical report 2014–2.
n飙升和b expenstein。2017年。“用于将机器智能与人类利益对准的代理基础:技术研究议程亚博体育官网。“InThe Technological Singularity: Managing the Journey。Springer。以前发布为2014-8的MIRI技术报告,根据“对齐的超明与人类利益对齐的超明:技术研究议程”。亚博体育官网
n飙升,b expenstein,e yudkowsky和s阿姆斯特朗。2015.“易燃。“纸介绍在2015年2015年伦理和人工智能研讨会上。以前发布为2014-6的Miri技术报告。
e Yudkowsky。2014年。“分布允许平铺分阶段主观欧盟最大化器。“MIRI technical report 2014–1.

2013年

star_icon.
A Altair. 2013. “A Comparison of Decision Algorithms on Newcomblike Problems。“工作文件。Miri。
S Armstrong,N Bostrom和C Shulman。2015.“Racing to the Precipice: A Model of Artificial Intelligence Development。“AI & Society(DOI 10.1007 / S00146-05-0590-7):1-6。以前发布为2013-1的人性技术报告的未来。
star_icon.
P Christiano, E Yudkowsky, M Herreshoff, and M Bárász. 2013. “Definability of “Truth” in Probabilistic Logic。“草案。Miri。
B Fallenstein。2013年。“The 5-and-10 Problem and the Tiling Agents Formalism。“MIRI technical report 2013–9.
B Fallenstein。2013年。“在参数化多态性的一个形式化中降低数学强度。“简要技术说明。Miri。
B Fallenstein。2013年。“一系列无限的声音理论序列,每个都证明了下一个一致。“MIRI technical report 2013–6.
B Fallenstein和Mennen。2013年。“Predicting AGI: What Can We Say When We Know So Little?“ 工作文件。Miri。
K Grace. 2013. “Algorithmic Progress in Six Domains。“MIRI technical report 2013–3.
j hahn。2013年。“概率元素学中的科学归纳。“MIRI technical report 2013–4.
l muehlhauser。2013年。“情报爆炸常见问题解答。“工作文件。Miri。(HTML)
star_icon.
l muehlhauser和l helm。2013年。“智力爆炸和机器伦理。“InSingularity Hypotheses。Springer。
star_icon.
l muehlhauser和萨拉猴。2013年。“Intelligence Explosion: Evidence and Import。“InSingularity Hypotheses。Springer。(Español.)(Français.)(Italiano)
l Muehlhauser和C威廉姆森。2013年。“Ideal Advisor Theories and Personal CEV。“工作文件。Miri。
n拍了。2013年。“Fallenstein’s Monster。“MIRI technical report 2013–7.
K Sotala和R yampolskiy。2014年。“Responses to Catastrophic AGI Risk: A Survey。“Physica Scripta90(1):1-33。以前发布为2013-2的Miri技术报告。
n stiennon。2013年。“Recursively-Defined Logical Theories Are Well-Defined。“MIRI technical report 2013–8.
R yampolskiy和J Fox。2013年。“Artificial General Intelligence and the Human Mental Model。“InSingularity Hypotheses。Springer。
R yampolskiy和J Fox。2013年。“人工综合情报安全工程。“topoi.32 (2): 217–226.
star_icon.
e Yudkowsky。2013年。“智力爆炸微观经济学。“Miri 2013-1技术报告。
e Yudkowsky。2013年。“The Procrastination Paradox。“简要技术说明。Miri。
e yudkowsky和m herreshoff。2013年。“Tiling Agents for Self-Modifying AI, and the Löbian Obstacle。“草案。Miri。

2012

star_icon.
S阿姆斯特朗和K Sotala。2012年。“How We’re Predicting AI – or Failing To。“InBeyond AI: Artificial Dreams。Pilsen: University of West Bohemia.
B Hibbard。2012年。“Avoiding Unintended AI Behaviors。“In2012年AGI的诉讼程序。Springer。
B Hibbard。2012年。“Decision Support for Safe AI Design。“In2012年AGI的诉讼程序。Springer。
l muehlhauser。2012年。“2012年AI风险参考书目。“工作文件。Miri。
萨拉曼逊和l muehlhauser。2012年。“Singularity Summit 2011 Workshop Report。“工作文件。Miri。
C Shulman和N Bostrom。2012年。“人工智能有多难?进化论点和选择效果。“意识研究杂志19(7-8):103-130。
K Sotala。2012年。“人工智能,上传和数字思想的优势。“International Journal of Machine Consciousness4(1):275-291。
K Sotala and H Valpola. 2012. “Coalescing Minds: Brain Uploading-Related Group Mind Scenarios。“International Journal of Machine Consciousness4(1):293-312。

2011

p de blanc。2011年。“Ontological Crises in Artificial Agents’ Value Systems。“arxiv:1105.3821 [cs.ai]
d杜威。2011年。“学习价值的东西。“In2011年AGI的诉讼程序。Springer。
e Yudkowsky。2011年。“复杂价值系统是实现有价值的期亚博体育苹果app官方下载货需求。“In2011年AGI的诉讼程序。Springer。

2010

J Fox and C Shulman. 2010. “过度智慧并不意味着仁慈。“InECAP 2010的诉讼程序。verlag博士小屋。
S KAAS,S Rayhawk,Salamon和P Salamon。2010年。“软件思想的经济影响。“InECAP 2010的诉讼程序。verlag博士小屋。
A Salamon, S Rayhawk, and J Kramár. 2010. “情报是多么可理解?“ 在ECAP 2010的诉讼程序。verlag博士小屋。
C Shulman. 2010. “Omohundro’s ‘Basic AI Drives’ and Catastrophic Risks。“工作文件。Miri。
C Shulman. 2010. “Whole Brain Emulation and the Evolution of Superorganisms。“工作文件。Miri。
c shulman和桑德伯格。2010年。“Implications of a Software-Limited Singularity。“InECAP 2010的诉讼程序。verlag博士小屋。
K Sotala。2010年。“From Mostly Harmless to Civilization-Threatening。“InECAP 2010的诉讼程序。verlag博士小屋。
N Tarleton. 2010. “连贯的外推着中的意志:机器伦理的元水平方法。“工作文件。Miri。
e Yudkowsky。2010年。“永恒的决策理论。“工作文件。Miri。
e yudkowsky,c shulman,萨拉猴,r nelson,s kaas,s rayhawk和t mccabe。2010年。“Reducing Long-Term Catastrophic Risks from Artificial Intelligence。“工作文件。Miri。

2001-2009

p de blanc。2009年。“普遍人工智能预期效用的融合。“arXiv:0907.5598 [cs.AI].
S Rayhawk, A Salamon, M Anissimov, T McCabe, and R Nelson. 2009. “Changing the Frame of AI Futurism: From Storytelling to Heavy-Tailed, High-Dimensional Probability Distributions。“在ECAP 2009上提出的纸张。
C Shulman and S Armstrong. 2009. “手臂控制和智力爆炸。“在ECAP 2009上提出的纸张。
C Shulman, H Jonsson, and N Tarleton. 2009. “机器伦理和超明。“In2009年AP-Cap的诉讼程序。University of Tokyo.
C Shulman,N塔尔克隆和H jonsson。2009年。“Which Consequentialism? Machine Ethics and Moral Divergence。“In2009年AP-Cap的诉讼程序。University of Tokyo.
e Yudkowsky。2008。“Artificial Intelligence as a Positive and Negative Factor in Global Risk。“InGlobal Catastrophic Risks。Oxford University Press. Published in abridged form as “Friendly Artificial Intelligence” inSingularity Hypotheses。(官话)(Italiano)(한국어)(Português.)(Pу́сский)
e Yudkowsky。2008。“Cognitive Biases Potentially Affecting Judgement of Global Risks。“InGlobal Catastrophic Risks。Oxford University Press. (Italiano)(Pу́сский)(葡萄牙语)
e Yudkowsky。2007. “一般情报中的组织水平。“In人造一般情报(认知技术)。Springer。
e Yudkowsky。2004. “Coherent Extrapolated Volition。“工作文件。Miri。

注册以获取新的Miri技术结果的更新

每次发布新技术文件时都会通知。

图书

均衡覆盖不足

均衡不足:文明在哪里以及如何卡住

e Yudkowsky(2017年)

When should you think that you may be able to do somethingunusually well?When you’re trying to outperform in a given area, it’s important that you have a sober understanding of your relative competencies. The story only ends there, however, if you’re fortunate enough to live in anadequate文明。

Eliezer YudkowskyInadequate Equilibria对于任何质疑何时以及如何知道更好的人,并且比现状更好,这是一个尖锐而活泼的指导。yudkowsky与日常生活提示自由混合关于与日常生活提示的辩论,探讨我们(并且不能)期望发现系统性低效率,并利用它们的核心问题。亚博体育苹果app官方下载

理性的

合理性:从AI到僵尸

e yudkowsky(2015)

When human brains try to do things, they can run into some very strange problems. Self-deception, confirmation bias, magical thinking—it sometimes seems our ingenuity is boundless when it comes to shooting ourselves in the foot.

地图和地区and the rest of the合理性:从AI到僵尸series asks what a “martial art” of rationality would look like. In this series, Eliezer Yudkowsky explains the findings of cognitive science, and the ideas of naturalistic philosophy, that help provide a useful background for understanding MIRI’s research and for generally approaching ambitious problems.

Smarterthanuscover.

Smarter Than Us: The Rise of Machine Intelligence

S Armstrong(2014)

What happens when machines become smarter than humans? Humans steer the future not because we’re the strongest or the fastest but because we’re the最聪明的。When machines become smarter than humans, we’ll be handing them the steering wheel. What promises—and perils—will these powerful machines present? Stuart Armstrong’s new book navigates these questions with clarity and wit.

面对智力爆炸

面对智力爆炸

l Muehlhauser(2013)

在本世纪的某个时候,机器将超越人类的智力和能力。这一事件 - “情报爆炸” - 威尔是我们历史中最重要的事件,明智地导航它将成为我们所做的最重要的事情。

杰出人物阿兰·图灵和i . j .比尔Joy and Stephen Hawking have warned us about this. Why do we think Hawking and company are right, and what can we do about it?

面对智力爆炸is Muehlhauser’s attempt to answer these questions.

ai-foom-cover

Hanson-Yudkowsky AI-FOF辩论

R Hanson和E Yudkowsky(2013年)

In late 2008, economist Robin Hanson and AI theorist Eliezer Yudkowsky conducted an online debate about the future of artificial intelligence, and in particular about whether generally intelligent AIs will be able to improve their own capabilities very quickly (a.k.a. “foom”). James Miller and Carl Shulman also contributed guest posts to the debate.

原始辩论在很长一系列博客文章中进行,这里收集。本书还包括2011年汉森和Yudkowsky之间的2011年辩论的成绩单,由Kaj Sotala撰写的辩论摘要,以及Yudkowsky撰写的AI起飞动态(“智力爆炸微观经济学”)的2013年技术报告。

其他

yabo体育官网

  • Analyses- Miri向其博客发表其一些最实质性的研究。亚博体育官网
  • 谈话– MIRI interviews a diverse array of researchers and intellectuals on topics related to its research.

研究人员的资源亚博体育官网