YC专访:如何防止人工智能颠覆

编者按：为了防止有朝一日人工智能的发展会颠覆人类，包括 Elon Musk、Reid Hoffman 等诸位美国创新型科技行业的风云人物共同出资超过 10 亿美元，于 12月12日 宣布成立一家非营利的独立研究机构——OpenAI。该组织想要实现人工智能最先进的形态，并将研究结果向公众公开。Medium 专栏作家 Steven Levy 为此采访了 OpenAI 的领导者，看他们如何描述这个计划和它的未来愿景。

本文转载自微信订阅号“新智元”，编译作者为王婉婷和王嘉浚特此感谢。您可关注“新智元”（Al_era）了解更多人工智能最前沿资讯。

为了追求人工智能最先进的形态并将研究结果向公众公开，他们资助了一个新成立的组织，OpenAI。

像是 AI 领域的竞争还不够激烈一样——要知道 Google、Facebook、Microsoft 之类的巨头，甚至还有 Toyota 这样的汽车公司，都在急匆匆地招募研究人员——现在又有了一个新的组织渴求研究者，但又有一些不同之处。

它是一个非营利性的合资组织，叫做 “OpenAI”。今天它被宣布成立，宣称将会向公众公开它所有的研究成果，并且授予它所有的专利买断式授权（royalty-free，译者注：用来宣告一项具有版权、专利或著作权的产品能（永久或特定时段）被使用而不需要支付权利金或执照费（License fee），来自*）。这一切都是为了确保有朝一日计算机超越人类智力的可怕前景，将不会变得像一些人恐惧的反乌托邦（dystopia）那样让人绝望。OpenAI 的资金来自于一群科技行业的权威，包括 Elon Musk、Reid Hoffman、Peter Thiel、Jessica Livingston、以及 Amazon 云服务。他们承诺，将在未来很长一段时间内向这个组织投入总共超过 10 亿美元的资金。这个组织的联合董事长分别是 Elon Musk 和 Sam Altman（Y Combinator 的 CEO）。

众所周知，Musk 是 AI 的批判者，他加入这样一个组织并不让人意外。但 Y Combinator 是什么？没错，这就是那家 10年 前从一个夏季计划中脱胎而出的科技孵化器，当时以给 “拉面工资”、然后反馈美食建议的形式资助了 6 家初创企业，通过这种方式让它们能够快速扩张自己的业务。从那时起，YC 已经帮助创立了接近 1000 家公司，包括 Dropbox、Airbnb、以及 Stripe，并在最近设立了一个研究部门。过去的 2年 间，YC 一直由 Altman 领导着。他的公司 Loopt 曾经是 2005年YC 初创时孵化的公司之一，在 2012年 他以 4340 万美元的价格出售了这家公司。虽然 YC 和 Altman 都是 OpenAI 的创始人，并且 Altman 还担任了联合董事长的职务，但是 OpenAI 的确是一个与这些公司无关的、独立的合资组织。

本质上，OpenAI 是一个研究实验室，旨在削减两类组织的力量：包括因为拥有营利的超级智能系统（super-intelligence systems）而可能获得过多力量的大型组织，以及可能使用 AI 来获取力量甚至用来压迫本国公民的*机构。这可能听上去非常唐吉坷德，但这个团队已经募集到了一批精英，包括 Stripe 前 CTO Greg Brockman（他将担任 OpenAI 的 CTO）以及世界一流的研究者 Ilya Sutskever。Ilya Sutskever 曾经为 Google 工作过，是在多伦多接受神经网络先驱 Geoff Hinton 指导的年轻科学家团队的一员。他将担任 OpenAI 的研究主管。其他的人马还有一群顶尖的天赋很高的年轻人，他们的简历中囊括了主要的学术团体、Facebook AI 以及 Google 在 2014年 收购的 AI 公司 DeepMind。OpenAI 还有一个星光熠熠的顾问委员会，顶尖的计算机科学家 Alan Kay 也名列其中。

OpenAI 的领导者们对我描述了这个计划和它的未来愿景。整个采访是分成两部分进行的，首先是与 Altman 的对话，然后是与 Altman、Musk、以及 Brockman 一起讨论的部分。我将整个访谈融合在一起，编辑成了简要清晰的格式。

这一切是怎么来的？

Sam Altman：我们大约是在一个半月以前启动 YC 研究部门的，但我一直以来都在思考 AI 的问题，Elon 也是。如果你想想对于世界的未来而言哪些东西最重要，我觉得一个善良的 AI（good AI）可能是这张列表上首当其冲的几项之一。所以我们创立了 OpenAI。这个组织正在尝试研发出一种对人类友好的 AI（human positive AI）。而且因为它是一个非营利性组织，全世界都能享用它的研究成果。

Elon Musk：就像你知道的那样，我对 AI 有所顾虑已经有一段时间了。我和 Sam，和 Reid [Hoffman]，和 Peter Thiel，还有其他人，谈了许多次。我们在思考，“有没有某种方法可以确保——或者提升——AI 以有益的方式发展的概率？” 作为几次谈话的结果，我们得出了创立一个 501c3 组织的结论（译者注：501 (c) 是美国国内税收法（Internal Revenue Code, IRC）中的一项条款（美国国内税收法, § 501 (c)），列出了 26 种享受联邦所得税 （federal Income tax）减免的非营利组织，501 (c)(3) 为宗教、教育、慈善、科学、文学、公共安全测试 （Testing for public safety）、促进业余体育竞争和防止虐待儿童或动物等七个类型的组织，来自*）：一家非营利性组织，不具有让利润最大化的义务，可能会是一件不错的事情。同时，我们也会对安全性非常重视。

那么从哲学的角度上来说就有了一个重要的元素：我们希望 AI 能被广泛传播。有两种流派的思想——你是想要 AI 的数量很多，还是很少？我们认为可能数量多是一件好事。而且从你可以将它作为人类意愿的延伸这个方面来看，这也是一件好事。

人类意愿？

Musk：就像你自身有一个 AI 的延伸部分，每个人在本质上都与 AI 共生、而不是 AI 作为一个与你无关的大型*智能（large central intelligence）。想象一下你将会怎么使用，比如说网络上的应用：你可以收发邮件、玩转社交媒体、你的手机上还有许多其它 app——它们让你变成了一个能做很多事的超人，而你并不会认为它们是与你无关的，你会觉得它们是你的延伸。所以我们想要尽力引导 AI 往这个方向发展。我们已经找到了一些和我们有相似理念的 AI 领域的工程师和研究者。

Altman：我们认为 AI 发展的最好方式就是，它应该是关于让个人变得强大、让人类的生活变得更好的东西，对于所有人来说都是免费的，而不是一个比其他人类强大一百万倍的精英。因为我们并不是一个比如 Google 那样的追求盈利的公司，我们可以不用关注于如何让股东们财源滚滚，而是关注于对于人类未来而言，我们相信的、在实际上最好的东西。

Google 不是也将它的进展与公众分享吗？比如它最近在机器学习领域做的那样

Altman：他们的确与公众分享了许多研究成果。随着时间过去，随着我们逐渐接近那种超越人类智能的东西，Google 还会与公众分享多少成果是值得怀疑的。

你们在 OpenAI 中研究的东西不是也会超越人类智能吗？

Altman：我预期它会，但是它会是开源的，任何人都能使用，而不是只能被，比如说 Google，来使用。这个团体研发的任何东西都将对所有人开放。如果你拿去以后做了一些改变、让它适应其他用途，你也不会有义务要和公众分享你的成果。但是只要是我们做的任何工作，都会对所有人开放。

如果我是邪恶博士（Dr. Evil），我利用了它，那么你们不就是在助纣为虐吗？

Musk：我想这是一个很精彩的问题，我们为这个争论过不少次。

Altman：关于这个问题有一些不同的思路。就像科幻作品中用 “大部分人类都是善良的，而人类的集体力量中可能有一些邪恶的元素” 的事实来对抗邪恶博士那样，我们认为，比起一个单独的比其他任何东西都强大无数倍的 AI，许多许多的 AI 致力于阻止偶尔出现的邪恶 AI，这种可能性要大得多。如果那个强大无比的 AI 脱离了人类掌控，或者邪恶博士得到了它、没有东西能与它抗衡，那么我们就真的落到了很糟糕的境地。

对于 OpenAI 公布的东西，你们会有监管吗？

Altman：我们的确希望能够随着时间建立起监管机制。一开始将只有 Elon 和我。我们距离实际开发出真正的 AI 还有很长很长的距离。但我想我们将会有足够的时间来建立监管的机制。

Musk：我确实想要将一些时间花在这个团队上，大概会是每周在办公室花上一两个下午的时间来了解研究进展、提供我的想法和反馈，对于 AI 的现状和我们是否在接近一种危险的东西有一些更深的理解。我个人将会对安全性极其敏感，我对这个问题有许多顾虑。如果我们看到了某种我们认为在安全性上有风险的东西，我们会将其公之于众。

什么是邪恶的人工智能（Bad AI），能举个例子么？

Altman：实际上，邪恶的人工智能基本都和科幻小说描绘的差不多，但像终结者那样的人工智能技术，还需要一段时间才能出现。我在短期内丝毫不担心它们。不过有一件事我的确认为是挑战：自动化的普及，以及工作被机器人取代。另一个邪恶的人工智能例子是，人工智能程序能够像黑客那样进入电脑，而且这方面要远比人类强大。这些事现在已经发生了。

你的系统已经建立好了吗？

Altman：还没有，开始会像研究实验室那样，而且在长期的时间里，也都会以这样的形式存在。现在我们还不知道怎么去建造这个系统。从第一天开始，我们有了 8 名研究者，未来几个月还会有更多人加入。现在他们会使用 YC 孵化器的办公空间，当他们逐渐成长后才会搬出去独立办公。他们也会不断演练想法，编写程序来看是否能加速现在人工智能技术的进展。

组织外的人，可以加入到项目中么？

Altman：当然可以了。我们把项目以完全开放的形式进行，*分享信息，这样的好处是能和任何人合作。你很难和 Google 的员工合作，因为他们有一大堆保密条款。

Sam，既然 Open AI 会最早入驻 YC 孵化器，你的创业公司们会参与到 Open AI 的工作么？（更正：Altman 现在告诉我说，办公室会在旧金山。）

Altman：如果 OpenAI 的确开发了不错的技术，而且所有人都可以免费使用并造福于科技公司。不过也仅仅是这样了。但我们会询问 YC 孵化器的公司们，在自愿的情况下开放合适的数据给 OpenAI。Elon Musk 也在考虑 Tesla 和 Space X 公司能分享哪些数据。

你们会分享什么类型的数据？

Altman：这有很多。例如说所有的 Reddit 数据都会是非常有用的训练集。你也可以想象，所有的特斯拉自动驾驶视频也会变得很有价值。大量的数据的确很重要。如果你思考人类如何变得聪明，当你读书的时候，你变得聪明，当我读书的时候，我变得聪明。但是我并不会因为你读书而变得聪明，反过来也一样。但是使用特斯拉作为例子，当一辆特斯拉学会新的习惯，那么所有的特斯拉都会立刻从它的智能获得收益。

Musk：实话说我们并没有非常详细的专门计划，因为它还处在公司非常初创的阶段。这是一种萌芽期的状态。但确信的是，特斯拉会有大量的数据，关于真实世界的数据，因为我们的*每年都会积累几百万的公里数。也许特斯拉相比世界上任何其他的公司，都有更多的真实世界数据。

【Elon Musk & YC 专访】如何防止人工智能颠覆 ？

Tesla CEO 和产品架构师 Elon Musk，YC 孵化器主席 Sam Altman

AI 需要大量的计算能力。你们打算怎么部署基础设施？

Altman：我们正和亚马逊云服务合作，他们为项目捐献了大量的基础设施服务。

你们要向项目投资 10 亿美元？

Musk：我得说最后的资金投资会超过 10 亿美元。我们并不想出具详细的资金来源统计分析，但是我们在博客中提到了为项目做出杰出贡献的人。

这个项目会持续多久？

Altman：这取决于它需要多长时间建立起来。我们会尽可能的节俭，但这也许是几十年的项目，需要很多人参与，也需要很多的硬件设施。

而你们不需要去赚钱？

Musk：对的。这不是利益取向的投资。也许它未来能够产生收入，就像斯坦福实验室 501c3 项目一样。所以未来也许会有收入，但不会有利润给股份持有者分红，也不会有股票价格或其他任何可以获利的东西。我们认为这样会比较好。

Elon，你在早些时间投资了人工智能公司 DeepMind，而现在似乎是相同的理由，来确保人工智能受到监督。然后 Google 收购了 DeepMind，这是你的第二次尝试么？

Musk：我得强调，我并不是通常意义的投资者。我不寻求投资和财务上的回报。我给自己参与创立的公司投资，有时候是出于帮助朋友，有时候是因为我的信仰，也有的时候是因为我关心的事情。我并不是出于分散风险或者物质意义上的考虑。不过，我对 DeepMind 所谓的投资，不过是为了更好的理解人工智能，并且能够时刻看到它的进展。

你们现在要和 DeepMind、Facebook 和微软竞争最好的科研人员么？

Altman：我们的招聘计划进展的不错。对科研人员真正有吸引力的是*度和开放性，以及分享他们研究项目的许可程度，但是在产业实验室里面，你很难达到相同的权限。我们得以吸引力非常高质量的初创团队，而其他人会想着加入，以和这样的团队一起工作。最后我认为，我们的使命、愿景和管理架构真的对人们有吸引力。

你们最终会雇佣多少人？一百多？

Altman：也许吧。

我得回到最初的想法，通过把人工智能分享出去，我们或许可以避免它最糟糕的结果。但是把人工智能变得可以公开获得，是否会增加它的潜在危险？

Altman：我和 Elon Musk 以及其他人就这个问题讨论了很长的时间，不过我到现在都不是 100% 的确定。你永远也不可能 100% 确定，不是么？不过我们可以有不同的剧本，通过加密技术来保障安全，通常不怎么管用。如果只有一个机构能有这样的技术，你怎么决定它应该是 Google、美国*、中国*、ISIS 或其他？世界上有很多邪恶的人，但人类却依然生生不息。但是，如果其中某个坏人拥有了超出其他人类 10 亿倍的能力，那世界将会怎样？

Musk：我认为抵抗 AI 错误使用的最好办法，就是让人们尽可能去拥有 AI。如果每个人都有 AI 的力量，那就不会有个人或小团体拥有 AI 的超级力量。

Elon，你是两个公司的 CEO 和一家公司的董事长。你还有足够的时间投入到新项目么？

Musk：那确实。但我心里一直都在考虑 AI 的安全性，所以我还是应该做个交易换来心灵平静。