Anthropic CEO与DeepMind CEO对谈：距离AI端到端接管软件工程师只剩6-12个月；实习生恐面临危机

《经济学人》主编Zanny：非常好。欢迎大家，也热烈欢迎在线观看的观众们。不得不说，这场对话我已经期待了好几个月了。去年我很荣幸在巴黎主持过Dario与Demis的一场对话。那次甚至因为你俩挤在一张很小的双人沙发上，而我坐在一张巨大的沙发上而备受关注——那大概是我的失误。当时我说，这就像是主持披头士乐队和滚石乐队之间的对话。自那以后，你们还没有在台上对此进行过对话。所以，这就是续集，乐队再次重聚。我很开心。你们二位不需要介绍了。我们今天对话的标题是“AGI（通用人工智能）降临后的第一天”，我觉得这个标题可能有点超前了，因为我们应该先谈谈我们会多快、多容易到达那里。我想先从这一点的更新开始，然后再谈后果。

《经济学人》主编Zanny：首先关于时间表。Dario，你去年在巴黎说，到 2026 或 2027 年，我们将拥有一个在许多领域都能像诺贝尔奖得主一样做任何事情的模型。我们现在就在 2026 年（注：根据语境推测当前时间）。你还坚持这个时间表吗？

Anthropic CEO Dario Amodei：你知道，确切知道某事何时发生总是很难的，但我不认为结果会偏离太远。我设想的机制是，我们将制造出擅长写代码和擅长 AI 研究的模型，然后我们将利用这些模型来生产下一代模型，并加速这个过程，创造一个循环来提高模型开发的速度。就会写代码的模型而言，如果你看我们现在的进度——我有 Anthropic 的工程师基本上在说：“我不再写任何代码了。我只是让模型写代码，我来编辑。我做周围的工作。” 我想我们可能距离模型能够端到端地完成软件工程师所做的绝大部分甚至全部工作，只有 6 到 12 个月的时间了。接下来的问题是这个循环闭合得有多快。并非这个循环的每个部分都能被 AI 加速，对吧？比如芯片、芯片制造、模型训练时间等。所以，这确实存在很多不确定性。很容易看出这可能需要几年时间。但我很难看出这会花费比几年更长的时间。如果非要我猜，我会猜这比人们想象的要快。关键驱动因素将是代码以及越来越多的研究工作比我们想象的更快。这真的很难预测指数级增长会让我们加速多少，但某些快速的事情将会发生。

《经济学人》主编Zanny：Demis，你去年在稍微谨慎一些。你说在这个十年结束前（2030年前），有 50% 的几率出现一个能展现人类所有认知能力的系统。显然，正如 Dario 所说，在编程方面进展显著。你对你的预测有什么变化吗？过去一年有什么变化吗？

DeepMind CEO Demis：是的，看，我想我仍然坚持同样的时间表。我认为确实取得了显著进展。但我认为某些工程领域的工作，比如编程，或者你可以说是数学，稍微更容易看到它们如何被自动化，部分原因是输出是可验证的。自然科学的某些领域比这要难得多。你不一定知道你构建的化合物或关于物理的预测是否正确。你可能必须通过实验来测试它，这都需要更长的时间。此外，我认为目前确实还缺失一些能力，不仅是解决现有的猜想或问题，而是首先提出问题，或者提出理论或假设。我认为那要难得多，那是科学创造力的最高水平，目前还不清楚。我认为我们会拥有这些系统，我不认为这是不可能的，但我认为可能缺少一两个要素。至于这个我们都在努力的“自我提升循环”能否在没有人参与的情况下真正闭合，还有待观察。顺便说一句，这种系统也有风险，我们应该讨论，我相信我们会讨论的。但如果这种系统真的奏效，确实可以加速进程。

《经济学人》主编Zanny：如果是那样的话。我们会稍后谈风险。但过去一年还有一个变化，那就是竞赛排名的变化。一年前的这个时候，我们刚刚经历了 DeepSeek 时刻，每个人都对那里发生的事情感到极其兴奋，当时有一种感觉，Google DeepMind 似乎落后于 OpenAI。我会说现在看起来很不亦了。我是说，他们甚至宣布了红色警报（Code Red），对吧？这是相当不平凡的一年。具体说说你对什么感到惊讶？你觉得这一年做得怎么样？

DeepMind CEO Demis：看，我一直很有信心我们会回到排行榜的顶端，并在各类模型上达到最先进水平（SOTA），因为我认为我们一直拥有最深厚、最广泛的研究底蕴。关键在于将这一切整合起来，让整个组织找回那种强度、专注和创业心态。这需要做很多工作。我们还有很多工作要做，但我想你可以开始看到在 Gemini 3 模型上的进展，以及 Gemini App 在产品端获得越来越多的市场份额。所以我感觉我们进展很大，但仍有大量工作要做。我们将 Google DeepMind 的力量——Google 的引擎室——发挥出来，我们要习惯越来越快地将模型输送到产品界面中。

《经济学人》主编Zanny：Dario，关于这方面有个问题给你。因为你们刚刚完成了一轮估值惊人的融资。但与 Demis 不同，你是一个——我们称之为——独立的模型制造商。现在有一种越来越多的担忧，认为独立模型制造商无法坚持足够长的时间，直到收入进来。这种说法针对 OpenAI 说得很公开。请谈谈你是如何看待这个问题的？然后我们再谈 AGI 本身。

Anthropic CEO Dario Amodei：是的，我是说，你知道，我们是这样想的：随着我们构建越来越好的模型，不仅在投入多少算力与模型认知能力之间存在指数关系，在模型认知能力与它能产生的收入之间也存在指数关系。所以我们的收入在过去三年里增长了 10 倍：2023 年从 0 到 1 亿，2024 年从 1 亿到 10 亿，2025 年从 10 亿到 100 亿。这些收入数字——我不知道那条曲线是否真的会继续下去，如果继续下去那就太疯狂了——但这些数字开始变得离世界上最大的公司的规模不远了。

所以虽然总有不确定性，你知道，我们试图从零开始白手起家，这是一件疯狂的事情，但我有信心，如果我们能够在我们专注的领域生产出最好的模型，我认为事情会顺利。我想总体上说，我认为这一年对 Google 和 Anthropic 来说都是不错的一年。我认为我们要共同点是，这两家公司——或者说公司的研究部门——都是由专注于模型的研究人员领导的，他们专注于解决世界上的重要问题，把这些艰难的科学问题作为“北极星”。我认为这正是未来会成功的公司类型，我认为我们之间非常有共鸣。

《经济学人》主编Zanny：我就不忍住不问“那些不由研究人员领导的公司会发生什么”了，因为我知道你不会回答。那我们继续谈预测领域。我们要谈的是 AI 之后的一天，但让我们先谈谈“闭环”。你得到能闭环并能够——如果你愿意这样说——自我驱动的模型的几率有多大？因为这真的是“赢家通吃”门槛的关键。你是否仍然相信我们很可能会看到这种情况，还是这会更像是一种普通技术，追随者和追赶者也能竞争？

DeepMind CEO Demis：看，我绝对不认为这会是一种普通技术。正如Dario提到的，这方面已经有迹象表明它正在帮助我们的编程和某些方面的研究。但是，完全闭环，我认为还是个未知数。我认为这是可能做到的。你可能需要 AGI 本身才能在某些领域做到这一点——同样，那些更混乱的领域，很难快速验证答案的领域，那些 NP 困难的领域。一旦你开始涉及更多——顺便说一句，我也把物理 AI、机器人技术包括在 AGI 里——这就有了硬件在循环中，这可能会限制自我提升系统的速度。但在编程和数学这些领域，我绝对可以看到这行得通。然后更多是一个理论问题：工程和数学解决自然科学的极限在哪里？

《经济学人》主编Zanny：Dario，大概是去年，你发表了《充满爱意的机器》（Machines of Loving Grace），那是一篇非常乐观的文章，讲述了未来的潜力。我听说你正在写这篇文的更新版，一篇新文章。各位这还没发布，但快了。或许你可以给我们一点预览，一年后你的重磅观点是什么？

Anthropic CEO Dario Amodei：是的。我的观点没有改变。我的观点一直是，AI 将会极其强大。我想 Demis 和我在这点上是一致的。问题只是确切的时间。正因为它极其强大，它将做到我在《充满爱意的机器》中谈到的所有美妙事情：帮助我们治愈癌症，可能帮助我们消灭热带疾病，帮助我们理解宇宙。但同时也存在巨大且严重的风险。我不是“末日论者（Doomer）”，并不是说我们无法解决它们，而是我们需要思考并解决它们。

我先写了《充满爱意的机器》，我想给出一个复杂的理由，但其实只是因为积极的文章比消极的文章更容易写，也更有趣。所以我终于在度假时花了一些时间，写了一篇关于风险的文章。即使我在写风险，我也试图——我是一个乐观的人，对吧？——所以我写的角度是：我们如何克服这些风险？我们如何制定应对这些风险的战斗计划？我的框架来自于 Carl Sagan 的《超时空接触》电影版中的一幕。

当他们发现外星生命时，国际小组在面试候选人去见外星人。他们问其中一个候选人：“如果你能问外星人一个问题，你会问什么？”其中一个角色说：“我会问：‘你们是怎么做到的？你们是如何度过这个技术青春期而没有自我毁灭的？你们是怎么挺过来的？’” 自从我 20 年前看过这部电影，这就一直印在我的脑海里。这就是我使用的框架。我们正在敲响这些令人难以置信的能力的大门，基本上是用沙子制造机器（指芯片）。我认为从我们开始使用火的那一刻起，这就不可避免了。但我们如何处理它并非不可避免。

我认为未来几年我们将要面对的是：我们如何控制这些高度自主且比任何人类都聪明的系统？我们如何确保个人不滥用它们？我对生物恐怖主义等事情感到担忧。我们如何确保国家不滥用它们？这就是为什么我一直如此担心中共和其他威权政府。经济影响是什么？我也谈了很多关于劳动力替代的问题。以及我们还没想到的事情。

所以，我在思考如何解决这些风险。对于每一个风险，这都是我们需要作为公司领导者个人要做的事，以及我们可以合作做的事，然后还需要更广泛的社会机构（如政府）在解决这些问题中发挥作用。但我感到一种紧迫感。外面的世界除了 AI 还有各种疯狂的事情发生，但我的观点是，这件事发生得如此之快，而且是一场如此大的危机，我们应该投入几乎所有的精力来思考如何度过难关。

《经济学人》主编Zanny：我不知道我是该惊讶于你会去度假，还是惊讶于你度假时思考 AI 风险，还是惊讶于你的文章框架是“我们能否在不自我毁灭的情况下度过技术青春期”。我的头有点晕，但我迫不及待想读它。你提到了几个领域，我们可以以此引导接下来的对话。让我们从工作开始。你对此非常直言不讳，你说过一半的入门级白领工作可能会在未来一到五年内消失。 Demis，我想问你，因为到目前为止我们实际上还没有看到对劳动力市场的明显影响。是的，美国的失业率有所上升，但我看过的所有经济研究都表明这是疫情后过度招聘的调整，并不是 AI 驱动的。如果有的话，人们甚至在为了建立 AI 能力而招聘。你是否认为这会像经济学家一直争论的那样——不是“劳动总量谬误”——实际上会有新工作被创造出来？因为目前的证据似乎表明了这一点。

DeepMind CEO Demis：是的，我认为在短期内确实会发生这种情况。这是突破性技术到来时的正常演变。一些工作会被颠覆，但我认为新的、更有价值、也许更有意义的工作会被创造出来。我认为今年我们将看到这开始影响初级水平、入门级的工作和实习机会。我认为有一些证据，我自己也能感觉到，这方面的招聘可能会放缓。但我认为这可以被一个事实所补偿：现在有这些惊人的创造性工具，几乎所有人都可以免费使用。如果我现在跟一班本科生说话，我会告诉他们要极其熟练地掌握这些工具。我认为，即使是我们这些构建者，我们太忙于构建它，以至于很难有时间真正探索即使是今天的模型和产品所具有的“能力盈余（capability overhang）”，更不用说未来的了。这可能比传统的实习更能让你在职业中变得有用，让你实现飞跃。所以我认为未来五年可能会发生这种情况。至于 AGI 到来之后会发生什么，那是另一个问题，因为那时我们真的处于未知领域。

《经济学人》主编Zanny：Dario，你觉得这会比你去年说的“一半白领工作消失”要花更长时间吗？

Anthropic CEO Dario Amodei：我的观点大概没变。我实际上同意你和 Demis 的观点，即在我发表评论时，对劳动力市场没有影响。我现在想，也许我们开始在软件和编程领域看到一点点苗头。我甚至在 Anthropic 内部看到了这一点。我可以预见未来在初级端，甚至中级端，我们实际上需要更少而不是更多的人。我们在 Anthropic 内部正在思考如何明智地处理这个问题。关于“一到五年”，截至六年前，我会坚持这个说法。这与我之前说的“一两年内 AI 可能在所有方面都比人类强”并不矛盾。之所以时间线不同，是因为存在滞后和替代过程。我知道劳动力市场是有适应性的。就像 80% 的人过去务农，农业自动化后他们变成了工厂工人，然后变成了知识工作者。所以这里有一定程度的适应性。但我的担忧是，随着指数级增长持续叠加——我不认为这会花很长时间，大概在一年到五年之间——它将压倒我们要适应的能力。我想我说的可能和 Demis 是一样的，只是剔除了我们在时间表上的差异，这最终归结为你在编程闭环上的速度有多快。

《经济学人》主编Zanny：你对政府了解这一规模并开始思考政策应对有多少信心？

DeepMind CEO Demis：我不认为这方面的工作做得足够。即使我在这种场合遇到经济学家，我也总是惊讶于没有更多的专业经济学教授在思考将会发生什么。不仅仅是在通往 AGI 的路上，即使我们把Dario说的所有技术问题都搞对了，工作置换是我们担心的经济问题，但也可能有办法更公平地分配这种新的生产力和财富。那是那时应该发生的事情，我们可能处于一个“后稀缺”世界。

但这之后还有甚至让我现在都睡不着觉的更大问题，关乎意义和目的，以及我们从工作中获得的不仅仅是经济回报的东西。那个问题，奇怪的是，可能比解决“人类状况”和“人性整体会发生什么”更容易解决。我也乐观地认为我们会想出新答案。我们今天做很多事情，从极限运动到艺术，不一定都与经济利益直接相关。所以我认为我们会找到意义。再加上我们将探索星辰大海，这也是目的的一部分。但我认为值得现在就思考，即使按照我的时间表，也就是 5 到 10 年，在这一切到来之前，时间并不多。

《经济学人》主编Zanny：你认为出现针对 AI 的大众抵制的风险有多大？从而导致政府做一些在你看来可能很愚蠢的事情？我想到了 90 年代的全球化时代，当时确实有一些工作流失，政府做得不够，公众的反弹导致了我们现在的处境。你认为这也可能发生在你身上吗？

DeepMind CEO Demis：我认为肯定有风险，这很合理。人们有恐惧，担心工作和生计。我认为未来几年地缘政治会非常复杂。我们试图用 AlphaFold 和我们的科学工作来解决疾病、开发新能源。我想作为一个社会，显然我们想要这些。也许目前行业的平衡并没有足够倾向于这些活动。我想我们应该有更多像 AlphaFold 这样的例子，Dario也同意我，展示明确的对世界的益处。而且我认为这实际上是行业和我们所有领先者的责任，不仅仅是谈论它，而是展示它。但这将伴随着干扰。

我认为另一个问题是地缘政治竞争。显然公司之间有竞争，但主要是美国和中国之间。除非有国际合作或谅解——我认为这在部署的最低安全标准等方面实际上是好事。Dario也会同意这一点。这至关重要。这项技术将是跨越国界的，它将影响所有人。顺便说一句，《超时空接触》也是我最喜欢的电影之一。但我认为这些事情需要解决。如果我们可以的话，也许稍微慢一点的节奏——比我们目前预测的还要慢，即使是按照我的时间表——以便我们作为社会能把这一步走对，那会很好。但这需要一些协调。

《经济学人》主编Zanny：我更喜欢你的时间表。但是Dario，让我们转到这一点。因为自从我们上次在巴黎谈话以来，地缘政治环境变得更加复杂。其次，美国现在对中国的态度非常不同。这是一种更加不择手段、尽可能快地发展，但同时又要把芯片卖给中国的态度。美国政府现在的逻辑似乎是：我们需要把芯片卖给他们，因为我们需要把他们绑定在美国的供应链中。而你谈到希望有一个像 CERN（欧洲核子研究组织）那样的机构，但这离现实世界太远了。在现实世界中，既然政府似乎在做与你建议相反的事，地缘政治风险是否增加了？

Anthropic CEO Dario Amodei：看，我们只是一家公司，无论环境多么疯狂，我们都试图在现有的环境中运营。但我认为至少我的政策建议没有改变，即不卖芯片是我们能做的最重要的事情之一，以确保我们有时间来处理这个问题。我之前说过，我更喜欢 Demis 的时间表。我希望我们有 5 到 10 年，所以可能他是对的，我是错的。但假设我是对的，这一切可能在一两年内发生。为什么我们不能慢下来到 Demis 的时间表？因为我们有地缘政治对手以类似的速度构建同样的技术，很难达成可执行的协议让他们慢下来、我们也慢下来。所以，如果我们能仅仅不卖芯片，那么这就不是美国和中国之间的竞争问题。这就变成了我和 Demis 之间的竞争问题，这我非常有信心我们能解决。

《经济学人》主编Zanny：那你怎么看美国政府的逻辑？即我们需要卖芯片给他们以绑定供应链？

Anthropic CEO Dario Amodei：你知道，我认为这不仅是时间尺度的问题，也是技术重要性的问题。如果这是电信设备，那么关于推广美国技术栈、让世界各地的随机国家建立拥有英伟达芯片而不是华为芯片的数据中心，这些说法可能成立。但我把这看得更像是一个决定：我们是否要把核武器卖给朝鲜？因为那能给波音公司带来一些利润。我们可以说：“看，这些外壳是波音制造的，美国赢了，这太棒了。” 这个类比应该能清楚地表明我是如何看待这种权衡的。我觉得这完全说不通。我们对中国和其他参与者做了很多更激进的事情，我认为那些措施远不如这一个措施（禁售芯片）有效。

《经济学人》主编Zanny：还有一个潜在风险领域是“末日论者（Doomers）”担心的：一种全能的恶意 AI。我认为你们俩都对末日论持怀疑态度，但在过去一年里，我们看到这些模型表现出了欺骗、两面派的能力。你现在对这种风险的看法与一年前不同吗？

Anthropic CEO Dario Amodei：从 Anthropic 成立之初，我们就一直在思考这个风险。我们开创了机械可解释性（Mechanistic Interpretability）的想法，即观察模型内部，试图理解它的大脑，理解它为什么做它所做的事，就像人类神经科学家试图理解大脑一样。随着时间的推移，我们越来越多地记录了模型出现的这些不良行为，比如欺骗，并且正在努力通过机械可解释性来解决它们。所以我一直很担心这些风险。我和 Demis 谈过很多次，我认为他也一直担心这些风险。但我确实——我想 Demis 也是——对“末日论”持怀疑态度，即“我们注定要完蛋，我们无能为力”。我认为这是一个风险。如果我们共同努力，我们可以通过科学来解决这个问题，正确地控制和引导我们的创造物。但如果我们构建得很糟糕，如果我们都在赛跑，跑得太快以至于没有护栏，那么我认为确实有出问题的风险。

《经济学人》主编Zanny：我想在一个稍微宽泛的问题背景下让你回答。过去一年，你是对技术的上行潜力（科学等）更有信心了，还是对我们讨论的风险更担心了？

DeepMind CEO Demis：我已经在这个领域工作了 20 多年。我把整个职业生涯都花在 AI 上，就是为了上行潜力——解决科学问题，理解我们周围的宇宙。如果做法正确，AI 应该是实现这一目标的终极工具。我们也从一开始就在思考风险，至少在 DeepMind 15 年前成立时就开始了。我们预见到这是一种双重用途的技术，如果坏人为了有害目的重新利用它，那就会有问题。但我坚信人类的智慧。问题是要有时间和专注力，让所有最优秀的头脑协作来解决这些问题。如果我们有这个，我相信我们会解决技术安全问题。如果没有这个，这就会引入风险，因为它是碎片化的。会有不同的项目，人们互相赛跑，那就很难确保这些系统的安全性。但如果有时间和空间，我觉得这是一个非常可解决的问题。

《经济学人》主编Zanny：我想确保这儿有一个问题。先生，请简短一点，只有两分钟了。

观众提问：谢谢。我是 StarCloud 的联合创始人 Philip，我们在太空中建立数据中心。我想问一个稍微哲学一点的问题。末日论最有力的论据对我来说是费米悖论（Fermi Paradox），即我们在银河系中看不到智能生命。我想知道你们对此有什么想法？

DeepMind CEO Demis：我想了很多。这不可能是因为（AI 毁灭了它们），因为如果是那样，我们应该看到所有的 AI 还在。这就是大家知道的观点：如果没有外星人是因为它们被自己的技术消灭了，那我们应该看到某种东西——比如“回形针制造机”从银河系的某个地方向我们飞来。显然我们没有。我们没有看到戴森球，无论是 AI 的还是生物的。所以对我来说，费米悖论必须有别的答案。我有我自己的理论，但这超出了这一分钟的讨论范围。我的感觉是，我们已经通过了“大过滤器”。如果你让我猜，那可能是多细胞生命的形成。生物进化出多细胞生命极其困难。所以，接下来会发生什么并没有定数。我认为这取决于我们人类来书写接下来会发生什么。

《经济学人》主编Zanny：这可能会是一个很棒的讨论，但超出了讨论范围。最后每人 15 秒。当我们再次见面时——我希望是明年，如果是我们要我们三个——到时候会有什么变化？

Anthropic CEO Dario Amodei：我认为最值得关注的是 AI 系统构建 AI 系统这一问题。这进展如何——是一个方向还是另一个方向——将决定我们是还需要几年才能到达那里，还是我们将面临奇迹以及我们必须面对的巨大紧急情况。

DeepMind CEO Demis：AI 系统构建 AI 系统，我同意这一点。我们对此保持密切联系。此外，我认为还有其他有趣的想法正在研究中，比如世界模型（World Models）、持续学习（Continual Learning）。如果自我提升本身不能交付成果，我们将需要这些东西起作用。然后我认为像机器人技术可能会有突破时刻。

《经济学人》主编Zanny：也许基于刚才所说的，我们都应该希望这确实会花你们长一点的时间，也花其他人长一点的时间。

Anthropic CEO Dario Amodei：我更喜欢那样。我认为那对世界更好。

《经济学人》主编Zanny：好吧，你们或许可以为此做点什么。非常感谢二位。

🎙️ 推荐关注

小宇宙播客，Youtube，VestLab，追问而非迎合，寻求理解而非流量。在真相面前，谦卑与质疑，比流量更重要。