← PodLensEnglish

前沿 AI 的现实与个人英雄主义的终结 · Yao Shunyu

2026-06-04 · 由 PodLens 生成的忠实解读

原节目:https://youtu.be/ttkd0t5qTD4?si=Uk61Savla2TNmcqI · 时间戳可点击,就地跳转播放器

Scaling Law强化学习 Scaling系统性 AI 工程非厄米开放量子系统

这期讲了什么

在本期节目中,主持人 Xiaojun 采访了著名的 AI 研究员 Yao Shunyu。他从理论物理学转向 AI 领域,曾就职于 Anthropic,目前在 Google DeepMind 工作。讨论围绕前沿 AI 模型(如 Claude 和 Gemini)的现状、初创公司与大型科技公司之间的组织和文化差异,以及模型训练的技术现实(包括预训练、后训练和强化学习)展开。Yao Shunyu 探讨了为什么编程会成为最成功的 AI 应用、程序员的未来、Scaling Law 的有效性,以及 AI 发展中从个人英雄主义向系统性、集体性工程的转变。

时间线主题地图

核心观点清单

  1. 三大实验室(Gemini、OpenAI、Anthropic)的模型能力在纸面上已经拉平,但用户体验的差异依然存在。 证据锚点 "Now, on paper, everyone is actually pretty close... But on the other hand, in actual usage, people can still experience the differences." [00:07:39 - 00:08:10] 类型标签 观点 不确定性说明 Yao Shunyu 指出,纸面上的差异大多是噪音而非信号,但主观的用户体验仍然能将它们区分开来。

  2. 初创公司和大型公司的策略有着根本的不同;初创公司必须进行冒险的下注,而大公司则专注于尽量减少赌博成分并保持广泛的储备。 证据锚点 "Big companies and startups Their strategies are fundamentally different Because for startups, what's important is making bets... A big company's mindset might be Not only can I minimize the gambling aspect But I can also have reserves in every area" [00:00:45 - 00:00:52], [02:03:16 - 02:04:06] 类型标签 观点

  3. Scaling Law 尚未达到极限;感知到的平台期通常是由于实现中的科学或工程 bug,而不是根本性的壁垒。 证据锚点 "My experience is that it hasn't... I think probably the vast majority of people who hit a wall it's because of the third reason It's because there's a bug" [00:27:36 - 00:29:04] 类型标签 观点 不确定性说明 Yao Shunyu 承认这是一个有争议的话题,但根据他自己的研究经验,他对此充满信心。

  4. 编程是发展最快的 AI 场景,因为它具有高度明确的反馈信号,并且在 GitHub 中拥有庞大且高质量的数据基础。 证据锚点 "I think the coding scenario has Two biggest advantages The first advantage is its reward signal... Is very well-defined... And another big advantage is Coding data has a very natural foundation That foundation is GitHub" [00:35:54 - 00:37:09] 类型标签 事实

  5. AI 是一种高度中心化的技术,它将急剧减少所需的程序员数量,使极少数的开发者能够完成过去所有人的工作。 证据锚点 "AI is a very centralized technology... It will make a small number of people stronger But will make most people lose Their unique value... Now 1/1000 of the people do the work of everyone in the past" [00:47:16 - 00:47:48] 类型标签 预测 不确定性说明 Yao Shunyu 明确称自己为“著名的悲观主义者”,并指出“1/1000”是一个比喻性的数字。

  6. Chinese 和 US 模型之间的差距正在缩小,由于在算力受限的情况下聪明地使用模型蒸馏,Chinese 实验室已成为 Multi-Agent(多智能体)训练的先驱。 证据锚点 "Obviously the gap between China and the US is getting smaller and smaller... Chinese labs may have become pioneers in Multi-Agent (multi-agent) training... Because if they use models from different companies with these smarter approaches" [00:53:40 - 00:56:32] 类型标签 观点

  7. 语言模型领域的个人英雄主义时代已经过去;现在的进步是由集体努力和系统性工程驱动的,而不是靠单个绝妙的洞察。 证据锚点 "I think the era of individual heroism for language models has probably passed... After that technology was found for probably a long time from the model side, it's all been I think more about collectivism" [02:29:41 - 02:30:09] 类型标签 观点

  8. Anthropic 旨在通过构建最好的模型来推行 AI 安全政策的目标是幼稚的,因为前沿模型不可避免地会由多方构建,安全将依赖于类似于核威慑的多方力量平衡。 证据锚点 "Anthropic's explanation is that First, I need to have the most cutting-edge model Only then do I have a voice to push my AI safety agenda... But from my personal perspective I think this idea is very naive... Ultimately, you'll need a similar mechanism [like nuclear weapons' multi-party control] to achieve that" [02:33:04 - 02:34:24] 类型标签 观点

  9. 与物理学相比,AI 从根本上说是简单的,因为它不受无法验证的理论的约束,并允许研究人员通过数值实验系统地测试任何假设。 证据锚点 "But anyway it feels like AI this thing Doesn't really need brains... I think the reason it's essentially simple is That you can run experiments... But AI isn't bound by this... I can do any experiment I can think of" [03:29:34 - 03:29:42], [03:25:12 - 03:26:03] 类型标签 观点

  10. 对于年轻的研究人员来说,纯粹从事语言模型研究已经不再是蓝海;“末班车”已经开走,未来的机会在于机器人技术、多模态生成以及将 AI 应用于科学问题。 证据锚点 "I think purely working on language models is no longer a blue ocean I think it's too late — the last train has already left... But I think AI is a very vast field... Robotics probably has even more opportunities... use AI to help with real scientific problems" [03:33:41 - 03:34:46] 类型标签 预测

大白话重讲

想象一下,你和一位才华横溢的朋友坐在一起,他曾在 Anthropic 和 Google DeepMind 工作过,并且用理论物理学家冰冷、理性的视角审视着混乱的 AI 淘金热。他就是 Yao Shunyu。为了澄清 Silicon Valley 一个常见的困惑:有两位名叫 Yao Shunyu 的著名研究员。另一位 Yao Shunyu(最近加入 Tencent 担任首席 AI 科学家)一直是一位纯粹的计算机科学学者,而我们的嘉宾则是在 Tsinghua 学习凝聚态理论、在 Stanford 学习理论高能物理学之后,在职业生涯的中途转向了 AI 领域 [00:01:29 - 00:02:33]

当你审视 Claude、Gemini 和 OpenAI 的产品等前沿模型的现状时,很容易认为它们有很大的不同。在纸面上,像 SWE-bench 这样的标准化基准测试让它们看起来几乎一模一样,分数紧密地悬浮在相同的高百分比附近 [00:07:15 - 00:07:54]。但 Yao Shunyu 指出了一个反直觉的现实:虽然纸面指标大多是噪音,但现实世界的用户体验仍然揭示了微妙而明显的差异 [00:08:04 - 00:08:10]。Claude 仍然是功能最强的通用工具使用智能体,Gemini 擅长纯推理和日常任务,而 OpenAI 正在编程领域奋力追赶 [00:08:11 - 00:08:39]。这些差异并非源于能力上的原始差距,而是源于组织优先级的不同。一家公司优先考虑哪个方向,就决定了他们如何构建自己的数据管道和基础设施 [00:08:55 - 00:09:37]

这种能力的溢出解释了像 OpenClaw 和 Manus 这样爆火的“套壳”应用的突然兴起。对于业内人士来说,这些产品并不是令人震惊的技术突破;它们只是底层模型在几个月前就已经能做到的事情的自然、必然的包装 [00:12:46 - 00:13:44]。对于构建这些套壳应用的初创公司来说,生存是一场残酷的竞赛。Yao Shunyu 勾勒出了两条清晰的路径:要么成长得足够快以占领用户心智,并在大实验室抄袭你之前开始训练自己的模型(Cursor 正在通过其 Composer 尝试这条路径) [00:17:06 - 00:18:07];要么找到一个非常小的市场利基,以至于巨头模型公司根本不屑于参与竞争(比如 Midjourney) [00:18:49 - 00:19:14]

如果这些外部团队能做出如此有趣的产品,为什么大科技公司不先做呢?答案在于组织负担。像 Google 这样的巨头不能简单地发布一个需要系统级权限或有导致用户电脑崩溃风险的原始、实验性工具 [00:22:22 - 00:23:06]。他们必须花几个月的时间进行打磨、检查法律风险并确保品牌安全,这给敏捷的个人发起开源项目留下了巨大的空间 [00:23:07 - 00:23:30]

展望不久的将来,Yao Shunyu 非常期待上下文窗口的重大转变。他最喜欢的口号是“用有限上下文训练,作为无限上下文使用” [00:24:02]。与其燃烧算力在海量的上下文窗口上训练模型,目标是在短窗口上训练它们,但设计它们在工作时有选择地遗忘和检索信息——非常类似于人类的运作方式 [00:24:03 - 00:24:41], [02:46:10 - 02:46:27]。这一突破最终将解锁真正无缝的个人助手 [00:24:41]

AI 领域争论最多的话题之一是 Scaling Law 是否已经撞墙。Yao Shunyu 坚信它没有 [00:27:36]。当其他实验室声称他们遇到了天花板时,他认为这几乎总是由于他们实现中隐藏的科学或工程 bug——例如对 token 跨度或数据质量的错误假设——而不是物理学的根本限制 [00:28:46 - 00:29:38]。克服这些平台期需要一个高度系统化、实验性的调试系统来隔离变量,而 Gemini 和 Anthropic 在这方面都表现出色 [00:30:23 - 00:31:06]

在所有的 AI 应用中,编程爆发得最快。这并非巧合,而是两个巨大优势的结果:第一,编程有一个定义完美、客观的奖励信号(代码要么运行并匹配输入输出测试用例,要么不匹配) [00:35:54 - 00:36:43];第二,它坐拥 GitHub 中高质量、预先存在的数据金矿 [00:36:52 - 00:37:09]

然而,对于这对人类程序员意味着什么,Yao Shunyu 持有著名的悲观态度 [00:48:54]。他警告说,AI 是一种高度中心化的技术 [00:47:16]。它不会在一夜之间解雇所有人,但它不可避免地会让极少数高技能的开发者完成成千上万人的工作,从而淘汰平庸的、只负责执行具体任务的程序员 [00:47:16 - 00:48:39]。为了生存,未来的软件工程师必须掌握与 AI 协作的艺术、设计高层逻辑,并将复杂的系统分解为可供 AI 智能体执行的可操作步骤 [00:48:06 - 00:49:42]

在全球舞台上,Chinese 和 US 模型之间的差距正在缩小 [00:53:40]。由于 Chinese 实验室面临严重的算力限制,他们被迫在模型蒸馏方面变得极具创造力 [00:54:14 - 00:54:28]。Yao Shunyu 区分了“暴力蒸馏”和“聪明蒸馏”。他称前者在智力上是愚蠢的,在道德上是灰色的,即一家公司盲目地在 Claude 的输出上进行训练,仅仅为了在基准测试中好看 [00:55:01 - 00:55:44];而后者则是将多个外部模型作为评估器或助手整合到一个复杂的 Multi-Agent 训练系统中 [00:55:52 - 00:56:32]。他指出,ByteDance 的 Doubao 模型在全球脱颖而出,尤其是其世界级的语音生成和极快的速度,这些都针对消费者互动进行了高度优化 [01:02:12 - 01:03:15]。与此同时,Chinese 的人形机器人在硬件上非常便宜且成熟 [01:04:17 - 01:04:47],但它们的软件仍停留在“特征工程”时代,缺乏 LLMs 所实现的通用泛化突破 [01:05:13 - 01:06:42]

Yao Shunyu 进入这个世界的旅程充满了叛逆色彩。在搬到 Shanghai 之前,他在 Ningxia 的一个矿业小镇长大,他总是选择更艰难的道路 [01:09:03 - 01:09:20]。在高中时,他绕过了顶尖学校,选择就读 Gezhi High School,仅仅因为他们有竞赛班,而他想挑战自己 [01:11:13 - 01:12:10]。后来,在一次 Tsinghua 夏令营期间,他大胆地给招生办公室发短信,要求允许 Shanghai 学生与 Beijing 学生一起参加自主招生考试——这一举动最终让他进入了 Tsinghua [01:14:07 - 01:15:35]

在 Tsinghua,他合作撰写了关于非厄米开放量子系统的范式转换研究,展示了能量本征态如何聚集在系统的边缘 [01:21:16 - 01:26:08]。然而,他放弃了这一成功,前往 Stanford 攻读理论高能物理学博士学位 [01:27:13]。随着时间的推移,他对理论物理学深感幻灭,因为它已经变得完全无法通过物理实验来验证,导致该领域的进步只能由“元老”主观判定 [01:37:01 - 01:38:26]。他意识到自己无法欺骗自己 [01:40:32]。在仅仅两周后,他就放弃了声名显赫的 Berkeley 博士后职位,加入了 Anthropic [01:02:08 - 01:02:16]。对他来说,与物理学相比,AI 从根本上说是简单的,因为它完全是经验性的;你不需要庞大的“大脑”去建立理论,你只需要运行数值实验来看看你的想法是否可行 [01:49:12 - 01:49:21], [03:25:12 - 03:26:03], [03:29:34 - 03:29:42]

在 Anthropic,Yao Shunyu 加入了专注于大规模强化学习的小型 Horizon 团队 [01:56:46 - 01:57:20]。他观察到,Anthropic 的超能力在于其高度自上而下的执行力 [01:58:31 - 01:58:38]。因为技术联合创始人(如 Jared Kaplan 和 Sam McCandlish)拥有绝对的决策权和技术信誉,他们可以立即动员公司全力投入一个有前景的信号——这正是他们如何发现并利用 Claude 的编程优势的 [01:59:38 - 02:02:23]

这一努力在 Claude 3.7 中达到了顶峰,这是一个成功扩展了后训练强化学习的分水岭模型 [02:12:22 - 02:12:50]。Yao Shunyu 告诫外界,Claude 3.7 背后并没有单一的“秘密算法”;现代 AI 训练是一个庞大的整体系统,其中算法设计与公司特定的专有基础设施紧密耦合 [02:20:47 - 02:21:10]

最终,在 Anthropic 规模扩大到 2000 多名员工时,Yao Shunyu 选择离开 [02:21:43]。他对不断变化的 corporate 文化感到沮丧,这种文化容忍了“Slack 吹水者”——那些整天讨论宏大原则而不是从事艰苦、乏味的执行工作的人 [02:22:12 - 02:23:39]。他也强烈反对 CEO Dario Amodei 极具情绪化、公开的反华立场 [02:24:12 - 02:24:29]。他转到了 Google DeepMind,寻求终极的研究自由,以探索 ML 编程和长跨度任务 [02:24:46 - 02:25:11], [02:25:57 - 02:26:55]

最终,Yao Shunyu 认为语言模型领域的个人英雄主义时代已经终结 [02:29:41 - 02:30:09]。AI 现在是一股集体主义、系统性的工程浪潮,无论哪个个人在冲浪,它都会拍打在沙滩上 [03:05:26 - 03:05:51]。因为他是从外部进入 AI 领域的,他对行业传统的“元老”没有任何忠诚度,并公开鄙视含糊不清、定义不明的理论 [03:39:31 - 03:41:05]。对于下一代研究人员,他的建议很明确:纯粹从事语言模型研究已经不再是蓝海——末班车已经开走 [03:33:41 - 03:34:04]。未来属于那些将 AI 应用于机器人技术、多模态生成以及解决真实、艰巨的科学问题的人 [03:34:12 - 03:34:46]

值得精听的片段

与往期的呼应

本页为对节目内容的忠实解读与大白话重述,由 PodLens 生成。