教 AI 的人与知识工作的未来 · Brendan Foody

2026-06-14 · 由 PodLens 生成的忠实解读

原节目:https://youtu.be/zld39xD4sus?si=WrrsvImuMSX5fv4G　·　时间戳可点击,就地跳转播放器

AI训练知识工作评估体系劳动力市场强化学习

这期讲了什么

这是 Tyler Cowen 的"Conversations with Tyler"播客，嘉宾 Brendan Foody 是 Mercor 的 CEO 和联合创始人（2023年初创立），当时22岁，据说是有史以来最年轻的独角兽创始人。Mercor 做的事是雇用专家来教 AI 模型：当 OpenAI 想让模型学习写诗，Mercor 找来最顶尖的诗人；想提升法律能力，找来 Cass Sunstein 和 Larry Summers 帮助设计评估体系（APEX）。经济逻辑非常清楚：一个专家的知识"做一次、用于数十亿用户"，因此支付每小时150美元找诗人是合理的。

这次对话覆盖三个核心主题：

第一：AI 模型能力的真实现状。Foody 团队开发了 APEX（AI 生产力指数），测量模型在有经济价值任务上的表现（不是学术基准）。GPT-5 在这个指标上达到64%的人类专家水平，一年前的 GPT-4o 大约是40%左右；每年约25-30%的改进。Tyler 和 Foody 在两个问题上有分歧：(1) 多快 AI 会让 Cass Sunstein 无法找到错误（Tyler：6个月；Foody：2-3年）；(2) 模型目前的核心限制是什么（长时任务 + 多工具整合，预计6-12个月改善）。

第二：两种数据类型与知识经济的结构性变革。Foody 区分了"输出数据"（模型能读并学习的内容）和"评估数据"（衡量成功的测试、标准答案、评分规则）——后者远比前者宝贵，因为它能让模型"尝试很多次、不断打分、不断改进"。他的核心预言：知识工作将重构为"构建 RL 环境"——投行分析师将不再重复分析数据室，而是教会智能体一次如何做，然后无限次使用。

第三：品味的难题与 Kantian 悖论。Tyler 援引康德《判断力批判》：品味（taste）就是那种无法被纳入评分标准的东西。如果 Mercor 需要的数据是评分标准，而品味根本无法被标准化，那 Foody 是在追求一个逻辑循环？Foody 的回应是 RLHF（偏好学习）——不一定要明确的标准，而是让有品味的人反复选择哪个更好，让模型从偏好中学习。这个哲学张力贯穿整个对话。

时间线主题地图

[00:00-01:35] 背景介绍：Mercor 是什么（AI 公司，2023年初成立），Foody 的成就（最年轻独角兽创始人，最快达到4亿美元估值）。
[01:35-05:30] Mercor 的商业模式：雇用专家教 AI 模型，$150/小时找诗人——经济逻辑："做一次，覆盖数十亿用户"；poets 如何创建评分标准（rubric）；如何用 AI 模型本身来检测人类专家是否在认真工作（"模型能发现懈怠的人类评分员"）。
[05:30-09:30] APEX 方法论：调查知识工作者如何分配时间（麦肯锡、贝恩顾问如何花时间）→ 让他们写对应任务的提示词和评分标准 → 时间分配作为经济价值的代理指标 → GPT-5 达到64%，年均25-30%改进。当前模型的两个核心限制：(1) 长时任务（50-100小时的工作）；(2) 多工具整合。
[09:30-15:40] Tyler 和 Foody 的辩论：何时 AI 能让 Cass Sunstein 无法找到错误？Tyler：6个月；Foody：2-3年（因为"法律品味"很难完全捕获）。哪些领域人类专家仍然领先（未被文字化编码的隐性知识）；Tyler 问是否应该把顶尖大学研讨课的讨论录音送给 Mercor。
[15:40-22:30] 两种数据类型：输出数据（模型学习的内容）vs 评估数据（测试+标准答案+评分规则）。康德的品味问题：如果品味是不能被标准化的东西，而你要的数据是标准，你是在追求逻辑上的循环。Foody 的回应：RLHF 作为替代（偏好比较，不需要显式标准）。AI 生成诗与人类诗的用户偏好研究——普通用户更喜欢 AI 诗，顶尖诗人认为人类诗更好。
[22:30-31:40] 社会的 RL 化：知识工作将转向"构建 RL 环境"而非"直接完成任务"；投行分析师将教会智能体一次分析数据室，然后无限次使用；软件工程高度需求价格弹性（10倍效率→10倍工程师）；会计和客服需求弹性低；教育的价格弹性讨论（Sal Khan 作为个人家教）。
[31:40-38:30] 劳动力市场：Mercor 如何使用 AI 技术招聘300人；面试中人们犯的最大错误（氛围型面试 vs 能力测试）；AI 辅助面试的预测力；求职者使用 AI 欺骗工具 → 正确应对是允许并鼓励使用工具、测试他们用工具能做什么。
[38:30-46:50] 劳动力市场效率：LinkedIn 分发好但匹配差；Thiel Fellowship 的规模化问题；Foody 的解决方案是 AI 面试；二次机会问题；AI 运行的劳动力市场是否减少晚成者。
[46:50-52:10] 个人故事：8年级的"甜甜圈王国"（从 Safeway 以5美元/打买入，以每个2美元卖出，最终被学校驱逐、在校园外50英尺设摊、雇用妈妈的面包车、对竞争者发动价格战）。
[52:10-57:00] 诵说与辩论：Foody 有阅读障碍（dyslexia），联合创始人是有史以来赢得最多全国级别辩论冠军的搭档；阅读障碍与创业成功的正相关性（及其机制：早期学会委托他人、大局思考）。
[57:00-01:01:16] 杂项：22岁男性的约会危机（旧金山 vs 纽约）；同名命运论（Foody = 美食家）；Mercor 名字的拉丁语来源；耶稣会高中的影响；公司下一步目标（超真实的长时任务评估）。

核心观点清单

Mercor 的经济学：专家的知识做一次，用于数十亿用户。这解释了为什么给诗人每小时150美元是合理的——一个顶级诗人建立的评分标准可以训练被数十亿人使用的模型。"我们能支付这么高的价格，是因为这些知识被重复使用了这么多次。" [01:35-02:45] | 类型：商业逻辑
两种数据类型：输出数据（内容）vs 评估数据（测量成功的标准、测试、答案）。评估数据远比输出数据宝贵，因为它能让模型"无限次尝试、不断打分、不断改进"。学术期刊同行评审报告 = 天然的高质量评估数据，Foody 认为学术机构应该把这些数据送给 AI 实验室（但目前还没有发生）。[13:42-15:13] | 类型：框架
APEX 发现：模型在经济价值任务上每年改进约25-30%；GPT-5 达到64%的人类专家水平。但当前两个主要限制：(1) 长时任务（50-100小时工作，模型仍然做不到）；(2) 多工具整合。两者都预计在6-12个月内有重大突破。[05:41-09:25] | 类型：实证数据 | 备注：Tyler 认为 Foody 低估了进展速度，Tyler 预测 Cass Sunstein 在6个月内无法找到模型错误；Foody 说2-3年。
康德的品味难题（Foody 没有完全解决的核心张力）：康德在《判断力批判》中说，品味（taste）就是那种无法被捕入标准/规则（rule）的东西。Mercor 需要的数据是标准，但品味是 AI 领域最关键的缺失。Foody 的应对是 RLHF（偏好比较），但这并没有从根本上解决问题——品味偏好数据和品味本身之间的距离依然存在。[17:58-18:40] | 类型：哲学张力
知识经济将重构为"构建 RL 环境"：投行分析师将不再重复分析数据室，而是教会智能体一次如何分析，然后无限次使用；客服人员将不再重复回答工单，而是找到智能体犯的错误，把它变成 RL 环境，让智能体从错误中学习。5年内，大部分高端知识工作者将成为"模型训练者"（全职或通过平台兼职）。[23:04-30:39] | 类型：预测
需求价格弹性决定 AI 对不同行业的影响：软件工程高度弹性（10倍效率可能带来10倍数量的工程师）；会计和客服可能弹性低；教育居中（Sal Khan 私教效应非常好，但每天只有那么多小时）。[31:36-36:32] | 类型：分析框架 | 备注：这是最实用的判断框架之一——不问"会不会被替代"，而问"需求是否随供给增加而增加"。
AI 辅助面试的正确应对：不是禁止使用工具，而是测试他们使用工具能做什么。"要求在纸上写作是错误的；正确的做法是给他们所有 AI 工具、录屏，看1小时内能构建什么。这是对实际能力的更好预测。" [44:08-44:34] | 类型：实践建议 | 备注：这个框架对于所有需要评估人类在 AI 时代价值的场合都适用。
阅读障碍与创业成功的正相关（shockingly strong）。可能机制：早期学会向他人委托任务、习惯大局思考而非细节执行、适应多种认知策略的能力。Tyler 的假说：强迫早期学会委托，是所有聪明人中最难习得的技能之一。[54:13-56:14] | 类型：观察 | 备注：Foody 本人是阅读障碍者，联合创始人是全国最强的辩论队，两者互补。

内部张力与自我修正

[17:58-19:35] 康德问题没有被真正解决：Foody 用 RLHF 回应 Tyler 的康德挑战，但 RLHF 也有同样的问题——当普通用户更喜欢 AI 写的诗，而顶尖诗人认为人类写的更好时，你优化谁的偏好？Foody 的回答是"这取决于你优化什么目标"，但这其实承认了标准本身是任意的——和 Tyler 的问题完全吻合。
[06:37-07:40] APEX 测量的是什么？ Tyler 追问：你测的是"模型在测试上的表现"还是"模型创造的经济价值"？这两者可能脱钩，尤其是 Goodhart 定律在这里非常相关——一旦 APEX 成为 AI 实验室的优化目标，它就可能不再代表真实的经济价值。Foody 承认"将这个指标映射到经济影响存在一定复杂性"，但没有进一步展开。
[33:44-35:10] 教育需求弹性：Tyler 说教育是"不太有价格弹性的"（只有那么多学习时间），Foody 同意，但后来说教师仍然重要——个人关系、情感支持。这两个论点可以共存，但 Foody 在这里有点前后摇摆，没有清楚地区分"Sal Khan式信息传递"和"教师的关系功能"这两个不同的产品。

大白话重讲

Brendan Foody 在22岁创立了 Mercor，做的事你可以用一句话总结：他是给 AI 模型找老师的人。当 OpenAI 想让 GPT 学会写更好的诗，他找来顶尖诗人；当想让模型更懂法律，他找来 Cass Sunstein；当想让模型更懂金融，他找来 Larry Summers。这些专家的工作是制定评分标准、创建测试用例，让模型能够反复练习、打分、改进。

为什么给诗人每小时150美元？因为那个诗人建立的知识和标准，会被用来训练一个被数十亿用户使用的模型。这个知识只需要做一次，就可以无限次使用——所以单次成本分摊到全部用户身上，非常合算。

Foody 的团队做了一个叫 APEX 的测量工具，专门测模型在"有经济价值的任务"上有多厉害——不是测数学竞赛题、博士级别的知识，而是测"模型能帮麦肯锡顾问完成多少他们日常工作中的任务"。测量方法也很巧妙：先调查这些顾问如何分配时间，然后用时间比例作为经济价值的代理指标。结果显示，GPT-5 大概能完成人类专家64%的经济价值任务，而一年前的模型大约是40%多——每年约25-30%的改进。

在这场对话里，Tyler 和 Foody 有几个有趣的分歧。Tyler 认为，6个月内就会到达模型无法被顶尖法学家找到错误的阶段；Foody 说2-3年。Tyler 觉得 AI 已经在很多方面超越了人类专家；Foody 说最后25%的能力——那些依靠未被文字编码的隐性知识和品味——会很长时间内仍然需要人类。

最有意思的一段是 Tyler 搬出了康德。康德在《判断力批判》里说，品味（taste）的定义就是"无法被纳入任何规则或标准的判断"。Foody 说他需要的数据是评分标准（rubric）。那如果品味根本不能被标准化，你要的数据从哪里来？Foody 用 RLHF 回应：不一定要显式的标准，让有品味的人反复比较两个输出选哪个更好，模型从这些偏好中学习。但这并没有完全回答问题——因为普通用户在研究中更喜欢 AI 写的诗，而顶尖诗人认为人类写的更好。你到底优化谁的偏好？

Foody 对知识工作未来的预测是：大部分人不会被 AI 替代，而是会变成"模型训练者"。投行分析师现在每隔几周就要从头分析一个新的数据室，未来他们会教模型一次如何做这件事，然后专注于发现模型犯的错误、把这些错误变成新的训练数据。这个过渡用 Foody 的话说，"就像建软件：固定成本投入，无限次使用。"他预测5年内大多数高端知识工作者会在做这件事。

值得精听的片段

[13:42-15:13] 两种数据类型的区分——输出数据和评估数据。这是 Mercor 整个商业模式的核心，也是理解为什么"评分标准"比"训练材料"更值钱的最清晰解释。
[17:58-18:40] Tyler 的康德问题。一个经济学家用哲学史来质疑一个22岁创始人的整个商业模式，而创始人的回应实际上没有完全解决这个问题——这段对话很难得。
[23:04-24:11] 社会的 RL 环境化。Foody 把知识工作变成 RL 训练场的预测，用投行分析师的案例解释得非常具体，值得仔细听。
[44:08-44:34] AI 辅助面试的正确框架。"不是禁止使用工具，而是测试用工具能做什么"——这是一个可以立即应用的实践建议。
[50:42-52:08] 甜甜圈王国故事。Foody 8年级时从 Safeway 买甜甜圈转卖，被驱逐出校园后在校外50英尺摆摊、价格战驱逐竞争者。这一段非常好玩，同时也真实展现了一个创业者的早期思维。

与往期的呼应

张力→ 儿童如何学习，AI 是什么文化技术 · Alison Gopnik
Gopnik 主张 AI 是「文化技术」，因为它只汇总人类已有知识、永远无法主动接触外部现实；Foody 的 Mercor 正在系统性地把越来越多的隐性专家知识注入模型——这是一个对 Gopnik「文化技术」图景的动态挑战，暗示边界会随训练不断移动而非固定。
本期[23:04-24:11] Foody 说知识工作将转化为「构建 RL 环境」——专家把隐性知识外化为训练数据，模型持续吸收人类最高质量的判断能力；这个过程理论上没有上限。
往期[45:05-47:00] Gopnik 说 AI 是文化技术，做不到两岁儿童能做的主动实验；真正的智能体必须与物理世界互动产生新知识——而 Foody 的方案恰恰是继续深挖文化技术层面，而非突破它。
补充→ 表层数据与深层数据 · Alexei Efros
Foody 区分「输出数据」（表层）和「评估数据」（深层）——后者让模型能反复尝试、打分、改进——这和 Efros 对「表层数据」（被动收集）vs「深层数据」（主动具身采集）的区分在结构上高度一致。两者都指向同一个结论：能衡量成功的反馈数据比纯内容数据更有价值。
本期[13:42-15:13] Foody 说评估数据（rubric、测试题、标准答案）远比输出数据（模型读的内容）宝贵，因为它让模型能「无限次尝试、不断打分、不断学习」——即形成真正的强化信号。
往期[20:15-21:00] Efros 说深层数据的关键是「物理世界的推回（pushback）」——当你对物体做错了，世界会告诉你；被动收集的表层数据缺乏这种反馈，因此无法训练真正的具身能力。
张力← 变换器注意力的执行控制缺陷：Stroop任务揭示LLM不能做什么
Foody认为AI正在革命性地改变知识工作：AI可以积累并应用大量晶体知识，这对传统白领工作（律师、程序员、分析师）产生了根本性的替代压力。他的论点的隐含前提是：知识工作主要需要晶体智力（查询、综合、生成已知模式的变体）。Patel等人的论文精确标定了这个假设成立的边界：在任务中存在系统性竞争冲突的地方，这个前提就失效了。「你正在分析一个案例，背景信息不断出现矛盾」「你在代码审查中，表面逻辑和深层意图相互冲突」——这些场景需要执行控制（压制一个明显的模式，坚持更深层的目标），正是LLM的薄弱点。换句话说：Foody说AI改变了知识工作；这篇论文说「有一类知识工作AI改变不了，就是需要在有噪声/冲突的信息流中维持目标的那种」。
本期[Foody集核心论点] Mercor的使命是教AI做知识工作：通过人类反馈数据，AI可以学会编写代码、进行法律研究、分析财务报表。他认为这种「知识工作的自动化」会创造一个新的经济层级：人类指导AI，AI执行大多数实现。Foody看到的是AI的效率优势（更快、更廉价地完成知识工作）；Patel等人揭示的是AI的一个系统性弱点（在长序列冲突情境下无法维持目标导向行为）。这两个图景都是对的，但针对的是知识工作的不同维度：结构化信息检索与综合（AI优势），vs. 在噪声/冲突中维持判断（AI弱点）。
往期[论文第17页] 「LLMs excel at tasks requiring crystallized intelligence, such as passing the bar exam to become a lawyer and passing medical licensing exams, they still struggle with simple yet novel letter-counting problem-solving tasks which are supported by fluid intelligence.」[论文摘要] 「Our results suggest that incorporating executive control mechanisms akin to those in biological attention could be crucial for achieving more general reasoning and reliable performance toward artificial general intelligence.」
张力← 重塑人生、宗教与幸福科学 · Arthur Brooks
Foody 对 AI 替代知识工作高度乐观（GPT-5 已达 64%，五年内大多数知识工作者将成为模型训练者）；Brooks 则说最高价值的「为什么」问题创造力是人类不可替代的比较优势。两者并不矛盾，但构成了「AI 能替代什么」这个问题的两面：Foody 聚焦于「是什么/如何做」层的执行（左脑），Brooks 聚焦于「为什么」层的意义建构（右脑）——有意思的是，两人从不同角度得出了相同的结构性划分。
本期[23:04-24:11] Foody 说知识工作将转化为「构建 RL 环境」——投行分析师不再做数据分析，而是训练 agent 做数据分析；五年内大多数高端知识工作者将成为模型训练者。
往期[37:50-38:50] Brooks 说 think tank 里做基本数据分析的员工需求会减少，但 AI 永远无法提出正确的政策问题——「为什么」问题的创造性是人类的比较优势，也是 AI 永远无法替代的那 25%。

本页为对节目内容的忠实解读与大白话重述,由 PodLens 生成。

这是以原文为依据的一次解读,不能替代原文。每条要点都标注了出处,欢迎回到原文核对——也欢迎指出任何细微的偏差。