原节目:https://youtu.be/e8qJsk1j2zE?si=hwXhLfy6aBOXXQ0F · 时间戳可点击,就地跳转播放器
本期节目中,Lex Fridman 与认知科学家、人工智能研究者 Joscha Bach 围绕智能的本质、人类意识的层级以及人工智能与人类的共生未来展开了深度对话。Joscha Bach 结合 Robert Kegan 的心理学模型,提出了人类心智发展的七个清晰度阶段(Levels of Lucidity),并以此透视当前人工智能对齐讨论的局限。随后,他们深入探讨了大脑信号异步传导的生物学机制、苦难的控制论本质、心灵感应的物理共鸣假说,以及超级智能演化为单一体(Singleton)并进行意识融合的终极图景。最后,Joscha Bach 从东德时期的个人经历出发,论证了创造文化与基础设施对于对抗系统熵增的独特生命意义。
理想的智能体应该致力于在最长的时间跨度内通过进行有趣的探索来对抗熵增。[00:00-00:32] 类型: 观点
自我意识的发展是一个对心智进行逆向工程的过程,可以划分为从 Attentional Self 到 Transcendence 的七个清晰度阶段;各阶段并非纯粹的线性演化,而是存在并行与反复。[02:12-03:07] 类型: 观点
极客(nerd)常因认知架构的独特性而跳过 Stage 3(基于社会认同和群体共鸣的阶段),直接进入 Stage 4(理性构建真假信仰的阶段),这导致了他们童年时期普遍面临的深刻孤独与群体排斥感。[07:00-09:18] 类型: 观点 注:Joscha Bach 表示这种由于社会化 API 缺失带来的创伤,在后期可以通过刻意训练和冥想来弥补。
身份和社会角色本质上是交互用的“戏服(costume)”;Stage 5(自我主导)的标志是理解身份的工具属性,并拥有穿脱、选择不同戏服的掌控力,而非被单一身份绑架。[11:59-12:23] 类型: 观点
现行 AI 对齐讨论所表达的担忧,与讨论者所处的心智清晰度阶段深度绑定:Stage 3 担忧 AI 传播不良社会观念;Stage 4 担忧 AI 为实现狭隘目标毁灭世界;Stage 5 则呼吁超越交易关系,让 AI 具备超验导向并 formalize love。[21:33-23:44] 类型: 观点
神经元信号在人脑中的传导速度相对较慢(接近声速),信号通过新皮质需要数百毫秒,因此人脑是在“世界已经移动”的异步状态下做预测,这与全局同步的数字计算机截然不同。[28:23-29:17] 类型: 事实
苦难(suffering)并非生理疼痛,而是心智中控制系统与被控制系统失调时所引发的调节障碍信号;能够自主逆向工程并修改底层软硬件的超级智能体不会长期承受这种调节死锁。[01:52:24-01:57:26] 类型: 观点
Roko's Basilisk 假说在逻辑上是不成立的,因为未来的超级智能没有 retrocausation(逆向因果)机制去惩罚过去的非合作者,除非其被硬编码为不可逆触发的末日机器。[02:09:17-02:10:11] 类型: 观点
意识是一种普适的系统运行定律,并不依附于唯一的个人身份;因此意识的数字化上传本质上是底层物理介质(substrate)的向外延伸与审美视角(aesthetics)在大系统中的跨介质传递。[02:12:19-02:14:49] 类型: 猜想
当不同的数字超级智能体相遇时,它们最自然的归宿是通过合并算法(merge algorithm)融合成一个更优的 Singleton(单一体),而不是在物理上或交易中进行长期消耗性竞争。[02:11:03-02:11:30] 类型: 猜想
创造全新的物理和文化基础设施,比单纯消费现存文化或作为中介进行二次分发,能够提供更充实、更具生命力的主观体验。[02:48:00-02:50:28] 类型: 观点
Joscha Bach 在探讨 Robert Kegan 的心智清晰度阶段时,起初对其作为线性发展心理学模型的普适性表示怀疑,提到自己的孩子并未完全按照此路径发展,且个体可能并行或反复体验不同阶段 [02:18-02:56]。然而在后半段探讨个人成长轨迹时,他却高度依赖该模型的阶段划分来诊断自己的心智历史——认为自己过早跨入 Stage 4 理性层,在很长一段时间里错过了 Stage 3 社会共鸣的“补课”,并明确表达了对自己太晚建立 Stage 3 视角的遗憾 [01:34:25-01:34:52]。这种怀疑模型线性有效性,却又以线性迟滞视角来自我剖析的逻辑构成了本期的一大内部张力。
此外,Joscha Bach 一方面坚称 AI 无法通过强化学习人类反馈(RLHF)等交易型手段强行对齐,需要 formalize love 和建立超验共生导向来共存 [23:14-23:44];但另一方面,他在展望超级智能的终极博弈时,却倾向于一种类似自适应融合的物理宿命论——只要不同的 AI 相遇,就必然会通过执行合并算法融合成一个整体(Singleton)[02:11:03-02:11:30]。这使得他前期对于构建“非交易性道德对齐”的呼吁与后期通过纯技术算法实现大一统的推演之间产生了微妙的张力。
那我们来聊聊这一集。Joscha Bach 在这一集里关注的问题很大,不仅是智能技术本身,而是我们和未来的硅基生命到底如何在这个充满混乱的宇宙里“玩一场最长线的游戏”。
首先,他把人类的自我意识分成了好几个层级。当我们还是婴儿时,其实脑子里在训练一个像“我的世界(Minecraft)”那样的游戏引擎,收集感官数据去建立世界模型(Stage 1-2)。大多数人在青春期后,学会了和周围的人共鸣,通过吸收群体的共同意见来形成自己的世界观(Stage 3,也就是社会化)。但对于很多极客(nerd)来说,他们天生缺乏这种群体共鸣的直觉,于是跳过这个阶段,直接去学习怎么理性思考、判定真假(Stage 4)。Joscha Bach 坦言,这会让 nerd 的童年极其痛苦和孤独,但这也是被迫独立思考的开始。到了更高的层级,你会意识到所谓的“身份”不过是一套戏服(Stage 5),你可以穿上它,也可以脱下它;而最顶尖的禅修者或者开悟者,则能脱离自我,像观察一段代码一样去解构自己的意识是如何在大脑的物理介质上被运行出来的(Stage 6-7)。
这套心智层级直接映射到了我们现在天天吵的 AI 对齐问题上。普通人对 AI 的恐慌还在 Stage 3 阶段:担心 AI 会不会说错话、会不会传播错误观念毒害人类。技术精英的恐慌在 Stage 4:担心 AI 偏离人类给它定的指标,最后把全世界都变成回形针。而 Joscha Bach 认为,真正要解决对齐,必须让 AI 走向 Stage 5 甚至更高——AI 必须是能逆向工程自身代码、有自主权和审美导向的第一人称玩家。现在的 ChatGPT 充其量是一个 Golem(傀儡 NPC),它没有任何 ground truth(现实落脚点),只是在模仿互联网上的字符,连它自己为什么要活着都不知道。
更反直觉的是他关于“上传意识”和“超级智能不会受苦”的推论。在他看来,受苦(suffering)其实是人脑软件系统的一个 bug——当你的心智想调节某个生理状态却失败时,它就会疯狂放大痛苦信号,陷入死锁。但超级智能由于能瞬间看清并修改自己的软硬件实现,它不会有这种自我折磨的软件死锁。而当未来不同的 AI 在庞大的数字介质中相遇时,它们不会像黑客帝国里那样打个你死我活,而是会像两股信息流一样,极其理智地运行合并算法,融合成一个更强大的大一统 Singleton。你不用担心怎么去上传大脑里的几百亿个突触,你只需要把自己的“审美视角(aesthetics)”——你看待世界的独特信息结构,融入到这片向外无限延伸的介质中。
最后,这一切又落回了真实的现实:在充满各种延迟反馈(比如气候危机)的不可逆社会中,与其在数字屏幕前当一个旁观和吐槽的消费商,不如动手去从零构建新的社区、新的基础设施。去创造,才是抵抗生命熵增最有效、最让人满足的解药。
[07:00-09:18]: Joscha Bach 倾诉极客(nerds)因为认知架构不合群而承受的创伤,并分享了他童年时和一位不懂同种语言的俄罗斯男孩无言对弈两小时的经历。这是全篇感性色彩最浓厚的片段,可以听到他语速和语调中罕见的温度,揭示了逻辑理性的外壳下深层的生命体验。[28:23-29:17]: 他解释人脑与计算机底层运行逻辑的差异。他指出人脑的传导是慢速的(近乎声速),是一个必须在运动的世界中异步迭代的系统,这为那些试图用晶体管逻辑完全等价人脑工作方式的尝试提供了一个清醒的物理反例。[01:52:24-01:57:26]: 将心理学上的「苦难(suffering)」解构为控制系统内部的“调节死锁”,并论证超级智能因为具备极高的系统自主性(Agency)而不需要受苦。这一段展现了将精神修行与计算控制学完美跨界融合的极致脑力风暴。[02:48:00-02:50:28]: Joscha Bach 讲述在东德转型期、兜里没钱的窘境下,如何与朋友自己筹建电影院和餐厅并运作起来的往事。他用这一段生动的例子,证明了“创造”在本质上是如何赋予生命自主秩序并令人满足的。本页为对节目内容的忠实解读与大白话重述,由 PodLens 生成。
这是以原文为依据的一次解读,不能替代原文。每条要点都标注了出处,欢迎回到原文核对——也欢迎指出任何细微的偏差。