课代表立正
工业生产受制于极致分工、硬件响应速度与严苛鲁棒性,通用大模型短期内无法迎来类似ChatGPT的爆发,具身智能行业整体仍处在早于GPT-2的探索阶段。
AI-assisted summary of Fei-Fei Li Acquires Changxi Zheng: We May Not See General-Purpose Robots in Our Lifetime — original source. Check the original for full context.
Source published:
Key ideas
- 具身智能目前仍处在类似“GPT-2 都还没到”的极早期探索阶段,在真实工业生产环境中尚无任何一家公司实现大规模落地。 (52:05)
- 短期内具身智能难以出现统一的通用基础模型(Foundation Model),工业生产受 ROI 和亚当·斯密分工法则驱动,必须依靠专业化(Specialization)换取极致的鲁棒性与节拍速度。 (25:00)
- 李飞飞联合创办的 World Labs 定位为“空间智能(Spatial Intelligence)”而非纯具身智能公司,核心在于通过少量图片重建三维空间,机器人在 3D 环境的操作仅是其下游应用之一。 (52:05)
- 中美具身智能团队呈现出路径分歧:国内团队倾向全栈自研硬件本体与模型,而 SceniX 选择硬件中立(Hardware Agnostic)路线,专注以仿真为中心的工作流生成控制策略。 (57:10)
Detailed notes
## Background 本内容由 YouTube 频道“课代表立正”于 2026 年 10 月 9 日发布。视频为对哥伦比亚大学计算机科学教授、SceniX 联合创始人、World Labs 团队成员郑昌熙的深度访谈,重点探讨具身智能的技术原理、物理仿真训练、世界模型的真实进展与行业落地挑战。
## TL;DR 访谈围绕具身智能为何难以简单复制 ChatGPT 的“大力出奇迹”展开,深入分析了工业场景中泛化性、鲁棒性与运行速度之间的三维权衡。郑昌熙结合自身从学术界、腾讯实验室到创立 SceniX 再到加入 World Labs 的历程,拆解了图形学物理仿真赋能机器人训练(Real-to-Sim-to-Real)的核心逻辑,以及所谓“世界模型”与纯视频生成的本质差异。对话还探讨了中美具身智能在软硬件一体与硬件中立(Hardware Agnostic)上的叙事分歧,并指出当前行业仍处于甚至未达“GPT-2”的极早期探索阶段。
## Atmosphere & style 对谈整体呈现出理性、思辨且极具学术与工程双重穿透力的冷静基调。郑昌熙以平实质朴的口吻打破行业狂热泡沫,既有对终身教职“发论文游戏”和象牙塔个人英雄主义的坦率反思,也有对商业现实与物理世界底层硬约束的透彻剖析。整场对话毫无浮夸的说教感,更像是一位经历过产业沉浮的资深学者兼创业者,在围炉漫谈中拆解自己的“人生计分牌”与技术品味,听来清醒、扎实且富有思想厚度。
## Bulletin - [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 具身智能目前仍处在类似“GPT-2 都还没到”的极早期探索阶段,在真实工业生产环境中尚无任何一家公司实现大规模落地。 - [25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 短期内具身智能难以出现统一的通用基础模型(Foundation Model),工业生产受 ROI 和亚当·斯密分工法则驱动,必须依靠专业化(Specialization)换取极致的鲁棒性与节拍速度。 - [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 李飞飞联合创办的 World Labs 定位为“空间智能(Spatial Intelligence)”而非纯具身智能公司,核心在于通过少量图片重建三维空间,机器人在 3D 环境的操作仅是其下游应用之一。 - [57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 中美具身智能团队呈现出路径分歧:国内团队倾向全栈自研硬件本体与模型,而 SceniX 选择硬件中立(Hardware Agnostic)路线,专注以仿真为中心的工作流生成控制策略。
## Key takeaways - [05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 在真实的商业闭环中,技术的重要性往往被技术研发人员高估,它不仅不是最关键的因素,甚至连第二重要都算不上。 - [07:03](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=423s) 学术界真正有价值的研究只有两端:开创全新方向的启发性研究,或解决具体现实痛点的实用性研究;现实考评压力却导致大量论文沦为两头不沾的套路化产物。 - [12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 许多人以为的“兴趣”往往只是源于机缘巧合下形成的熟悉感;衡量个人成长的计分牌应当是多维且动态的,在不同阶段需敢于主动切换轨道。 - [18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 图形学在前沿物理仿真与真实渲染上已积累深厚,而机器人学界虽渴求数据与场景却存在认知断层,SceniX 的创立正是为了捕捉这一跨学科信息差。 - [25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 具身智能的技术评价包含泛化性、鲁棒性与速度三维坐标;工业流水线无法容忍失误和动作迟缓,导致极度依赖专业化策略而非全能通用模型。 - [30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) 通用大模型难以直接碾压物理世界的底层原因在于硬件瓶颈:高频交互下的毫秒级电机控制受制于大模型推理延迟,且电池密度等物理硬件演进极慢。 - [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 人类文明基于抽象符号层次构建,语言与代码容易被符号化表征,而物理世界的微观材质、异质密度与触觉经验缺乏优雅的三维表征形式。 - [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 严谨的世界模型定义是根据当前物理状态及施加的干预动作准确预测下一刻状态,停留在二维像素层面的“视频预测”并不等同于真正理解物理世界。 - [40:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2400s) 在 Real-to-Sim-to-Real 的仿真工作流中,核心在于取舍的域知识(Domain Knowledge),如折纸盒任务必须精准模拟纸板合页在反复折叠中的物理疲劳软化。 - [45:29](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2729s) 大模型将代码与工程执行成本压低至接近于零,研究人员的核心壁垒正转移至最前沿的想法发掘与范式创新本身。 - [55:01](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3301s) 西方制造业由于面临极高的人工成本与工会机制带来的弹性不足,对自动化的实际渴求程度反而远超外界普遍预期。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=0s) 从学术休假到腾讯纽约实验室
访谈开篇提到了在商业环境中技术的真实定位,并指出了具身智能目前面临的核心挑战:在工业场景下,很难像 ChatGPT 那样直接依靠一个通用的基础模型(Foundation Model)就泛化到所有复杂任务。随后,话题转向郑昌熙加入李飞飞联合创立的世界模型与空间智能公司 World Labs 的背景。主持人打趣道,这是从学术界到大厂、再到创业公司(SceniX),如今又从“小船”换到了李飞飞这艘知名度极高的“大船”。
郑昌熙回顾了自己最初进入产业界的契机。当时他已在哥伦比亚大学任教多年,学术休假(Sabbatical)因疫情一拖再拖,直到学校通知不能再延期。恰逢腾讯高层与他联系,计划在纽约筹建一个实验室,这样他既能体验大公司的产业环境,又不需要举家搬迁。郑昌熙当时明确提出,自己不想在腾讯只是复刻一个高校里的纯学术 Research Lab,而是希望建立一个孵化实验室(Incubation Lab)——既做前沿技术探索,更侧重于挖掘潜在的产品方向。彼时生成式 AI(Generative AI)才露出尖尖角,Midjourney 等产品刚开始兴起,技术浪潮尚未像今天这般扑面而来。
[05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 商业世界中,技术甚至不是第二重要的
在大公司内部探索极其前沿的技术,不可避免地会遇到资源调配、战略定力与信任度的问题。郑昌熙坦言,这并非腾讯独有的困境,而是所有业务模式成熟、盈利能力极强的互联网巨头共同面临的挑战:当一项颠覆性新技术刚冒头时,高层究竟有多大的战略决心去“All in”,愿不愿意给一个远在纽约的团队足够的资源和信任。郑昌熙对当时管理层给予的高度学术与探索自由心怀感激,但在腾讯两年的经历,让他对技术在真实商业世界中的定位有了脱胎换骨的认知。
在学校做科研时,大家往往是纯粹的技术驱动(Technology-Centric),认为技术就是一切。但真正进入工业界和商业世界后,郑昌熙深刻体会到:从商业角度(In terms of business)来看,技术真的不是最关键、最有效的东西,甚至连第二重要的都算不上。这种认知的转变彻底打破了过去象牙塔的价值观。
- **高校与社会的评价机制**:自工业革命之后,体力劳动的价值被相对削弱,社会开始高度奖励知识与创造力。学术界将这种创造力进一步量化为论文、引用与技术成果,久而久之,身处其中的学者极易将这套系统当成世界的全部,而忽略了在更广阔的商业闭环中,技术只是一小部分。
[07:03](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=423s) 发论文的游戏规则与有价值的研究
谈到学术界的运作机制,主持人提到郑昌熙曾经在学生访谈里说过“自己已经把发论文这个游戏摸透了”。郑昌熙解释,这并非狂妄地宣称顶级期刊想发就发,同行评审(Peer Review)依然具备科学的严肃性;但不可否认的是,当摸清了这套“游戏规则(Game Rules)”之后,一个人究竟是在做真正有突破性的技术,还是在做一个“容易被发表(Easy to publish)”的东西,两者的边界会变得极其模糊。
```mermaid flowchart TD accTitle: 真正有价值的研究类型 accDescr: 展示学术界中有价值的两类研究以及流于套路的普通论文对比 subgraph Valuable["真正有价值的研究(两端)"] Inspire["开创性工作<br/>不一定有直接实用价值<br/>但能启发海量后续工作"] Practical["实用价值工作<br/>在真实世界解决具体痛点<br/>能够创造落地价值"] end subgraph MiddleGround["容易被发表的中间路线(Spin Paper)"] Tricks["找新奇问题 + 巧妙方法解决 + 挑最好结果(Cherry-pick)<br/>迎合审稿人口味,两头都不沾"] end Valuable -.->|"现实考评压力迫使多数人滑向"| MiddleGround ```
郑昌熙将真正有价值的技术研究归纳为两个明确的方向: 1. **启发性(Inspirational)研究**:这项工作在当下可能没有直接的实际用途,但它开创了一个全新方向,启发了同行产出大量后续工作。 2. **实用性(Practical)工作**:它切切实实解决了一个现实中的具体问题,能够在真实世界中创造可见的价值(无论作者是否搭建了商业模式去捕获这种价值)。
尴尬的是,现实中学术圈的大多数论文“两头都不占”。因为终身教职(Tenure)和评定机制通常与论文数量强挂钩,很多人被迫走捷径:寻找一个看起来很独特的问题,用某种方法做出一组看起来不错、甚至精心挑选(Cherry-pick)的效果,以迎合审稿人。一旦被拒,就换个会议重新投,如同“买彩票”一样等待遇上合拍的评审。
关于如何辨别真正的创新,郑昌熙强调这考验一个人的“技术品味(Technology Taste)”。实用价值的工作相对容易评估,但最具前瞻性的突破往往具有强烈的**时代滞后性**。例如谷歌提出 Transformer 架构的最初阶段,没人能预料到它后来的巨大影响。技术不是孤立的事件,它的全面爆发必须依赖周围的配套生态成熟——包括数据采集能力、模型训练的基础设施(Infra)等全面就位,才会在特定的历史节点彻底释放潜力。
[12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 兴趣、自我探索与人生的多维计分牌
东亚传统价值观往往认为当上名校教授、在顶级期刊持续发顶刊论文就已经是人生巅峰。但郑昌熙指出,在计算机科学领域,发论文这件事本身正在变得平民化与大众化;真正能定义一个学者职业生涯的顶级成果,其实**一生有一篇就足够了**。
回顾自己的职业转向,郑昌熙讲述了自己学术生涯早期的轨迹。他在康奈尔大学读研究生的第一个学期,发表的第一篇论文其实是关于网络劫持(Internet Hijack)与网络安全的,与后来深耕的计算机图形学(Graphics)毫不相干。后来在微软实习期间,他突然觉察到自己内心深处最热爱的依然是纯粹的数学和物理,而图形学中的偏微分方程(PDE)等数学工具恰好能将两者完美结合,于是便毅然转向了图形学。
他由此分享了一个关于“兴趣”的深刻洞察: > “很多时候一个学生他对一个东西感兴趣,并不一定是他出于某种真正意义上的热爱,而是因为之前的经历里面机缘巧合做了这个事情,他比较熟悉这个领域,所以他认为他是对这个东西感兴趣。”
对于许多人在人生觉醒时经历的中年危机与迷茫,郑昌熙表示自己同样深有感触。尤其是拿到终身教职(Tenure)后的头几年,躺在极其舒适的环境里日复一日地写基金申请(Grant Proposals),他也曾陷入“人生难道就这样了”的虚无感。为了寻找答案,他阅读了大量的历史与哲学书籍,例如威尔·杜兰特的《历史的教训》(The Lessons of History)、尤瓦尔·赫拉利的《人类简史》(Homo Sapiens),甚至广泛接触佛教哲学并练习冥想。他认为: - **计分牌是必要的**:人需要指标(Metric)来衡量自身的成长和进展,否则容易陷入虚无。 - **计分牌必须是多维且动态的**:指标绝不能是单一的论文数量或引用数;人生是由多个支点构成的,在不同的人生阶段,要敢于主动调整甚至更换自己的计分牌。
[18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 创立 SceniX:捕捉图形学与机器人学之间的信息差
离开腾讯回到哥大后,郑昌熙与一同离职的同事决定联手做一些更有自主权、更有用的事情。基于两人在图形学以及云端游戏引擎(Cloud-based Game Engine)方面的技术积累,他们最初盘算着打造一套工业模拟仿真引擎。
转折点出现在哥大计算机系招聘新教席面试期间。他们遇到了前来面试的机器人学学者赵云竹(Yunzhu Li,后来的 SceniX 联合创始人)。在深入交流后,郑昌熙敏锐地发现了一个巨大的跨学科“信息差”: - **图形学界(Graphics Community)**:在最前沿的物理仿真(Simulation)与照片级渲染(Rendering)技术上已经积累了极高的深度。 - **机器人学界(Robotics Community)**:虽然极度渴求数据与训练场景,但对图形学界最顶尖(State-of-the-Art)的仿真与渲染技术缺乏充分的认知与应用。
“任何有信息差的地方就有商业机会。”郑昌熙和合伙人意识到,工业自动化与机器人是一个空间足够大(Large Scope)的赛道,只要抓住这层认知断层,就必然能创造出巨大的商业价值。
[21:51](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1311s) 用仿真工作流打造工业级机器人策略
由此诞生的创业项目名为 **SceniX**。郑昌熙系统性地阐明了 SceniX 的核心业务定位:通过**以仿真为中心的工作流(Simulation-centric workflow)**,来训练并输出高性能且高鲁棒性的**机器人控制策略(Robotic Policy)**。
与纯靠真实世界数据(Observation-centric)的路线相比,SceniX 的工作流直接面向工业生产场景交付结果。郑昌熙强调,工业场景对机器人 Policy 提出了极其苛刻的两个指标: 1. **鲁棒性(Robustness)**:工业流水线绝对无法容忍机器人运行 10 次就失误 3 到 4 次,它必须具备极高的稳定性。 2. **性能与速度(Performance & Speed)**:机器人的动作节拍(Cycle Time)必须足够快。如果动作迟缓、效率只跟人类相当甚至更慢,整个部署的投资回报率(ROI)就完全无法打平,工厂主宁可雇佣工人。
面对主持人关于“端到端大模型 vs. 专家控制系统”的追问,郑昌熙明确厘清了术语概念:现代机器人领域的 Policy 本质上也是一个端到端的神经网络模型(End-to-End Neural Network Model)。其输入是机器人身上 RGB 相机或传感器在当前时刻采集到的原始数据,输出则是直接驱动各个关节电机的动作(Action)指令。二者的分歧不在于“是不是神经网络”,而在于**在泛化性(Generalization)这条光谱上究竟走多远**——是去追求一个能做所有杂事的通用大模型,还是专注于收敛在某一类特定的工业任务中,追求极致的稳定与速度。SceniX 果断选择了后者。
[25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 评价具身智能的三维坐标系与工业分工的现实
郑昌熙指出,审视具身智能(Embodied AI)不能只看单一指标,而是存在一个由三个核心维度构成的评价体系: 1. **泛化能力(Generalization)**:机器人到底能完成多少种不同类别的任务; 2. **鲁棒性(Robustness)**:面对特定任务,在不同光照、几何形状、甚至表面潮湿程度等严苛或多变的现实条件下,成功率究竟有多高(例如工业抓取与放置 pick-and-place,看似已被解决,但在各种极端边缘场景下做到稳定成功仍然极具挑战); 3. **响应与运行速度(Speed / Performance)**:完成操作的吞吐量有多高。人类可能几秒钟抓取一个,若追求极致吞吐量,机器需要极快的反应速度。
```mermaid flowchart LR accTitle: 具身智能的三维评估坐标 accDescr: 展示具身智能的核心三维度:泛化能力、鲁棒性和执行速度与性能。 subgraph EmbodiedAI["具身智能核心评价体系"] G["泛化能力 (Generalization)<br/>能覆盖的任务数量"] R["鲁棒性 (Robustness)<br/>在极端环境下的成功率"] S["速度与吞吐 (Speed/Performance)<br/>单位时间完成效率"] end G <--> R R <--> S S <--> G ```
郑昌熙判断,具身智能领域在短期内极难像大语言模型那样,突然出现一个能够解决 80% 到 90% 任务的通用基础模型(Foundation Model),尤其是在工业生产场景中。能演示 Demo 或在 10 次测试中成功五六次,与真正投入工业流水线完全是两码事。亚当·斯密在《国富论》第一章中就阐明了现代工业的核心逻辑是高度的**专业化分工(Specialization)**:流水线上的工人和工序高度聚焦(例如螺丝生产),只有专业化才能不断降本、在极致的节拍下持续优化 ROI。
具身智能因而面临一个哲学式的边界划分问题:到底要在泛化与专业化之间把线画在哪里?在早期相当长的一段时间内,工业具身智能必须依赖 Specialization 来换取足够的鲁棒性与速度,否则商业化 ROI 根本无法闭环。相比之下,家庭环境(Home Environment)确实更需要泛化——普通家庭不可能分别买一台洗碗机器人、开冰箱机器人和做饭机器人,用户只愿买一台全能助手,因此家庭场景下泛化的优先级更高,但这又牵扯到更复杂的社会经济学和心理学问题。
---
[30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) 为什么 AI 容易改变白领,却在物理世界卡关?
针对“通用大模型是否会像碾压白领专业化一样,在蓝领工业界也靠算力和数据大力出奇迹”的疑问,郑昌熙指出了深层的技术局限(Technical Nuance): - **底层电机控制与延迟(Computational Budget)**:若为了泛化而引入海量数据与极大参数量的模型,机器人底层控制(Low-level control)会遭遇严重的响应时间(Response Time)瓶颈。机器人与环境交互的频率远超电子游戏引擎的 60Hz。为了在毫秒级内完成电机指令下发,巨大模型的推理延迟往往难以被物理世界所接受。 - **物理世界的演进步伐远慢于代码**:游戏引擎为了压低计算时间优化了数十年;MIT 的昆虫机器人至今挂着密密麻麻的供电线,因为电池密度瓶颈过去上百年仍未完全跨越;过去 VR/AR 的高估也是因为卡死在硬件、算力与供电层面。"Hardware is always hard."
主持人补充了清华大学脑科学教授刘嘉的观点:人类大脑皮层和小脑之间,小脑实际占据了大脑约六分之七的神经元,大部分算力都被演化分配给了复杂的身体运动与物理平衡控制,人类自以为最高级的逻辑推理实则仅占极少比例。
郑昌熙对此从哲学与表征(Representation)角度给出了剖析:人类数千年的文明建构在**抽象层次(Hierarchy of Abstraction)**之上。越偏向高级智力活动,被符号化抽象的程度就越高(如维特根斯坦所言“语言即世界”,数学更是纯粹的规则符号系统)。大模型之所以在语言、编程甚至前沿数学问题上表现惊艳,是因为这些领域存在高度规范的符号抽象。
---
[35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 物理世界的表征难题:从一维 Token 到体素世界模型
反观体力劳动与物理现实,许多经验根本无法被语言化或符号化——正如日本宫殿木匠“树之生命 木之心”的代际传承,上千年的木作手艺全融在匠人的身体肌肉记忆与触感中,无法付诸文字。
计算机处理现实的核心障碍在于缺乏优雅的表征形式: - 语言是一维的 Token 流; - 图像是二维的 Pixel 阵列; - 三维物理世界缺乏公认的最佳表征。除了三维几何(Geometry),物理世界还包含密度分布(Density)、表面粗糙度、材质内部异质性(例如手机外层为玻璃、内层嵌金属、局部留空)等一系列多模态物理属性。
如果拥有无限算力,郑昌熙认为最合理、最合乎直觉的物理表达形式是类似有限元分析的**体素(Voxel)表达**:将三维空间划分为极其微小的 $n \times m \times t$ 网格,在每个网格中定义材料、密度和颜色。然而,体素表达不仅对显存和计算资源造成灾难性开销,更要求一种脱离现实的“上帝视角”(获知空间所有微观数据)。
谈及“世界模型”(World Model)的定义,郑昌熙给出了经典严谨的主流解释: > 给定当前时刻所关心的物理世界状态(State),以及施加给它的干预动作(Action,例如推一下、浇点水),能够准确预测出下一时刻世界的状态是什么,这便是一个世界模型。
这与抽象尺度直接相关:状态定义既可以是分子动力学(Molecular Dynamics)级别的粒子位置(极其不切实际),也可以是刚体在三维空间中的旋转平移位姿。
---
[40:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2400s) 仿真折纸盒、域知识与所谓“世界模型”泡沫
在 SceniX 的 **Simulation-First(仿真优先)** 工作流中,将真实世界映射至仿真环境本质上是一门取舍的艺术(Dark Art)或行业 Domain Knowledge。根据任务的不同,仿真必须选择性忽略无关信息: - 若机器人仅需学习如何推移物体,操作中产生的声音与微小摩擦热量完全可以忽略; - 但在团队博客展示的“折纸盒(Folding a box)”任务中,看似简单的动作却极其依赖细微物理特性——纸板合页(Hinge)的疲劳度与折痕软硬程度会随着反复折叠发生剧烈变化。为了保证策略极其鲁棒,仿真环境必须精确模拟出合页变软这一层级的物理退化(Physics level)。
```mermaid flowchart TD accTitle: Real-to-Sim-to-Real 工作流 accDescr: 描述从现实物理任务抽取规则、在仿真中生成策略并回放部署到现实的闭环流程。 subgraph RealWorld_In["现实世界输入"] Task["真实机器人任务定义<br/>(如折纸盒/抓取)"] end subgraph SimEngine["虚拟仿真环境 (World Model 映射)"] Abstract["域知识物理抽象<br/>(忽略声/热,保留关键物理如折痕软化)"] VirtualExp["虚拟实验 & 大规模合成数据生成"] PolicyLearn["Policy 训练 & 鲁棒性验证"] Abstract --> VirtualExp --> PolicyLearn end subgraph RealWorld_Out["现实世界落地"] Deploy["策略部署 (High Speed & Robustness)"] end Task --> Abstract PolicyLearn --> Deploy ```
针对仿真是否会产生“新信息”的辩证讨论: - 从规则层面看,由于底层依赖既定物理方程,系统并不会凭空演化出物理定律之外的全新信息; - 但从工程生产角度,仿真探索了海量未测试的状态空间,免去了在实体流水线上炸机或损毁昂贵原型的代价,实实在在地带来了高价值的工程信息增量。
谈及当下 Physical AI 与世界模型的热潮,郑昌熙直言**确实存在乐观情绪与泡沫**,但泡沫吸引资本与社会注意力,对学术和工业从业者而言是推进技术突破的好事。不过,很多外界宣称的“视频预测(Video Prediction)即世界模型”根本不成立。真正的物理训练需要将包含上帝视角物理规律的经验,有效注入(Inject)神经网络中,这至今面临难以回避的“鸡生蛋、蛋生鸡”困境。
---
[45:29](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2729s) 想法依然昂贵:单片机案例与学术休假创业
当 AI 大幅拉低工程执行成本,人类研究者的核心壁垒究竟何在?
主持人分享了一个生活案例:一位哥大电气工程博士同事为了监控自家车库门开闭状态,没有走传统磁吸传感器的老路,而是用极廉价的微型单片机和摄像头,只花了 10 分钟与大模型交互阐述思路,大模型就耗时 5 小时自动训练并部署了一个轻量级定制化图像分类模型,成本极低且高度准确。
郑昌熙对此深有感触: - 事情最酷的闪光点在于**能想到用单片机训练专属视觉模型去解车库门问题**这一底层思路,而非工具执行本身; - 大模型将执行成本压到接近于零,科研人员的真正价值转移到最前沿的 Idea 发掘与范式探索(Paradigm shift)。
关于为何哥伦比亚大学教授可以同时全职创业,郑昌熙澄清了制度与现状: - 他目前正处于美国大学独特的**学术休假(Sabbatical Leave)**阶段。哥大规则为每教满 12 个学期(约 6 年)即可申请离开学校一段时间(类似停薪留职); - 因此他得以在李飞飞联合创办的 World Labs 全职工作。从 SceniX 到 World Labs,本质上是换到了一艘更大的船上,推进完全一致的 **Real-to-Sim-to-Real** 路径:以极低成本将现实任务转换为虚拟仿真设置,在虚拟环境中低成本做实验、生成数据和评估,训练出高鲁棒性与高执行速度的 Policy 并回传至真实世界; - 这种校企流动机制深植于美国大学历史悠久的**学术自由(Academic Freedom)**与终身教职(Tenure)制度。
[50:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3000s) 大学像菜市场:个人英雄主义与工业界团队合作的抉择
谈到大学与学术体系的本质,郑昌熙提出了一个非常生动的比喻:美国大学本质上就是一个“菜市场”(market place)。学校只是搭建并提供了一个交易平台,当然这个平台本身也分不同档次——有的开在第五大道(Fifth Avenue)上,有的开在乡下,像哈佛等名校可能就是开在第五大道上的高级菜市场。而每一位教授(Faculty),其实就是在菜市场里租了一个“摊位”。教授每年拿到科研经费(Research Funding),学校从中抽取管理费(Overhead),这就好比是向菜市场交保护费。
在这样的体系下,教授各凭本事做营销:如果摊位上的菜卖得特别好、特别新鲜,就会吸引更多优秀的学生慕名前来,摊位规模也可以顺势扩大。然而,郑昌熙指出,在象牙塔里干科研,底层逻辑依然是一种“个人英雄主义”行为——虽然有非常出色的学生深度参与,但最终积累的全部是教授个人的学术声望(Personal Reputation)。而正是因为这种个人英雄主义属性,教授在单个摊位里所能调动的资源与能做的事情,在广度与范围(Scope)上受到了极大人为维度的限制。如果只看单一维度的技术突破(Technology Breakthrough),学术界确实可以走得极远,甚至能颠覆人类认知;但在许多其他实际维度上却处处受限。这也是为什么在这个人生阶段,他希望走出学术轨道,去探索工业界截然不同的团队协作(Teamwork)。
```mermaid flowchart TD accTitle: 大学科研模式与工业界团队合作模式的对比 accDescr: 对比大学像菜市场摊位式的个人英雄主义科研机制与工业界追求规模与多维度落地的团队协同模式。
subgraph Academic["大学机制:菜市场平台"] Uni["学校提供平台 (抽取 Overhead)"] Prof["教授摊位 (申请科研经费)"] Hero["个人英雄主义模式<br/>(积累个人声望 / 范围受限)"] Breakthrough["单一维度:颠覆性技术突破"]
Uni --> Prof Prof --> Hero Hero --> Breakthrough end
subgraph Industry["工业界机制:大规模团队协同"] Team["多维度资源协作 (Teamwork)"] Product["真实物理落地与产业化"]
Team --> Product end
Hero -.->|"职业路径转向"| Team ```
---
[52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 具身智能的产业版图与 World Labs 的“空间智能”
进入物理世界 AI(Physical AI / Embodied AI)的探讨,郑昌熙首先厘清了概念。行业里有人用比较时髦性感的词汇叫它“具身智能”(Embodied AI),主要是想贴近当前大模型的热潮,避免让人觉得只是在玩传统的机器人(Robotics)。但实际上,具身智能的范畴比机器人更为宽广,它涵盖了所有将 AI 与物理世界深度结合的形态;机械臂或人形机器人因为能直接引发人类的情感共鸣,目前最吸睛。由于语言大模型(LLM)、图像生成与视频生成在过去几年取得了肉眼可见的巨大成功,资本与行业很自然地向外推断(Extrapolate),坚信 AI 下一个前沿就是物理世界,从而吸引了大量 VC 进场寻找下一个“ChatGPT”。
目前美国做物理世界 AI 的创业版图大致可以拆解为三类方向,而李飞飞团队的 World Labs 则拥有非常独特的定位:
- **专门做物理世界数据的公司**:致力于收集、处理并提供机器人交互所需的各类物理与动作数据。 - **训练通用策略(Generalized Policy)的公司**:主攻基础控制策略模型,例如 Physical Intelligence。 - **软硬件一体的全栈公司**:像 Figure AI 那样,既做自研的人形机器人本体,也做上层模型与软件系统,向市场讲述宏大的端到端故事。 - **World Labs 的独特路线(空间智能 Spatial Intelligence)**:郑昌熙明确指出,World Labs 并不单纯等同于前述的具身智能公司。李飞飞与团队倡导的核心理念是“空间智能”(Spatial Intelligence)——人对物理环境的认知首先源于对三维空间的理解。最直接的落地场景就是三维重建(3D Reconstruction),即仅凭单张或少量图片即可还原三维空间几何与结构。机器人在 3D 空间中的行为与操作(Manipulation)只是空间智能非常自然的一个下游应用场景。
郑昌熙坦言,无论是数据、策略还是软硬件一体路线,目前所有具身智能公司(包括他们自己)都**还没有在真实的工业生产环境中实现大规模落地**。整个行业依旧处于极早期的摸索阶段,“如果一定要用 ChatGPT 来做类比的话,我觉得就是 GPT-2 这种阶段都还没到”。
---
[55:01](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3301s) 驳“美国缺乏制造业”:为什么西方反而对自动化更饥渴?
针对国内部分投资人和创业者常提的质疑——“美国没有制造业,工业场景少,而中国制造业规模大、迭代卷、更愿意拥抱新技术,做机器人一定要在中国做”——郑昌熙给予了清晰且理性的反驳。
首先,无论是从地缘政治安全还是大国综合经济实力的角度来看,像美国这样高度发达的超级大国,绝不可能没有制造业。如果把美国、加拿大、欧洲等西方工业体系合并来看,其制造业规模绝不显著低于中国,这有扎实的数据支持。虽然从经济学的人工与制造成本结构来看,某些低附加值制造在美国本土并不占优,但这恰恰暴露了西方制造业的核心痛点:极高的人力成本,以及工会等机制带来的弹性缺乏。
郑昌熙强调,回顾工业发展史,西方国家由于饱受劳动力成本与结构性供给不足的困扰,对自动化(Automation)的诉求反而更加迫切(Desperate)。他给出了两条核心研判: 1. **工业生产的永恒性**:在可预见的未来,人类社会规模化的实体工业生产将一直存在。 2. **人类文明与自动化的必然性**:随着社会福利与文明程度的提高,人类自我意识不断觉醒,重体力劳动必然被替代,自动化是一个不可逆的永恒主题。
因此,哪怕单纯放在美国本土的市场语境下,具身智能与物理 AI 面临的产业空间(Scope)不仅客观存在,而且极其广阔。
---
[57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 中美具身智能的叙事分歧:大开大合与硬件中立(Hardware Agnostic)
聊到国内创业公司的现状,郑昌熙观察到中美在团队打法与叙事逻辑上存在鲜明的风格差异。国内头部的具身智能创业公司(如星动纪元、银河通用、宇树科技等)倾向于讲述“大开大合”的宏大叙事:从自研硬件本体、自研大模型,到底层仿真平台无所不包。这背后的商业逻辑往往是为了满足国内资本市场的融资偏好,同时国内团队也有一套自洽的闭环逻辑——“我必须要有本体,没有本体我从哪里采集数据?模型跑通了没有本体又怎么交付落地?”
但郑昌熙与 SceniX 团队选择了截然相反的技术路径:**硬件中立(Hardware Agnostic)**。SceniX 不捆绑任何特定的机器人硬件本体,而是专注于构建通用的仿真与训练工作流(Workflow)。在最近的技术发布(Technical Release)中,他们展示了这套工作流在五六个完全不同的机器人本体上顺利运行。郑昌熙认为,现阶段整个行业依然是“八仙过海,各显神通”,没有哪条逻辑被证明是唯一正确的解法。
在对谈结尾,郑昌熙重申了他对“世界模型”(World Model)与认知本质的深层理解: - **表达不等于本质**:人类日常接触的语言和图片,只是“知识的表达”(Representation),而非“知识的本质”(Essence)。构建真正的世界模型,必须深入触碰物理世界背后的运行本质,而不是停留在表象的像素生成上。 - **从专业分工走向通用化**:AI 与相关技术正在打破自工业革命以来人类极致专业化(Specialization)的分工模式,推动整个技术体系向通用化(Generalization)迁移。这并非一蹴而就的突变,而是一场长期的演进,很难精准预测究竟会在哪一个节点引爆彻底的产业革命。
最后,播客主播对郑昌熙的深度分享表示感谢,并介绍了主理的实践类社群课程“AI Builders”(已迭代 13 期、覆盖 3000 多名学员,包含 OpenAI、Anthropic、Google 从业者好评及 14 天退款保障),探讨了如何建立日常使用与自学 AI 的正确思维模型。
## Notable quotes > [05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 从商业角度来看,技术真的不是最关键、最有效的东西,甚至连第二重要的都算不上。 — 郑昌熙
> [12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 真正能定义一个学者职业生涯的顶级成果,其实一生有一篇就足够了。 — 郑昌熙
> [13:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=804s) 很多时候一个学生他对一个东西感兴趣,并不一定是他出于某种真正意义上的热爱,而是因为之前的经历里面机缘巧合做了这个事情,他比较熟悉这个领域,所以他认为他是对这个东西感兴趣。 — 郑昌熙
> [16:16](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=976s) 人生需要指标来衡量自身的成长和进展,否则容易陷入虚无。但指标绝不能是单一的,要敢于主动调整甚至更换自己的计分牌。 — 郑昌熙
> [18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 任何有信息差的地方就有商业机会。 — 郑昌熙
> [30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) Hardware is always hard. — 郑昌熙
> [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 给定当前时刻所关心的物理世界状态,以及施加给它的干预动作,能够准确预测出下一时刻世界的状态是什么,这便是一个世界模型。 — 郑昌熙
> [50:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3000s) 美国大学本质上就是一个菜市场。学校搭建了一个交易平台,而每一位教授其实就是在菜市场里租了一个摊位。 — 郑昌熙
> [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 如果一定要用 ChatGPT 来做类比的话,我觉得就是 GPT-2 这种阶段都还没到。 — 郑昌熙
> [57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 人类日常接触的语言和图片,只是知识的表达,而非知识的本质。构建真正的世界模型,必须深入触碰物理世界背后的运行本质,而不是停留在表象的像素生成上。 — 郑昌熙
## Mentioned 郑昌熙, 李飞飞, 赵云竹, 刘嘉, 亚当·斯密, 维特根斯坦, 威尔·杜兰特, 尤瓦尔·赫拉利, World Labs, SceniX, 腾讯, 哥伦比亚大学, 康奈尔大学, 微软, Figure AI, Physical Intelligence, 星动纪元, 银河通用, 宇树科技, OpenAI, Anthropic, Google, Midjourney, ChatGPT, Transformer, 历史的教训, 人类简史, 国富论
## Video description 具身智能这么火,技术到底走到哪一步了?哪些进展已经发生,哪些关键问题还没有解决?
这期对话李飞飞World Labs团队的郑昌熙。他是哥伦比亚大学计算机科学教授、SceniX联合创始人,经历了学术研究、腾讯和创业,如今在一线探索如何用物理仿真训练机器人。
我们从技术原理聊到行业现状,追问具身智能最核心的几个问题:
• 通用机器人能不能像ChatGPT一样,靠更大的模型、更多的数据迎来突破?为什么工业生产里的分工、速度和可靠性,让这条路没那么简单? • 怎么判断一个机器人模型有多强?除了会做多少种任务,还要看什么?演示成功,和真正投入生产,究竟差在哪里? • 世界模型到底是什么?为什么生成一段逼真的视频,还不等于理解了物理世界?要训练机器人,又该保留哪些物理细节? • 从真实场景到仿真,再回到真实世界,这套训练流程如何工作?数据公司、通用模型公司、软硬件一体的公司,各自在解决什么问题?
昌熙把这些判断展开到具体机制:大模型控制电机时的响应速度、三维世界的表征、仿真中物理细节的取舍,以及工业场景的成本与投入产出。我们也聊了World Labs的空间智能定位、中国和美国公司的不同路线,以及为什么他认为,具身智能距离真正的大规模落地仍处在早期。
访谈前半场还聊到他的职业转向:在腾讯学到的商业现实、发论文和做有用研究的区别,以及拿到终身教职之后,为什么仍想走出熟悉的轨道。兴趣、自我探索、人生的计分牌,也贯穿着他从教授走向创业的选择。
嘉宾:郑昌熙(Changxi Zheng) 哥伦比亚大学计算机科学教授、SceniX联合创始人;录制时在World Labs全职工作,并处于哥大的学术休假期间。
社区伴读文章:https://www.superlinear.academy/c/recording/changxi
#具身智能 #世界模型 #机器人 #人工智能 #李飞飞 #视频播客
章节: 00:00 本期预告 00:50 从SceniX到World Labs:从“小船”换到“大船” 01:55 哥大教授为什么去腾讯建实验室? 05:23 进入商业世界,技术竟然不是最重要的? 07:03 发论文的游戏,和真正有用的研究 12:24 学会了学术游戏,为什么还要换一条路? 13:24 你以为的兴趣,也许只是过去的熟悉 16:16 人生需要计分牌,但可以换一张 18:46 为什么创立SceniX:图形学与机器人的信息差 21:51 用仿真训练机器人,到底在做什么? 24:52 机器人不只要“会”:通用、稳定、速度 26:24 为什么具身智能难等来一个“ChatGPT时刻”? 29:31 工厂和家庭,需要的是同一种机器人吗? 30:22 物理世界的反应速度,为什么也是难题? 33:58 为什么AI更容易改变白领工作,而不是蓝领? 39:00 世界模型是什么:预测一个动作之后会发生什么 41:33 折一个纸盒,需要理解哪些物理细节? 44:14 世界模型的热潮:乐观和真正的难点 45:29 执行越来越便宜,研究者还剩下什么价值? 48:19 为什么美国教授有时间创业? 52:05 具身智能的产业版图:数据、模型与机器人本体 55:01 美国制造业少,机器人创业为什么仍有机会? 57:10 中国公司讲“大故事”,SceniX选择不绑定硬件
[Source](https://www.youtube.com/watch?v=y6kRa1vGAwA)