郑昌熙称具身智能未及GPT-2 通用模型难破工业分工与速度壁垒

Fei-Fei Li Acquires Changxi Zheng: We May Not See General-Purpose Robots in Our Lifetime — 课代表立正

课代表立正

工业生产受制于极致分工、硬件响应速度与严苛鲁棒性,通用大模型短期内无法迎来类似ChatGPT的爆发,具身智能行业整体仍处在早于GPT-2的探索阶段。

AI-assisted summary of Fei-Fei Li Acquires Changxi Zheng: We May Not See General-Purpose Robots in Our Lifetime — original source. Check the original for full context.

Source published:

Key ideas

  • 具身智能目前仍处在类似“GPT-2 都还没到”的极早期探索阶段,在真实工业生产环境中尚无任何一家公司实现大规模落地。 (52:05)
  • 短期内具身智能难以出现统一的通用基础模型(Foundation Model),工业生产受 ROI 和亚当·斯密分工法则驱动,必须依靠专业化(Specialization)换取极致的鲁棒性与节拍速度。 (25:00)
  • 李飞飞联合创办的 World Labs 定位为“空间智能(Spatial Intelligence)”而非纯具身智能公司,核心在于通过少量图片重建三维空间,机器人在 3D 环境的操作仅是其下游应用之一。 (52:05)
  • 中美具身智能团队呈现出路径分歧:国内团队倾向全栈自研硬件本体与模型,而 SceniX 选择硬件中立(Hardware Agnostic)路线,专注以仿真为中心的工作流生成控制策略。 (57:10)

Detailed notes

## Background 本内容由 YouTube 频道“课代表立正”于 2026 年 10 月 9 日发布。视频为对哥伦比亚大学计算机科学教授、SceniX 联合创始人、World Labs 团队成员郑昌熙的深度访谈,重点探讨具身智能的技术原理、物理仿真训练、世界模型的真实进展与行业落地挑战。

## TL;DR 访谈围绕具身智能为何难以简单复制 ChatGPT 的“大力出奇迹”展开,深入分析了工业场景中泛化性、鲁棒性与运行速度之间的三维权衡。郑昌熙结合自身从学术界、腾讯实验室到创立 SceniX 再到加入 World Labs 的历程,拆解了图形学物理仿真赋能机器人训练(Real-to-Sim-to-Real)的核心逻辑,以及所谓“世界模型”与纯视频生成的本质差异。对话还探讨了中美具身智能在软硬件一体与硬件中立(Hardware Agnostic)上的叙事分歧,并指出当前行业仍处于甚至未达“GPT-2”的极早期探索阶段。

## Atmosphere & style 对谈整体呈现出理性、思辨且极具学术与工程双重穿透力的冷静基调。郑昌熙以平实质朴的口吻打破行业狂热泡沫,既有对终身教职“发论文游戏”和象牙塔个人英雄主义的坦率反思,也有对商业现实与物理世界底层硬约束的透彻剖析。整场对话毫无浮夸的说教感,更像是一位经历过产业沉浮的资深学者兼创业者,在围炉漫谈中拆解自己的“人生计分牌”与技术品味,听来清醒、扎实且富有思想厚度。

## Bulletin - [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 具身智能目前仍处在类似“GPT-2 都还没到”的极早期探索阶段,在真实工业生产环境中尚无任何一家公司实现大规模落地。 - [25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 短期内具身智能难以出现统一的通用基础模型(Foundation Model),工业生产受 ROI 和亚当·斯密分工法则驱动,必须依靠专业化(Specialization)换取极致的鲁棒性与节拍速度。 - [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 李飞飞联合创办的 World Labs 定位为“空间智能(Spatial Intelligence)”而非纯具身智能公司,核心在于通过少量图片重建三维空间,机器人在 3D 环境的操作仅是其下游应用之一。 - [57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 中美具身智能团队呈现出路径分歧:国内团队倾向全栈自研硬件本体与模型,而 SceniX 选择硬件中立(Hardware Agnostic)路线,专注以仿真为中心的工作流生成控制策略。

## Key takeaways - [05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 在真实的商业闭环中,技术的重要性往往被技术研发人员高估,它不仅不是最关键的因素,甚至连第二重要都算不上。 - [07:03](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=423s) 学术界真正有价值的研究只有两端:开创全新方向的启发性研究,或解决具体现实痛点的实用性研究;现实考评压力却导致大量论文沦为两头不沾的套路化产物。 - [12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 许多人以为的“兴趣”往往只是源于机缘巧合下形成的熟悉感;衡量个人成长的计分牌应当是多维且动态的,在不同阶段需敢于主动切换轨道。 - [18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 图形学在前沿物理仿真与真实渲染上已积累深厚,而机器人学界虽渴求数据与场景却存在认知断层,SceniX 的创立正是为了捕捉这一跨学科信息差。 - [25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 具身智能的技术评价包含泛化性、鲁棒性与速度三维坐标;工业流水线无法容忍失误和动作迟缓,导致极度依赖专业化策略而非全能通用模型。 - [30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) 通用大模型难以直接碾压物理世界的底层原因在于硬件瓶颈:高频交互下的毫秒级电机控制受制于大模型推理延迟,且电池密度等物理硬件演进极慢。 - [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 人类文明基于抽象符号层次构建,语言与代码容易被符号化表征,而物理世界的微观材质、异质密度与触觉经验缺乏优雅的三维表征形式。 - [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 严谨的世界模型定义是根据当前物理状态及施加的干预动作准确预测下一刻状态,停留在二维像素层面的“视频预测”并不等同于真正理解物理世界。 - [40:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2400s) 在 Real-to-Sim-to-Real 的仿真工作流中,核心在于取舍的域知识(Domain Knowledge),如折纸盒任务必须精准模拟纸板合页在反复折叠中的物理疲劳软化。 - [45:29](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2729s) 大模型将代码与工程执行成本压低至接近于零,研究人员的核心壁垒正转移至最前沿的想法发掘与范式创新本身。 - [55:01](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3301s) 西方制造业由于面临极高的人工成本与工会机制带来的弹性不足,对自动化的实际渴求程度反而远超外界普遍预期。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=0s) 从学术休假到腾讯纽约实验室

访谈开篇提到了在商业环境中技术的真实定位,并指出了具身智能目前面临的核心挑战:在工业场景下,很难像 ChatGPT 那样直接依靠一个通用的基础模型(Foundation Model)就泛化到所有复杂任务。随后,话题转向郑昌熙加入李飞飞联合创立的世界模型与空间智能公司 World Labs 的背景。主持人打趣道,这是从学术界到大厂、再到创业公司(SceniX),如今又从“小船”换到了李飞飞这艘知名度极高的“大船”。

郑昌熙回顾了自己最初进入产业界的契机。当时他已在哥伦比亚大学任教多年,学术休假(Sabbatical)因疫情一拖再拖,直到学校通知不能再延期。恰逢腾讯高层与他联系,计划在纽约筹建一个实验室,这样他既能体验大公司的产业环境,又不需要举家搬迁。郑昌熙当时明确提出,自己不想在腾讯只是复刻一个高校里的纯学术 Research Lab,而是希望建立一个孵化实验室(Incubation Lab)——既做前沿技术探索,更侧重于挖掘潜在的产品方向。彼时生成式 AI(Generative AI)才露出尖尖角,Midjourney 等产品刚开始兴起,技术浪潮尚未像今天这般扑面而来。

[05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 商业世界中,技术甚至不是第二重要的

在大公司内部探索极其前沿的技术,不可避免地会遇到资源调配、战略定力与信任度的问题。郑昌熙坦言,这并非腾讯独有的困境,而是所有业务模式成熟、盈利能力极强的互联网巨头共同面临的挑战:当一项颠覆性新技术刚冒头时,高层究竟有多大的战略决心去“All in”,愿不愿意给一个远在纽约的团队足够的资源和信任。郑昌熙对当时管理层给予的高度学术与探索自由心怀感激,但在腾讯两年的经历,让他对技术在真实商业世界中的定位有了脱胎换骨的认知。

在学校做科研时,大家往往是纯粹的技术驱动(Technology-Centric),认为技术就是一切。但真正进入工业界和商业世界后,郑昌熙深刻体会到:从商业角度(In terms of business)来看,技术真的不是最关键、最有效的东西,甚至连第二重要的都算不上。这种认知的转变彻底打破了过去象牙塔的价值观。

- **高校与社会的评价机制**:自工业革命之后,体力劳动的价值被相对削弱,社会开始高度奖励知识与创造力。学术界将这种创造力进一步量化为论文、引用与技术成果,久而久之,身处其中的学者极易将这套系统当成世界的全部,而忽略了在更广阔的商业闭环中,技术只是一小部分。

[07:03](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=423s) 发论文的游戏规则与有价值的研究

谈到学术界的运作机制,主持人提到郑昌熙曾经在学生访谈里说过“自己已经把发论文这个游戏摸透了”。郑昌熙解释,这并非狂妄地宣称顶级期刊想发就发,同行评审(Peer Review)依然具备科学的严肃性;但不可否认的是,当摸清了这套“游戏规则(Game Rules)”之后,一个人究竟是在做真正有突破性的技术,还是在做一个“容易被发表(Easy to publish)”的东西,两者的边界会变得极其模糊。

```mermaid flowchart TD accTitle: 真正有价值的研究类型 accDescr: 展示学术界中有价值的两类研究以及流于套路的普通论文对比 subgraph Valuable["真正有价值的研究(两端)"] Inspire["开创性工作<br/>不一定有直接实用价值<br/>但能启发海量后续工作"] Practical["实用价值工作<br/>在真实世界解决具体痛点<br/>能够创造落地价值"] end subgraph MiddleGround["容易被发表的中间路线(Spin Paper)"] Tricks["找新奇问题 + 巧妙方法解决 + 挑最好结果(Cherry-pick)<br/>迎合审稿人口味,两头都不沾"] end Valuable -.->|"现实考评压力迫使多数人滑向"| MiddleGround ```

郑昌熙将真正有价值的技术研究归纳为两个明确的方向: 1. **启发性(Inspirational)研究**:这项工作在当下可能没有直接的实际用途,但它开创了一个全新方向,启发了同行产出大量后续工作。 2. **实用性(Practical)工作**:它切切实实解决了一个现实中的具体问题,能够在真实世界中创造可见的价值(无论作者是否搭建了商业模式去捕获这种价值)。

尴尬的是,现实中学术圈的大多数论文“两头都不占”。因为终身教职(Tenure)和评定机制通常与论文数量强挂钩,很多人被迫走捷径:寻找一个看起来很独特的问题,用某种方法做出一组看起来不错、甚至精心挑选(Cherry-pick)的效果,以迎合审稿人。一旦被拒,就换个会议重新投,如同“买彩票”一样等待遇上合拍的评审。

关于如何辨别真正的创新,郑昌熙强调这考验一个人的“技术品味(Technology Taste)”。实用价值的工作相对容易评估,但最具前瞻性的突破往往具有强烈的**时代滞后性**。例如谷歌提出 Transformer 架构的最初阶段,没人能预料到它后来的巨大影响。技术不是孤立的事件,它的全面爆发必须依赖周围的配套生态成熟——包括数据采集能力、模型训练的基础设施(Infra)等全面就位,才会在特定的历史节点彻底释放潜力。

[12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 兴趣、自我探索与人生的多维计分牌

东亚传统价值观往往认为当上名校教授、在顶级期刊持续发顶刊论文就已经是人生巅峰。但郑昌熙指出,在计算机科学领域,发论文这件事本身正在变得平民化与大众化;真正能定义一个学者职业生涯的顶级成果,其实**一生有一篇就足够了**。

回顾自己的职业转向,郑昌熙讲述了自己学术生涯早期的轨迹。他在康奈尔大学读研究生的第一个学期,发表的第一篇论文其实是关于网络劫持(Internet Hijack)与网络安全的,与后来深耕的计算机图形学(Graphics)毫不相干。后来在微软实习期间,他突然觉察到自己内心深处最热爱的依然是纯粹的数学和物理,而图形学中的偏微分方程(PDE)等数学工具恰好能将两者完美结合,于是便毅然转向了图形学。

他由此分享了一个关于“兴趣”的深刻洞察: > “很多时候一个学生他对一个东西感兴趣,并不一定是他出于某种真正意义上的热爱,而是因为之前的经历里面机缘巧合做了这个事情,他比较熟悉这个领域,所以他认为他是对这个东西感兴趣。”

对于许多人在人生觉醒时经历的中年危机与迷茫,郑昌熙表示自己同样深有感触。尤其是拿到终身教职(Tenure)后的头几年,躺在极其舒适的环境里日复一日地写基金申请(Grant Proposals),他也曾陷入“人生难道就这样了”的虚无感。为了寻找答案,他阅读了大量的历史与哲学书籍,例如威尔·杜兰特的《历史的教训》(The Lessons of History)、尤瓦尔·赫拉利的《人类简史》(Homo Sapiens),甚至广泛接触佛教哲学并练习冥想。他认为: - **计分牌是必要的**:人需要指标(Metric)来衡量自身的成长和进展,否则容易陷入虚无。 - **计分牌必须是多维且动态的**:指标绝不能是单一的论文数量或引用数;人生是由多个支点构成的,在不同的人生阶段,要敢于主动调整甚至更换自己的计分牌。

[18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 创立 SceniX:捕捉图形学与机器人学之间的信息差

离开腾讯回到哥大后,郑昌熙与一同离职的同事决定联手做一些更有自主权、更有用的事情。基于两人在图形学以及云端游戏引擎(Cloud-based Game Engine)方面的技术积累,他们最初盘算着打造一套工业模拟仿真引擎。

转折点出现在哥大计算机系招聘新教席面试期间。他们遇到了前来面试的机器人学学者赵云竹(Yunzhu Li,后来的 SceniX 联合创始人)。在深入交流后,郑昌熙敏锐地发现了一个巨大的跨学科“信息差”: - **图形学界(Graphics Community)**:在最前沿的物理仿真(Simulation)与照片级渲染(Rendering)技术上已经积累了极高的深度。 - **机器人学界(Robotics Community)**:虽然极度渴求数据与训练场景,但对图形学界最顶尖(State-of-the-Art)的仿真与渲染技术缺乏充分的认知与应用。

“任何有信息差的地方就有商业机会。”郑昌熙和合伙人意识到,工业自动化与机器人是一个空间足够大(Large Scope)的赛道,只要抓住这层认知断层,就必然能创造出巨大的商业价值。

[21:51](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1311s) 用仿真工作流打造工业级机器人策略

由此诞生的创业项目名为 **SceniX**。郑昌熙系统性地阐明了 SceniX 的核心业务定位:通过**以仿真为中心的工作流(Simulation-centric workflow)**,来训练并输出高性能且高鲁棒性的**机器人控制策略(Robotic Policy)**。

与纯靠真实世界数据(Observation-centric)的路线相比,SceniX 的工作流直接面向工业生产场景交付结果。郑昌熙强调,工业场景对机器人 Policy 提出了极其苛刻的两个指标: 1. **鲁棒性(Robustness)**:工业流水线绝对无法容忍机器人运行 10 次就失误 3 到 4 次,它必须具备极高的稳定性。 2. **性能与速度(Performance & Speed)**:机器人的动作节拍(Cycle Time)必须足够快。如果动作迟缓、效率只跟人类相当甚至更慢,整个部署的投资回报率(ROI)就完全无法打平,工厂主宁可雇佣工人。

面对主持人关于“端到端大模型 vs. 专家控制系统”的追问,郑昌熙明确厘清了术语概念:现代机器人领域的 Policy 本质上也是一个端到端的神经网络模型(End-to-End Neural Network Model)。其输入是机器人身上 RGB 相机或传感器在当前时刻采集到的原始数据,输出则是直接驱动各个关节电机的动作(Action)指令。二者的分歧不在于“是不是神经网络”,而在于**在泛化性(Generalization)这条光谱上究竟走多远**——是去追求一个能做所有杂事的通用大模型,还是专注于收敛在某一类特定的工业任务中,追求极致的稳定与速度。SceniX 果断选择了后者。

[25:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1500s) 评价具身智能的三维坐标系与工业分工的现实

郑昌熙指出,审视具身智能(Embodied AI)不能只看单一指标,而是存在一个由三个核心维度构成的评价体系: 1. **泛化能力(Generalization)**:机器人到底能完成多少种不同类别的任务; 2. **鲁棒性(Robustness)**:面对特定任务,在不同光照、几何形状、甚至表面潮湿程度等严苛或多变的现实条件下,成功率究竟有多高(例如工业抓取与放置 pick-and-place,看似已被解决,但在各种极端边缘场景下做到稳定成功仍然极具挑战); 3. **响应与运行速度(Speed / Performance)**:完成操作的吞吐量有多高。人类可能几秒钟抓取一个,若追求极致吞吐量,机器需要极快的反应速度。

```mermaid flowchart LR accTitle: 具身智能的三维评估坐标 accDescr: 展示具身智能的核心三维度:泛化能力、鲁棒性和执行速度与性能。 subgraph EmbodiedAI["具身智能核心评价体系"] G["泛化能力 (Generalization)<br/>能覆盖的任务数量"] R["鲁棒性 (Robustness)<br/>在极端环境下的成功率"] S["速度与吞吐 (Speed/Performance)<br/>单位时间完成效率"] end G <--> R R <--> S S <--> G ```

郑昌熙判断,具身智能领域在短期内极难像大语言模型那样,突然出现一个能够解决 80% 到 90% 任务的通用基础模型(Foundation Model),尤其是在工业生产场景中。能演示 Demo 或在 10 次测试中成功五六次,与真正投入工业流水线完全是两码事。亚当·斯密在《国富论》第一章中就阐明了现代工业的核心逻辑是高度的**专业化分工(Specialization)**:流水线上的工人和工序高度聚焦(例如螺丝生产),只有专业化才能不断降本、在极致的节拍下持续优化 ROI。

具身智能因而面临一个哲学式的边界划分问题:到底要在泛化与专业化之间把线画在哪里?在早期相当长的一段时间内,工业具身智能必须依赖 Specialization 来换取足够的鲁棒性与速度,否则商业化 ROI 根本无法闭环。相比之下,家庭环境(Home Environment)确实更需要泛化——普通家庭不可能分别买一台洗碗机器人、开冰箱机器人和做饭机器人,用户只愿买一台全能助手,因此家庭场景下泛化的优先级更高,但这又牵扯到更复杂的社会经济学和心理学问题。

---

[30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) 为什么 AI 容易改变白领,却在物理世界卡关?

针对“通用大模型是否会像碾压白领专业化一样,在蓝领工业界也靠算力和数据大力出奇迹”的疑问,郑昌熙指出了深层的技术局限(Technical Nuance): - **底层电机控制与延迟(Computational Budget)**:若为了泛化而引入海量数据与极大参数量的模型,机器人底层控制(Low-level control)会遭遇严重的响应时间(Response Time)瓶颈。机器人与环境交互的频率远超电子游戏引擎的 60Hz。为了在毫秒级内完成电机指令下发,巨大模型的推理延迟往往难以被物理世界所接受。 - **物理世界的演进步伐远慢于代码**:游戏引擎为了压低计算时间优化了数十年;MIT 的昆虫机器人至今挂着密密麻麻的供电线,因为电池密度瓶颈过去上百年仍未完全跨越;过去 VR/AR 的高估也是因为卡死在硬件、算力与供电层面。"Hardware is always hard."

主持人补充了清华大学脑科学教授刘嘉的观点:人类大脑皮层和小脑之间,小脑实际占据了大脑约六分之七的神经元,大部分算力都被演化分配给了复杂的身体运动与物理平衡控制,人类自以为最高级的逻辑推理实则仅占极少比例。

郑昌熙对此从哲学与表征(Representation)角度给出了剖析:人类数千年的文明建构在**抽象层次(Hierarchy of Abstraction)**之上。越偏向高级智力活动,被符号化抽象的程度就越高(如维特根斯坦所言“语言即世界”,数学更是纯粹的规则符号系统)。大模型之所以在语言、编程甚至前沿数学问题上表现惊艳,是因为这些领域存在高度规范的符号抽象。

---

[35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 物理世界的表征难题:从一维 Token 到体素世界模型

反观体力劳动与物理现实,许多经验根本无法被语言化或符号化——正如日本宫殿木匠“树之生命 木之心”的代际传承,上千年的木作手艺全融在匠人的身体肌肉记忆与触感中,无法付诸文字。

计算机处理现实的核心障碍在于缺乏优雅的表征形式: - 语言是一维的 Token 流; - 图像是二维的 Pixel 阵列; - 三维物理世界缺乏公认的最佳表征。除了三维几何(Geometry),物理世界还包含密度分布(Density)、表面粗糙度、材质内部异质性(例如手机外层为玻璃、内层嵌金属、局部留空)等一系列多模态物理属性。

如果拥有无限算力,郑昌熙认为最合理、最合乎直觉的物理表达形式是类似有限元分析的**体素(Voxel)表达**:将三维空间划分为极其微小的 $n \times m \times t$ 网格,在每个网格中定义材料、密度和颜色。然而,体素表达不仅对显存和计算资源造成灾难性开销,更要求一种脱离现实的“上帝视角”(获知空间所有微观数据)。

谈及“世界模型”(World Model)的定义,郑昌熙给出了经典严谨的主流解释: > 给定当前时刻所关心的物理世界状态(State),以及施加给它的干预动作(Action,例如推一下、浇点水),能够准确预测出下一时刻世界的状态是什么,这便是一个世界模型。

这与抽象尺度直接相关:状态定义既可以是分子动力学(Molecular Dynamics)级别的粒子位置(极其不切实际),也可以是刚体在三维空间中的旋转平移位姿。

---

[40:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2400s) 仿真折纸盒、域知识与所谓“世界模型”泡沫

在 SceniX 的 **Simulation-First(仿真优先)** 工作流中,将真实世界映射至仿真环境本质上是一门取舍的艺术(Dark Art)或行业 Domain Knowledge。根据任务的不同,仿真必须选择性忽略无关信息: - 若机器人仅需学习如何推移物体,操作中产生的声音与微小摩擦热量完全可以忽略; - 但在团队博客展示的“折纸盒(Folding a box)”任务中,看似简单的动作却极其依赖细微物理特性——纸板合页(Hinge)的疲劳度与折痕软硬程度会随着反复折叠发生剧烈变化。为了保证策略极其鲁棒,仿真环境必须精确模拟出合页变软这一层级的物理退化(Physics level)。

```mermaid flowchart TD accTitle: Real-to-Sim-to-Real 工作流 accDescr: 描述从现实物理任务抽取规则、在仿真中生成策略并回放部署到现实的闭环流程。 subgraph RealWorld_In["现实世界输入"] Task["真实机器人任务定义<br/>(如折纸盒/抓取)"] end subgraph SimEngine["虚拟仿真环境 (World Model 映射)"] Abstract["域知识物理抽象<br/>(忽略声/热,保留关键物理如折痕软化)"] VirtualExp["虚拟实验 & 大规模合成数据生成"] PolicyLearn["Policy 训练 & 鲁棒性验证"] Abstract --> VirtualExp --> PolicyLearn end subgraph RealWorld_Out["现实世界落地"] Deploy["策略部署 (High Speed & Robustness)"] end Task --> Abstract PolicyLearn --> Deploy ```

针对仿真是否会产生“新信息”的辩证讨论: - 从规则层面看,由于底层依赖既定物理方程,系统并不会凭空演化出物理定律之外的全新信息; - 但从工程生产角度,仿真探索了海量未测试的状态空间,免去了在实体流水线上炸机或损毁昂贵原型的代价,实实在在地带来了高价值的工程信息增量。

谈及当下 Physical AI 与世界模型的热潮,郑昌熙直言**确实存在乐观情绪与泡沫**,但泡沫吸引资本与社会注意力,对学术和工业从业者而言是推进技术突破的好事。不过,很多外界宣称的“视频预测(Video Prediction)即世界模型”根本不成立。真正的物理训练需要将包含上帝视角物理规律的经验,有效注入(Inject)神经网络中,这至今面临难以回避的“鸡生蛋、蛋生鸡”困境。

---

[45:29](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2729s) 想法依然昂贵:单片机案例与学术休假创业

当 AI 大幅拉低工程执行成本,人类研究者的核心壁垒究竟何在?

主持人分享了一个生活案例:一位哥大电气工程博士同事为了监控自家车库门开闭状态,没有走传统磁吸传感器的老路,而是用极廉价的微型单片机和摄像头,只花了 10 分钟与大模型交互阐述思路,大模型就耗时 5 小时自动训练并部署了一个轻量级定制化图像分类模型,成本极低且高度准确。

郑昌熙对此深有感触: - 事情最酷的闪光点在于**能想到用单片机训练专属视觉模型去解车库门问题**这一底层思路,而非工具执行本身; - 大模型将执行成本压到接近于零,科研人员的真正价值转移到最前沿的 Idea 发掘与范式探索(Paradigm shift)。

关于为何哥伦比亚大学教授可以同时全职创业,郑昌熙澄清了制度与现状: - 他目前正处于美国大学独特的**学术休假(Sabbatical Leave)**阶段。哥大规则为每教满 12 个学期(约 6 年)即可申请离开学校一段时间(类似停薪留职); - 因此他得以在李飞飞联合创办的 World Labs 全职工作。从 SceniX 到 World Labs,本质上是换到了一艘更大的船上,推进完全一致的 **Real-to-Sim-to-Real** 路径:以极低成本将现实任务转换为虚拟仿真设置,在虚拟环境中低成本做实验、生成数据和评估,训练出高鲁棒性与高执行速度的 Policy 并回传至真实世界; - 这种校企流动机制深植于美国大学历史悠久的**学术自由(Academic Freedom)**与终身教职(Tenure)制度。

[50:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3000s) 大学像菜市场:个人英雄主义与工业界团队合作的抉择

谈到大学与学术体系的本质,郑昌熙提出了一个非常生动的比喻:美国大学本质上就是一个“菜市场”(market place)。学校只是搭建并提供了一个交易平台,当然这个平台本身也分不同档次——有的开在第五大道(Fifth Avenue)上,有的开在乡下,像哈佛等名校可能就是开在第五大道上的高级菜市场。而每一位教授(Faculty),其实就是在菜市场里租了一个“摊位”。教授每年拿到科研经费(Research Funding),学校从中抽取管理费(Overhead),这就好比是向菜市场交保护费。

在这样的体系下,教授各凭本事做营销:如果摊位上的菜卖得特别好、特别新鲜,就会吸引更多优秀的学生慕名前来,摊位规模也可以顺势扩大。然而,郑昌熙指出,在象牙塔里干科研,底层逻辑依然是一种“个人英雄主义”行为——虽然有非常出色的学生深度参与,但最终积累的全部是教授个人的学术声望(Personal Reputation)。而正是因为这种个人英雄主义属性,教授在单个摊位里所能调动的资源与能做的事情,在广度与范围(Scope)上受到了极大人为维度的限制。如果只看单一维度的技术突破(Technology Breakthrough),学术界确实可以走得极远,甚至能颠覆人类认知;但在许多其他实际维度上却处处受限。这也是为什么在这个人生阶段,他希望走出学术轨道,去探索工业界截然不同的团队协作(Teamwork)。

```mermaid flowchart TD accTitle: 大学科研模式与工业界团队合作模式的对比 accDescr: 对比大学像菜市场摊位式的个人英雄主义科研机制与工业界追求规模与多维度落地的团队协同模式。

subgraph Academic["大学机制:菜市场平台"] Uni["学校提供平台 (抽取 Overhead)"] Prof["教授摊位 (申请科研经费)"] Hero["个人英雄主义模式<br/>(积累个人声望 / 范围受限)"] Breakthrough["单一维度:颠覆性技术突破"]

Uni --> Prof Prof --> Hero Hero --> Breakthrough end

subgraph Industry["工业界机制:大规模团队协同"] Team["多维度资源协作 (Teamwork)"] Product["真实物理落地与产业化"]

Team --> Product end

Hero -.->|"职业路径转向"| Team ```

---

[52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 具身智能的产业版图与 World Labs 的“空间智能”

进入物理世界 AI(Physical AI / Embodied AI)的探讨,郑昌熙首先厘清了概念。行业里有人用比较时髦性感的词汇叫它“具身智能”(Embodied AI),主要是想贴近当前大模型的热潮,避免让人觉得只是在玩传统的机器人(Robotics)。但实际上,具身智能的范畴比机器人更为宽广,它涵盖了所有将 AI 与物理世界深度结合的形态;机械臂或人形机器人因为能直接引发人类的情感共鸣,目前最吸睛。由于语言大模型(LLM)、图像生成与视频生成在过去几年取得了肉眼可见的巨大成功,资本与行业很自然地向外推断(Extrapolate),坚信 AI 下一个前沿就是物理世界,从而吸引了大量 VC 进场寻找下一个“ChatGPT”。

目前美国做物理世界 AI 的创业版图大致可以拆解为三类方向,而李飞飞团队的 World Labs 则拥有非常独特的定位:

- **专门做物理世界数据的公司**:致力于收集、处理并提供机器人交互所需的各类物理与动作数据。 - **训练通用策略(Generalized Policy)的公司**:主攻基础控制策略模型,例如 Physical Intelligence。 - **软硬件一体的全栈公司**:像 Figure AI 那样,既做自研的人形机器人本体,也做上层模型与软件系统,向市场讲述宏大的端到端故事。 - **World Labs 的独特路线(空间智能 Spatial Intelligence)**:郑昌熙明确指出,World Labs 并不单纯等同于前述的具身智能公司。李飞飞与团队倡导的核心理念是“空间智能”(Spatial Intelligence)——人对物理环境的认知首先源于对三维空间的理解。最直接的落地场景就是三维重建(3D Reconstruction),即仅凭单张或少量图片即可还原三维空间几何与结构。机器人在 3D 空间中的行为与操作(Manipulation)只是空间智能非常自然的一个下游应用场景。

郑昌熙坦言,无论是数据、策略还是软硬件一体路线,目前所有具身智能公司(包括他们自己)都**还没有在真实的工业生产环境中实现大规模落地**。整个行业依旧处于极早期的摸索阶段,“如果一定要用 ChatGPT 来做类比的话,我觉得就是 GPT-2 这种阶段都还没到”。

---

[55:01](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3301s) 驳“美国缺乏制造业”:为什么西方反而对自动化更饥渴?

针对国内部分投资人和创业者常提的质疑——“美国没有制造业,工业场景少,而中国制造业规模大、迭代卷、更愿意拥抱新技术,做机器人一定要在中国做”——郑昌熙给予了清晰且理性的反驳。

首先,无论是从地缘政治安全还是大国综合经济实力的角度来看,像美国这样高度发达的超级大国,绝不可能没有制造业。如果把美国、加拿大、欧洲等西方工业体系合并来看,其制造业规模绝不显著低于中国,这有扎实的数据支持。虽然从经济学的人工与制造成本结构来看,某些低附加值制造在美国本土并不占优,但这恰恰暴露了西方制造业的核心痛点:极高的人力成本,以及工会等机制带来的弹性缺乏。

郑昌熙强调,回顾工业发展史,西方国家由于饱受劳动力成本与结构性供给不足的困扰,对自动化(Automation)的诉求反而更加迫切(Desperate)。他给出了两条核心研判: 1. **工业生产的永恒性**:在可预见的未来,人类社会规模化的实体工业生产将一直存在。 2. **人类文明与自动化的必然性**:随着社会福利与文明程度的提高,人类自我意识不断觉醒,重体力劳动必然被替代,自动化是一个不可逆的永恒主题。

因此,哪怕单纯放在美国本土的市场语境下,具身智能与物理 AI 面临的产业空间(Scope)不仅客观存在,而且极其广阔。

---

[57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 中美具身智能的叙事分歧:大开大合与硬件中立(Hardware Agnostic)

聊到国内创业公司的现状,郑昌熙观察到中美在团队打法与叙事逻辑上存在鲜明的风格差异。国内头部的具身智能创业公司(如星动纪元、银河通用、宇树科技等)倾向于讲述“大开大合”的宏大叙事:从自研硬件本体、自研大模型,到底层仿真平台无所不包。这背后的商业逻辑往往是为了满足国内资本市场的融资偏好,同时国内团队也有一套自洽的闭环逻辑——“我必须要有本体,没有本体我从哪里采集数据?模型跑通了没有本体又怎么交付落地?”

但郑昌熙与 SceniX 团队选择了截然相反的技术路径:**硬件中立(Hardware Agnostic)**。SceniX 不捆绑任何特定的机器人硬件本体,而是专注于构建通用的仿真与训练工作流(Workflow)。在最近的技术发布(Technical Release)中,他们展示了这套工作流在五六个完全不同的机器人本体上顺利运行。郑昌熙认为,现阶段整个行业依然是“八仙过海,各显神通”,没有哪条逻辑被证明是唯一正确的解法。

在对谈结尾,郑昌熙重申了他对“世界模型”(World Model)与认知本质的深层理解: - **表达不等于本质**:人类日常接触的语言和图片,只是“知识的表达”(Representation),而非“知识的本质”(Essence)。构建真正的世界模型,必须深入触碰物理世界背后的运行本质,而不是停留在表象的像素生成上。 - **从专业分工走向通用化**:AI 与相关技术正在打破自工业革命以来人类极致专业化(Specialization)的分工模式,推动整个技术体系向通用化(Generalization)迁移。这并非一蹴而就的突变,而是一场长期的演进,很难精准预测究竟会在哪一个节点引爆彻底的产业革命。

最后,播客主播对郑昌熙的深度分享表示感谢,并介绍了主理的实践类社群课程“AI Builders”(已迭代 13 期、覆盖 3000 多名学员,包含 OpenAI、Anthropic、Google 从业者好评及 14 天退款保障),探讨了如何建立日常使用与自学 AI 的正确思维模型。

## Notable quotes > [05:23](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=323s) 从商业角度来看,技术真的不是最关键、最有效的东西,甚至连第二重要的都算不上。 — 郑昌熙

> [12:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=744s) 真正能定义一个学者职业生涯的顶级成果,其实一生有一篇就足够了。 — 郑昌熙

> [13:24](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=804s) 很多时候一个学生他对一个东西感兴趣,并不一定是他出于某种真正意义上的热爱,而是因为之前的经历里面机缘巧合做了这个事情,他比较熟悉这个领域,所以他认为他是对这个东西感兴趣。 — 郑昌熙

> [16:16](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=976s) 人生需要指标来衡量自身的成长和进展,否则容易陷入虚无。但指标绝不能是单一的,要敢于主动调整甚至更换自己的计分牌。 — 郑昌熙

> [18:46](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1126s) 任何有信息差的地方就有商业机会。 — 郑昌熙

> [30:22](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=1822s) Hardware is always hard. — 郑昌熙

> [35:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=2100s) 给定当前时刻所关心的物理世界状态,以及施加给它的干预动作,能够准确预测出下一时刻世界的状态是什么,这便是一个世界模型。 — 郑昌熙

> [50:00](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3000s) 美国大学本质上就是一个菜市场。学校搭建了一个交易平台,而每一位教授其实就是在菜市场里租了一个摊位。 — 郑昌熙

> [52:05](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3125s) 如果一定要用 ChatGPT 来做类比的话,我觉得就是 GPT-2 这种阶段都还没到。 — 郑昌熙

> [57:10](https://www.youtube.com/watch?v=y6kRa1vGAwA&t=3430s) 人类日常接触的语言和图片,只是知识的表达,而非知识的本质。构建真正的世界模型,必须深入触碰物理世界背后的运行本质,而不是停留在表象的像素生成上。 — 郑昌熙

## Mentioned 郑昌熙, 李飞飞, 赵云竹, 刘嘉, 亚当·斯密, 维特根斯坦, 威尔·杜兰特, 尤瓦尔·赫拉利, World Labs, SceniX, 腾讯, 哥伦比亚大学, 康奈尔大学, 微软, Figure AI, Physical Intelligence, 星动纪元, 银河通用, 宇树科技, OpenAI, Anthropic, Google, Midjourney, ChatGPT, Transformer, 历史的教训, 人类简史, 国富论

## Video description 具身智能这么火,技术到底走到哪一步了?哪些进展已经发生,哪些关键问题还没有解决?

这期对话李飞飞World Labs团队的郑昌熙。他是哥伦比亚大学计算机科学教授、SceniX联合创始人,经历了学术研究、腾讯和创业,如今在一线探索如何用物理仿真训练机器人。

我们从技术原理聊到行业现状,追问具身智能最核心的几个问题:

• 通用机器人能不能像ChatGPT一样,靠更大的模型、更多的数据迎来突破?为什么工业生产里的分工、速度和可靠性,让这条路没那么简单? • 怎么判断一个机器人模型有多强?除了会做多少种任务,还要看什么?演示成功,和真正投入生产,究竟差在哪里? • 世界模型到底是什么?为什么生成一段逼真的视频,还不等于理解了物理世界?要训练机器人,又该保留哪些物理细节? • 从真实场景到仿真,再回到真实世界,这套训练流程如何工作?数据公司、通用模型公司、软硬件一体的公司,各自在解决什么问题?

昌熙把这些判断展开到具体机制:大模型控制电机时的响应速度、三维世界的表征、仿真中物理细节的取舍,以及工业场景的成本与投入产出。我们也聊了World Labs的空间智能定位、中国和美国公司的不同路线,以及为什么他认为,具身智能距离真正的大规模落地仍处在早期。

访谈前半场还聊到他的职业转向:在腾讯学到的商业现实、发论文和做有用研究的区别,以及拿到终身教职之后,为什么仍想走出熟悉的轨道。兴趣、自我探索、人生的计分牌,也贯穿着他从教授走向创业的选择。

嘉宾:郑昌熙(Changxi Zheng) 哥伦比亚大学计算机科学教授、SceniX联合创始人;录制时在World Labs全职工作,并处于哥大的学术休假期间。

社区伴读文章:https://www.superlinear.academy/c/recording/changxi

#具身智能 #世界模型 #机器人 #人工智能 #李飞飞 #视频播客

章节: 00:00 本期预告 00:50 从SceniX到World Labs:从“小船”换到“大船” 01:55 哥大教授为什么去腾讯建实验室? 05:23 进入商业世界,技术竟然不是最重要的? 07:03 发论文的游戏,和真正有用的研究 12:24 学会了学术游戏,为什么还要换一条路? 13:24 你以为的兴趣,也许只是过去的熟悉 16:16 人生需要计分牌,但可以换一张 18:46 为什么创立SceniX:图形学与机器人的信息差 21:51 用仿真训练机器人,到底在做什么? 24:52 机器人不只要“会”:通用、稳定、速度 26:24 为什么具身智能难等来一个“ChatGPT时刻”? 29:31 工厂和家庭,需要的是同一种机器人吗? 30:22 物理世界的反应速度,为什么也是难题? 33:58 为什么AI更容易改变白领工作,而不是蓝领? 39:00 世界模型是什么:预测一个动作之后会发生什么 41:33 折一个纸盒,需要理解哪些物理细节? 44:14 世界模型的热潮:乐观和真正的难点 45:29 执行越来越便宜,研究者还剩下什么价值? 48:19 为什么美国教授有时间创业? 52:05 具身智能的产业版图:数据、模型与机器人本体 55:01 美国制造业少,机器人创业为什么仍有机会? 57:10 中国公司讲“大故事”,SceniX选择不绑定硬件

[Source](https://www.youtube.com/watch?v=y6kRa1vGAwA)

中文简报

郑昌熙:具身智能尚不及GPT-2 通用模型难破工业分工与速度壁垒 工业生产受制于极致分工、硬件响应速度与严苛鲁棒性,通用大模型短期内无法迎来类似ChatGPT的爆发,具身智能行业整体仍处在早于GPT-2的探索阶段。 本次访谈围绕具身智能为何难以简单复制 ChatGPT 的“大力出奇迹”展开,深入分析了工业场景中泛化性、鲁棒性与运行速度之间的三维权衡。郑昌熙结合自身从学术界、腾讯实验室到创立 SceniX 再到加入 World Labs 的历程,拆解了图形学物理仿真赋能机器人训练(Real-to-Sim-to-Real)的核心逻辑,以及所谓“世界模型”与纯视频生成的本质差异。对话还探讨了中美具身智能在软硬件一体与硬件中立(Hardware Agnostic)上的叙事分歧,并指出当前行业仍处于甚至未达“GPT-2”的极早期探索阶段。 具身智能目前仍处在类似“GPT-2 都还没到”的极早期探索阶段,在真实工业生产环境中尚无任何一家公司实现大规模落地。 (52:05) 短期内具身智能难以出现统一的通用基础模型(Foundation Model),工业生产受 ROI 和亚当·斯密分工法则驱动,必须依靠专业化(Specialization)换取极致的鲁棒性与节拍速度。 (25:00) 李飞飞联合创办的 World Labs 定位为“空间智能(Spatial Intelligence)”而非纯具身智能公司,核心在于通过少量图片重建三维空间,机器人在 3D 环境的操作仅是其下游应用之一。 (52:05) 中美具身智能团队呈现出路径分歧:国内团队倾向全栈自研硬件本体与模型,而 SceniX 选择硬件中立(Hardware Agnostic)路线,专注以仿真为中心的工作流生成控制策略。 (57:10)

Source quotes

[5:23] 郑昌熙: 从商业角度来看,技术真的不是最关键、最有效的东西,甚至连第二重要的都算不上。 [12:24] 郑昌熙: 真正能定义一个学者职业生涯的顶级成果,其实一生有一篇就足够了。 [13:24] 郑昌熙: 很多时候一个学生他对一个东西感兴趣,并不一定是他出于某种真正意义上的热爱,而是因为之前的经历里面机缘巧合做了这个事情,他比较熟悉这个领域,所以他认为他是对这个东西感兴趣。 [16:16] 郑昌熙: 人生需要指标来衡量自身的成长和进展,否则容易陷入虚无。但指标绝不能是单一的,要敢于主动调整甚至更换自己的计分牌。 [18:46] 郑昌熙: 任何有信息差的地方就有商业机会。 [30:22] 郑昌熙: Hardware is always hard. [35:00] 郑昌熙: 给定当前时刻所关心的物理世界状态,以及施加给它的干预动作,能够准确预测出下一时刻世界的状态是什么,这便是一个世界模型。 [50:00] 郑昌熙: 美国大学本质上就是一个菜市场。学校搭建了一个交易平台,而每一位教授其实就是在菜市场里租了一个摊位。 [52:05] 郑昌熙: 如果一定要用 ChatGPT 来做类比的话,我觉得就是 GPT-2 这种阶段都还没到。 [57:10] 郑昌熙: 人类日常接触的语言和图片,只是知识的表达,而非知识的本质。构建真正的世界模型,必须深入触碰物理世界背后的运行本质,而不是停留在表象的像素生成上。

Original transcript

[0:00] International businessTeknowly真的真的不是最关键或者最有用的东西甚至都不是第二有用的东西Varding的ASPN很难有一个像XGPT这样的一个foundation model突然懂出来之后可以generalize到做各种各样的尤其是在工业场景当中的这些工作如果我们现在假设给长期教练你最牛逼的算力你觉得什么样的表达方式是最合理的如果我知道的话我立马就派公司去我觉得这合理的东西还可以怎么正值的话Language是一个一维的东西Pixel是一个二维的东西所谓的一为二但其实它本身是一套规则化的东西3D的世界除了脚密纯粹还有非得体系比如说质量表面最出糙度的分布包括它材质的分布可能有些地方会光滑一点有些地方更出糙一点甚至这不是仅仅只是表面的事情今年World Model 巨神震动Fysical AI这么火你觉得泡沫吗是不是大家太乐观了什么的欢迎学长恭喜最近加入李飞飞的Award Lab我们现在正在这一代AI的发展的高峰然后李飞飞又非常专注于去做下一代的AI是吧做这个巨神智能世界模型然后在这个时候去加入这样一家公司就是说我们最耳熟能详的这个华人AI大佬就非常激动人心谢谢谢谢你们也挺excited从一个小船换到一个大船了但其实你上过大船的对吧咱们第一次认识的时候或者说是这个接触当时就是你在哥大take a sabbatical对吧然后在腾讯做接触科学家所以说你其实是学术界然后去大厂然后又去创业然后现在又去加入了一个知名度更高的这么一个创业公司吧经验非常的丰富腾讯算是更大的一个船你能看到的航空母舰的吧WareNabSide只能说是一个大船嗯我就想听听你的故事我是比较了解你加入腾讯最后离开腾讯的这些事情后面的事情就不太了解了可不可以跟大家讲一下就是你是教授加入腾讯你可以帮大家讲一下你在腾讯做的是什么然后之后为什么离开然后就去做什么为什么去做你的startup加入腾讯其实我觉得也是一个巧合吧我那个时候刚好我那个时候其实我那个时候也拖了很久了我一直没有take sphatic然后因为那段时间正好是疫情嘛只要有一天突然跟我说你这个彩排它不能再拖了的话你要么就take 要么不要take正好也有些industry跟我联系那个时候腾讯算是高层吧跟我联系说正好他们也有兴趣就在纽约开一个实验室嘛然后我想这个挺好的因为这样我也不用搬家嘛契机就是这样当时我去腾讯的时候我就是想说如果我去腾讯再建一个这种research的实验室对吧跟我在各大做research有啥区别的我当时的想法就是说我想去体验一下这种也比较体验吧尝试一下这大厂里面的incubation当时我建的那个实验室就not really a research lab可能更偏向是incubation lab所以我们会做一些research但也会做很多的就希望探索potential的这个产品方向的东西那个时候JN AI还才刚刚开始就是Mid Journey这些才刚刚兴起了没有现在就是这个Wave已经到面前这么大情况所以当时这个公司里面也会有一些你想一个新的技术囊早刚开始的时候Cine management也不是很确定嘛所以公司里面也会有些讨论也会有些debate但是这里面也牵涉到说能不能拿到足够的资源愿不愿意all in这些事情各种各样的chemistry各种各样的dynamics在这个里面我当时就是觉得在大公司里面做这种很新的AI相关的东西不一定是一个特别适合的契机吧再加上当时我们那个时候多多少少已经有一些想自己尝试做一些自己想做的事情的下方那个时候刚好也在腾训待了两年了确实也需要做一个选择就是要不要回学校所以我当时就选择回到学校这可不可以多问一些这个可以说吗可以聊吗在腾讯发生了一些事情我觉得可以其实我觉得这个也不算腾讯独有的问题我觉得Internet所有的大厂多多少少都面临这样的一个问题就是他们已经有很好的商业模式很好的盈利的这种模式的情况下当有一个很新的东西出现的时候to what stand you want to jump in我觉得这是所有的大厂都面临的问题简单之间的说就是人讯他愿意投入多少资源给到我们当时还在纽约相对来比较remote的一个group多大的trust来做这件事情这我之所以觉得值得聊一下的话是因为就是和我们现在就是此时此刻这不光是两年前的一个话题我们此时此刻的竞争格局都非常的相关大家看到Google好像是在跟Openei和Athrope直接在大模型上去进行竞争然后大家会有一个想法就是大厂就有人才又有数据又有算力又有钱又有用户什么都有那肯定他有很大的竞争优势但是其实未必是这样对吧就是在当时就哪怕是你已经是腾讯非常高调请回来的科学家然后值得很高而且还在一个比较远的地方对吧在纽约和国内其实自由 [5:00] 和能拿到的资源都是非常有限的首先我其实挺appreciate的就是我在腾讯老板给到了我们这边足够足够多的自由直到现在我觉得都挺感恩的只说资源会有多大尤其是GNI相关的事情确实挺消耗无论是人意的资源还是计算的资源在当时那个情况来看确实挺考验公司senior management的战略判断后决心的那你后来做这个startup你觉得从那段经历吧有没有学到什么lessence我觉得在语义我还是学到了挺多东西就是说实在的因为当时我建的那个Labfirst priority不是produce paper可能first priority是怎么能够create新的产品方向我觉得最大的体会就是in terms of businesstechnology真的真的不是最关键或者最有用的东西甚至都不是第二有用的东西我觉得这个是可能以前待在学校里面大家都是technology driventechnology centric的这种mindset我觉得还是挺大的一个转变吧这件事我现在觉得so true至于我都忘了为什么我当时会觉得technology那么重要了你还记得吗就是为什么在学校的时候觉得technology是最重要的东西我觉得这样事情其实本事实上来讲是工业革命之后整个社会建立起来的一个value system就是工业革命之后你的体力要动变得不重要了你的knowledge creativity变得就更重要了然后这个东西这个creativity在学术界的一个直接量化的东西就是你的新的技术当然最现实的就反映在你的paper上面publication上面但其实本质上就是这套system奖励那些技术特别强的人或者说特别能发 paper 的人那这样吧929直长期生在这个系统里面value system就被同化了这个确实很厉害那些发 paper 赛费很高有很大 impact 确实很厉害但是就你在一个地方待久了你很多时候就忘了这个世界还挺大的你从别的维度来看从变大的 picture 来看 technology 这件事情它就不一定是最重要的我之前听你在你的学生的访谈里面有讲过你已经搞懂了发Paper这个游戏所以说你想怎么发就怎么发这Top Journal你可以随便发那种感觉是这样就是2BKDR也不能说我想怎么发就怎么发我觉得Peer Review整个个个程还是有它的科学的严肃性的只是说在这个里面你知道这个Game rule的时候很多时候你到底是做了一个很牛的新的技术还是说你做了一个东西它能够便于publish你这两件事情的界限变得很模糊很多时候我们的question你到底是为了去publish paper呢还是说你希望做一个很有用很厉害的技术出来我觉得这两件事真的是不一样在你看来什么东西是technology这个论文是它的一个什么样的proxy然后它有什么样的proxy从学术宣传的角度或者说从technology development的角度所谓的有价值的东西在我看来其实就两个东西一个是你能inspire别人inspire很多follow up的工作但你这个工作可能不一定直接有practical value但是你inspire了别人来在这个基础上或者说某种意义上讲开创一个方向这是有用的工作另外一种是你做这个东西它真的是能够解决一个practical的问题能够在现实当中create value的东西当然你有没有一个商业模式能够capture这个value是另外一种事情但是很多时候学术圈的paper是这两头都没占到包括我自己一些工作我不得不承认因为评价体系是说的时候少给你这个paper的publish数量有关所以最后很多时候就变成了这两边都不沾到去走中间的路线因为通常人走中间这条路线是比较容易的嘛所谓的spin paper你觉得有多少人具备spin paper的能力我自己读博士的时候我就觉得我好像就看到有的人是可以有这样的能力的但是我就做不到可明显是没有抓到这些种规律用国内话说叫卷嘛,你卷的太多了多多少少也都会知道这个game rule到底是什么样子的那比如说我比较熟悉的graphics, seagraph, vision相关的这个领域那很多时候就是你有一个看起来非常不一样的问题然后你某种方法把它解决了最后看起来效果还不错至于这个效果是不是切瑞片刻这样的情况下很多时候确实能吸引到reviewer的眼球然后这paper可能也就近了甚至有些时候我知道有人比如说他第一次投投了之后不中接下来又投然后他就希望换一批reviewer因为不同的人毕竟和拼电不一样所以买了就重新买个Ticket,买个Lottery Ticket要是可能就进来被收了,最后这个东西就变成了一个Game了那你在玩通这个Game以后,你觉得你有没有tell什么是一个True Innovation和什么是一个Spin Paper的这样的一个论文的能力我觉得这个就是Technology Taste我只能说对于那些有Hactical Value的工作相对来讲比较容易看到的或者不太容易 [10:00] 判断的 但是那些前瞻性的工作确实很多时候很难预测比如说Google最开始那个Transformer刚出来的时候大家也不会想到会有这么大的影响很多技术的突破它确实有一定的滞后性为什么呢这个技术你如果说它对实际当中的作用的话其实真的你很难把这个技术当成一个独立的事件来评估你需要看到它的contact 对吧就算是比如TransformerTED牛逼也是因为周边的一些相关的技术相关的数据相关的Data Capture的能力相关的Train Model的Infra这一系列东西成熟之后才把它的价值体现出来这样的例子有很多很多在科学发展的史上这是为什么你很多时候大的突破其实都需要在特定的历史时刻出现才会把价值体现出来是的Interesting东西又来了我觉得有两个interesting东西第一个就是发论文这件事是一个非常prestigious的事情尤其作为咱们东亚的中国人会觉得当了教授了然后天天可以发论文成为领域权威那已经是人生巅峰了过了个总统我都不要换了但是你会不满足或者说不满意你会去想寻找一些不一样的东西差一表就是我觉得有很多peer review publication本身是你智力能力的一种体现这样事情曾经确实用你的话说是prestigious的事情但我觉得至少在我的观察中至少在computer science相关的这个领域里面我觉得这样事情其实是越来越变得没有那么prestigious或者说从某种意义上讲越来越大众化或者可以管它叫平民化那什么是prestigious的事情对于一个做学术的人来说我现在的观点就学术的那种是你发好的paper好我刚刚已经定义过了我觉得发好的paper是非常prestigious的事情这个给你发paper是两回事而且事实上刚刚开始做发挥我都不理解也都是后来才真正理解的其实就是定义你职业生亚的就所谓的prestigious paper一篇就够了真的不需要那么多我觉得社区不就叫superlinear academy吗然后我就想起来MIT一个教授他说就是你的quality paper对你的impact它是一个这样子然后突然这样子然后再这样子不懂事的超过了一个半以后突然一下子就是define the career剩下的其他工作全都不重要有点这种感觉相比而言当然没有其他工作可能也发不出来那一篇问题就是为什么你会选择做一个完全不一样的事情甚至包括去腾讯就是在学校里面很好明白就是其实过去这些年一直在时不时的做一些很奇怪的就是不一样的事情比如说最开始我都不是做graphics我的第一篇graduate school的论文是internet hijack现在的话就有网络安全相关的东西这是我在Cornel念研究生动的时候第一学期发了一篇论文跟我现在做的东西完全不一样但是人生嘛多多正正我现在也做一点点跟网络安全相关的东西了但anyway我确实是换过很多东西为什么呢That's a good question我觉得人生ultimately变成了人生到底在追求什么我觉得这个是一个非常非常深的话题但我觉得总的来讲意义方面确实就是你随着人生真丽的变多你看到越来越多的可能性比如说因为我在学校里面当老师举一个例子可能不太恰当的例子就是很多时候就会有学生来找你说要给你做research 要给你work甚至要做你的phd然后我就问他们你的兴趣是什么然后这个学生就说我兴趣是这个但是其实你再深问一下就会发现很多时候一个学生他对一个东西感兴趣并不一定是他出于某种真正意义上的热爱而是因为之前的经历里面因为机缘巧合做了这个事情他比较熟悉这个领域所以他认为他是对这个东西感兴趣的我觉得就是人生经历合理真正的兴趣这两件事情其实是参照在一起的很多时候我们或者说我见过很多人甚至包括我自己在年轻的时候没有那么清晰的去区分这两件事情所以最后导致的一个后果是可能随着你人生经济越来越多吧或者说变得越老这些兴趣也好这些事情变得更清晰了这个时候在某一个特定的事件下面可能就trigger了一个比较大的改变吧然后另外一点有一个意思就是我最开始对吧在微软做那会儿我后来转到graphics就是因为在那个时候我突然意识到我内心还是很喜欢数学和物理的我觉得这两个东西特别的酷所以然后正好graphics有特别的能让我用到这些比如说维生方程啊这些数学的东西所以在那个时刻正好比如说我碰到我骗气的导师然后就做了这个转变就跳了但是trigger这个相对来讲巨大改变的事情之前我觉得确实是有一个自我觉醒的过程吧这是一方面啊 就是2PK另外一方面我觉得 [15:00] 人生真的是一条河什么意思就是说它本身就是在不断变化最近很多你的mindset这样的value system确实有这变化一开始比如说我们对发paper这件事情特别是伤心再后来我们对发好多paper这件事情特别伤心再后来可能要开始想稍微更大的一点的scope一点的事情来做我觉得这个也是回动我做了一系列决定的原因吧总而言之简单回答的问题就是我觉得一方面是一个自我觉醒的过程另一方面是有一系列的事件正好在那个时候就吹根了这些改变我之前采访另外一个嘉宾他就说很多人生大决定其实都是不经意先做出的或者不由自主做出的这是图影第二个第一个自我觉醒这边我想多了解一下因为我发现就是我们最近频道前面的观众大家开始进行自我觉醒然后进行自我觉醒第一个反应就是迷茫因为小时候的外界的评价体系是非常的标准的包括论文是个非常明确的几分牌包括你在学校里边一步一步拿到turnier然后可能再当系主任是吧在往上或者说有更多的学生更好的论文这都是非常清晰的积分派我记得我当时在读博士的时候就有一个强烈的感觉就是我只需要去知道我怎么这样子发好论文就行了然后说说我就会有这其实是个很大的安慰但是后来发现这是不那个了你先要figure out自己想要什么其实很多人就特别怕所以我想请多讲一讲你自我觉醒的过程是什么样子因为很多人他可能经历很多事也没有自我觉醒过首先去Vicile我觉得人身有积分牌或者说你有一些metric这件事情本身是件好事这件事情不是坏事你比如说年轻的时候大家想发paper那个paper的数量或者某种音程讲你的载车线数量你说这是一个metric对某些人来讲然后后来可能你的metric就变了是别的某种metric我觉得有metric这件事情本身是件挺好的事情从科学主义对吧加率科学主义角度来说就是你需要有一个metric来衡量你的progress否则的话你说这样是好的他说那样是好的我觉得反而可能更迷茫但我觉得point在于这个metric首先它不是一个单一的东西人生里有很多支点有很多维度我觉得这个是我后来慢慢才意识到的第二个当然就是说metric也是一个动态的东西它不是一个静止的东西所以我觉得in general有metric但是不断调整或者说在适当的时候改变的metric本身不是一个坏式丰富评价的维度但是我在想为什么有的人他自我觉醒他能找到自己的兴趣是什么有的人呢就是首先他可能不会去找然后就算找了也找不到尤其是身在其中的时候会非常的迷茫和痛苦就是我不知道我要干什么你有这种经历吗你是怎么度过的呢我觉得我也有啊就是所谓中年危机很多人都经历过我觉得尤其是比如说我刚拿tenure后的几年突然之间觉得哇那人生是不是就这样了然后你就继续在学校这个非常舒适的地方待着一年费一年那个对吧写 proposal搞funding我觉得我可能是想的比较多人自己喜欢想的就会看一些很学书的那种比如讲哲学啊可不可以没学习的比如说那个The Lessons of History两个叫Drant写的还有比如说大家都看过那个Homo sapiens然后还有这些人一直在做meditation我觉得挺有用的就我个人觉得好这过程中就是看过不少国教哲学的书我自己本身就是没有这个这个宗教信仰的但是我挺好奇我觉得也从那些书里面至少Tigger我想很多关于自己的事情我也看很多我这里边就有好多成佛之路我请钢琴卡环一我觉得确实他们很多东西就是你会感觉到知道他在说什么那种感觉对自我的探索我觉得是一个没有止境的路我们先把话题拉回来去继续讲一讲就是从腾讯回到各大了然后是怎么样子去创立这个叫SynX对吧就是当时我在腾讯的时候有一个小伙伴跟我一起离开了也是我们SynX另外一个co-founder我们当时就在想要自己做一些事情还是希望尝试说自己能够主动权自己能够真的去做一些我们觉得有用的事情再加上我们这些年轻的graphics甚至在腾讯的背景尤其是那段时间我们在腾讯的时候接触最多的就是所谓的game engine尤其是cloud based的game engine开始想了就说OK 那我们也搞一个什么样的一个engine那什么engine呢对吧然后再加上我之前就做过一些工业模拟工业计算比如说流体啊Docode那个纳米光学机身电路相关的模拟的当时就在想 朝那个方向想然后正好我们学校那个时候正在interview faculty 就是云竹也是我们的另外一个co-founder他是做robotics然后就正好他来interview做我就跟他聊然后你意识到好像robotics这边虽然我自己以前也做一些robotics但是我在跟他聊之前没有很清晰的意识到simulation rendering这一系列的东西在robotics那边其实存在一个gap至少我自己认识到的所谓的state-op [20:00] Art simulation plus rendering的技术在Graphics community并没有被fully appreciate所以我们觉得这里是任何有信息差的地方就有商业机会在Robotic community还是在Robotic community没有被fully appreciate在Robotics community就是我觉得simulation包括rendering的这个是一系列的技术而不是单一的一个技术线这一系列的技术我当时了解下来之后我得到的一个结论是在Robotics那边并没有被大家很好的用起来也没有被大家真的appreciate尤其是那些state of art的东西正好因为另外一边我们也在想有什么商业的做startup的可能性然后我们就意识到这是一个够不足够大的一件事情不是一个说我去做一个APP或者说我去把AI的技术拿来解决一个很具体的问题at that point 我们的想法是觉得就是robotics automation in general这是一个够不足够大的事情虽然我们那个时候并没有figure out的具体要做什么但是觉得在这么大的一个scope下面我们又认识到有这样的一个信息差的这样的一个gap那总是能做一些事情就是起点后来我们做这些事情我也可以等一下可以展开讲但是这些事情都是后来才figure out所以这些东西的起点是在graphics这边看到了很多的新的技术然后在robotics那边是既有应用场景又没有应用起来且其实那个community对这些东西缺乏认知简单的说就是我们看到了一个信息差一个information的gap同时robotics或者说更general讲叫industrial automation我觉得这是一个scope足够大的事情好,我们可以先讲一讲这个SynX他是做什么的和你愿意去加入Waltlab这个Vision是什么首先公司叫SynXSynX,SynX,SynX,CEO起了名字所以None Street Short他做什么的就是我们希望用Simulation-centric workflow来develop robust performance robotic policy就这样一个Simulation-centric workflow这个我理解了对应面应该是一个realistic environment就是observation centric这个workflow最后是什么这个workflow leads to a product这个product就是leads to outcome应该说workflow最后产生一个outcome这个outcome是robotic policyin particular我们聚焦的是很多工业场景的robotic policy那这个robotic policy就要求它足够的robust跑10次可能换个3次4次的话那这无法接受然后还有就是需要它足够快如果你这个机器人完成这件事情太慢了或者甚至就是完成这件事情跟人的速度是一样的其实这个RI都是算不过来的我不如故意一个人去做这件事情outcome policy这两个形容词在我看来第一个是它有足够robust第二个是performance就是它足够快插播一下如果你每天都在用AI但是还担心自己落伍的话那可能是因为你缺乏一个既厉害又多样又真实的参照系而我这两年精心打造的社区超线性学院就是为了给大家提供这样一个参照系保温网站superlinear.academy或者下载app超线性学院就可以免费加入在这里打开手机你就可以看到每天各行各业的高手们是怎么样子使用AI的分享他们真实的干货像我在美团小红书的企业培训在社区里边也都可以免费看更不要提各种活动和深度的技术文章了那也欢迎大家带着自己的问题和作品在社区里边跟我们来自世界各地的2万多AI builders们产生真实的联系我们一起学点真本事做点真东西好 我们继续那好多问题在这个policy这边可能有一个问题比如说举个例子马斯克就说我们希望我们的自动驾驶是end to end neural network我们不希望有这种专家的policy今天听那个采访他也说就是用AI的方式去做我们要scale然后让它general然后不应该去有一对专家系统控制这些机器人这两个在我看来感觉它是分开的然后起码在AI这件事情后来聚上了就比如说Alexa可能请了几千个程序员听联写policy最后被一个GEI全都干掉了Clarify一下我们这里说的policy in general就是个neural network model就是robotics的policies有很多很多现代意义上的roboticies其实就是bureau netto model就是一个end to end的东西它的imput就是比如说robot上面的照相机看到的比如RGB camera或者whatever sensor拍到的数据在那一秒或者那个时刻然后它的output就是给到那些电机的action来完成一个任务从这个角度讲其实是同一件事情唯一的区别是我觉得也不是区别吧应该是说侧重点在哪这重点是说我需要有一个large foundation model也叫policy或者说一个large general的policy它可以完成各种各样的task还是说你有一个policy它specific针对某一类task我觉得就是你在generalization这个尺度上走多远然后你们选择的是generalization这尺度小一点 [25:00] 我觉得也不是说小一点只是我觉得更多的可能是一个focus在我看来Embodied AI它有三个维度的东西一个是generalization的能力你能完成多少各种各样的task这是一个维度然后另外还有两个维度一个就是robustness就是你需要完成这个任务的时候能成功多少次你在各种各样的情况下你能不能在不同的setup下面你都能完成这件事情比如说我就拿最简单的就是DAC甚至觉得现在都是一个more or less solvedProblem就是比如说你抓东西peak and place 非常非常简单的这个是你的robustness就是说我各种各样的情况各种各样的光照各种各样的物体的形状几何对吧甚至各种各样的潮湿程度在这样的情况下我都要能把这个东西抓起来要放到指定的地方就是robustness然后另外一个就是speed或者说performance就是我能完成这样的事情多快你是一个超人你可能一秒钟可以抓一万个物体这就是highest report如果是人的话那可能就是几秒钟抓一个物体对吧你看一个robotic model吧我现在更流行的话说是应该在这三个维度上看的我觉得这个就是百发起放的地方就不同的公司这个侧重点可能不一样所以我们可能就更focus在robusiness和performance这边但这个并不是说我们就不care我们就一定会劝一个specialized model就是specialized某一件事情至少这是我个人的判断是说我觉得embodied AI这边很难有一个就是像XGPT这样的一个foundation model突然蹦出来之后80% 90%的各种各样的task他都能做了而且我说的能做不是说你修个demo或者说10次里面做个五六次对吧我说的做是真的就像人一样你能真的把它放到一个工业场景里面或者生产环境里面去做我自己的判断是很难有这么一个像XGPT一样的一个model可以generalize到做各种各样的尤其是在工业场景当中的这些工作基于这个判断我们所以才更focus在robustness和performance这两个维度上我觉得这个判断后有道理然后我想问问你这个判断的依据是什么因为比如说这个星海图的CEO他似乎就bytang这件事情会发生很多投资人也会在bytang这件事情会发生bytang每件事情就是chessduty的moment去身智能的是chessduty时刻然后他可能觉得现在我只有100万小时的数据我有一千万小时的数据这个东西可以训练出来了当然所有人都在讲这个数据的问题所有人都在讲的话你这个机器人达到这样的一个g单来自在线的能力你需要多少的数据多大的数据这数据量肯定是我觉得这个应该是公司就说肯定是比你视频网上看到这些图片或者说文字的数据要达很多数量级的因为这边有physics这个有个问题就是这些数据怎么来的这一系列的问题然后有很多这种数据的公司都是沿着这条路的这确实是一个问题而且是一个没有解决的问题至少是一个现在大家都不知道怎么解决的问题但我之前讲一点可能不太一样了很多人可能没有明确的聊过什么就是亚当·斯米尼在他的国富论里面第一章就讲到工业化的一个直接后果就是specialization就是工厂里面开始有流水线流水线上面的工人他specialize就比如说某一个工厂就制作了一个螺丝所以当我们站在工业生产的这种embody AI的角度来看的话这里确实有一个philosophical的问题你一方面需要有这么一个Embodied AI model他做很多很多不同的工作对吧需要他足够的robust另外一方面你也需要他足够的specialize社会化生产的一个必然结果就是你只有足够specialize之后你才能降低cost你才能在那个task上面去做不断的优化对吧所以我觉得这里确实有个问题就是这根线画个脑接下来将来你这个embolied AI在generalization和specialization之间这根线到底画的脑所以我觉得现在这边的moment for embodied AIunlikely在短期之内出现的话我是认为由于必须要画这么一根线在specialization和generalization之间那么你早期 我说的早期是相当长一段时间之类的早期你确实是可能需要通过specialize这些来justify很多其他的维度比如说robustness比如说performance你才能够有足够的ROI否则这件事情你很难咱们中国华硕很难落地这是稍微偏哲学层面上的一个观察吧另外我觉得现在还有很多imbar AI 的公司to be fair他们可能不是说做的是production environment他们可能做的是这种 home environment这个确实是generalization我觉得是很重要的因为家里面你又买一个做饭的机器人又买一个node dishwasher的机器人又买一个开冰箱的机器人你的家里面多半你只愿意买一个机器人然后确实是需要做各种各样的事情这个时候它的generalization的ability这个的priority就会更高这个我完全同意 [30:00] 但这一块又有一个新的问题更多的是这种社会经济的原因甚至是社会心理学的一些因素但这个不展开了我这里谈的可能更多的是跟industrial production相关的机器人或者说embodied的AI所以数据本身是一个没有解决的问题然后在这之上还有一个分工和生产和经济的问题我配的devil advocate一下那这样似乎是说蓝领的工作和白领工作有一个截然不同了因为我们好像看到了白领工作也是有specialization但是这个specialization呢被一个越来越厉害的通用模型给直接淹掉了就是当这个通用模型越来越聪明的时候这些specialization都不重要了都被这个更通用的模型更聪明的模型体制更好那在工业上是不是有不同吗工业上我觉得如果你有办法能拿到无限多数据你想要什么数据都能拿到那没理由但这里有很多就是technical nuance大量的数据进来你必然需要一个更大的模型对吧very likely甚至需要一个比现在内容机模仿还需要更大的一个模型这个时候你在low level control 层面上对吧你就开始有了response time 的问题你能不能在足够短的时间内你不是跟人交互吗你是跟机器交互吗那跟机器交互你要控制那些电器的话这个通常来讲交互的频率非常高跟game engine一样game engine是62只这个比62只要高很多高不少对吧你要控制机器人的话所以这里又有一个competitional budget的问题但是所有人都可以argu计说计算的能力肯定是越来越快的所以在将来某一天就算一个很难难的模型你也可以算得足够快我觉得这个是一个非常 valid argument没有任何问题只是说你要看这个就要花的时间尺度有多长至少有一点游戏这个行业对吧也是非常追求Response time的你我都在游戏行业待过也知道整个Unreal花了多少年的时间就是几十年的时间一直就是来做怎么样把一个model它这里可能不是Neural Network model但Ultimately也是一个model怎么把这个计算的时间降下来这件事情所以我觉得这也是一个factor我就想起来了我之前在MIT采访了一个教授他是我的学弟甚至他是在MIT做昆虫机器人就是这么小的一个昆虫机器人然后我就看到他那个昆虫机器人上面连着好多线我说为什么他说因为电池技术就是还不行然后他说几百年前老斯莱斯的100年前的工程师就说电机引擎是最适合科的但是他们没有solve电池的问题过了100年之后这个问题才被solve所以真的就是大家可能习惯了在软件或者BIS世界的进步速度对原子世界的进步速度已经高估了但是可能还是会觉得AI模型三五年可以搞定那我们15年13年不行但是有可能是300年500年对 尤其是我觉得hardware is always hard至少过去这些年一个最大的一个lesson就是VR AR这件事情很多年前包括在腾讯我们也经历了这些事情也是很大广告但是至少现在回过来看很多人也会同意其实很大一个问题就是卡在硬件上面我这里说的硬件不仅仅是指什么电机包括整个电池供电计算能力各种各样的东西的频道我之前还采访过一个刘家教授清华大学他是做脑科学的然后他有专门讲就是人的大脑和小脑七分之六的神经元其实都在小脑上就是需要控制physical七分之一的才在这种推理就是这种真正的大脑就是我们以为很高级的这些工作上所以说就其实这些动作本身是非常耗能和人类花了几亿年进化出来的这些能力是非常厉害的我这就想请你从不管是图像学也好还是你最近的这些研究去想就是为什么人可以做到这些事然后机器人不行比如刘家教授他的解释就是AI能做到的这些事是人类以为自己很厉害但是其实不那么厉害的东西which is就是脑力活动真正的人的 survival所需要的这个东西才是真正厉害的他有这样的一个观点我不知道从你的角度来说的话为什么AI似乎能解决这么多我们白领工作的问题但是烂领工作问题的难度它除了数据现实生活中的数据的采集难规模大以外它还有没有其他的除去以外的fundamental的限制我还稍微想过这个问题当然没有很深入的想过所以我的一点浅见是说人类社会它的构造的一个过程几千年几万年的这么一个构造过程其实是建立在一个hierarchy of abstraction上面就是说对这个世界有不同程度的抽象一个最直接的抽象就是语言维特跟斯坦说语言及世界对吧所以其实你越是到上层也就是说我们通常讲的越是偏向智力活动的东西我觉得它是越是被抽象的更厉害最智力活动的这个殿堂就是数学这个至少过去这么多年大家都这么认为那数学就是一整套抽象的符号系统那语言也是一套抽象 [35:00] 我觉得现在到今天为止建立了这个所谓的language model或者说大模型似乎我的观察是在这种它能够进行抽象描述的地方表现得很好它语言表现得很好导的很牛逼现在太牛了实在是太牛了我不得不说然后现在已经开始在数学有一些案例了就是它能解决一些非常高级的数学问题但是我觉得这个世界它毕竟它不光是这么抽象的东西它还有很多没有那么抽象的东西这就是直接跟体力劳动挂钩的东西就是越到这个下层我的理解是就是用现在这个大约模型也好或者我们人类大脑的发展也好就这两个东西有一定的相似性他们就越来越没有那么容易handle我一定要推荐一下就是这本树之生命 木之心它是讲日本的一个宫殿木匠去修那个宫殿然后完全的木制建筑然后1000年不倒就是树活了1000年然后它要让这个树死了之后在建筑上还能再支撑1000年他就讲就是说做这个梦将的手艺完全不能说就是没有办法用语言去描述全都在这个手艺人的身体里边就是这种感觉对对对其实有很多东西它不是能用语言描述的就是如果你去看那些微篇哲学点的塑料就刚inst time 对吧早期观点是语言机世界后期的观点是语言是一个游戏嘛所以游戏就是里有很多东西你其实没法真的用语言来描述了那我觉得那些东西的话那就让你毛了确实都没法描述我觉得现在所有的AI的东西其中一个核心的问题就是你的representation是什么language你可以有一堆token来描述对吧然后你image会有一堆pixel来描述然后越南这种被形式化represent的东西或者说越南被形式化抽象的东西那确实处理的越来越不好比如说3D仍然是一个很大的问题其中那个原因就是3D的representation至少现在还没有一个共识那如果更虚的东西对吧就是审美这些东西就更说不清楚了其实我想说就是说这个物理世界有很多东西其实在计算机里面并没有被抽象的abstract的特别好然后这些就是neural network或者说现在这个large foundation model他处理的不好的地方如果我们现在假设给长西学长你1万倍的算力最牛逼的算力你觉得什么样的表达方式是一个最合理的如果我知道的话我立马去开公司去了我觉得这个事情是一个非常大的市场你搞个装力就可以但anyway我觉得这核心的东西还可以怎么正值化就是language是一个一维的东西大家都知道然后pixel是一个二维的东西但所谓的一维二但其实它本身它的背后我觉得是一套规则化的东西数学其实也是一个很规则化的东西它有一套符号系统在背后3D的世界除了Giomit Trinity还有Physics比如说质量比如说它表面粗糙度的分布对吧 包括它材质的分布可能有些地方会光滑一点有些地方更粗糙一点甚至这不是仅仅只是表面的事情你拿到一个物体它的质量的分布在空间中是比如有些地方密度会高一点有些地方密度会低一点比如说你拿一个手机的话表面那一层是玻璃里面可能有些地方是金属对吧然后有些地方又是空的就是你怎么来表达整个这一套东西直接回答你的话我个人觉得当你无限的算力的时候你用这个Voxel的表达我觉得是挺make sense的所谓的Voxel就是说我现在把三维空间分成一个nxmxt的格子跟有限源这种方法挺类似的就是我把三维空间分成很小很小很小的格子然后我每一个格子里面我可以定义它的比如说密度颜色各种各样的材料这样就是一个规则化的表达方式本上是一个nxmxt的这么一个matrix但这个东西至少到现在为止最大的一个问题就是这个网页太耗内存了不光耗内存而且它是要求一个上帝视角就是我知道了这个空间的所有东西这个和人的经验其实是不符合的我在接触一个新武器的时候我大概脑子里会对它有一个prediction甚至我一度以为世界模型的意思就是这个世界模型就是我们intuitive的生成counter fracture的能力那长徐去找你来定义一下世界模型吧这很多人有不同的定义了我个人觉得对我来讲还是说相当于比较传统的或者说比较主流的那种定义方式吧就我自己来讲我有这么一个model一个model它能够你在给定当前时刻的状态就是你所需要关心的你所表达这个物理世界的状态的时候和你要进行干预的一些action的时候比如说你要推一下这个物体或者说浇点水它能预测下一个时刻这个世界的状态是什么这就是我定义的model我发现我的定义和你的定义的最主要的区别是intuitively我完全同意你的前后的东西但是我觉得approach就是你是要知道这个世界的所有的东西然后进行一个计算得到这个世界的后面的那个所有东西还是一个贝耶斯的感觉大概就是这里确实有一个很有意思的问题就是所谓的状态是个什么东西State again就回到我们刚刚聊的问题你在哪个抽象的尺度上面来讲State这个是最极端的情况我说我可以在monacular dynamics的尺度 [40:00] 我去描述每一个分子那个时刻的位置对吧那这个叫一个state那obviously这不是一个practical的表达那也有那种非常abstract的一个state一个硬的物体我就知道它在三维空间中的这个位置这样旋转这也是一个state我觉得ultimate就是你在哪个尺度或者说在哪个level进行抽象那我稍稍往回来一点啊就是SynX 是吧AthynX你说主要做的呢是用simulation first的flow去生成这个robotic policy那这个simulation一定程度上就是这个世界的抽象了对吧抽象感觉就是你把一个真实世界给抽象成这个simulation有很多很多种方法你有一万种方法可能就会导致一万种不同的flow就是它的选择空间如此之大那怎么做呢这就回到我刚刚那个话题嘛就你在哪个尺度方面去进行抽象比如说你只是预测这个物体它在机器人的操作下面怎么动的话这个过程中产生的热就没有那么重要或者一点都不重要甚至产生的声音也都不重要这就是一个典型的例子就是你要在哪个level上面capture到的一些东西对 所以我觉得这个就是你可以管它叫Darkart也可以说叫行业的Lowhow Domain Knowledge就回到我们刚刚的话说可能就不是一个能系统化描述的东西或者标准答案叫一定depends就是可能针对不同的robotic task如果要用水平的产生数据的话你确实可能要做一些不同的trade out比如对某些task可能你需要capture的东西会稍微底层一点比如说我们那个blog里面秀过的一个折盒子这件事吧折盒子这个事虽然看起来容易比如你和你折斗的那个纸板的那个hinge或者fartig硬的程度就不一样了这个事情那如果你要让这个robot特别特别robust的话那你就要考虑到折斗的就是变得越来越软了这个时候你就需要capture这个level的physicscapture是指在simulation里面也需要能够预测这件事情因为simulation ultimately是一个prediction那simulation能simulate出来新的information吗还是它只不过是给已有的信息适当的权重让他知道他应该注重哪些信息这里有个问题就是什么叫信息如果这个信息是浓缩在一套物理模型或者一套规则里面的可能确实从这个要求上是没有新的所谓的信息因为你有了这一套规则无论它是用物理方程表达的还是whatever表达你只要有这套规则你确实就是可以预测下一个状态就是所谓的word model但是如果你从实际生产的角度来看的话那还是有新的信息的比如说我在不同的状态不同的设计下面我能预测接下来发生什么事我就不需要去真的去做实验或者真的去让机器人做实验或者真的进入工业生产真的把这个飞机做出来这个时候你确实gain了新的信息我在想人是怎么想的人似乎就会记得比如说尤其是你这个东西你被烫了一下以后都记得这样东西是烫的这辈子你都会记得但是就是机器人会不会迟早有一个问题你会有很多看似有用实际没有用或者看似没用实际有用的东西然后在这里边很难去做取舍就是你给了他太多的入反而他可能不知道干啥了对吧所以说可能还是要选择性的去ignore一些东西或者说是就是有不同的priority呀 怎么解决这个就是trainning的过程其实在我看过去trainning的过程就是把这种经验比如说你知道一个东西烫了就不要磨的吧就把这种经验植入这个robotic model的这样的一个过程那你怎么来把这个经验植入进去或者说产生足够的经验给这个robot或者甚至跟general讲就是产生足够的经验去圈这个general model那一方面确实你从真实世界采取数据嘛对吧这就是现在已有的这一套范思还有一个东西是说你把一个更完善的一个所谓的world model或者说上帝视角的一个model把它的经验提取出来然后用这些经验去train这么一个model这是本质上示现在为什么今年这个world model这么火其实就是这么一个东西这个world model它其实就是carry了所谓的上帝视角的东西至少在一定程度上carry了上帝视角的东西那这里就回到一个机身单单先看那个问题了那我怎么样有足够的纪念去圈这个world model这个就开始循环了讲到这里正好请你评价一下就是今年world model巨神智能physical AI这么火你觉得泡沫吗是不是大家太乐观了什么的我觉得我们肯定是有乐观的情绪在里面which I think is a good thing就是即使有一些泡沫我觉得也是一个至少对我们这种从业者来讲无论是在学术圈的从业者还是就是industry从业者至少对从业者来讲是一个好的事情因为你有社会关注有资本的关注无论最后这个事情能成到什么程度但至少能够push你走很大一步那你说是不是像外面真的讲了明天我这个world model某某公司出了一个很牛的video prediction那个东西就叫world model了坦说说我觉得不是了按照我们的定义或者说 [45:00] 按照他们希望用word model的方式我也是general industry的就是希望用word model的方式那我觉得确实ultimately变成你怎么把一个至少一定程度的上帝视角的整级念inject到一个neural letter of model里面这里面确实存在check and act的问题这个问题似乎是大家都在回避怎么解决的问题但ultimately的这就是一个问题没有什么天降一惊那在这里边研究者的作用会被AI取代吗我为什么会问这个问题呢是有这么一个例子就是我不是一起教课那个亚哥他前段时间干了一个事儿就是他拿了一个这么小的单片机然后这么小的一个相机都很便宜的一种东西然后他在这上面train了一个neural network这个图像识别的模型他也是格大的博士也来取合engineer的博士这件事是他跟GPT聊了10分钟大概告诉他应该做什么然后一些feedback然后GPT大概整个花了5个小时去把这个东西ntrain出来老头说这个东西肯定是在之前是不行的你去train这么一个东西是很麻烦的更general的neural network是没有办法解决它这个问题的因为肯定是不robust的但是现在是可以的因为它相当于10分钟的自己的时间然后再加上5个小时的GPT时间就可以train一个highly customized然后高精度的东西比它要去安装一个磁吸的那个东西去看他的抽酷门的开关状态要简单很多他有这么一个观察就是AI把这种解决specific问题的门槛吧降低了好多好多好多把这个信息比提升上来了那回过来就是如果说AI enable了去优化很多specific场景的这个robotic policy那会不会过一段时间你就可以让AI来做这件事了不需要你来做这件事了你看你刚刚举的这个例子 我觉得是一个很好的例子仔细想就是描述这件事情这个事情里面最让我觉得 听下来觉得哇好酷的地方是他们想到用这个单片机劝一个model去装他们家车库门不用现有的车库门的解决方法 我觉得这是最厉害的地方后面这些就是你用AI跟他谈话10分钟解决这个事这只是执行程度上的东西所以回到你说researcher 我觉得researcher的价值还是在前面这一步就是他能想到这件事情然后后面就是你让执行的成本变低了当然我觉得这里面确实对整个academic research甚至scientific discovery有深远影响的地方就是当你的execution这样的cost变低的时候尤其是非常非常低的时候那你在explore idea就是前面这个东西因为不是所有的idea都能work对吧尤其是新的idea有些是那种新的你没有想过的idea那你在explore idea的这个范式上面会有什么样的变化我觉得这个是一个更重要的问题需要想我觉得他这个讲话挺好的我们家车库也应该变成这样我把他的那个车库的文章也发给你10小时公关半小时deft time就是在手掌上这么大的一个整个的机器这么大最后还有大概半小时时间我还想问两个问题一个问题是为什么你是一个教授还可以出来做这么多事情这是第一个第二个就是从你的视角看一下美国或者说我不知道你对中国了不了解的Physical AI巨神智能Robotics的这个industry是什么样子的学术界是什么样子的就是我们其实完全不知道几乎或者说知道一点点都是听得很不对的消息对请给我们讲讲这边的情况吧第一问题就是简单回答我现在是是full time在World Life原因是我现在是学校那个SympathicalSympathical就是在美国大学里面可能比较独特的这就回到为什么在学校可以做这些事情就在美国大学里面比较独特的一个东西就是至少我们学校的规则就格纳的规则是你每上12个学期的课12个学期就一会早6年嘛你就可以从学校离开一段时间说白了就顶心留职吧我因为在格达待了很多很多年了所以我现在at this moment是从格达take a sebatic leave然后Fort time在Wall-Life那做的事情呢其实跟我们在之前这个Synix其实做的是一样的就只是在一个更大一点的船上面做同样的事情所以我们也还是在push这个就是Simulation-centric这么一个workflow我们管它叫 Real to Same to Real就是你从 Real World take robotic task用一个非常低成本快速便捷的方式convert that into virtual setup然后这样你可以在 virtual setup 里do all kinds of thingsvirtual experiments, data generation, evaluation, whatever最后把你的 outcome which is essentially a robotic policy把这个 robotic policy transfer到 real worldwith the hope这个 policy在 real world 里面能够工作得很 robust工作很快然后同时尽量程度的generize对 这就是我现在做的事情然后为什么你在学校做这件事就是我觉得美国的大学这么多年来发展出一个很好的一个东西就是所谓的academic freedom当然有很多很多历史原因的就不是所有的国家都有tenure的机制但我觉得ultimately [50:00] 美国大学给我的感觉是它本质上是一个market place我觉得就有点类似于像菜市场学校就提供了一个菜市场然后这个菜市场当然有不同的tier对吧 有在Fifft Avenue上开的菜市场也有在乡下开的菜市场可能哈温就是在Fifft Avenue上开的菜市场然后ultimately就是这些faculty或者professor们就在那个菜市场面有个汤位我还以为你说都是菜了原来还是个汤位有个摊位对吧然后你每年要给这个菜市场交保费这就是你的research funding学校会抽所谓的overhead但是由于这个菜市场存在它其实本身给你提供的一个平台你这个摊位你自己很厉害你做各种模样的marketing你菜卖特别好菜卖特别新鲜那就会吸引更多的人也就是更多学生到这里来甚至可以把你的摊位更大但我觉得ultimate的ultimate你在学校里面做的事情其实是一个个人英雄主义行为当然肯定是学生非常厉害的角色非常非常棒但我觉得ultimately你在这个谈位上干的事情是你在accumulate你自己的personal reputation其实是一个个人英雄主义的行为由于它是一个个人英雄主义的行为其实ultimately也限制了你在这个谈位上能做的事情的scope这个scope我就有很多dimension很多维度可以看当然你如果说纯粹的看一个单一维度就是你这个technology breakthrough这件事情那确实是可以走非常非常远段的可以到那边讲你可以颠覆人类的认知但在很多其他的维度上会受限很多那这就是为什么至少在现在这个人生阶段我希望能够explore一下因为更多的时候说实话是个teamwork我觉得是很不一样的Interesting for industry-ish teamwork能长期两年吧是在这个physical AI相当于可不可以跟我们讲讲美国的physical AI或者巨神智能 Robotics我们应该叫它什么然后大概的这个版图是什么样子的我觉得可能不同的人叫法不一样有可能比较fancy的叫法叫embodied AI就是所谓的巨神智能因为大家希望跟AI争变嘛别人我都说我都是我这儿的我玩的机器人可能没有那么sexy版图的话首先都首先我觉得这个东西很肉因为AI尤其是Large Foundation Model在其他领域在Language 领域在Image Generation 领域在Video Generation 领域已经取得了看得见的明显的成功所以大家很自然而然的就外推对吧Extrapolate就是认为下一个Frontier就是AI跟物理世界的结合也就是所谓的Embodied AI这个也是老黄天天宣传的东西然后这里的Embodied AI我觉得其实是比Robotics还要更 general一点谈出来的说这里包括其实是所有跟物理世界和AI结合的东西不仅仅是机械臂或者一个人性机器人在这里做什么事情只不过说现阶段可能最吸引眼球的确实是人形的一个机器人或者一个机械臂像人一样完成一些事情这是特别能触发人类共鸣的所以这个可能是最新眼球的一块但总的来讲我想表达说首先这个东西特别的热门原因是因为大家有很大的这个expectation或者aspiration这样的话很自然的资本就进来所有的VC都希望找到下期GPT会有很多各种各样的公司来从各个角度做这个所谓的Embodied AI的问题有专门解决数据的也有劝这个所谓的generalized policy比如说physical intelligence然后也有硬件软件所有的都要做的讲一个非常非常宏大的故事比如说像Figure AI这种WorldFab是第二种吗To be clear它的定位还不太一样它不是定位在specifically说我要做Embodied AI非非对一个或者WorldApps他们advocate的一个core concept叫special intelligence这就跟人的认识讲了就是我需要对这个空间有一定的intelligence这里就包括最简单的最落地的场景就是比如说3D reconstruction你通过一张图片或者几张图片你reconstruct一个三维的空间这个clear你是需要intelligence那Robotics在这个里面肯定也是很重要的一环你这个Robot毕竟你会需要在3D的空间中behave manipulate所以我觉得WorldApps希望讲一个更宏大的一个故事关于spatial intelligence的故事然后Robotics是其中一个非常自然的一个应用场景所以它跟纯粹做embolied AI还是有一些不一样的不好意思刚刚拆开了我们有第一个说去第二个policy第三个是软硬件我觉得不管怎么样到目前为止就所有这些就所有的Invator AI的公司包括我们自己就坦率说都还没有在真实的生产环境中大规模用起来As far as I know还是处于相对来讲比较早期的阶段如果一定要用起来GPT来举例的话我觉得就是GPT2这种阶段 [55:00] 都还没有到的阶段帮中国公司和中国投资人问个问题就是他们会说美国又没有什么制造业然后你们这些robotics怎么可能在工业中用很多我们中国第一制造业很发达第二这些制造业很卷他们愿意adopt新技术和美国的僵化的死板的男赛是不一样的所以说你要做robotics肯定要来中国做这个你会怎么回应我不认为说美国就没有制造业这件事情事实上无论是从地缘政治的角度考虑还是从国家经济的程度角度考虑一个特别大的国家就是I as developed as US它不可能没有制造业这事是不make sense的但你可以从经济制造成本对吧这种结构的角度去argue说这个制造业在美国的时候可能很难不太适合但如果把美国欧洲加拿大所谓的西方国家放在一块来看的话我不觉得他们的制造业规模significantly比中国低这个都是有数据可以佐证的另外一方面我觉得正是因为美国有美国的问题或者说西方的这一套工业生产体系有它的一些问题比如说人力成本的问题甚至从某种意义上讲优廉的问题那这也给了自动化就是automation更大的机会嘛事实上就是你如果从历史的角度去看回过历史的话反而我觉得西方国家在自动化这件事情上面automation这件事情上面是更加的desperate是因为他们有更强的需求所以我觉得ultimately不管怎么样两个point第一人类社会的工业生产尤其是规模化的工业生产至少可以预见的未来是会一直存在的第二点是随着社会福利的提高人类自我意识的越来越来越绝情或者说文明化automation这件事情也是一个永恒的主题我觉得这两件事情加在一起注定在美国做Ubara这件事情至少scope是存在的而且足够大的scope你跟中国国内的有交流不?说实话有一些交流但是我不知道我的感觉准不准确因为毕竟我人不在国内但我收放的体费是我觉得国内的startup似乎玩法不太一样一定是别人不止不完全一样我这期说法的感觉跟他们交流下来很多时候讲了这一个更大开大合的故事国内这些比较有名的公司什么星爱图什么那个民政处啊包括语书他们都是在希望讲一个特别宏大的故事既有硬件他们自己的所谓的本体又有他们的大佬也有那个simulation的平台什么都有我理解了就是你从融资吸引资本的角度这个确实有它的考量我猜他们可能但你从startup的角度这个事情就看他们怎么unfold了我觉得从startup角度似乎你早期你很难什么都做吧至少是我的理解比如说像这个星矮图的访谈他又说本体是必须的因为我要收集数据我没有本体我哪来的数据呢我做完了以后我没有本体我这个东西又可以干嘛呢它好像有一套它的这样的逻辑在对对对但这个逻辑就说是不是唯一的逻辑就知道Remain to be same对吧比如说我们希望讲的story是说我们是本体就是hardware agnostic我们不需要有个具体的specific本体我们的这套workflow正如我们最近不知道你看了没最近的这个block releasetechnical release我们修了五六个不同的本体嘛这个上面都能 work我觉得现阶段还是一个把线过海得过显神龙的一个阶段吧国内 in general 给我的感觉是更prefer 大开大合的故事好呀 非常感谢我们平常接触到的是知识的表达知识的表达是以语言以图片的形式表达的但是在我看来知识的本质并不等于知识的表达并不完全等于本质并不完全等于图片所以像一个所谓的word model的话那我得它需要更多的触及知识的本质这件事情本身是一个至少少清晰的事情现在AI以及跟AI相关的这些技术使得我们能够从之前工业革命时代那种特别focus特别特别特别specialization朝generalization另外一端开始移动得更多了这不是一个突变的过程什么时候你开始会trigger有很大的一个变化或者一个革命我觉得很难密切这能使命一代如果你想有一个更系统更高效的方式把AI真的学好的话欢迎来到我们的AI Builders课程这个课程我们已经迭代了两年多3000多个学员在Maven这个公开平台上有5分的满分好评而且在这下面你可以看到来自OpenAIAnthropicGoogle这样的一线AI从业者所留下的句名好评这门课程是一个非常注重实践的课程所以是AI Builders但是也能把AI的原理完整享清更重要的是这门课程可以帮助你建立使用AI的正确的mindset和习惯从而可以帮助你在每一天的实践中更加有效的自学买了这门课程以后不光有终身的免费迭代我们过去已经迭代了13期了而且还送一年的State Superlinear会员这个课程是有一个14天无理由退款的guarantee所以你哪怕只是想要试看一下都是没有任何风险的欢迎到ai-builders.com看一下我们这个课程的详情或者下载app超线性学院来到我们课程社区看看大家每天都在用AI做什么那我们下期见