清华徐梦迪称具身预训练难敌长尾 押注上下文学习破局通用机器人

“我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化 — 十字路口Crossing

十字路口Crossing

离线预训练无法彻底解决开放物理世界的长尾任务，具身智能唯有依赖无需更新参数的上下文学习与现场物理适应，才能跨越类似GPT-1的初级阶段并迎来真实泛化拐点。

AI-assisted summary of “我看到了 Scaling Law 的信号” | 对谈清华叉院助理教授徐梦迪：具身智能、世界模型、真正的泛化 — original source. Check the original for full context.

Source published:

Key ideas

  • 清华叉院助理教授徐梦迪指出，具身智能行业正浮现 Scaling Law 信号，但由于机器人存在时序误差非平衡性，低评测 Loss 并不能直接等同于真机高成功率。 (49:07)
  • 单靠离线预训练和模仿学习无法解决长尾开放世界问题，机器人未来终局在于上下文学习（In-Context Learning），让机械臂像大模型一样通过 3-12 秒物理示范即时调整策略。 (12:02)
  • 具身智能数据闭环存在“鸡生蛋”困局：需先入户采集导师式交互数据，但底模不足时用户无耐心教学；解决之道在于从桌面双臂等受控真机场景切入收集包含失败恢复的次优轨迹。 (58:19)
  • 在数据路线上坚定走“融合派”：仿真与低成本人类数据适合在预训练与中期训练注入场景理解及物理常识，高保真遥操作数据则专攻微调与目标域控制对齐。 (65:00)
  • 若将具身智能视为 42 公里全马，当前行业大概跑到约 10 公里处，未来 3 到 5 年内极有望通过 Scaling 迎来明确的爆发拐点与范式转变。 (79:22)

Detailed notes

## Background 本期内容由科技播客「十字路口Crossing」（主播 Koji）于 2026 年 9 月 20 日发布在小宇宙平台。节目对谈了清华大学交叉信息研究院助理教授徐梦迪，围绕她在具身智能领域的科研求学历程、机器人的 In-Context Learning（ICL）与快速自适应、Scaling Law 的前沿信号、数据闭环困局以及年轻学者的研究与人生抉择展开深入探讨。

## TL;DR 徐梦迪回顾了从清华车辆工程、CMU 最佳博士论文到斯坦福博后并加入清华叉院的经历，指出具身智能绝不能单靠离线预训练包打天下，机器人在开放世界中必须具备基于 In-Context Learning 的现场自适应与持续进化能力。对谈深度拆解了具身 Scaling Law 的阶段性信号，揭示了评测低 Loss 并不直接等同于物理任务高成功率的暗礁，并阐述了世界模型以及遥操作、仿真、人类多源数据融合的技术路径。徐梦迪还分享了青年 PI 搭建实验室如初创公司般的真实体验与对学术审美品味（Research Taste）的考察标准，将当下具身智能比作 42 公里全马刚跑完的 10 公里，强调唯有穿越泡沫的长期主义与极致乐观才能迎来爆发拐点。

## Atmosphere & style 整场对谈洋溢着严密理性、真诚坦率且充满探究欲的智性氛围。主播 Koji 节奏把控自如，既有对技术底层逻辑的精准追问，又有对学者心路历程的共情连接；徐梦迪展现出典型 INTJ 学者的敏锐与笃定，表达举重若轻，将切蛋糕、叠衣服等生活场景信手拈来化作硬核技术比喻，毫无学究气。对话褪去了当下具身赛道浮躁的融资喧嚣，在师生战友情、破釜沉舟的科研少年气与对物理世界的敬畏中，传递出一种扎实深潜、向光而行的纯粹力量。

## Bulletin - `49:07` 清华叉院助理教授徐梦迪指出，具身智能行业正浮现 Scaling Law 信号，但由于机器人存在时序误差非平衡性，低评测 Loss 并不能直接等同于真机高成功率。 - `12:02` 单靠离线预训练和模仿学习无法解决长尾开放世界问题，机器人未来终局在于上下文学习（In-Context Learning），让机械臂像大模型一样通过 3-12 秒物理示范即时调整策略。 - `58:19` 具身智能数据闭环存在“鸡生蛋”困局：需先入户采集导师式交互数据，但底模不足时用户无耐心教学；解决之道在于从桌面双臂等受控真机场景切入收集包含失败恢复的次优轨迹。 - `01:05:00` 在数据路线上坚定走“融合派”：仿真与低成本人类数据适合在预训练与中期训练注入场景理解及物理常识，高保真遥操作数据则专攻微调与目标域控制对齐。 - `01:19:22` 若将具身智能视为 42 公里全马，当前行业大概跑到约 10 公里处，未来 3 到 5 年内极有望通过 Scaling 迎来明确的爆发拐点与范式转变。

## Key takeaways - `00:00` 真正的泛化必须由海量先验知识与快速自适应（Fast Adaptation）双轮驱动，不能指望机器人仅靠离线知识覆盖所有开放世界任务。 - `12:02` 从大语言模型的 In-Context Learning 汲取灵感，Prompt Decision Transformer 证明机器人无需在线反向传播微调权重，仅靠轨迹示范输入即可当场适应新任务。 - `15:00` Algorithm Distillation 颠覆了将模型参数视作静态知识库的认知，证明 Transformer 参数本身等价于一个在线运行的强化学习算法，能利用上下文中的失败尝试实现自优化。 - `19:19` 自适应（Adaptation）重新成为行业绝对共识，但前提是底模必须具备足够高的安全与理解下限，否则在物理世界试错的代价将无法承受。 - `23:51` “创造性工具使用”评测机器人依据物体功能面（Affordance）而非名称来就地取材，需要多模态大模型决策、4D 柔性形变重建与跨形态灵巧迁移三者协同。 - `26:30` 学术导师风格塑造关键转变：李飞飞的 Vision-driven 推动研究者从“解题人”蜕变为抓住最底层物理本质的“出题人”，吴佳俊则启发学者专注打造独特的 Research Brand。 - `34:17` 姚期智先生对青年学者的核心告诫在于“专注（Focus）”，在核心命题上保持定力的同时，需兼具贯通机械、表征与控制算法的系统性全局视野。 - `44:44` 当前具身智能如同控制系统未调好参数时的“超调与震荡”，经历从狂堆数据到猛卷世界模型的钟摆演化，本质是向“无任务偏向的通用物理演化规律”深入。 - `50:47` 具身智能当前发展阶段对应 LLM 的 GPT-1 阶段（依赖 Pre-training + Fine-tuning），终局目标是跨入无需改动权重、依靠 Physical Prompt 即时落地的 GPT-3 阶段。 - `56:04` 行业普遍宣传的方正“叠衣服 Demo”脱离真实家庭收纳的多样化偏好，唯有通过 ICL 才能把现场定义机器人行为的权力交还给终端用户并实现“越学越快”。 - `01:01:40` 具身数据绝不能凭空盲目采集，必须由模型所需的底层核心能力（如平滑控制、失败自愈、视频跟踪、3D 重建与即时上下文学习）反推定义。 - `01:05:00` 人类数据是成本极低的通用本体数据，人机骨骼差异可通过跨形态迁移算法化解，模型关键在于学习人与环境交互的受力与物体状态演化本质。 - `01:08:24` 年轻研究者需经历“把书读厚再读薄”的过程提炼真问题，尽早真机上手以积累硬件调试、通信抖动与物理接触反馈等无法由仿真替代的隐性知识。 - `01:15:47` 面对 AI 生成的论文泛滥海啸，研究者应当借助学者社交圈的“同行信誉推荐”进行高效过滤，并对套路化但缺乏实操推理深度的注水文献保持警惕。

## Detailed walkthrough ### `00:00` 快问快答与机器人的“自适应泛化”

节目开场，主播 Koji 介绍了本期嘉宾徐梦迪——清华大学交叉信息研究院（清华叉院）助理教授。在回国任教前，徐梦迪先后求学于清华大学、约翰斯·霍普金斯大学（Johns Hopkins University）以及卡耐基梅隆大学（CMU），并在斯坦福大学吴佳俊和李飞飞团队从事博士后研究。

在传统快问快答环节中，徐梦迪精准回答自己目前是“30.5 岁”，MBTI 是 INTJ，星座是摩羯座。被问及当前投入时间最多的核心研究方向时，她用一句话概括：“让机器人能够从现实的场景中不断地持续提升自己。”

徐梦迪解释，早在 CMU 读博期间，她就已经聚焦于机器人泛化（Generalization）这一命题。她指出，真正的泛化不能只依赖机器人预先学习的离线知识。观察人类之所以具备强大的泛化能力，关键在于两个层面：一是人类拥有海量的先验知识（Prior knowledge），二是人类能在面对新环境时学习得极其迅速。她认为，机器人唯有具备类似人类这种在交互中快速学习（Fast adaptation）的能力，才算实现了真正的泛化。

谈及入局的契机，徐梦迪提到当时该领域还不叫“具身智能”这么时髦的名字，而是叫 Robot Learning（机器人学习），本质是用机器学习赋能机器人。在 CMU 期间，Chelsea Finn（现斯坦福大学副教授、Physical Intelligence 联合创始人）关于 MAML（Model-Agnostic Meta-Learning，模型无关元学习）的代表性工作给她带来了极大震撼。MAML 最惊艳的地方在于能让机器人学会此前从未见过的任务。当时实验室的同学们常常跨界阅读前沿 ML 论文，这个工作让她坚信：让机器人具备面对未知任务的元学习和快速适应能力，才是通往未来的正确方向。

`02:31` 从清华车辆工程到仿生机器人的科研起点

徐梦迪本科毕业于清华大学车辆工程系。面对 Koji“从车辆工程到具身智能中间仿佛隔着一个变形金刚”的调侃，徐梦迪坦言，本科选择车辆工程回看是一件极为正确且幸运的事。车辆工程的课程体系极其全面，涵盖机械设计、汽车电子（与电子系高度交叉）以及算法基础，为她打下了从底层机械机构到顶层算法的复合知识体系。

她真正转向机器人学的转折点出现在大二。当时她进入清华机械系严少泽老师的实验室参与仿生机器人（Bio-robotics）研究，具体的课题是探究蜜蜂翅膀的“超弹性恢复机制”。蜜蜂在采蜜穿梭时，翅膀频繁与周围环境碰撞却不会受损，正是得益于其特殊的微观超弹性结构。以此为契机，她在本科大三暑期赴 CMU 参加暑研，加入了以仿生机器人闻名的 Howie Choset 教授课题组。

在 CMU 暑研期间，徐梦迪亲自动手设计了一款蛇形机器人（Snake robot），并让它去执行爬管道的任务。正是在这个过程中，她的研究重心从纯粹的硬件机械结构设计，一步步过渡并深入到了机器人算法的设计当中。她感慨清华车辆系的学生往往有极强的内驱力，想做的事情就会想方设法寻找最契合的平台与导师去实现；当时同在严老师组里的杨恒学长如今也已成为哈佛大学助理教授，彼此的互相激发让她顺利走上了学术之路。

`05:59` 拼四驱车与童年的“捡废铁”寻宝

聊到童年与中小学经历，徐梦迪非常谦逊地表示自己不敢自称“学霸”，因为一路求学出国见到了太多极其厉害、各有想法的人。她的小学生活相当快乐且宽松，几乎没上过补习班，平时大多参加课外活动或与同伴玩耍。

徐梦迪是河北衡水人。小学时，她受经典动漫《四驱兄弟》的影响，狂热地迷上了拼装四驱车。买来各种零部件亲手组装让小徐梦迪乐此不疲，但这项爱好在当时相当“烧钱”。为了攒钱买零件，大院里几个同样喜欢四驱车的小朋友展开了一场特别的赚钱行动——在放学路上“捡垃圾”去卖。徐梦迪笑着回忆，那就像是一场城市寻宝游戏，他们专挑废弃的钢铁零件捡，因为这种金属废品有人高价回收，换来的钱居然真的能够支撑他们买四驱车配件。

这项童年经历在不知不觉中埋下了她未来热爱机械与车辆工程的种子。她从小就对精密的机械构造深深着迷，惊叹于人类工匠能够将细小的零件严丝合缝地组合起来，凝聚成极其精密可靠的物理实体。

`07:18` 衡水中学竞赛班：非典型的衡中体验

初高中阶段，徐梦迪进入了全国闻名的衡水中学。但与外界对于衡中“军事化备考”的单一刻板印象不同，徐梦迪走的是竞赛生路线，日常体验与常规高考班有着鲜明差异。

高一第一学期结束时，学校进行竞赛意向调研，徐梦迪在数学和物理之间选择了物理，原因是物理能够真正“接地气”（ground）地连接现实物理世界。虽然在作息纪律上，竞赛生同样需要遵守衡中标志性的早操、上午操以及严格错峰去食堂等硬性时间表，但竞赛班的内部教学机制更侧重于激发学生的自我内驱力与兴趣，而非机械刷高考题。

很多竞赛生需要把寒暑假全部投入高强度集训，徐梦迪也不例外。竞赛之路类似一场“破釜沉舟的创业”——学生将大量时间倾注于高难度专业知识，如果未能通过保送或自主招生上岸，直到高三下学期才会被重新并入普通高考班突击高考，时间极其紧迫。

```mermaid flowchart TD accTitle: 衡中竞赛生的培养与分流路径 accDescr: 展示学生从高一竞赛选拔到高三保送或回归高考的分流历程 A["高一期末意向调研<br/>（选择物理竞赛）"] --> B["全封闭集训与强化"] B --> C{"竞赛选拔阶梯"} C -->|"获省一等奖"| D["入选省队 / 国集"] C -->|"未获保送资格"| E["高三下学期合并入常规高考班"] D -->|"保送 / 降分录取"| F["进入顶尖高校（如清华）"] E -->|"破釜沉舟突击高考"| F ```

即便风险极大，徐梦迪却觉得那是一段充满干劲且毫不觉苦的纯粹时光。由于教练的正面引导，竞赛班内部并没有残酷的零和竞争，相反呈现出极其深厚的战友同伴情谊。大家从零起步抱团钻研难题，小到合力攻克一道物理题，大到携手冲刺省一和全国金牌。身边这批极有想法的竞赛同窗，日后有的奔赴海外成长为世界级学者，有的在国内各行各业挑起大梁。

`12:02` CMU 最佳博士论文：预训练不是全部，呼唤适应性

在 CMU 攻读机械工程博士学位期间，徐梦迪的博士毕业论文荣获全系年度最佳博士论文奖（全系一年仅评选两位）。她的毕业论文题目是《Building Adaptable Generalist Robots》（构建具有适应能力的通用机器人）。

这篇论文的核心论点直指当前具身智能的一个盲区：尽管徐梦迪非常相信预训练与 Scaling Law 的力量，但她坚信**预训练绝不是机器人的全部**。不能寄希望于机器人仅仅依靠离线预训练，就能成为一个能在真实环境中 100% 任务成功的全能个体。现实世界是一个开放世界（Open world）： - 任务与环境在不断动态演变（今天家里有 20 样物品，下周可能变成 30 样完全不同的物品）； - 用户的个人偏好（Preference）因人而异且持续改变。

机器人一旦被部署到真实环境中，必须具备适应具体环境变化并持续自我提升（Continual learning & Adaptation）的能力。围绕这一目标，徐梦迪在博士期间探索了主要的两条技术路径：

```mermaid flowchart LR accTitle: 部署期机器人自适应的两条技术路线对比 accDescr: 对比 Prompt-based In-Context Learning 与 Test-Time Training (Adapter) 的优缺点 subgraph Route1["路径一：In-Context Learning (ICL)"] A["物理 Prompt / 示范动作"] --> B["维持基础模型参数冻结"] B --> C["上下文自适应生成输出<br/>（高效安全、无灾难性遗忘）"] end subgraph Route2["路径二：Test-Time Training (TTT)"] D["部署期在线反向传播"] --> E["利用 HyperNetwork 生成适配器<br/>（仅微调 0.5% 参数）"] E --> F["解决特定目标任务<br/>（需平衡新任务效果与历史记忆）"] end ```

1. **In-Context Learning（上下文学习，ICL）路线**： 始于她在 2021 年发表的工作 **Prompt Decision Transformer**。当时大语言模型 GPT-3 的 In-Context Learning 能力给她带来了极大启发——传统机器学习在面对新任务时必须进行全参或局部微调（Fine-tuning），而 GPT-3 仅通过在输入端给出一个特定任务定义或输出格式的 Prompt，就能当场改变自身输出，完全不需要在部署阶段重新训练。徐梦迪将该逻辑迁移到机器人控制上，向模型提供一段机器人的轨迹示范（Demonstration），使模型无需更新权重即可当场适应不同的运动控制（Locomotion）和机械臂操作（Manipulation）任务。

2. **Test-Time Training（测试期微调，TTT）路线**： 在后续的续作 **Hyper Decision Transformer** 中，她探索了在测试部署期动态调整模型参数的路径。然而在测试期改参数是一把双刃剑：微调参数固然能解决眼前的新任务，但若改动的参数过多，模型先前预训练沉淀的通用知识就会遭遇“灾难性遗忘”（Catastrophic forgetting）。为此，他们提出了折中方案：训练一个超网络（HyperNetwork），将通用先验知识注入其中，测试时由 HyperNetwork 动态生成仅占 Transformer 总参数量 0.5% 的极小 Adapter。机器人只需微调这 0.5% 的适配层参数，即可实现新任务适配。

徐梦迪总结道，在早期小规模预训练时代，HyperNetwork 这种微调小比例参数的方式更容易见效；但随着近年来具身数据量和预训练规模的指数级爆发，她坚定认为**未来真正的终局方向依然是 In-Context Learning**。通过 Prompting 机制免除实时修改参数的隐患，仅在积累了多任务批次数据后再做离线 Batch 更新，系统将兼具敏捷性与稳定性。

`15:00` 从参数存储知识到“模型参数等同于强化学习算法”

在 Prompt Decision Transformer 之后，学界沿着 In-Context Learning 推动机器人自适应的研究迅速扩散。徐梦迪特别赞赏了 DeepMind 的一项里程碑工作——**Algorithm Distillation**（算法蒸馏）。

这项工作颠覆了人们对模型参数本质的传统认知： - **传统主流 VLA（视觉-语言-动作）模式**：将模型参数视作“知识库”。利用专家演示数据（Expert demonstrations），通过模仿学习（Imitation Learning）将专家在特定任务中的静态策略和技能蒸馏进模型权重。 - **Algorithm Distillation 的全新视角**：**模型的参数不等于某个特定任务的策略，而是等价于一个学习算法本身（An RL algorithm）**。

在具体实现中，Algorithm Distillation 会把包含次优尝试、探索失败乃至历史轨迹（Suboptimal trajectories）全部塞进模型的上下文窗口（Context window）中，让 Transformer 模型根据过去执行动作的得失与历史反馈，在线调整并优化后续动作。换言之，具有自回归机制的 Transformer 本身就化身为了一个正在运行的强化学习算法，在上下文推理过程中实现了“自我提升”。

徐梦迪补充道，虽然该论文当时主要在模拟器中验证，且偏向走迷宫和 Locomotion 等任务，但其思路极具启发性。此后，Skild AI 的 Deepak Pathak 团队发表了 **LocoFormer**，成功将基于 Transformer 架构的上下文自适应能力部署到了实体四足机器人上；而英伟达（NVIDIA）近期发布的 **Robot Utility Models / Robot-TT** 等工作，也展示了让机器人观看人类长程操作视频，通过测试时间训练层（TT layer）改变模型行为，从而复现人类操作范式的前沿探索。

`19:19` 为什么自适应（Adaptation）在当下重新成为绝对共识？

徐梦迪观察到，学界与工业界对“自适应（Adaptation）”的重视程度在近期迎来了爆发式增长，正在形成一种行业新共识。之所以此前存在摇摆，是因为学术界关于机器人泛化路径存在一场深层争论。

类比人类，人类强大的泛化能力来自于两根支柱： - **超强先验（Strong prior）**：人类经过亿万年生物进化，拥有极其强大敏捷的“小脑控制”本能，后天习得的先验知识也会通过记忆机制固化下来； - **快速适应（Fast learning）**：人在陌生情境下摸索尝试、修正错误的速度极快。

此前几年，整个具身智能行业的主流打法全部押注在“死磕第一根支柱”上——即通过暴力堆叠海量数据（Scale data）与堆大模型参数（Scale models），试图让模型的先验能力足够厚实，期望纯靠专家模仿学习就能无缝覆盖所有多任务和语言指令跟随。

然而，业界的实际探索撞上了南墙：大家逐渐发现，单靠扩大规模与离线专家模仿学习，根本无法彻底解决机器人面临的长尾开放世界问题，**机器人绝对不可能仅凭预训练就包打天下**。当预训练的天花板显现，Adaptation（自适应）的紧迫性便被推向了最前沿。

但徐梦迪同时强调，强调自适应绝不意味着基础预训练模型不重要。相反，自适应对基座模型（Base model）的基础能力提出了极高的门槛。设想一个基座能力低下的机器人进入人类家庭，即便它具备自我试错学习的能力，但在尝试过程中把碗碟杯子打得粉碎，这种“自学代价”在现实物理世界是完全不可接受的。因此，唯有先拥有足够扎实健壮的基座模型作为安全与理解的底线，在此之上的自适应与上下文学习才能真正具备现实可用性。

`23:51` 斯坦福联培：从长程双臂操作到“创造性工具使用”

博士毕业后，徐梦迪前往斯坦福大学开展博士后研究，合作导师为李飞飞（Fei-Fei Li）与吴佳俊（Jiajun Wu）。在优秀的团队氛围与强力合作者支持下，她在这段时期产出了三个极具代表性的成果，将自己博士时期的构想进一步推向落地：

1. **BEHAVIOR Benchmark 与 MomoGen**： BEHAVIOR 是李飞飞组耗费巨大心血打造的仿真环境基准，旨在解决“具身智能到底应该挑战什么任务”的核心命题。徐梦迪在其中主导开发了名为 MomoGen 的数据生成方法，用于在大规模仿真家政与校园场景中生成高难度的双臂移动协同操作（Bimanual Mobile Manipulation）长程任务数据。

2. **可操控具身策略（Steerable Robots）**： 推动机器人具备更强的 Steerability，使其能够理解并遵循人类极其多样化、带有不同个人偏好的复杂自然语言指令。

3. **创造性物理工具使用基准（Creative Tool Use Benchmark）**： 探索机器人如何像人类一样具备就地取材、创造性使用物理工具的能力。

```mermaid flowchart TD accTitle: 创造性工具使用（Creative Tool Use）评测的三大维度 accDescr: 解析该基准如何从策略决策、视觉感知重建以及物理控制迁移三个层次评估机器人能力 A["创造性工具使用评估体系"] --> B["维度一：多模态大模型推理能力"] B --> B1["理解工具功能面（Affordance）<br/>而非死记工具名词"] A --> C["维度二：复杂物体 4D 视觉感知能力"] C --> C1["柔性、可形变、可切分物体（如蛋糕、水）<br/>的时空重建精度"] A --> D["维度三：灵巧操作与技能迁移能力"] D --> D1["将人类灵巧工具操作姿态与受力<br/>跨体态迁移至机械臂"] ```

徐梦迪对“创造性工具使用”课题展开了生动的拆解：人类在使用工具时，从来不是死板地依照工具的名字来使用，而是依照物理特性、功能面（Robotics 中称为 Affordance）来抉择。例如想切蛋糕却没有专用刀具时，人会自然而然地拿起叉子甚至筷子将蛋糕划开；桌面有垃圾却没有扫帚时，人会拿起一本书甚至直接用小臂将杂物扫走。

为了让机器人摆脱机械死板的规则设定、具备这种灵性，该研究采集了大量第一人称与第三人称视线对齐的人类创造性工具使用数据，并从三个技术维度设立了评测基准： - **多模态大模型的工具选择决策能力**：面对特定非标场景，VLM 能否基于工具的几何功能特征选择替代品并规划使用轨迹； - **非刚体物体的 3D/4D 重建与感知能力**：日常工具操作多涉及切蛋糕等可切分柔性物体（Deformable objects）或流体，这对时空动态视觉重建提出了极高要求； - **灵巧工具技能的迁移能力**：探索现有方法能否把人类灵巧操作工具的手部动态，无缝迁移泛化到多指机械手或夹爪上。

`26:30` 李飞飞与吴佳俊：从“解题人”到“出题人”的导师印记

在斯坦福与李飞飞和吴佳俊两位学术领袖共事的经历，对徐梦迪的研究范式产生了深远重塑。两位导师风格各异却高度互补：

李飞飞展现出的是宏大而极具穿透力的 **Vision-driven（远见驱动）** 风格。她常常在组会讨论中抛出高屋建瓴的诘问，迫使学者跳出单一项目或局部 Benchmark 的局限，去推演该领域未来十年真正重要的本质命题是什么，以及自己应当在其中扮演何种独一无二的生态生态位。

徐梦迪回忆起一个生动的细节：在制定某个 Benchmark 的评测指标时，研究团队起初设计了极其繁杂细致的指标群，包括任务推进百分比进度（Progress rate）、耗时曲线等。李飞飞在审视后一针见血地发问：“你们罗列了这么多指标，到底哪一个是真正生死攸关的？”她明确指出，除了最终任务成功率（Final success rate），其他细枝末节都只是研发过程中的调试参考，并非终局愿景。李飞飞当时援引了爱因斯坦的名言：“把事情变得简单，但不要变得简陋”（Make things as simple as possible, but not simpler），以此告诫团队科研必须直击问题最底层的物理本质。这段经历推动徐梦迪完成了一次关键蜕变：从一名专注于“怎么把眼前题目解出来”的博士**解题人**，成长为一名敢于站在全局视角“跳出来定义核心真问题”的青年 PI **出题人**。

相比李飞飞的宏阔远见，吴佳俊则表现得更为 **Hands-on（亲力亲为、务实深耕）**。从具体项目的架构设计、技术细节推敲，到研究方向迷茫时的心理疏导，吴佳俊都会给予细致入微的支撑。更为关键的是，他始终极力 Push 并鼓励徐梦迪去锚定那些能够建立起自己独特学术标签与辨识度的工作——即打造专属于自己的 **Research Brand（研究品牌）**。两位导师一虚一实、一远一近的默契协同，为她独立执教、搭建清华实验室奠定了坚实的学术与方法论底座。

`30:00` 确立 Research Brand 与从工业界走向清华叉院

在谈及青年学者如何确立自身学术声誉时，徐梦迪认为，能够研究十年甚至更长远的研究问题，本身就应该成为定义自己“Research Brand”（学术标签）的核心。外界常常有人强调研究标签必须刻意追求与众不同，但她觉得这些外在形式都不是本质；最关键的永远是你发自内心觉得什么问题是重要的，并甘愿投入漫长的时间深潜进去。“如果你对一个问题研究超过了三年五年，那本身就已经成了你的一个 Research Brand。”主持人 Koji 借此联想到硅谷创业教父 Paul Graham 的经典文章《如何成就伟大事业》：当你站在远处看某个知识体系时，它像一个表面无比平滑完美的球体；可一旦走近仔细端详，就会发现球体上密布着坑洼、漏洞甚至是黑洞——而那些坑洼和漏洞所在的地方，正是创业的契机与深度科研值得展开的真正起点。

站在博士五年级的十字路口，徐梦迪面临着绝大多数顶尖学者都会经历的艰难抉择：工业界还是学术界？彼时她在 Google 实习了非常长的一段时间，体验极佳。工业界导师不仅给予了她莫大的指导，甚至塑造了她的科研品味（Research Taste）；更重要的是，工业界拥有无可匹敌的算力与工程资源，可以轻易将一个小想法做大规模的 Scaling Up。然而，工业界繁荣的背后往往伴随着“自由度的缺失”。对徐梦迪而言，能否将全部精力自主分配给那些她认为真正重要的问题至关重要，学术界因而成了更契合内心的选择。2023 年，在清华交叉信息研究院吴翼老师的牵线引荐下，她回到清华姚班（交叉信息研究院）参加教职面试。与院系各位老师以及姚期智先生的深聊，让她下定了回国的决心。一方面，叉院聚集了极其顶尖的生源与研究者——在美国做 AI 与机器人方向的学者几乎都会结识极其出色的姚班毕业生；另一方面，机器人学是一门高度集成的复杂系统工程，单纯只做“大脑”或只攻“硬件”在徐梦迪心中都有所欠缺，而清华叉院恰好提供了把软硬件打通、做成真正可落地系统的绝佳沃土。

---

`34:17` 姚先生的建议与“五年后成为顶尖研究者”的面试题

在叉院面试过程中，有一道令徐梦迪至今仍在反复咀嚼的考题并非来自吴翼老师，而是现场另一位评委老师的提问：“你为什么会觉得你五年之后一定能够成为自己领域的顶尖 Researcher？”当时正值毕业季的徐梦迪回答得非常自信，脱口而出：“哎，我觉得我一定可以，相信我做的方向！”但回国任教后回过头来复盘，她坦承当时的回答稍显单薄。如今她对这个问题的深层理解是：研究者必须找到一个真正有长期价值的核心课题——让机器人真正走进千家万户，且能在动态真实的物理环境中持续自我迭代与提升。“如果我沿着这个正确的道路研究五年，我觉得一定不会差的。”

在与姚期智先生的面试交流中，姚先生不仅关切她的学术构想与日常生活，更给出了一条让她在斯坦福博士后期间乃至如今执教都受益匪浅的忠告：一定要学会“Focus”（专注）。姚先生指出，世界上真正重大的核心问题其实屈指可数，而每个人的时间精力又是极度匮乏的；如果把精力摊得过薄、涉猎过杂，最终很可能一事无成。面对主持人关于她“好奇心旺盛”的评价，徐梦迪承认自己确实对各类新事物充满探究欲，因此更需要时刻敲打自己保持聚焦。不过她也意识到，机器人学科本身就是一门典型的集成化学科（Integrated System），在 AI 时代已经无法割裂地定义为“纯硬件”或“纯算法”，研究者既要在核心命题上保持定力，又必须具备横跨机械、控制与前沿学习算法的全局视野（Holistic View）。

```mermaid flowchart TD accTitle: 具身智能研究者的学术专注与系统视野 accDescr: 展示徐梦迪在学术研究中如何平衡姚期智先生强调的核心聚焦与机器人全栈系统视野。

subgraph Focus ["核心聚焦 Focus"] A["核心命题：In-Context Learning<br/>真实环境中持续自我提升"] end

subgraph Holistic ["全局系统视野 Holistic System"] B["机器人本体与硬件"] C["表征与世界模型"] D["控制与学习算法"] end

A --> E["统一目标：家庭与真实场景落地"] B --> E C --> E D --> E ```

---

`37:35` 幸运背后的环境选择与“I 人”破局法则

在外人眼中，徐梦迪从清华车辆工程、CMU 最佳博士论文到斯坦福博士后，再到执教清华叉院，履历光鲜顺遂得近乎“一帆风顺”。但当听到这一评价时，她直言自己一路上踩过无数的坑，经历过数不清的阵痛与转折——从早期的机械工程设计，一步步跨界到强化学习、算法模型，每一次技术范式的换轨都伴随着剧烈的坎坷与不适。如果非要用一个词概括自己的成长，她更倾向于“幸运”。这种幸运并非天降横财，而是每个阶段都能遇到愿意托举、支撑自己的师长、挚友与工业界 Mentor。

在谈及如何跨越陌生环境时，徐梦迪提出了极具启发性的“环境筛选论”与“内向者沟通法”： - **不选“最好”，只选“最适合”**：外界通用的排名或名气只是通用指标，真正的考量是这个环境能否最大化放大自己的独特优势，“就像游戏打怪通关一样，看你的能力在这个环境里能不能翻倍 Double”。 - **主动做信息采集与破冰**：在进入 CMU、斯坦福或叉院前，她会通过朋友网络或写 Cold Email 主动连接前辈。她发现学术界很多资深学者极其热心，只要请求清晰真诚，大家都乐于施以援手。 - **I 人（内向者）的杠杆工具**：作为一名典型的“I 人”，她建议内向的学生不必畏惧社交，可以先自己草拟邮件核心意图，再借助 AI 润色措辞使其得体礼貌，以此克服心理门槛。 - **导师视角下的套磁筛选**：徐梦迪透露，她绝对不会回复一眼看出是纯 AI 代写的套磁信。她最看重学生的“诚意”与“想法落地链路”——能否不仅泛泛而谈兴趣，更能清晰拆解自己对实验室方向的理解，并将兴趣推演成具体可执行的研究问题。 - **机器学习中的“没有免费的午餐”（No Free Lunch）**：任何人生重大抉择（如回国做教职）都有得有失。放弃工业界的无限算力换取学术自由度与全栈系统落地的自主权，是深思熟虑后主动承担代价的清醒决策。

---

`44:44` 具身智能的泡沫与进步：数据与世界模型的钟摆

聊到当下中国具身智能的创业浪潮，徐梦迪将其概括为“进步与泡沫共存”，二者绝非非此即彼的对立关系。喜人之处在于，从底层材料、力觉视觉传感器、本体机械结构，到海量数据采集和多模态大模型，整个系统链路的各个节点都有本土初创公司和科研团队在硬核攻关，社会资本也在密集涌入。长远来看，真实的工业技术演进正在切实行进之中。但与此同时，由于具身智能这一命题远未在技术路线上实现收敛，行业必然充斥着投机与躁动。

徐梦迪巧妙地借用经典控制理论中的物理概念打比方：“就像控制系统里参数没调好引发的‘超调’（Overshoot）和震荡一样，在剧烈变化的技术初期，泡沫是不可避免的。”过去一年多，具身领域的风向经历了从“狂堆数据”到“猛卷世界模型”，随后又重新折返讨论“高质量数据”的钟摆式摇摆。在她看来，这种反复并非方向走偏，而是从业者在不同抽象维度上的反思推进： - **数据**：是机器人的“粮食”，决定了模型视野的上限与经验边界； - **世界模型**：相对于以直接预测控制量为核心的 VLA（Vision-Language-Action）模型，世界模型更加关注“世界运转的底层物理表征与动态演化规律”（Task-agnostic Representation）。

徐梦迪强调，通过穷举任务来做机器人泛化是无法做大规模的（Unscalable），因为现实生活中的任务无穷无尽；让机器人学会世界演化的通用物理规律，才是更为根本（Fundamental）的核心能力。在密切关注的团队中，美国如 Google、NVIDIA、以及聚焦机器人 In-Context Learning 的初创公司 Generalist 和 Rhoda；国内如领波科技发布的 Linbot VAR 等沿袭 ICL 路线的尝试，都是她认为极具技术美感且值得押注的方向。

---

`49:07` 具身的 Scaling Law 信号与 GPT-1 到 GPT-3 的跨越

关于具身智能是否正在出现 Scaling Law，徐梦迪给出了审慎而乐观的判断：业界确实已经浮现出一些信号。例如将预训练动作数据扩展到十万至百万小时级别后，模型在未见过的保留测试集（Hold-out Testset）上展现出了更强的泛化趋势。然而，具身智能领域存在一个极其棘手的暗礁——**评测损失（Loss）走低并不直接等同于实际任务成功率（Success Rate）的提升**。

徐梦迪举了一个极其生动的抓取底座案例： > 机器人总共需要走 20 个时间步（Step）去拿起一个物体。前 17 个步长机器人都在空中移动，并未与物体发生实际物理接触；即便模型在这前 17 步的拟合损失极低、轨迹完美，但在第 18 步触碰物体的瞬间只要发生极其微小的位移偏差或接触力误差，整个任务就会瞬间崩溃报废。

这种“时序上的误差非平衡性”，导致学术界刷出的漂亮 Loss 曲线经常在真机实测中剧烈震荡。徐梦迪指出，真正有意义的具身 Scaling Law，必须证明“随着数据量扩大与模型参数增加，机器人在全新、未见过的物理任务上的真实成功率稳步上扬”。

| 维度 | 语言模型 (LLM) | 具身智能 (Embodied AI) | |:--- |:--- |:--- | | **发展阶段映射** | 当前具身主流近似 **GPT-1**（先 Pre-training，进目标域必须做特定 Fine-tuning） | 终极目标跨入 **GPT-3**（无需微调参数，纯靠 Physical Prompt / ICL 当场解决新任务） | | **容错与时延** | 容错率较高；即使推理等 20 秒甚至 20 分钟用户仍可接受 | 强实时闭环交互（1 秒卡顿都会被视为死机），毫秒级物理反应 | | **评测基准意义** | 存在争议但极大推进了技术迭代 | 极其依赖物理评测（推入真实家庭前需通过严格的压力测试 Stress Test，防止安全事故） | | **开源推荐评测** | 文本自动化 Benchmarks | 推荐 **BEHAVIOR** 基准（涵盖长程日常家庭杂务，场景与物体排布真实，长期维护迭代） | | **上下文维度** | 纯文本/多模态 Token | 具身身体产生丰富交互 Context（物理接触力、视角位移、环境动态、人机手势修正） |

徐梦迪大体认同 NVIDIA 具身研究负责人 Jim Fan 关于“具身智能演进将严格对应语言模型各阶段”的观点，但她特别警示，具身实体天然带有物理危险性（Risky），机器人的上下文环境远比语言模型复杂多样，行业急需能够真实反映物理交互能力的评测体系，而非仅仅停留在仿真跑分。

---

`56:04` 机器人的 In-Context Learning 与数据闭环的“鸡生蛋”难题

谈及实验室当前最重要的研发攻坚，徐梦迪毫不犹豫地指向了机器人的 **In-Context Learning (ICL)**。为了打破大众对机器人既有演示的认知误区，她直接拿行业最普遍的“叠衣服 Demo”拆解：市面上所有的展示都是将衣服叠成方方正正的小方块，这隐含了一个脱离现实的强假设——所有家庭的收纳习惯都是折成方块。但现实极其多元：“像我自己使用胶囊衣橱，衣服全部是卷起来收纳的；另外一个人可能要求衣服严格按颜色排列悬挂；有些人甚至根本不叠只挂起来。”

机器人的 ICL 本质上就是要赋予终端用户“现场重定义模型行为”的能力。它不再要求工程师重新收集数据回炉微调，而是用户在现场给出一段身体手势（Body Gesture）、自然语言提示、甚至当场演示 3 到 12 秒的示范（Physical Prompt），机器人就能就地理解用户偏好并调整动作策略。更重要的是一种元学习能力：机器人第一次学做一道新菜可能需要半小时自适应，在见识过一千种不同任务的上下文之后，它的学习能力被不断强化（Reinforce），下一次面对全新任务可能只需 10 分钟甚至几秒钟，实现真正的“越学越快”。

然而，阻碍这一范式爆发的最大死穴，在于**数据闭环面临“鸡生蛋、蛋生鸡”的工程困局**： 1. **蛋生鸡**：为了让数据飞轮转起来，必须先把机器人部署到千家万户的真实终端或复杂服务场景中，由人类充当 Mentor 进行日常交互教学； 2. **鸡生蛋**：但只有当机器人的基础底模（Base Model）本身已经足够强、现场自适应足够敏捷时，普通用户才会有耐心教它半小时并看到显著进展，否则根本无法迈过实用门槛。

面对这一挑战，徐梦迪在清华的实验室并未好高骛远，而是脚踏实地从真机桌面双臂（Bimanual Setup）配合灵巧手的抓取与装配任务切入，系统收集包含人类修正指示、次优轨迹（Suboptimal Data）、姿态修正与失败重试在内的复合数据闭环。她犀利地剖析了其与传统离线模仿学习（Offline Imitation Learning）的本质分野：传统模仿学习单纯依赖专家数据做行为克隆，本质上是将模型当成静态的任务记忆存储器，期望的仅仅是极其有限的“内插泛化”（Interpolation Generalization）；而多模态的 ICL 数据闭环，旨在激发模型从错误中自我恢复（Failure Recovery）与举一反三的动态泛化能力。

在谈及清华叉院内部同样活跃在具身创业一线的青年学者们（如徐华哲、高杨、陈建宇等）时，徐梦迪表示大家平时私下交流密切。尽管各自押注的技术栈细节各异——有人单押世界模型，有人探索 VLA 与世界模型的混合独占系统——但大方向拥有高度共识：**致力于通过可扩展的通用方法，让机器人走出实验室，在真实人类环境中发挥实用价值。** 而大家公认最硬核的底层难题，正是“数据的定义”：数据从来不是凭空采集的，必须严格由模型所需的核心能力（如平滑控制、失败自愈、视频分割跟踪、3D 深度与法向量重建、乃至即时上下文学习）反推定义，而这正是具身智能顶尖研究者正在全力攻克的深水区。

`01:05:00` 具身数据的融合派哲学：遥操作、仿真、UMI与人类数据

在具身智能的数据路线上，业内存在多种主张且尚未完全收敛。徐梦迪明确表示自己是坚定的“融合派”，因为模型在不同阶段从不同模态数据中汲取的核心能力截然不同。数据方案没有绝对的优劣，关键在于根据模型的能力演进将合适的数据放在正确的位置。

```mermaid flowchart TD accTitle: 具身智能多源数据与训练阶段映射关系 accDescr: 展示仿真、人类、UMI与遥操作数据在具身模型不同训练阶段的对应角色

subgraph Sources["数据来源与特征"] SIM["仿真数据 (Simulation)<br/>贴图/光影/色彩丰富，强可泛化，干净对齐"] HUMAN["人类日常数据 (Human Data)<br/>成本极低，覆盖海量真实场景，与本体解耦"] UMI["通用夹爪数据 (UMI)<br/>成本与本体相关性介于中间"] TELEOP["遥操作数据 (Teleoperation)<br/>与机器人真机本体强绑定，成本高但保真度顶尖"] end

subgraph Stages["模型训练流程"] PRE["预训练 / 中期训练 (Pre-training / Mid-training)<br/>建立视觉鲁棒性、世界场景理解与任务先验"] POST["微调 / 后训练 (Fine-tuning / Post-training)<br/>目标域对齐、动作形态适配与高精度控制"] end

SIM --> PRE HUMAN --> PRE UMI --> PRE UMI --> POST TELEOP --> POST ```

- **遥操作数据（Teleoperation Data）**：最贴近机器人实体硬件与动力学特性。虽然采集成本高昂且扩展受限，但在微调（Fine-tuning）和后训练（Post-training）阶段不可替代，必须依靠它与目标域（Target Domain）实现精准对接。 - **仿真数据（Simulation Data）**：支持灵活生成物体表面的纹理（texture）、光影贴图与色彩扰动，极大地增强了视觉层面的泛化与鲁棒性。仿真数据天生具有较高的干净度，非常适合在预训练（Pre-training）与中期训练（Mid-training）阶段充当对齐桥梁，激发大规模网络视频中预存的物理常识与空间感知。 - **通用夹爪接口数据（UMI Data）**：处于仿真与遥操作之间的过渡形态，兼顾了一定的机器人交互特征与更亲民的采集成本。 - **人类数据（Human Data）**：徐梦迪格外青睐人类数据。人本身就是一套极致成熟的通用本体，日常采集方便快捷、边际成本极低，能铺量渗透到极其多样化的物理场景中。 - **形态迁移与关注点分离（Morphology Transfer）**：针对外界常质疑“人类骨骼形貌与机械臂差异过大”的观点，徐梦迪认为人类身体无非也是一种特定的形态（Morphology）。通过有效的跨形态迁移算法，模型从人类视频中学到的核心内容并非具体的机械关节位姿，而是人机共用的任务本质——环境如何在交互中演化、操作中物体的受力与状态如何转变。

---

`01:08:24` 给年轻具身研究者的建议：书要读厚再读薄，尽早真机上手

面对当前机械、汽车等传统工科背景学生大规模涌入具身智能领域的趋势，徐梦迪为初涉研究的年轻人给出了两条核心法则：

1. **广泛吸收与深度内省（“书要先读厚，再读薄”）**：很多学生常常被宏大酷炫的概念所吸引，可一旦被追问底层兴趣细节便语焉不详。这是输入量严重不足导致的盲目。只有先海量阅读文献、广泛交流，经历把书读厚的过程，才能提炼出最核心的真问题，明确自己真正想攻克的命题。 2. **行动力转化与实操真机（Hands-on Experience）**：喜欢机器人并不稀罕，难的是将直觉层面的兴趣尽早转化为动手能力。具身智能的真机部署（Real-robot Deployment）极度依赖实操经验积累，硬件调试、通信抖动与物理接触反馈中的隐性知识只有在亲自干活中才能真正体会。

---

`01:10:00` 博士招生中的“Research Taste”与大开大合的组会机制

在挑选博士生时，徐梦迪有一道考察学术审美品味（Research Taste）的必问考题：“你最感兴趣、或者你认为迄今做得最好的一篇学术论文是什么？”这道题的难点在于预设了候选人不仅要有足够的阅读面，还要具备独立的价值判断体系。

曾有一位申请者的回答令她印象深刻：对方展现出对扩散模型（Diffusion）的浓厚兴趣，但引述的并非当下具身领域大火的应用层论文 Diffusion Policy，而是回溯追溯到了最初奠定理论根基的原始 Diffusion Model 论文。这种不盲目追随下游应用热潮、能够“刨根问底”寻找思想源头的探究欲与视野广度，正是顶级研究者极为关键的品质。

对于本科生，徐梦迪实验室采取“宽进”机制，将组会打造成完全开放的硬核学习社区： - 组会采取半开放双周会（Biweekly）形式，广泛接纳本科生旁听。 - 每次前半段 30 至 45 分钟为通识导论（Tutorial），由学生担任主讲人，以科学史与学派演化视角系统性梳理特定方向的技术流派脉络；徐梦迪会在前期介入协助搭建知识框架与叙事逻辑。 - 后半段 15 至 30 分钟由汇报人展示具体科研项目的阶段进展，以此保证组内全员快速建立完备的领域知识图谱。

---

`01:12:49` INTJ 导师的共情时刻：携手博士生从零开启“初创实验室”

徐梦迪在性格上属于典型的 INTJ，但同时具备极高的人际敏锐度与共情（Feeling）特质。她坚信团队凝聚力依靠核心成员的情感粘合来维系，在非工作场景展现关怀能极大拉近与合作者、学生之间的心理距离，建立长久互信。

她由衷感激第一批选择加入实验室的博士生。对于年轻助理教授（AP）而言，实验室创建初期就像一家“二人创业公司（Startup）”，选择跟一位刚起步的导师读博本身充满未知与风险。在招生面试时，她会直截了当地把丑话讲在前头： > “你如果来我这读的话，你可能会需要承担一些实验室基础设施构建的角色，甚至做很多看起来比较杂乱的脏活累活。”

学生们不仅欣然接受挑战，彼此之间也展现出了极高的默契度与信任感。大家目标高度纯粹，各司其职贡献时间与能力。科研之余，徐梦迪会组织大家聚餐唱歌，用心营造一种“长久值得信赖的真朋友”而非单纯学术雇佣关系的组内氛围。

---

`01:15:47` 应对论文大爆炸：AI 泛滥时代的筛选机制

随着大模型席卷各行业，学术界迎来了前所未有的“论文海啸”，具身智能与机器人领域的投稿量成倍翻番。不仅高质量成果频出，大量由 AI 代笔、注水拼凑的平庸之作也充斥其中。

面对鱼龙混杂的文献环境，徐梦迪形成了独特的筛选过滤机制： - **同行信誉过滤**：主要依赖 X（Twitter）等社交媒体追踪高水准学者的主动转发与自发宣传。学者对自己真正骄傲（proud）的代表作才会大范围推广，作者列表本身构成了一道高质量筛选网。 - **识破 AI 写作套路**：大量 AI 生成的论文粗看条理清晰，但细读之下推理论证漏洞百出，实操干料极其匮乏。徐梦迪对此类行文敏锐度极高，一旦识别出浓重的 AI 代笔痕迹，会迅速降低关注权重。

在个人日常工具链方面，她习惯将 ChatGPT 与 Gemini 穿插轮换使用，借助不同模型的观点碰撞激发灵感。除了常规的知识检索与调研总结，她最近也开始尝试与大模型展开非工作维度的思维对话，例如共同推敲、打磨其实验室的命名关键词方案。

---

`01:19:22` 具身马拉松的十公里处：用极致乐观迎接拐点

将具身智能的演进比作一场 42 公里的全马，徐梦迪判断：“我们现在大概跑到 10 公里，也就是全程约四分之一的位置。”

当前行业虽有突破，但具备高泛化性、真正通用的智能机器人尚未真正落地于非受限的真实生活世界。然而对于未来发展，徐梦迪保持着极高的行业乐观：

> “未来三到五年是非常关键的时间节点，我们非常有望通过 Scaling 观察到一个明确的范式转变或者明确的爆发拐点。”

对话尾声，主播与嘉宾达成共识：在技术探索的长跑中，做研究、做具身、搞创业，悲观往往容易显得洞若观火、永远正确，但“只有乐观才可能最终取得成功”。

## Notable quotes > `00:00` 让机器人能够从现实的场景中不断地持续提升自己。 — 徐梦迪

> `26:30` 把事情变得简单，但不要变得简陋 — 李飞飞（转引爱因斯坦）

> `30:00` 如果你对一个问题研究超过了三年五年，那本身就已经成了你的一个 Research Brand。 — 徐梦迪

> `34:17` 你为什么会觉得你五年之后一定能够成为自己领域的顶尖 Researcher？ — 清华叉院面试老师

> `34:17` 如果我沿着这个正确的道路研究五年，我觉得一定不会差的。 — 徐梦迪

> `37:35` 就像游戏打怪通关一样，看你的能力在这个环境里能不能翻倍 Double — 徐梦迪

> `44:44` 就像控制系统里参数没调好引发的‘超调’（Overshoot）和震荡一样，在剧烈变化的技术初期，泡沫是不可避免的。 — 徐梦迪

> `56:04` 像我自己使用胶囊衣橱，衣服全部是卷起来收纳的；另外一个人可能要求衣服严格按颜色排列悬挂；有些人甚至根本不叠只挂起来。 — 徐梦迪

> `01:10:00` 你最感兴趣、或者你认为迄今做得最好的一篇学术论文是什么？ — 徐梦迪

> `01:12:49` 你如果来我这读的话，你可能会需要承担一些实验室基础设施构建的角色，甚至做很多看起来比较杂乱的脏活累活。 — 徐梦迪

> `01:19:22` 我们现在大概跑到 10 公里，也就是全程约四分之一的位置。 — 徐梦迪

> `01:19:22` 未来三到五年是非常关键的时间节点，我们非常有望通过 Scaling 观察到一个明确的范式转变或者明确的爆发拐点。 — 徐梦迪

> `01:19:22` 只有乐观才可能最终取得成功 — 徐梦迪与 Koji

## Mentioned 徐梦迪, Koji（杨远骋）, 清华大学交叉信息研究院, 清华大学车辆工程系, 约翰斯·霍普金斯大学, 卡耐基梅隆大学 (CMU), 斯坦福大学, 李飞飞, 吴佳俊, 姚期智, 吴翼, 严少泽, Howie Choset, 杨恒, Chelsea Finn, Deepak Pathak, Jim Fan, 徐华哲, 高杨, 陈建宇, Paul Graham, Google, NVIDIA, DeepMind, Physical Intelligence, Skild AI, Generalist (GEN-1.5), Rhoda, 领波科技 (Linbot VAR), MAML, Prompt Decision Transformer, Hyper Decision Transformer, Algorithm Distillation, LocoFormer, Robot Utility Models (Robot-TT), BEHAVIOR Benchmark, MomoGen, UMI (Universal Manipulation Interface), Diffusion Policy

## Video description ➤ 本周「十字路口」的嘉宾是清华叉院助理教授徐梦迪。从清华车辆工程出发，途经 Johns Hopkins、CMU，再到 Stanford 吴佳俊、李飞飞组做博士后，2024 年初她选择回国，加入清华交叉信息研究院。她的核心命题是机器人的 in-context learning (ICL)：让机器人到一个新环境，通过一两次交互当场学会新任务，而且越学越快。 本期节目还有一个及时的注脚：就在我们录完节目后的第二周，Generalist 发布 GEN-1.5 ——只给机器人看一段 3-12 秒的动作示范作为 "physical prompt"，不做微调、不更新参数，它就能当场尝试完成新任务（10 项任务平均成功率约 59%）。ICL 随即成为全球具身智能领域最受关注的话题之一，而这正是梦迪持续押注的方向。 除了 ICL，我们还聊到： - 预训练的天花板

- 真正的泛化

- Scaling Law 的信号与陷阱

- 跑通稳定的数据闭环

- 叠衣服 demo 的误导

- 行业的泡沫与进步

- 年轻 PI 的真实生活与研究选择

穿越所有的技术话题之后，这还是一期关于人生选择、环境与长期主义的对话，希望可以是给所有站在中美之间、学术与产业之间、跟随热点与坚持长线之间的年轻人的一份参考。 🎬 我们的视频播客将同步上线于 @Koji杨远骋 的视频号、抖音、小红书、哔哩哔哩、Youtube 等平台。 📒 文字版将发布于 @十字路口Crossing 公众号。 🟢 从四驱车到机器人 00:21 快问快答：年龄、毕业院校、MBTI、星座、一句话介绍 02:31 清华车辆工程，通向机器人的起点 05:59 为四驱车捡废铁的女孩 07:18 衡水中学，竞赛班里的另一面 12:02 CMU 最佳博士论文：预训练之外 19:19 Adaptation 为何越来越受重视？ 🟢 从解题人到出题人 23:51 创造性工具使用：没有刀怎么切蛋糕？ 26:30 斯坦福：李飞飞与吴佳俊，两种导师 30:57 从斯坦福回到清华 34:17 5 年后，凭什么成为顶尖研究者？ 40:06 选最好的，还是最适合的？ 42:24 她会回复怎样的套磁邮件？ 🟢 具身 Scaling Law 的信号 44:44 具身创业：进步与泡沫共存 46:39 数据与世界模型，风向为何反复？ 49:07 低 Loss，不等于高成功率 50:47 机器人还在 GPT-1 阶段？ 56:04 In-Context Learning：机器人能懂你家吗？ 58:19 数据闭环的“鸡生蛋”难题 01:03:21 具身数据，难在定义需求 01:05:18 遥操作、仿真、UMI 与人类数据 🟢 只有乐观才可能成功 01:09:56 博士面试里的 Research Taste 01:14:08 跟年轻 AP 读博，是一场创业？ 01:17:25 AI 论文泛滥，还能怎么看？ 01:19:22 具身马拉松，跑到第几公里？ 欢迎订阅「十字路口」：🚦 我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。 🚦 十字路口是乔布斯对苹果公司的一个比喻，形容它站在科技与人文的十字路口，伟大的产品往往诞生在这里。AI 正在给各行各业带来改变，我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者，和他们一起，探索和拥抱新变化，新的可能性。 👦🏻  主播 Koji：我创办了十字路口，发起了 AI Hacker House 这个新一代 AI 创业者的社群空间，在真格基金担任 Venture Partner 投资合伙人。我相信科技尤其是 AI 是我们这一代人最大的价值创造机遇。Koji 的即刻，Koji 的网站

[Source](https://www.xiaoyuzhoufm.com/episode/6ab0504f0916f6f8b4466ece)

中文简报

清华徐梦迪称具身预训练难敌长尾 押注上下文学习破局通用机器人 离线预训练无法彻底解决开放物理世界的长尾任务，具身智能唯有依赖无需更新参数的上下文学习与现场物理适应，才能跨越类似GPT-1的初级阶段并迎来真实泛化拐点。 徐梦迪回顾了从清华车辆工程、CMU最佳博士论文到斯坦福博士后并加入清华叉院的经历，指出具身智能绝不能单靠离线预训练包打天下，机器人在开放世界中必须具备基于上下文学习（In-Context Learning）的现场自适应与持续进化能力。对谈深度拆解了具身Scaling Law的阶段性信号，揭示了评测低Loss并不直接等同于物理任务高成功率的暗礁，并阐述了世界模型以及遥操作、仿真、人类多源数据融合的技术路径。徐梦迪还分享了青年PI搭建实验室如初创公司般的真实体验与对学术审美品味（Research Taste）的考察标准，将当下具身智能比作42公里全马刚跑完的10公里，强调唯有穿越泡沫的长期主义与极致乐观才能迎来爆发拐点。 清华叉院助理教授徐梦迪指出，具身智能行业正浮现Scaling Law信号，但由于机器人存在时序误差非平衡性，低评测Loss并不能直接等同于真机高成功率。 (49:07) 单靠离线预训练和模仿学习无法解决长尾开放世界问题，机器人未来终局在于上下文学习（In-Context Learning），让机械臂像大模型一样通过3至12秒物理示范即时调整策略。 (12:02) 具身智能数据闭环存在“鸡生蛋”困局：需先入户采集导师式交互数据，但底模不足时用户无耐心教学；解决之道在于从桌面双臂等受控真机场景切入收集包含失败恢复的次优轨迹。 (58:19) 在数据路线上坚定走“融合派”：仿真与低成本人类数据适合在预训练与中期训练注入场景理解及物理常识，高保真遥操作数据则专攻微调与目标域控制对齐。 (65:00) 若将具身智能视为42公里全马，当前行业大概跑到约10公里处，未来3到5年内极有望通过Scaling迎来明确的爆发拐点与范式转变。 (79:22)

Reading summary

清华大学交叉信息研究院助理教授徐梦迪指出，具身智能的真正泛化无法单靠离线预训练与数据堆叠，核心在于赋予机器人类似人类的即时适应能力（Adaptation）；行业终局需转向以上下文学习（In-Context Learning）驱动的部署期动态调整。 超越预训练：从参数记忆到上下文自适应 (12:02) 徐梦迪认为，人类强大的泛化能力依赖“超强先验”与“快速适应”两根支柱。此前具身行业过度押注离线模仿学习，试图通过扩大模型与数据规模覆盖所有任务，但长尾开放世界的动态性让纯预训练路线撞上天花板。机器人进入家庭等非标环境后，物品变化与用户偏好具有极高不确定性，不可能仅凭出厂预训练包打天下。 在自适应路径上，徐梦迪更看好上下文学习（ICL）。她引述 DeepMind 的算法蒸馏（Algorithm Distillation）等研究指出，模型参数本质上可以等同于一个自适应强化学习算法本身；将探索试错与历史轨迹输入上下文窗口，能让 Transformer 在无需修改权重、避免灾难性遗忘的前提下，在部署推理期实现当场自我提升。 具身定标律的暗礁与GPT-3演进愿景 (49:07) 针对具身智能的 Scaling Law，徐梦迪认为预训练动作数据扩展至十万至百万小时级别后已出现泛化信号，但具身领域存在特殊暗礁：评测损失（Loss）走低不等于实际任务成功率提升。例如在 20 步抓取任务中，前 17 步在空中的拟合损失哪怕极低，第 18 步接触物体瞬间的微小位移误差就会导致整个任务彻底报废。 她将当前具身主流阶段类比为大语言模型的 GPT-1（进入特定目标域必须做微调），而终极目标是跨入 GPT-3 范式——无需微调参数，仅通过数秒物理示范（Physical Prompt）或动作提示即可当场自适应。由于物理实体具备试错危险性与毫秒级强实时闭环要求，真实物理压力测试远比仿真跑分更为关键。 破解数据闭环困境与多模态数据融合 (56:04) 推广即时自适应面临“鸡生蛋、蛋生鸡”的数据困境：若想让模型学会适应，必须部署入户收集真实人机交互与修正数据；但若基座模型初始能力不足，试错造成的高昂破坏成本将阻止终端用户充当导师。因此，上下文学习必须建立在高度健壮的基座模型底线上。 在数据构建路线中，徐梦迪主张根据训练阶段灵活分配的“融合派”哲学：仿真数据用于预训练期建立视觉鲁棒性与空间常识对齐；人类日常视频边际成本极低，核心价值在于通过跨形态迁移提炼物体演化规律；而高成本、高保真的真机遥操作数据，则应严格留到后训练阶段负责目标域的精确接触对齐。 从解题到出题：学术定力与系统工程视野 (26:30) 回顾在斯坦福师从李飞飞与吴佳俊的经历，徐梦迪完成了从单纯解决具体任务的“解题人”到定义长期核心命题的“出题人”的转型。李飞飞强调直击问题最本质的单一终极指标（如最终成功率），吴佳俊则推动她打磨独有的学术标签（Research Brand）。 面对工业界充沛的算力诱惑，她为了研究自由度选择回到学术界。结合姚期智先生关于“精力有限、聚焦（Focus）核心大问题”的忠告，她认为机器人是一门高度集成的全栈系统工程，研究者既要在算法自适应的长期主线上保持专注，也要兼具打通本体硬件、感知表征与控制执行的全局视野。 徐梦迪将具身智能的发展比作全长 42 公里马拉松的 10 公里处，真正的通用机器人尚未在非受限真实世界大规模落地。但她审慎预测，未来 3 到 5 年将是非常关键的窗口期，随着 Scaling 与自适应路径的结合，具身智能有望迎来明确的范式转变与技术爆发拐点。

Source quotes

[0:00] 徐梦迪: 让机器人能够从现实的场景中不断地持续提升自己。 [26:30] 李飞飞（转引爱因斯坦）: 把事情变得简单，但不要变得简陋 [30:00] 徐梦迪: 如果你对一个问题研究超过了三年五年，那本身就已经成了你的一个 Research Brand。 [34:17] 清华叉院面试老师: 你为什么会觉得你五年之后一定能够成为自己领域的顶尖 Researcher？ [34:17] 徐梦迪: 如果我沿着这个正确的道路研究五年，我觉得一定不会差的。 [37:35] 徐梦迪: 就像游戏打怪通关一样，看你的能力在这个环境里能不能翻倍 Double [44:44] 徐梦迪: 就像控制系统里参数没调好引发的‘超调’（Overshoot）和震荡一样，在剧烈变化的技术初期，泡沫是不可避免的。 [56:04] 徐梦迪: 像我自己使用胶囊衣橱，衣服全部是卷起来收纳的；另外一个人可能要求衣服严格按颜色排列悬挂；有些人甚至根本不叠只挂起来。 [70:00] 徐梦迪: 你最感兴趣、或者你认为迄今做得最好的一篇学术论文是什么？ [72:49] 徐梦迪: 你如果来我这读的话，你可能会需要承担一些实验室基础设施构建的角色，甚至做很多看起来比较杂乱的脏活累活。 [79:22] 徐梦迪: 我们现在大概跑到 10 公里，也就是全程约四分之一的位置。 [79:22] 徐梦迪: 未来三到五年是非常关键的时间节点，我们非常有望通过 Scaling 观察到一个明确的范式转变或者明确的爆发拐点。 [79:22] 徐梦迪与 Koji: 只有乐观才可能最终取得成功

Original transcript

[0:00] 嗨,我是Koji,本周十字路口的嘉宾是徐孟迪,孟迪是清华插院的助理教授,在回国任教之前,他先后求学于清华Jones Hopkins以及CMU,也在斯坦福的吴家俊和李飞飞团队做博士后,你好孟迪,欢迎来到十字路口。嗨大家好我是徐梦迪非常感谢Koji还有十字路口的邀请我们还是先从我们的传统块案快答开始帮助大家了解你然后请问梦迪你的年龄我今年30.5岁三十点五个这么精确求学经历刚才我介绍过了那我们就直接下一个MBTI和星座我的MBTI是INTJ星座是摩羯一句话介绍一下你当前花时间最多的研究方向是什么我现在最重要的研究方向是让机器人能够从现实的常境中不断地持续提升自己。这个是持续多久了呀我知道好像很早之前就在做泛化啊对我从在CMU之后其实就在演着泛化的方向来做的当时是觉得机器人不能只依赖于他预先学到的一些知识也包括我们在看人类的为什么他有这么强的泛化性其实有两个层面嘛一个层面是人有很多的鲜艳知识然后另外一个层面是人能学知识学得非常的快我觉得真正的泛化机器人有类似人的这种快速学习的能力嗯当时是什么样的一个契机让你开始进入这个研究方向的呀我是到CMU之后其实就开始做当时叫robot learning的方向本身就是把一些机器学习的一些嗯技能吧然后一些方法用到机器人上面去当时还不叫聚身智能这个非常fancy的名字我在CMU的时候非常喜欢有一个工作叫MAML是Charles Alfin一个Stanford教授也是现在Physical Intelligence创始人的他的一个非常有名的工作MAMO他有一个非常厉害的地方是他能够让机器人学到他没有见过的任务我当时觉得这个是真正机器人未来的一个方向看到这个工作的呢当时确实这个工作非常的有名我们实验室当时有一些同学其实对就是ML的一些前沿方向都非常的感兴趣所以大家其实平时也会互相交流啊分享一些文章然后我们看的文章其实都非常的杂所以其实也是看到了这个方式嗯我记得在清华本科你是车辆工程系对就是从车辆工程系到巨升这个中间感觉隔着一个变形金刚这个这个是怎么一个转型的过程啊我本科的时候确实学的是汽车啊我们专业叫车辆工程啊我们现在想其实当时去汽车是一个非常正确的事情因为汽车其实学的非常的嗯全面我们其实本科的课程会涉及到比如说机械设计然后一些汽车电子其实就跟现在的电子专业的学生学的会交叉性还蛮强的以及一些算法相关的,所以其实本科的时候就是从机械设计到相对于算法都有所了解,然后还真正的转到robotics是契机,其实应该是我大二开始做科研的时候,我大二的科研是跟着机械系的一个老师,严少泽老师当时做的研究,当时研究其实是bio-robotics,本身我们做的是研究蜜蜂的一个翅膀的超弹性恢复因为其实蜜蜂它在比如说采蜜的过程当中它会非常多的有翅膀和周围环境的一个碰撞然后但是蜜蜂的翅膀不会因此而受到就是损害因为它就是它通过结构有一个超弹性的这个性质在里面所以我们当时是研究了这个然后后来也因此为契机吧我后来到了CMU的一个Hobby Choset老师的组里面然后他们组非常有名的就是Bio Robotics然后我后来鼠岩的时候是大三暑假的时候是到了Hovey的组里面设计了一个折形机器人让这个折形机器人去爬管子然后当时就开始从设计逐渐地转到了机器人的一些算法的设计可以理解成就是从最开始做机械设计后慢慢开始做算法但这个感觉也不是一个非常常规的在一个这个车辆工程系的学生会选的路对是但我们系的学生后来发现其实学生有一个特点就是自己想做的事情就会非常努力的去找跟自己去match的地方来做这样的事其实我也有一些学长当时到了严少泽老师组里面包括杨恒学长现在也是在哈佛的一个AP然后以及当时我有一些高中的同学就是跟我一起学竞赛的同学也 [5:00] 在严少泽老师的组里面所以因此就算是阴差阳错也非常幸运巧合的到了严老师的组里刚才提到高中做竞赛嘛然后也想听你讲一讲自己这个在中学甚至小学阶段的经历你是一路都是那么学霸吗其实我现在特别不敢称我自己为学霸因为后来慢慢的包括不断求学出国等等看到了非常非常多厉害的人觉得大家都是非常有想法的可能有些人把精力放到了可能学业上面另一些人把精力放到了自己更感兴趣的事情对然后我的小学其实过得还挺轻松的就是我小学没有上过什么补习班其实课余的时间都是要不就参加一些学校的活动要不就是可能跟朋友玩耍你是河北人对吧我是河北人河北哪里啊我河北恒水人所以你是衡水中学吗对我高中是衡中的然后小学的时候其实家里也给了我一个比较自由的环境吧就相当来说所以其实我小学还是过得非常非常快乐的当时有一个小的兴趣爱好就是拼四驱车就当时有一个非常火的动漫叫四驱兄弟就是我小的时候然后当时他有一些就是那种可以自己买过来零件然后拼起来的那个不同的四驱车这个是我当时很大的一个兴趣爱好当时觉得这是一个很烧钱的兴趣爱好后来还想着赚钱还赚钱吗其实院里有好几个小朋友都非常喜欢这个四驱车想要去赚钱去拼所以我们当时还有一些赚钱的方式就是用四驱车赚钱还是用别的方式赚钱来买四驱车怎么赚啊这个可能就是我们当时会放学的路上会就是捡一些就是小垃圾然后去卖这样但是其实还蛮赚钱这很像一个城市寻宝游戏对什么样的垃圾能卖到去买四驱车的钱对当时会有一些那种钢铁的零件对然后会有一些人会回收这种钢铁的零件现在想起来小的时候还是蛮有毅力的对而且感觉你很小就埋下了车辆工程系的种子对后来想了想是为什么也是我后来喜欢车辆工程的原因因为一直我对机械的结构觉得都非常的酷就是它能够把一些很小的零件整体的组装到一起其实是有非常多代的工匠的这个知识的积累迎接成了一个非常精密的椅子所以横水中学的体验是什么?我在横中的体验就是我自己的体验其实还挺好的因为我高中的时候学的是竞赛我是竞赛生所以我们算是竞赛生的话主页就是学竞赛嘛然后跟高考班的管理的要求其实还挺不一样的于某种程度上你是要激发学生自己更motivated所以其实整体上我们高考的课程学的就跟高考的班级会对有不同怎么才能成为竞赛生啊应该是高一第一个学习结束的时候会整体的做一个意向的调研就老师会过来问你是不是对哪课更感兴趣我当时是在数学还有物理当中挑的然后觉得物理是一个非常就是ground到现实世界的这么一个学科我来选了物理OK我听说很水就是大家早上五点多钟六点钟就起床就甚至可以安排系到一分钟五分钟然后我有一个朋友他后来在复旦然后现在在挣个基金所以他说他们那个时候甚至可能一个礼拜都只有一次洗澡机会对确实他行中包括不管是对高考班还是竞赛班其实我们要求还是挺一致的就是早上起来要跑操上午要跑操有固定的非常严格的作息时间他会把高一高二高三的时间也都会分开,让大家错峰去食堂等等,这个层面上的管理其实还是挺严格的。因为现在外面对衡水模式是有非常多的讨论的,大家也都很感兴趣,这个衡水模式最后出来的这个学生,他会是一个怎样的发展,他是会很多元,还是他会很这个应试教育,还是会怎么样,就你自己的观察是什么?我的观察其实主要是基于我自己的经历嘛,其实精彩班的大家一个很强的特点是每个人都有非常强自己的想法就是为什么大家会选择来做竞赛这个事因为竞赛本身它你需要非常强的时间的commitment比如说现在高考就是高考生他们有一些暑假寒假的时间其实我们都是花这些时间来做集训的对所以我的竞赛班的同学其实有一部分人确实会出国也成长成了非常优秀的researcher有一部分人也确实是在国内发展的所以当时竞赛其实听起来是一条有点不归路的感觉会有这种感觉吧因为竞赛的话确实你 [10:00] 能像其他的高考学生一样你去学特别多就是正常科目里面的知识我们其实是竞赛考试然后到保送生到自招之后最后才确定了可能比如说没有保送的这个机会了之后才去进入到正常的就是我们会merge进正常的高考班那其实那个时候时间就很短对就已经到了大三的下学期吧高三的下学期对对对那这个其实有点像创意它是破釜成舟的对但是当时觉得是非常有意思的一个经历然后当时学竞赛的时候觉得非常有干劲因为你身边的朋友都跟你有同样的一个愿景你们都是希望比如说把这个题解开小到把一个题解开然后大到比如说冲就是省一啊到之后的金牌啊等等这些所以其实是有很强的motivation做这个事也不觉得苦竞争关系强吗竞争关系不强我们当时可能是因为教练引导的比较好OK但事实上其实可能清华每年在河北竞赛保送就还是就是有限的指标的了嗯竞赛的话它是你要考到如果你会先进省队我考的比较好你拿到省一省一里面会挑选一波进省队然后进完省队之后会参加一些就是国家集训队然后等等然后一直到就是国家的整体的考试也是有的但是我们当时其实更像是一种同伴关系其实竞争的关系是比较弱的蛮好的嗯他怎么引导能够营造出这样的安极氛围我觉得主要是大家都是从零成长起来的就是更像是大家在一起抱团然后把这个问题解决所以如果是所有人都在同一个阶段然后慢慢成长的话我觉得这个占有的情意其实要比竞争的这个要兼顾的多你在SMU的时候当时也是机械工程系然后PhD毕业的时候你当时那个论文是系里的最佳博士论文讲对我觉得那个应该是很难的吧一年估计就一位还是几位我们那一届是一年有两个人所以当时你的paper内容是什么呀我当时CIS叫Building Adaptable Generalist Robots说起来有点奥口还是一样对对对本身就是希望能够让机器人有它变化环境的这种能力因为预训练本身它肯定是非常有用的我也非常相信skating这个事情但预训练不是全部或者说我们不能寄希望于机器人只通过预训练然后它就是一个OK非常牛的100%可以成功的这么一个个体然后它到部署环境之后是一定需要适应具体环境的一些变化因为人的现实的环境我们叫它开放世界开放世界的一个特点就是这个任务是在不断变化的我家里可能今天它有20个物体但是可能一周之后它就会有30个物体并且跟之前的物体的种类也会不一样然后以及人其实在不同的场景里面他们的preference就它的偏好也是在不断变化的然后这个本身就是一个开放世界的体现那反过来到机器人的一个能力的需求的话就是希望让机器人能够适应这种环境的带来的变化并且能够在这个变化的环境里面去提升他自己的这个解题思路是什么当时其实探索了几个解题思路第一个就是Inconized Learning机器人的上下文学习第二个是通过Test Time的Training就改变这个模型的某种小部分的参数它其实本身其实都是为了一个Vision所努力的就是让机器人能够不单单是受限于Ted for Training然后能够通过Interaction通过Context在现实的场景里面去不断的学习一个路子第一个就是In Conduct Learning这个路线然后它本身是从我有一个工作叫Prompt Decision Transformer然后那个工作开始的然后当时是21年的时候做这个工作现在看起来也是五年之前的工作了当时主要的Motivation是看到了GPT3GPT3当时是有了Income as Learning的能力我当时觉得非常的酷因为这个时候你就不像一个传统的这种ML的一个想法就是你训练完了之后然后如果你有了一个新的任务你去做Funtuning然后GPT3它是有一个能力就是上下文学习也就是说你可以通过Prompting的方式你给它一个某种任务的定义或者是一个输出的Format这个模型可以根据你的Prompt然后改变它自己的输出因为你就不需要在就是部署的环境当中重新做训练它其实是一种更高效快捷的一种adaptation的方式然后当时就想呢机器人是不是也能够有这样的就是上下轮学习然后以及快速adaptation的能力我们就做了Prompt Decision Transformer这个工作当时做的也是从一个 [15:00] 相对简单的setting出发的是给这个模型一个机器人的demonstration,然后让它能够去adapt到不同的locomotion的任务,然后以及manipulation的任务。然后后来第二一个也是From Decision Transformer的续作吧叫Hyper Decision Transformer它就是沿着刚刚说的第二个路子就是我在test time的时候就是部署的时候我去改它的模型的一定的参数但改参数这个事是一个它像一个双刃剑吧它其实你能够让这个模型解决你的target的那个任务但它有可能你改的参数更多了之后其实你模型之前的一些预训练的知识就会被忘记所以我们当时取了一个折衷的方法让这个模型先学一个hyper network就它有一些语言这种知识的这种就是被inject到了你的hypernetwork的参数里面然后再通过这个hyper network生成一个小量的adapter然后这个adapter其实只占整体的transformer的可能参数的0.5%0.5对所以你就只需要去adapt这个0.5%的参数所以效果怎么样呢效果的话其实在小量的预训练的前提下其实hyper network是更容易work的但现在因为大家的数据量其实是在不断的积累然后预训练的规模也在不断的积累所以其实我自己本人的话我就真正的Future direction其实还是Income as Learning就是用Prompting的这种方式因为你就不需要改模型的参数或者你只需要在让模型学或者是收集更多个monitask的任务之后你再多这种batch的参数的update所以咱们现在做的事情和当时做的事情的延续或者发展体现在什么地方主要是发展体现在什么地方自从做完了Problem Design Transformer之后其实通过这种Incontent Learning的方式让模型有快速的Depotation的能力的Work后来又有了还蛮多的有一些工作我觉得还蛮不错比如说有一个是叫Algorithm Distillation是Demind的research的一个工作它有一个非常有意思的想法是你的模型到底应该等价于一个什么样的智能就比如说大家在现在用一些VLA的时候其实本身你是把这个模型当成模型的参数等价让它包含了一些任务相关的支持就因为我们都是在用expert的demonstration同时用模仿学习的方式去把这个expert demonstration的支持distill到你的模型参数里面去嘛这个是一种对应还有另外一种对应就是algorithm distillation里面提出的一个想法就是你模型参数应该等价于一个算法嗯就是你模型猜数应该等价于一个RL的一个algorithm这是它整个文章里面的一个主要的claim它做法其实就是说你会把一些suboptimal的trajectory放到你的context window里面去然后让模型根据它的过去的一些不好的就是执行的动作啊或者是histor然后让他不断的去改变他自己的future action所以你可以把这个类似于Transformer的结构它就拥有了这种自我提升的这种能力它的参数里面就其实是等价于一个RL的Algorithm的所以这个最后比如说它在模拟器还是在真机上它有一些这个落地的效果吗它在模拟器里面有然后但是它当时做的很多的任务都是更偏向于Navigation或者Locomotion比如说走迷宫然后或者是一些Locomotion的人物比较难得沿着这个方向的话后面还有一些工作比如说像就是之前Skilled有一篇文章就是Deepak他们组发了一篇文章他们公司发了一个文章吧叫Localformer也是一个非常厉害的能够把这种Adaptation的方式就用Transformer其实Incontent Learning这种Adaptation的方式给他部署到就是一些四组的集团上面去但其实也是更偏LocalMotion的然后再到后面还有就是RobotTT最近NV发的一个工作它就是可以让机器人看一些人的长城的manipulation的视频或者用TT layer的方式去改变这个模型的一些behavior让机器人也能够类似的有这个human demonstration里面的一些动作就听起来大家这个思路都还是蛮发散的就你现在有感觉到就有收敛的这种迹象吗我觉得大家对adaptation的重视性最近是越来越多了的因为可能是因为大家在发现通过大量的scale data然后以及scale模型的预训练之后你机器人确实是一个没有办法只是通过预训练来或者只是通过expert demonstration based imitation learning来解决的这么一个那在此技术上adaptation就变得尤其的重要最近是我觉得这个方向是很重要的 [20:00] 是在逐渐的被大家形成一种新的共识来讨论的我觉得还蛮有意思的因为这个其实听起来好像有一种这个也不用特别去讨论就它就自然应该是重要的那为什么到现在它才变重要呢对因为有一个debate吧就其实我们在看人的为什么他的泛化能力非常强有两个原因第一个原因是我们有非常多的积累就这个积累其实从生物进化的角度上来讲我们本身就有非常强的这种所谓小脑控制的这种能力然后另外一个是人在不断学习的过程当中其实你的prior knowledge都是通过某种memory的方式或者某种就是方式存到了我们的先验知识里面的然后这是第一个人有非常强的prior第二一个是会比较快这个我觉得是本身为什么人的放话能力非常强的然后大家其实之前的主流的方式在做的就是通过scale数据以及scale模型然后来让这个模型的比如说Multi-Task的能力变得更强然后InstructionFollowing的能力变得更强它就有点像通过数据采集的方式先让这个模型有足够强的Prior然后但是并不代表就是说daptation这个部分不重要这可能也是为什么大家最近开始越来越多的意识到就是机器人的模型确实是需要有很强的daptation的能力的这个也是从实际的机器人之后的应用场景出发的这么一个考量但同样来讲的话机器人为了有比较强的daptation的能力他确实对你的base模型就是你的积模的能力是有一定的要求的因为我们不希望说他这个机器人到了一个实际的场景当中去他可能能自己学但是他学的这个过程是非常的可怕的比如说他可能会把杯子打碎等等这些这个是我们需要避免的然后呢为了避免这些我们就需要这个模型有比较强的积模的能力所以大家其实从fire开始做也说好立即然后你读博士后是去了斯坦福然后当时是在吴家军和李飞飞的组当时做什么工作呀当时其实是我觉得做了三个我还非常满意也比较感兴趣的工作多长时间内这三个工作对我有非常强的collaborator对对非常幸运有很强的collaborator其实当时做的主要就是把我之前博士的一些想法变得更落地更实际了一些然后我第一个参与的工作是behavior challengebehavior benchmark其实是飞飞组里面一个投入了非常多的时间经历的这么一个benchmark他本身在做的事就是尝试回答一个问题吧解决什么样的任务Behaviour里面其实有非常多的simulation的场景它是一个simulation的benchmark包括一些家用场景然后包括一些学校的场景里面有非常多的open source的一些asset就是researcher都可以使用的所以他回答的问题就是什么样的任务比较重要然后我在里面的角色是帮着生成了一些数据集然后我们当时proposed了一个方法是momagen就是生成by manual local manipulation的一些simulation里面的数据优优独播剧场——YoYo Television Series Exclusive它其实跟我之前的工作相比的话就会更落地一点因为之前就没有太涉及就是local manipulation就是by manual local manipulation就是它任务还是很难的尤其是很多长城的人然后第二个做的是让机器人变得更steerable其实跟我的主线研究就会更加的相关就是steerable其实本身就是让机器人能够follow更多的更diverse的人的不同的language instruction不同的preference然后这个也是发表了亮片相关的工作我还挺喜欢的然后第三一个是一个creative to use的benchmark就是希望机器人能够有一天能够有类似人的这种创造性的物理工具使用的能力这个benchmark要怎么做呀又要creative又要benchmark对我们当时是从人的数据开始猜忌的这个benchmark其实想要回答的问题就是说我们发现人在实际用工具的时候不是根据工具的名字来使用它的我们其实是根据这个工具的我们叫它Function或者是在Robotics里面有一个专用的名词叫Fordance来使用的比如说举个例子就是如果我们今天想切蛋糕但是我手边没有这个蛋糕的刀具那我其实可以用叉子或者用筷子等等我都是可以把这个蛋糕切开的所以其实我们在实际使用工具的时候是依据于这个工具它的工具功能而不是它的名字来使用的然后或者类似的比如说我想清扫桌子上的一些物品我可能如果有一个调说我可以直接用但是如果没有的话我可以用书本甚至可以用这个机器人的小臂然后人的小臂吧来整 [25:00] 清扫桌子上的物体所以人会有非常多这种就是创造性的使用身边的一些物体的这种行为我们其实是希望让机器人也有类似的这个行为所以这个benchmark最开始就是采了比较多的人的这种就是创造性工具使用的一些数据机我们其实是采了非常多一三十角对齐的这种数据OK那这个benchmark要怎么去评估呢就是是把什么样的任务丢给机器人是比如说就切蛋糕擦桌子还是什么这个其实也是很有意思的问题我们当时是定了三个想要去benchmark的东西然后第一个是现在的这种多么太大模型它挑选工具或者是生成这种工具使用的Trader的能力OK然后第二个是从Vision的角度出发的因为其实用工具的时候很多时候我们都是为了去操控一些就是非常见的或者是非钢体的这种物体比如说我想切蛋糕它是一个柔性物体对吧还是一个可以分开的这种柔性物体然后以及这种就是水啊等等这些就deformable object所以其实这个这些物体它的4D的重建就会相对来说比较困难所以第二一个我们benchmark的就是现在的一些不同方法的一些3D reconstruction还有4D reconstruction的能力然后第三个benchmark的就是机器人是不是也可以有类似的这种工具使用的能力就现在的方法有没有一个现成的方式可以把人的这种就是灵巧工具使用的能力给它transfer到机器人的灵巧工具能力上面去所以是三个维度吧这还蛮有意思的所以当时在飞飞组里面就是比如说飞飞是什么那样的风格然后组里面是一个什么样的氛围我当时是有两个的Wiser有两个advice因为他们的风格还挺不一样的给我的收获也很不同嗯飞飞的话其实会更就是vision driven一些就是她经常会问我一些问题嗯事实上我去跳出单个的项目然后单个的benchmark去思考比如说我们的领域未来十年甚至更远的时间什么样是真正对这个领域重要的问题以及你在这个领域里面应该扮演一个什么样的角色就这两个问题就是她exactly问过的吗其实不是其实是她的她会在我们讨论当中非常能够引起你思考的一些问题其实总体归结下来会落地到这样的思考思考未来以及思考自己最能做出的这个最significant的贡献可能是什么对有具体的问题你还记得吗比如说当时我们在定benchmark的一些masherk的时候嗯我们其实是希望比如说能够给参赛者一些更fine green的一些metric比如说它的progress的一些成功率然后或者它的一些时间等等我们会把这个mashhook定的非常的细致然后但是当时飞飞就说这些mashhook你觉得哪个是真正重要的其实就只有一个就是你finals success rate,其他的都是你从development的角度上来想它是重要的但是从final的愿景来想它不是真正重要的真正重要的只有你的success rate所以当时就赢了爱因斯坦的一句话叫把事情变得简单不是更简单所以就是让大家希望大家能够思考更本质的一个问题你要让事情变得简单而不是更简单对当时其实也是思考的蛮多的因为可能从PhD成长到Postdoc到PI的话其实你考虑的事情确实是会不一样的PhD考虑的是你希望把这个事做成所以你需要看非常多的更细节的一些Metraker来知道你怎么样去debug你的方法然后但真正的你变成一个PI之后最重要的那个点只是要跳出来对这不是只是这句问题而是要定义问题对对对从解题人变初题人对然后嘉隽的话其实相对来说就是他会更憨丧我跟他能讨论的事就是比如说我的project应该做什么样的东西然后以及具体的细节design我都会跟他讨论以及我如果有一些迷茫的时候他也会push我去做我真正能够建立我自己的叫research brand的一些工作其实他给了我非常多的support这个还挺难得的对所以他俩其实是非常好的组合就是作为Advisor的CodeAdvisor的组合所以当说到这个为Search Brand的时候要怎么理解这个事情就每个人都应该去追求对吧但这个要怎么追求有没有一些可以分享的心得其实我自己的想法就是research brand这个事儿可能是要从你的research的兴趣出发的,嗯,就是其实真正能够,嗯,让自己……花时间 [30:00] 研究十年甚至更远的一个研究问题本身就应该是能够定义你的research brand 的一个问题我觉得他有些人会说你的research brand需要可能跟别人不一样啊等等这些他其实都不是本质的最重要的还是说你觉得什么样的问题是重要的然后你就得花时间去研究他然后你如果对一个问题研究到了超过三年五年那本身就已经成了你的一个research brand听起来还是要这个和创业很像就是要从自己自身的热情出发对从相信的地方出发我最近也看这个Paul Graham他说就是他写了一篇文章叫如何成就伟大事业然后里面就讲说其实你对一个事情感兴趣的时候你会发现远看它像一个球这个知识体系像一个球感觉这个表面已经非常的平滑完美但是你只要走近它就发现这个球体它坑坑洼洼它甚至里面有大量的漏洞黑洞那只要坑洼和漏洞黑洞的地方就是创业的机会这是这个或者研究值得做下去的这个起点那又是什么原因你决定回国呢因为听起来这个一路做下去是很容易我是二三年的时候回清华姚班就是教察系研究院这边来面试的然后当时也是聊了院系里面的很多的老师也包括姚先生当时怎么决定要来面试当时其实二三年的时候我基本上就已经进入到了我的博士五年级嘛就是在考虑自己之后的一个发展方向对我来说其实就是两个路要不就是大的来讲就是工业界和学术界两个的选择当时我是在Google实习了非常长的一段时间我在Google的体验也非常的好我的mentor其实也给了我很多的帮助包括我自己research taste的一些构建其实他们都帮了我很多以及在工业界的话确实你会有资源做更大规模的事情相对来说学术界确实是会有一些资源上的限制所以当时也是思考了很多到底要去工业界还是学术界的这个问题去咬班面试的契机是当时就是有幸就是认识了吴易老师然后他当时是帮我类似于是做了一个bridge然后拿到了这个插院面试的这个机会然后面试的时候其实跟院协议老师聊包括跟咬先生聊我的体验都还是蛮好的因为就是插院的话本身它有几个强项吧第一个是人都很强就是学生学生非常的强相信就是很多做WATX以及包括做AIA方向的人在美国其实都会认识到一些咬班的人他们其实的researcher有非常多的咬班的毕业生是各个领域里面顶尖的research对人的层面是一个然后第二一个是有考虑到我自己的研究方向是做机器人的机器人本身它是一个系统你单纯只做大脑或者只做硬件我觉得都会在我心里有点欠缺然后那我就需要找一个最合适的地方让我能够把机器人做成一个真正能够落地的系统那总和考虑下来的话就是查阅这边的机会其实是我的最有的选择嗯然后前面其实你有提到在工业界和学术界你其实想了很久对后来是怎么这个做决定的应该很多人现在也面临同样的十字路口对对对是的我当时在做决定之前也包括来插约面试之前其实找了非常多的就是我的朋友啊师长啊来寻求一些建议然后到后来发现真正不是自己做决定的还是你自己心里具体想要的是什么比如说对我来说的话虽然就是工业界它可能有很多的算力的支持然后你可以把你一个小的想法更容易的去scall up但是它同时也会有一个自由度的缺失其实对我来讲的话自由度这个事是非常重要的因为我希望我的时间能够被最大化的分配到我觉得重要的问题上面去然后那这个时候学术界就是我的向我来说比较optimal的choice但这个可能每个人的想法都会有不同但我觉得最后落脚点还是自己心里真的觉得什么东西重要有意思然后刚才你也提到回来插阅面试体验很好然后之前有一次我们聊天你说这个吴亦当时问了一个让你印象深刻其实那个问题不是吴老师问的,是另外一个老师问的,但是那个问题是,我觉得后来也是我一直在思考的一个问题,这个问题是你为什么会觉得你五年之后一定能够成为自己领域的顶尖的researcher?我当时回答其实并不太好我当时回答应该是非常自信的说哎我觉得我一定可以应该是类似这个风格的自信对对对相信我做的 [35:00] 是但后来逐渐的想就是这个回答其实不太好我觉得其实还是说如果我找到了一个我感兴趣的topic就比如说事实上机器人能够真的有一天进入到千家万户同时也能够在实际的环境当中不断提升自己这个是我非常感兴趣的一个topic如果我沿着这个正确的道路研究五年我觉得一定不会差的就还是专注对专注然后以及真正的去有深度的去思考这个问题当时和姚先生面试的时候他问了一些什么你还记得吗姚先生其实我们聊的还是就其实包括生活然后包括研究其实都会有数几他当时也是问我为什么会想要回到插院我其实当时回答跟现在回答差不多因为我觉得差人是一个蛮好的平台然后我也可以有自由度做我想做的事情姚先生问的一个或者他给我的一个建议我觉得是后来在我伯后的时候,也非常受益的一个建议是要把关注所以就是要把自己的注意力跟focus一起嗯因为重要的问题可能真正重要的问题其实没有几个的然后一个人的时间又是非常有限的如果把时间摊开到太多的事情上其实这个结果可能是并不太好所以他给我的建议就是一定要focus在自己真正感兴趣的事情上其实我听起来觉得你好奇心也蛮多的对我我对很多事情都很好奇所以你可能要反复的去提醒自己要专注专注对对但后来我发现其实不同领域它都是有一些互通的东西因为robotics它本身就是一个很大的就是集成性的这么一个学科有时候有些人会做硬件然后有些人会做算法然后包括做一些learning algorithm等等这些但其实到最后真正如果你的目标是把它放到游泳和落地上面的话其实这些东西都是需要有所了解的其实Robotics不存在一个说我只做硬件我觉得它已经逐渐的尤其是在这个AI时代的话它已经不是这样定义的了就你需要有一个比较全面的Holistic的这种知识系统确实那你自己现在要怎么平衡呢就一方面你可能要专注在去做自适应做泛化另一方面其实还是要了解非常多这个领域在发生什么那这个领域发生的事情感觉每天都很多头条新闻对对我其实现在看头条新闻看的没有那么多我可能还是看一些文章或者一手的一些消息会看的相对来说多一点因为其实最近国内的robotics确实发展的非常的火爆,然后其实国外最近也是robotics已经是一个非常hot topic了,但其实还是要花很多的时间到自己真正研究的地方会好一些,因为如果一直是看就是这些消息的话,很容易会迷失,我觉得这个也是我在跟一些美国的一些我的朋友交流的时候大家的一个反应,就是其实真正重要的事情还是你手头的,两年更长时间觉得会改变这个领域的一些东西还是需要沉下心来来做所以你现在认为重要的事情就是机器人的自适应和发化对我现在认为真正重要的事情还是让机器人有During Contest Learning的能力让他能够不止被你预训练的时候看到的数据所定义让这个模型真正的有去根据环境的收集到的信息比如说他的Feeder Case然后或者是一些人的DemonstrationRobot Demonstration以及人的Body Jetser然后一些Correction的指示这些自己运行的这种体在场景当中不断学习心的人物其实在很多外人看来感觉你的人生非常的一帆风顺你会自己听到这个词的时候是一个什么样的感受你会这么形容自己吗还是你觉得有别的词我其实还是踩了很多的坑的也还是有很多就是转折的点的比如说看我自己的发展经历的话也会发现最开始做设计然后后来就是逐渐的转到了做learning啊做算法做模型其实中间每次转型都还是相对有一些坎坷但如果我总结我的成长经历的话应该更多的是幸运因为每一个阶段都有非常好的朋友能够支撑我然后老师能够支撑我mentor能够支撑所以我自己的词应该是幸运那这个幸运它是比如说从天而降的还是你其实觉得获得更多的幸运它也有一些方法或者这个规律这个有一些巧合但可能是我交到的朋友都非常好吧对嗯就是大家能够有一个比较好的支撑的 [40:00] 能够互相帮助所以某种程度上我觉得一个人成长成什么样子一部分是自己决定的一部分是你选择了一个什么样的环境环境会反过来影响你你再怎么选择环境呢?这是个很好的问题我自己选的时候其实更多的是看能不能我在这个环境里面能够发挥出我自己最大的作用我只是能够最大化我自己的兴趣点以及我的能力可知可很有意思啊我以为你要说就是选最好的其实不是对因为好不好这个事情还是一个可能大家会有一个general的metric但是对自己个人发展来讲的话还是要选最适合自己的就是你需要看比如说你选择了一个事情之后你的能力是不是在经过这个或者一个环境之后你能力是不是能够翻倍不是double就像游戏通关一样就是你要不断不断的去通关然后当成一个优势了那在没有进到这个环境之前所以不管是这个去查阅或者之前去SAMU去Stanford你要怎么能够尽可能多的了解这个环境是不是真的能够就是放大自己的能力呢适合自己呢这个时候就是信息采集会非常的重要我自己的话就是我会比如说找我的就是朋友先看能不能connect到如果不行的话我就发右键connect一下后来发现其实research里面有很多人都是非常热心的就是如果你正确的表达了自己的request大家其实都是会愿意互帮互主的那其实对很多Iron来说这个蛮难突破的你有什么小技巧tips给到大家吗对我自己其实也是个Iron但后来觉得I的就是你在做自己的专业的领域的时候你其实是需要maximize你自己的方法的我觉得即使是爱人的话也是可以有一些比如follow的一些protocol比如说你可以让AI帮你draft一下就是邮件但是你要自己先写一个出版的邮件然后让它polish一下变得更就是更plied的或者是更合适一些的这样一种方式其实现在工具还是蛮多的你只要正确的使用工具的话还是我觉得现在已经没有什么事情是不能达成的嗯那换一个问法就是现在应该也有很多这个学生或者你的这个学弟学妹们也会来给你发邮件或code call什么样的这种邮件和code call你会更愿意回复啊有一些邮件其实明显看出来就是纯AI写的然后这个其实我就不会毁了因为还是如果要发邮件给别人的话最重要的是表现出你的诚意对吧然后呢诚意体现在什么方面呢第一个你真的对这个领域有了解然后对这个方向是有了解的这个其实是把你的兴趣点他考察就是你把你的心血落实到实际的工作上面这个练路是不是能够走通有很多人可能只有兴趣但是没有落实这个其实就是一个需要注意的点如果他明确的能够分析出来就是他的兴趣体现出来他的兴趣然后同时能够分析出来他的愿意做的东西然后这个就是一个比较有想法的表现有想法的学生我一般都是会愿意去在我们prostate到下一步多聊一下的蛮有意思的然后刚才其实你也提到自己其实面临过很多的转型不止一次你之前感觉自己最tough的一个比如说所谓的人生十字路口抉择时刻是什么呀其实最tough的一个选择确实就是要不要回国其实某种程度上也是选工业节和选学术节它其实对我来说其实是一个非常大的考虑然后也是考虑了非常多的时间因为我自己的科研的生涯绝大部分时间其实都是在美国的然后当时也是会犹豫一下是不是这个能够回国能够适应然后它肯定是有很多挑战的我特别喜欢ML里面有一个概念叫no free lunch有免费的午餐嘛就你选了一个决定你可能就要承担他的就是可能他一些稍微来说比较弱的一些层面这个其实也是经过了非常多的考虑刚刚提到就是说我自己发现我最看重的还是我的自由度就我以及我希望做这个机器人把它变成一个整体的system让它能够实际的落地所以呢这样综合下来的话回国去做教职是一个我的ultimate choice所以你回来这一年多应该大量的见到了非常多的在巨升领域的你现在真的要做什么? [45:00] 感觉是什么目前中国目前的巨生创业现状我其实到回国之前就了解了一些觉得非常的exciting就是大家都非常有干劲的然后沿着这个机器人整个系统的不同层面在做事情但其实我回来包括之前了解,包括现在的了解,一个整体的感受就是其实有非常多实际的进步,但是也会存在着一些泡沫。但它两个其实不是互斥的东西好的地方是确实在整个机器人系统的层面比如说从就是材料sensor然后到本体然后再到数据然后再到模型其实你都能看到对应的一些公司国内的公司在沿着这个方向做公关然后也会有非常多的资源就是沿着这个方向然后再被投入所以长远来讲的话我还是非常乐观的我觉得它一定是能够有实际的进步包括现在也是有实际的进步正在发生的但同时也会存在着一些优优独播剧场——YoYo Television Series Exclusive泡沫就因为他巨生这个事他本身还没有收敛对吧然后所以大家是研制不同的bet沿着自己相信的方向在前进的那肯定就会有一个焦点的一个转变有时候可能之前是在沿着数据可能慢慢的在点到世界模型然后后来又慢慢的可能有些人又在开始关注数据所以它是一个焦点在不断变化的过程当中那在这个比较多变的情况下泡沫其实是一定存在的就像控制里面你可能会有些超条啊等等这些超条是什么超条就是你可能PID参数调的不好了你可能它就会震荡就说会有一些震荡好上次你有提到吗就感觉去年找你聊的很多都是这个说先做数据对吧对然后上半年就是大家都在做世界模型然后最近又开始讨论数据你感觉这个中间的这种转移是因为什么样的原因在发生吗其实是大家在看问题的角度会稍微有一些变化,但我觉得它其实不是完全的转移,就包括刚刚提到的话,其实大家的关注点是在逐步的变化的,你可能是从数据到模型,然后可能再到数据,可能之后又到模型,所以它本身是大家在不断的思考说这个行业里面什么是真正重要的问题,然后但这两个问题其实都是非常重要的,因为它其实不是互斥的,它不是两个路线,而是在看两个不同的层面,就是非常稀缺的那数据决定的是你这个模型它能够看到什么东西然后模型的话包括世界模型它相对于VLA来讲的话它是可能是相对VLA是一个新的路线因为它更关注于你的就是representation是什么你对世界的理解是什么然后这个跟VLA更任务相关的这种路线的话确实是不太一样的然后我其实自己本身也是比较相信就是世界模型的这个路线但是是我们叫他任务不相关但任务这个事是一个非常容易不 scalable 的一种。方式因为任务实在是太多了你很难通过穷举的方式但如果你能够通过用世界模型的方式让他学到这个世界变化的一个规律他其实是更防的门头的一种能力嗯有意思然后在中国和美国你分别最关注哪些公司或者一些实验室啊我现在关注的还是挺多的嗯看的时候其实主要是在看哪些公司跟我的研究方向会比较相关,跟我的belief会比较相关,比如说美国的话,他也肯定是会关注的,然后还有就是一些大公司像Google NV,还有一些出装公司像Generalist,还有Rodah。我觉得他们的路线都是我觉得还挺有意思的尤其Rhoda他们其实正也在做一些就是Inconnect Learning然后的一些尝试然后国内的话其实也会有一些公司的工作我也还蛮喜欢的比如说领波他们最近发的Linbot VAR其实也是沿着ICLIncontest Learning的路线在做我觉得也是非常有意义的工作最近没有看到什么Skinlog的信号吗其实我觉得还是看到了一些的但是不是我们自己的其实是一些其他的公司发的一些结果吧比如说能看到有十万小时到一百万小时你的预讯的数据被scale up之后即使你能够在一些hold out就是没有见过的数据及testset上面它能够有比较好的效果但大家现在测的更多的是叫所谓的loss但机器人里面有一个很tricky的点是你的loss跟你的成功率不是直接挂钩的就你可能你的loss很低但是你final的这个success rate它可能不一定是低的它会有很多的震荡就举个例子就是比如说我们要拿 [50:00] 可能一共是花20个step20步去拿到这个base可能前17步都是你跟这个base没有接触的然后即使你这前17步fit的非常的好如果你第18步就是你真的跟这个base有接触的时候它就是误差比较大这个任务其实就很容易失败所以它会有一个这种templar上面时序上面的一个这个步不平衡的情况在所以就会导致你的loss跟你的成功率其实大部分的时候它是不是直接相关的所以我觉得可能真正之后如果大家能够在看之后的skilling law假设能够有一个skilling law它是能够展示出你的数据逐渐增多然后你的模型逐渐变大然后你的success rate你在没有见过任务上面的success rate是逐渐升高的我觉得这个是真正有意义的或者我想要见到的所以的skating了嗯嗯就目前你觉得有一些信号但是这些信号没有那么的强对哎其实大家都很喜欢聊一个问题就是机器人到底有没有他的GPT moment你觉得会有吗我觉得会有我还是非常相信scaling这个事情那现在来讲的话如果要做一个对比现在的主流的居住模型其实还是在沿着这么一个我有一定的fait training然后fait training完了之后我根据我的target domain做一些fine training这个其实就可以类比成就是language model的更偏向于GPT1的时候其实它GPT1本身也是你需要做有针对性的后训练你才能够去解决这个相应的任务但我自己真正希望能够做到的是相对来说GP3的时刻其实就是你能够通过这种ICL的方式通过prompting的方式给这个模型相关的任务一些的信息但是你不需要通过fine training而是只是通过context来告诉这个模型它具体需要做什么这个时候就会把fine training的比重降的更弱一点它其实也更容易通过ISL进到更多的场景完成更多的任务对对普通人也可以用起来对对在巨声领域当我们去关注这个Skilling Law它带来GPT Moment的时候你觉得有哪些benchmark是特别值得关注的吗有没有这样的榜单什么的还是你觉得其实也不需要这样的benchmark有可能它就像GPT Moment一发生它自然像魔法一样所有人就能够感受到了我还是觉得应该会需要有一些benchmark尤其是巨身的话因为它跟Language Model相比Language Model发展其实确实有很多Bunchmark对吧就大家虽然也是有比较多的争议但它确实是在某种程度上前期发展的时候是帮助了模型的发展的巨身的层面我觉得Evaluation或者叫Bunchmark会变得更加的重要因为巨身你是有一个身体的就是你有一个Physical Body然后这个时候就会让Evaluation的时候你不能只是Evaluate这个模型的然后他的失败的情况然后以及risky的情况都是需要通过一些预先的这种benchmark然后来告诉这个模型developer以及告诉用户他的能力的边界是在哪里所以他的benchmark就会变得更加重要那现在领域里其实做benchmark大家有很多公司有一些避远的就是自己内部的一些品测的标准然后这个就有一点无从夺置然后那开源的一些benchmark的话还是想推荐一下Behaviour因为它本身确实是更长城的一些任务而且它有比较多的家用的一些环境家庭的环境然后以及物体的一些布置可能抓牌就是会有别人会criticize的时候就是会有一些sim to real的这种gap但是你从模型能力来讲的话eventually simulation只是一种环境所以Behaviour这个Bunchmark从你们当时做到今天它一直是有人在维护和进化的吗对它一直是有人在维护的然后它的应用性也是在逐渐的提高的以前在上半年的时候英伟达的这个金范他有一个就感觉中美都刷屏的演讲啊他是认为这个巨声的发展会这个严格的去对应语言模型的几个阶段嗯你认可吗你觉得这个也是会有类似的对比吗我觉得我总体上是认可的比如说像Language Model里面大家已经知道的比如说Scaling啊跟您了以及你会有一些ponation model出现然后需要有incontest learning的能力这些其实在剧生里面也是会出现的但可能不一样的是会有一些侧重点的不同然后以及机器人有它领域的一些独特性刚刚提到有一点就是机器人里面你的安全性是需要再往前放的就是你在部署之前你需要有一个类似的这种stress test你才能够真正的部署到场景里面去啊 [55:00] 这些其实是会比language model这个层面是更强烈的关键也更急迫的一些问题另外一个是机器人的他的context会更多样因为他有一个身体所以他的flexibility就会更强你可以观测周围的环境然后你的context里面就会有更多不同的含义这个是第二个层面所以其实总体上来讲我觉得机器人一定是会逐渐被scale up机器人模型是一定会被scale up但是关注的点可能会有前后的不同对因为我自己在想其实今天就大家都愿意用SOTA的语言模型嘛所以我给他一个任务有时候20分钟才给我回复但我觉得完全OK因为就等呗反正我很多任务同时在跑但是对机器人来说是不可能的对就是一秒钟我都觉得这个他是不是死尽了我想去拍一拍他对对对实时性确实也是一个非常重要的点因为巨山的模型你肯定是不能希望于他20分钟给你一个reaction他其实是需要实时的跟周围的环境有交互的所以我感觉就是还是很难有蛮多工作需要去功课任重到远我们前面聊蛮多行业的观察思考就是再回到你自己的工作你现在在就是比如说最近一两个月你做的最重要的事情是什么其实最重要的我们是最近沿着Incontest Learning这个路线在不断的往前走我想再解释一下就是Incontest Learning它具体是在巨生里面到底是什么样的含义以及它最终可能会enable什么样的能力对举一个简单的例子就比如说大家看到非常多机器人的diamble是点衣服对吧就拿举点衣服这个例子来举例就大家看到的叠衣服都是叠成方块然后它其实有一个假设是每个人家里的衣服都是叠成方块的对但其实不是就比如说我自己我用胶囊衣橱那我的衣服都是卷起来的然后我希望说这个机器人他到了我家里之后我告诉他OK你看我衣服是这么叠的我说会把它好好的卷起来然后另一个人可能到了机器人到家了之后他会说我的衣服都是按照固定颜色摆放的有些人可能甚至根本不用叠我就是把它挂起来所以其实Incontestor令本身想要解决的就是他希望让这个模型有被终端用户定义的这种能力这种的用户可以根据自己的偏好需求去改变模型的一些具体的能力然后一起改变模型的behavior这个是我们可能最终希望机器人能够实现的一个事情然后另外就是假设机器人最开始比如说我做一道菜他不会做然后我想让他做一道菜但机器人不会做我可能给他demo一下然后类似的场景可能机器人学了比如说1000个之后最开始他可能需要半个小时adapt要就是十分钟或甚至更少的时间adapt其实我们本身在训练的是这个模型快速学习新的任务的能力所以它如果能够被扑到更多的场景然后更多的家庭然后甚至服务场景等等这些之后因为它在不断的去reinforce它的这种学习的能力它其实是会学得越来越快的所以我其实非常相信就是Internet Learning它是一个能够最终让模型去scale up的这么一个方式这一点还是依赖蛮多外部突破的不管是本体也好还是这个世界模型也好甚至这个比如说我觉得能想到非常多的事情我觉得现在他最可能做不到的那个点是会比如说输在哪里或者bug出在哪里最难的点其实是嗯能不能让这个模型有一个稳定的数据的闭环因为其实这个方式刚刚提到说你是需要做一个跟场景的结合的,包括你真的把这个机器人放到你的中端的家庭或者是一些服务场景里面去,然后你需要有合适的mentor来教这个机器人。来做事以及这个机器人能够说让人在交了比如说一定时间半个小时之后他能够有心而意见的一些进展这样的话你的中东用户才会愿意用对吧然后你的数据闭环才能够真的开始转起来那这个有一个就是鸡胸蛋诞生机的问题吧对就是你的base模型需要足够好你的学习的能力你的学习的速度还会速过快然后但是呢我们的模型又是需要有一个这种你先得能进入到这个场景里面去然后让用户开始用这个模型的这个一个base能力先给他激发出来所以这个其实是能不能跑通这个数据闭环其实是最risky的一个点咱们现在跑通了什么样的数据闭环吗简单的跑通的闭环现在是什么样的 [60:00] 对我们现在其实在做一些比较简单的桌面任务的一些人的一些修正指示然后机器人可以根据人的修正啊指示demo然后来改变他自己的behavior还是先从桌面任务开始做的这都是在真机上是吧对都是在一个by manual setup就是双臂的一个场景然后同时呢也会有一个灵巧手所以其实我们最终想做的还是就是全身的灵巧操作咱们做的这个事情和离线模仿他们之间的这个关系是什么相同不同是什么比线模仿一个相当来说大家公认的定义的话就是你会有一些专家的数据然后这些专家的数据会被我用一些就是监督学习的方式就是invitation learning的方式然后来学到这个其实本质上还是违规到我们刚刚讲的就是Transformer跟Algorithm Decolution它的去其实你这种Invitation Learning本身是你把这个模型当成了一个任务的记忆的这么一个模块如果这样通过大规模的训练之后你的expert数据你如果想要去解决一些generalization的场景就是让它解决一些没有见过的任务的话你其实本身是寄希望与这个模型有一些内插性的范化叫intervalation generalization就是这个模型比如说我看到了桌上的五块的十个位置然后我再给它一个新的位置也在一个相关的范围之内它可以把这个任务给解决但是它其实是没有学习新的任务的这种能力的因为它本身是某种在memorize你数据里面的一些这些知识然后我们想做的其实更多的是让这个模型有针对性的看到不同类型的数据比如说他能看到一些subultimal的数据然后看到一些人的body gesture然后language instruction修正的一些指示以及人的demo然后robor demo等等这些他其实这种rich的就是offline的数据其实能够帮我们激发出不同的一些模型的能力他其实远远会超过通过这种imitated expert demonstration,能够赋予的模型的能力。对因为其实说到插院大家会想到一些名字啊就现在在创业的领域很活跃的这个助理教授比如说徐华哲高杨陈建宇等等就是你们最近有空坐下来聊天吗就是大家会一起开会吗大家其实私下里确实都还挺忙的就是其实没有一个时间说能够大家全部坐下来一起聊但私下里会有一些沟通其实大家做的东西我觉得总体来讲大致的vision都是一样的使用过scale up的方式去落地到一些应用场景让机器人真的能够实际的有用但大家细节上的bat会有一些不同比如说有些人可能更bat down世界模型有些人是更想要做融合独占比如说vla加上世界模型的这种独占短期来讲我觉得这个是一个很好的事情因为确实还没有最终的收敛是大家共同感兴趣的话题是什么共同感兴趣的话题就是如何能够让模型去scal up其实包括其实平时也会讨论就是数据相关的然后以及如何能够让这个模型进入到人的一些场景里面去之前跟高老师也是聊过一些相关的topic所以聊到和数据相关我记得之前我们沟通的时候你有提到你觉得它特别难的地方在于需求的定义对这可以展开讲一下吗就这个为什么难在这里其实数据本身它是会被喂给模型的对吧但数据的定义其实不是凭空定出来的数据定义是靠模型的能力定出来的所以大家在定数据的时候本身在做的事就是模型到底需要什么样的能力你会反推出来就是数据应该怎么样去被采集比如说如果我需要这个模型它的动作更平滑我就需要我的数据都是这种平滑类型的数据如果我希望这个模型它有这种filia recovery,就是从失败当中学习的能力的话,我的数据就会需要采集这个VLA模型,不管是还是世界模型,它能够有一些filia,然后有一些修正的这样的数据。所以其实本身数据它的定义应该是由模型的能力来定义的。只是大家现在对模型的能力的定义还相对来说比较模糊吧我觉得这个也是肯定是有很多researcher正在逐渐思考的问题比如说我是不是需要让它的base模型有这种分割的能力然后一些CVE任务相关的能力就分割tracking还有一些depth相关的一些重建然后normal的一些重建等等这个就是更偏CVE的一些能力然后还有就是比如说incontest learning它本身也是一种 [65:00] 新的能力它是让模型能够从更多样类型的这个比如说modality就是人的一些手部的指示身体的指示然后语言指示这些学习其实不同的模型能力确实是会反过来定义你数据的一些需求的听起来是还蛮复杂的就要从模型出发而在模型的这个大家的主张上面其实也没有收敛嗯那现在比较主流的这些踩数据的方式有一些自己的这个就是呃或者你有一些自己觉得肯定不行的我是融合拍因为我觉得不同的数据它模型从你们学到的东西应该是不一样的比如说如果是一些TileOperson的数据的话它确实是最接近这个机器人本体的数据所以它非常适合用在比如说你训练的后的阶段不管是通过Fintuning还是Post Training这个阶段其实你是希望让它跟Target Domain更直接相关的所以TileOperson的数据在这个层面它肯定是最好的然后那Simulation的数据的话就是它比较容易或者是这种texture就是物体的表面的这种贴图你可以给它做比较多的泛化颜色等等这些也可以做比较多的变化所以它其实是能够让这个模型对一些viral的变化更卤棒的这么一种数据来源所以它其实在模型的训练的前端会比较有用就是更早期的阶段会比较有用比如说pre training或者甚至mid training这些阶段而且simulation的数据其实能是一个比较好的对齐的数据它其实相当说干净一点你可以通过用这些数据来激发出来可能你经过大规模的视频训练的一些模型的一些能力然后还有一种就是UMI的数据UMI数据其实是有点在中间的它会更像一些机器人的数据但是它采集的成本会低一些然后再走到成本最低的这个层面就是human data其实我本人还是非常喜欢human data的因为人确实是一个非常成熟的这个本体机器人的本体对所以其实人能够日常的非常方便非常快捷的帮助我们采集到场景的数据而且human data的话它因为它实在是成本比较低所以你可以比较大量的扑到不同的场景里面去然后那这个时候场景的我们对场景的鲁棒性然后对不同场景的理解这个时候就是human data它应该发挥作用的地方有些人可能会觉得比如说human data它跟机器人的morphology实在是太不一样了但我会觉得就是human它本身是一种morphology所以如果我们有比较好的就是morphology transfer的这种方式的话它其实是能够有非常非常大的作用的而且我们其实本身从human data里面学的应该是就是这个场景的变化然后以及人在做任务的时候这个物体的一些变化就是它其实是跟你的Mophology具体的形状是不那么相关的它是更任务相关的一些信息其实可以比较好的从human data里面学到所以本质上还是就是用什么数据就是要把它用到对的地方然后以及就是正确的构建数据和模型能力之间的这个链接嗯因为今天巨生变得非常火嘛,所以就应该有很多的学生包括很多就是可能学汽车或学机械的学生也想要做巨生你会给大家什么样的建议啊就是刚走上研究的道路的年轻的学生们我的第一个建议就是一定要多看就是一定要吸收的足够多因为其实我在跟一些学生聊的时候我发现他们其实对可能对一些fancy的概念觉得自己感兴趣但其实如果认真的去问他你到底兴趣点在哪的时候其实就是会比较模糊的这个其实一个本质的原因就是因为大家知道的还不够多你可能只有就是书阅读越厚再阅读越薄嘛就是你可能要先知道的足够多之后你才能够从里面抽出来然后并且也能够逐渐了解你真正感兴趣的地方在哪里这个是第一个点就是一定要多看然后并且多跟人交流然后第二个是要实际上手干活因为很多人是对巨生这个方向感兴趣的,包括我也是从小对几千人非常感兴趣,我就这时拿出来大家都会对这个方向感兴趣。但是把实际你的兴趣转化成你的行动的能力,这个是要越早开始培养越好的。所以要实际的去上手,你才能够了解说这个领域它真正难的地方在哪儿。比如说真机部署是一个非常消耗经验的事情。 [70:00] 这个方面的话如果能够早期的话有一些积累是比较好的你现在也带 PhD 对不对对里面 PhD 的时候有什么避问问题吗必问问题的话我会问这个学生他最感兴趣的一篇文章是什么或者说换一个方式来问的话就是他觉得哪个文章做得最好这个其实是一个怎么说一个research test相关的问题或者一个opinion相关的一个问题这还蛮难回答的对其实还是挺难的其实在其实就是假设你先这个学生他已经有了对领域的一定的了解并且能够知道自己的兴趣点在那了所以这个是我的一个必问的问题你听到最好的答案曾经是什么我有一个学生他对Diffusion非常的感兴趣然后但是他演的那个文章不是Diffusion Policy而是更就是Diffusion Model最开始Original的一篇文章所以我会觉得这个学生非常的广的它并不是只是局限在Cone Robotics的一些相对来说应用的一些层面而是能够去trace back就是找到这个文章真正的发源地我觉得这个是比较好的就是有这种刨根问底对找到最开始它的起点的这个能力对你现在会带一些本科生做研究吗也会带其实我们族里有一些是我刚来的时候就已经开始跟我做研究的一些本科生其实也能看到他们非常多的一个成长也是不见的从就是可能自己的兴趣点还没有那么明确然后倒逐渐的知道了更多然后自己上手做了更多的事情自己的拼力也会变得更强这样你会怎么选人本科生我们还是现在是比较宽禁的就是因为我还是希望能够给大家提供一个平台是说你能够有一个机会去了解前沿的research在做什么所以其实我们组会都是会邀请非常多的本科生来听组会的形式也都是tutorial的形式就是会前面比如说半个小时到45分钟会讲一讲整个领域的一个发展就是以一种科学式的角度来讲然后或者是一个topic分成不同的流派来讲然后可能最后的15分钟到半个小时是presenter的同学会讲一讲自己的项目都是这样来组织的其实主要的目的就是让学生能够有一个学东西的机会我觉得是一个很好的学习小组这是每周还是最开始是计划的每周后来实际执行的话应该能有biweekly所以这个tutorial是谁做呀tutorial是学生做所以其实我觉得学生们都还挺厉害的就是会给他们一个我会提前问他们这一topic是什么然后我们讨论一下topic第一遍的时候其实会带他们就是过一遍就梳理一遍看他这个topic的organized的方式是不是正确的然后后来慢慢的学生其实就能够自己做一个总结了其实大家学习的效率都是非常快的就因为一开始有问MBTI嘛我觉得你还是蛮典型的INTJ是吗对对你感觉自己曾经有过一些F的时刻吗我是一个共享能力很强的人体现在什么地方我自我认为我能非常敏锐地观察到别人的一些情绪的变化所以其实我是一个相对来说如果在一个集体里面是更照顾别人的情绪的这么一个角色这是好还是不好呀就是我觉得是个好事吧因为本身来讲团队的凝聚力是靠一些关键的人宁可起来的所以在非工作的时刻比较F其实是能够拉近跟同学们或者跟大家我的collaborator的一些距离因为大家不单单我并不希望我的所有的伙伴都只是工作上的伙伴我感觉你确实很有亲和力哦 是吗所以在这个比如说讨论工作之余大家在一起比如和PhD们和同事们在一起我们还会聊别的什么话题吗也会吧就是其实我还挺感谢我的学生们的因为其实最开始就是你跟一个年轻的一批来读你的PhD本身就是一个很risky很有challenge挑战性的这么一个选择对所以其实我当时在面试我的博士学生的时候我都会直接问他们我会直接告诉他们说你如果来我这读的话你可能会需要承担一些就是实验室的construction构建的一些角色然后你可能会做一些就是说看起来会比较杂志的一些活其实也是会提前跟大家讲清楚但他们其实都是非常愿意或是愿意接受这个挑战吧其实就有点其实建最开始的实验室就有点像建S2.0 [75:00] 但我其实不太觉得它是艺人的startup它更像是我的我自己还有我的一些博士生在一起构建这个事情嗯这对你来说也很像是从音到音对因为尤其这些博士生都还不是之前认识的班底但我们的信任其实磨合的还挺好的主要就是大家有一个共同的愿望就是能够把事做好有了这样的一个共同的愿望之后,其实每个人都在正确的地点去contribute自己的能力或者时间的话,其实我觉得凝聚力还是比较容易构建的。你们会团建吗团建的做什么会团建我们前两天还去一起唱歌来着唱歌对我其实也会阻止大家一起应该是已经我自己组织过两次团结然后学生们会组织团结有的时候也会叫我所以我觉得还是蛮好的这个其实是我比较想要构建的一些实验室的氛围我并不希望大家只是工作上的或者是学术上的一些collaborator而是你能够长远相信的一些朋友有意思我们最后聊点轻松的就是你在日常会用的一些AI的产品吗我用XGVT用的比较多然后最近其实有一个变化是我会几个就是XGPT Gemini会轮番着用可能他们确实会在一些事情上面给的观点还是蛮不一样的OK然后最近一个变化是在把我之前用AI都是更知识性的比如说我让他帮我总结一些东西或者是做一些调研最近开始跟他有些对话对就是非工作非工作的一些对话你和AI都聊什么就是非工作之外的话题工作之外的话题有的时候会聊一些对事件的看法最近一些比较有意思的事情可能也还是跟工作有点相关啊就是就是我在给我的实验室起名字然后我在问那个问AI说就是我给你一些关键词能不能帮我尝试构建一些然后我有一些初步的一些list然后让他给我就是polish一下或者propose一些新的然后当时就觉得嗯他能propose的一些名字都还挺好的所以定下来了吗还没有还需要多聊最近我遇到好几个人都说在他们的领域论文大爆发就你有感觉到吗有Robotics的论文最近是在翻倍增长对我们最近一个很垂直的一个物理学的一个这个Postdoc他就说原来他们领域一天可能就四篇大家其实每天早上都会刷现在就是已经不可能了就是对这里面有很多是AI写的然后质量也鱼龙混杂对那你怎么在面对当下的这个就是整个研究环境的变化呀我现在其实是会摄取论文的方式有不同的种比如说我会每天可能刷一刷我关注的一些researcher他们去宣传的一些文章因为他本身就像是自己做了一些筛选就是你作者list已经做了一个筛选就是他觉得可能他自己真正proud真正自豪的一些文章有哪些他会做一些推广做一些转法尤其是在embodied AI就是robotics这个领域大家已经越来越熟悉或者是习惯于用这种社交媒体的方式去宣传自己的工作了然后也包括会有一些researcher国内的researcher会在英台上去宣传自己的文章我大概每天都这么过一遍然后但其实能明显的看到有些文章是AI写的成分非常多我觉得目前来讲的话就是AI写的文章它可能能够通过审稿然后可能真的能够中一些会议但它的quality整体上来讲还是不太好不会有人写的更高的因为AI写的文章它其实看起来会像水你第一眼看你可能会觉得像水但实际上它有很多的论证是有点漏洞百出的就是它可能看起来像是但是实际的内容并没有很多所以我在如果发现这个谁也爱写的文章的话我对这个文章兴趣就会大点折扣对最后一个问题啊大家其实都会很喜欢用一个比喻说巨生是一场马拉松马拉松就42公里嘛你觉得我们现在跑到几公里了我觉得跑到10公里好的四分之一的一个位置因为真正重要的还是把这个机器人放到水街场景去拥有还没有我们就讲智能机器人就是这种强调泛化 [80:00] 空有型的这种智能机器人直接落地还是没有看到的所以还有挺长的路要走的但我整体上来讲还是Bizzo!乐观就是我觉得在未来的三到五年其实我们能够看到一个通过scaling看到一个明确的范式的转变或者明确的一个拐点所以我会觉得未来的三到五年是非常关键的一个时间阶段谢谢大家我觉得做创业做研究做巨神做AI都得乐观对因为悲观特别容易正确只有乐观才可能成功对嗯好呀谢谢孟迪今天很开心谢谢期待你再来做客好拜拜