清华徐梦迪押注上下文学习 称预训练无法解决机器人泛化

清华徐梦迪押注上下文学习 称预训练无法解决机器人泛化 离线模仿学习仅能实现内插记忆，具身智能若要迈向终极泛化，必须依靠上下文学习让机器人在零参数微调下现场适应新任务。 访谈围绕清华叉院助理教授徐梦迪的学术演进与技术哲学展开，深度剖析了具身智能迈向终极泛化的核心路径。徐梦迪指出，单纯依赖离线预训练与专家模仿学习本质上只是在记忆分布内做插值，必须通过语境学习（ICL）与算法蒸馏赋予机器人类似人类的“快速学习新任务”能力；同时她揭示了具身 Scaling Law 中 Loss 下降与物理成功率脱钩的评测陷阱，并主张分阶段融合仿真、人类及遥操作数据以构建有效闭环。最后，她分享了作为年轻 PI 跨界转向、建立科研品牌的思考，认为当前具身智能仅跑完马拉松的前十公里，未来 3 到 5 年将是迎来范式突变的关键窗口期。 徐梦迪指出具身智能领域正从单纯堆叠离线专家模仿学习转向语境学习（In-Context Learning, ICL），核心在于赋予机器人测试期依靠极少量物理或语言提示即刻适应新任务的能力。 (10:00) 具身智能的 Scaling Law 存在时序非对称性陷阱：测试集 Loss 的下降不等于物理成功率的提升，空中轨迹拟合极好但接触瞬间出现毫米级偏差即可导致任务彻底失败。 (49:03) 当前具身模型大多仍处在微调主导的“GPT-1 阶段”，通用基座必须结合终端用户交互反馈跑通快速学习闭环，才能真正迈向无需更新权重的“GPT-3 时刻”。 (56:06) 在训练数据路径上，徐梦迪主张分阶段融合：前期利用仿真与人类日常数据学习物理规律与场景泛化，中后期引入 UMI 与高精度遥操作数据实现本体域的精确对齐。 (65:00)

清华大学交叉信息研究院助理教授徐梦迪指出，具身智能真正的泛化不能仅靠离线预训练与专家模仿学习，核心在于赋予机器人语境学习（ICL）与现场快速自适应能力；当前具身模型仍处于“GPT-1 阶段”，行业需克服物理交互中的时序非对称性陷阱，并通过分阶段多源数据融合探索物理世界的 Scaling Law。 突破模仿局限：以语境学习实现现场自适应 (10:00) 徐梦迪认为，人类泛化的精髓不仅在于拥有丰厚先验，更在于极快的新知识吸收速度。当前主流基于专家演示的离线模仿学习，本质是将模型作为静态记忆模块，仅能支持已知分布内的“内插性泛化”，面对开放世界中千差万别的个性化偏好（如形态各异的叠衣习惯）容易崩溃。为此，她主张将模型参数等价为算法本身，借鉴大模型 In-Context Learning（ICL）机制，让机器人直接根据上下文示范、语言或手势纠偏实时调整策略。 从早期在 CMU 提出的 Prompt Decision Transformer，到生成轻量适配器（仅占 0.5% 参数）的微调方案，她坚信无需更新权重、无测试期梯度计算的 ICL 才是终极路径。这种方式不仅规避了频繁参数更新引发的灾难性遗忘，还能让机器人通过大量场景训练出“学会如何学习（Learning to Learn）”的元能力，将技能掌握时间从半小时压缩至数十秒。 具身评测陷阱：损失下降与物理成功率脱钩 (49:03) 针对具身智能是否显现 Scaling Law 的讨论，徐梦迪表示，行业通过 10 万至 100 万小时级预训练数据确实观察到了测试损失（Loss）的下降，但具身系统存在严苛的时序非对称性（Temporal Asymmetry）：抓取物体的前序非接触轨迹拟合良好、全局 Loss 极低，只要触碰瞬间发生毫米级误差，整个任务就会彻底失败。因此，Loss 改善不等于物理成功率上升，真正的具身 Scaling 信号必须表现为未见任务物理成功率的平滑单调递增。 她将当前行业现状类比为依赖预训练加监督微调的“GPT-1 阶段”，而零微调直接执行任务的“GPT-3 时刻”仍未到来。与纯软件文本交互不同，具身模型拥有物理实体，对实时响应要求更严苛，在实际部署前必须引入类似 BEHAVIOR 基准的长程评测与极限压力测试以标定安全边界。 分阶段数据融合：按模型能力反推数据分工 (65:00) 面对数据采集派系之争，徐梦迪主张“融合派”路线，提出数据需求不是凭空设计的，而是由模型预期具备的目标能力反推决定，必须将不同数据分配至模型训练的正确阶段。在模型前端的预训练和中程训练中，海量的人类日常操作数据（需建立骨骼构型迁移机制以提取任务因果）与仿真数据能低成本地注入场景物理规律和视觉纹理鲁棒性；在后训练与微调阶段，高精度真机遥操作数据和 UMI 数据则是与物理本体目标域精确对齐的基石。 目前该数据飞轮跑通的最大堵点在于“先有鸡还是先有蛋”的悖论：底模必须达到一定水平，才能让人类在现场半小时的微小指导中见效；只有终端用户获得正反馈并持续产生交互修正数据，自适应飞轮才能真正转动。她的实验室目前正以双臂加灵巧手的桌面级真机系统为切入口验证该闭环。 长线定力：跑过四分之一的具身马拉松 (75:00) 面对国内具身智能在“死磕数据”与“押注世界模型”之间的频繁切换，徐梦迪将其视作控制理论中参数未调好所引发的“超调震荡”。数据决定认知上限，而世界模型提供任务无关的物理规律表征，二者并非互斥。针对外界的热度，她理性评估具身智能的“42 公里全马”目前仅跑过了约 10 公里（四分之一），强调通用性与泛化性的智能机器人至今仍未在非受控真实场景中走通商业落地。 在科研治理上，她警惕充斥学术圈但逻辑空洞的 AI 辅助论文，主张以追踪核心学者代表作的方式筛选真实进展，并通过剖析技术源头的“科学史视角”建立宏观学术品味。尽管前路漫长，她预判未来 3 至 5 年内具身领域极有可能通过 Scaling 迎来决定性的技术拐点。 徐梦迪指出，具身智能研究必须抵御短期舆论热点的干扰，专注于让机器人在物理环境中持续自我迭代的核心命题。尽管目前行业仍面临基础模型偏弱与现场数据飞轮难以启动的现实瓶颈，但在未来数年的关键窗口期内，多源数据融合与上下文学习能力的结合有望推动机器人跨越从静态模仿到动态自适应的鸿沟。

[0:00] 徐梦迪: 真正的泛化不能仅仅依赖机器人预先掌握的知识。人类之所以具备极强的泛化能力，不仅在于拥有丰厚的先验知识，更在于学新知识的速度极快。 [25:00] 李飞飞: 事情应该越简单越好，但不要更简单 [30:00] 徐梦迪: 当你对一个问题钻研超过五年，它自然就沉淀为你无可替代的研究标签。 [30:00] 保罗·格雷厄姆: 很多知识体系远看像一个平滑完美的球体，但只要走近观察，就会发现表面坑坑洼洼，甚至充满巨大漏洞与黑洞——而每一个坑洼与缺陷，正是创业与科研值得深耕的起点。 [30:00] 徐梦迪: 我找到了一个真正充满热情的命题——让机器人真正走进千家万户，且能在真实物理环境中持续自我迭代与进化。只要沿着这个正确且热爱的方向专注钻研五年，结果一定不会差。 [49:03] 徐梦迪: 损失函数（Loss）的下降与实际物理成功率（Success Rate）并不直接挂钩。 [60:23] 徐梦迪: 数据需求不是凭空设计出来的，而是由模型预期具备的能力反推决定的。 [65:00] 徐梦迪: 本质上还是用什么数据就要把它用到对的地方，正确构建数据与模型能力之间的链接。 [75:00] 徐梦迪: 我觉得跑到十公里，也就是四分之一左右的位置。因为真正重要的，是把机器人放到真实的实际场景中去落地应用——强调通用性、泛化性的智能机器人，至今还没有真正在非受控环境中走通商业落地，前方还有很长的路要走。 [75:00] 徐梦迪: 悲观特别容易正确，只有乐观才可能成功。

[0:00] 嗨,我是Koji,那本周十字路口的嘉宾是徐孟迪那孟迪呢是清华茶院的助理教授在回国任教之前,他先后求学于清华Jones Hopkins以及CMU也在斯坦福的吴家俊和李飞飞团队做博士后那你好,孟迪,欢迎来到十字路口嗨,大家好,我是徐孟迪非常感谢Koji还有十字路口的邀请我们还是先从我们的传统快换快答开始帮助大家了解你然后请问孟迪你的年龄我今年30.5岁30.5这么精确求学经历刚才我介绍过了那我们就直接下一个MBTI和星座我的MBTI是INTJ星座是摩羯一句话介绍一下你当前花时间最多的研究方向是什么我现在最重要的研究方向是让机器人能够从现实的场景当中不断的持续提升自己这个是持续多久了呀我知道好像很早之前就在做泛化啊对我从在CMU之后其实就在演这方法的方向来做的当时是觉得机器人不能只依赖于他预先学到的一些知识也包括我们在看人类的为什么他有这么强的方法性其实有两个层面嘛一个层面是人有很多的鲜艳知识然后另外一个层面是人能学知识学得非常的快我觉得真正的泛化其实是希望能够让机器人有类似人的这种快速学习的能力当时是什么样的一个契机让你开始进入这个研究方向的我是到CMU之后其实就开始做当时叫Robot Learning的方向本身就是把一些机器学习的一些技能吧然后一些方法用到机器人上面去当时还不叫聚身智能这个非常fancy的名字我在CMU的时候非常喜欢有一个工作叫MAML是Charles Alvin一个Stanford教授也是现在Physical Intelligence创始人的他的一个非常有名的工作MAMO他有一个非常厉害的地方是他能够让机器人学到他没有见过的任务我当时觉得这个是真正机器人未来的一个方向所以当时你是怎么看到这个工作的呢当时确实这个工作非常的有名我们实验室当时有一些同学其实对就是ML的一些前因方向都非常的感兴趣所以大家其实平时也会互相交流啊分享一些文章然后我们看的文章其实都非常的杂所以其实也是看到了这个方式我记得在清华本科你是车辆工程系对就是从车辆工程系到巨升这个中间感觉隔着一个变形金刚这个是怎么一个转型的过程我本科的时候确实学的是汽车我们专业叫车辆工程我们现在想其实当时去汽车是一个非常正确的事情因为汽车其实学的非常的全面我们其实本科的课程会涉及到比如说机械设计然后一些汽车电子其实就跟现在的电子专业的学生学的会较差性还蛮强的然后以及一些算法相关的所以其实本科的时候就是从机械设计到相对于算法都有所了解然后后来真正的转到robotics是契机其实应该是我大二开始做科研的时候我带来的科研是跟着机械系的一个老师严孝泽老师当时做的研究当时研究其实是Bio Robotics本身我们做的是研究蜜蜂的一个翅膀的超弹性恢复因为其实蜜蜂它在比如说采密的过程当中它会非常多的有翅膀和周围环境的一个碰撞然后但是蜜蜂的翅膀不会因此而受到就是损害因为它就是它通过结构有一个超弹性的这个性质在里面所以我们当时是研究了这个然后后来也因此为契机吧我后来到了CMU的一个Hobby Choset老师的组里面然后他们组非常有名的就是Bio Robotics然后我后来鼠岩的时候是大三暑假的时候是到了Hobby的组里面设计了一个蛇形机器人然后我们让这个蛇形机器人去爬管子然后当时就开始从就是设计逐渐的转到了机器人的一些就是算法的设计可以理解成就是从此开始做机器设计后来慢慢开始做算法但这个感觉也不是一个非常常规的在一个这个车辆工程系的学生会选的路对是但我们系的学生后来发现其实学生有一个特点就是自己想做的事情就会非常努力的去找跟自己去match的地方来做这样的事其实我也有一些学长当时到了严少泽老师组里面包括洋行学长现在也是在哈佛的一个AP然后以及当时我有一些高中的同学就是跟我一起学竞赛的同学也在严少泽老师的组里面所以因此就算是阴差阳错也非常幸运巧合的到了 [5:00] 等下了我吃了嘴里刚才提到高中做竞赛嘛然后也想听你讲一讲自己这个在中学甚至小学阶段的经历你是一路都是那么学霸吗其实我现在特别不敢称我自己为学霸因为后来慢慢的包括不断求学出国等等看到了非常非常多厉害的人觉得大家都是非常有想法的就学不学霸只是可能有些人把精力放到了可能学业上面另一些人把精力放到自己更感兴趣的事情上面我的小学其实过得还挺轻松的就是我小学没有上过什么复习班其实课余的时间都是要不就参加一些学校的活动要不就是可能跟朋友玩耍你是河北人对吧我是河北人河北哪里啊我河北恒水人所以你是恒水中学吗对我高中是恒中的然后小学的时候其实家里也给了我一个比较自由的环境吧就相当来说所以其实我小学还是过得非常非常快乐的当时有一个小的兴趣爱好就是拼四驱车就当时有一个非常火的动漫叫四驱兄弟就是我小的时候然后当时他有一些就是那种可以自己买过来零件然后拼起来的那个不同的四驱车这个是我当时很大的一个兴趣爱好当时觉得这是一个很烧钱的兴趣爱好后来还想着赚钱还赚钱吗其实院里有好几个小朋友都非常喜欢这个四驱车想要去赚钱去拼所以我们当时还有一些赚钱的方式就是用四驱车赚钱还是用别的方式赚钱来买四驱车怎么赚啊这个可能就是我们当时会放学路上会就是捡一些就是小垃圾然后就卖一家但是其实还蛮赚钱这很像一个城市寻宝游戏对什么样的垃圾能卖到去买四驱车的钱对当时会有一些那种钢铁的零件对然后会有一些人会回收这种钢铁的零件现在想想小的时候还是蛮有毅力的对而且感觉你很小就埋下了车辆工程系的种子对后来想了想是为什么也是我后来喜欢车辆工程的原因因为一直我对机械的结构觉得都非常的酷就是它能够把一些很小的零件整体的组装到一起其实是有非常多代的工匠的这个知识的积累迎接成了一个非常精密的椅子所以横水中学的体验是什么?我在横中的体验就是我自己的体验其实还挺好的因为我高中的时候学的是竞赛我是竞赛生所以我们算是竞赛生的话主页就是学竞赛嘛然后跟高考班的管理的要求其实还挺不一样的于某种程度上你是要激发学生自己更motivated所以其实整体上我们高考的课程学的就跟高考的班解会都有不同怎么才能成为竞赛生啊应该是高一第一个学习结束的时候会整体的做一个意向的调研就老师会过来问你是不是对哪课更感兴趣我当时是在数学还有物理当中挑的然后后来觉得物理是一个非常就是ground到现实世界的这么一个学科我来选了物理OK我听说很水就是大家早上五点多钟六点钟就起床就甚至那个安排系到那个一分钟五分钟然后我有一个朋友他后来在复旦然后现在在挣个基金啊所以他说他们那个时候甚至可能一个礼拜都只有一次洗澡机会对确实他行中包括不管是对高考班还是竞赛班其实我们要求还是挺一致的就是早上起来要跑操上午要跑操有固定的非常严格的作息时间高三的时间也都会分开让大家错峰去食堂等等这个层面上的管理其实还是挺严格的因为现在外面对衡水模式是有非常多的讨论的大家也都很感兴趣这个衡水模式最后出来的学生他会是一个怎样的发展他是会很多元还是他会很应试教育还是会怎么样就你自己的观察是什么我的观察其实主要是基于我自己的经历就是我因为是在竞赛班大家一个很强的特点是每个人都有非常强自己的想法就是为什么大家会选择来做竞赛这个事因为竞赛本身它你需要非常强的时间的commitment比如说现在高考就是高考生他们有一些暑假寒假的时间其实我们都是花这些时间来做集训的对所以我的竞赛班的同学其实有一部分人确实会出国也成长成了非常优秀的researcher有一部分人也确实是在国内发展的所以当时竞赛其实听起来是一条有点不归路的感觉会有这种感觉吧因为竞赛的话确实你不能像其他的高考学生一样你去学特别多就是正常科目里面的知识我们其实是 [10:00] 竞赛考试然后到保送生到四招之后最后才确定了可能比如说没有保送的这个机会了之后才去进入到正常的就是我们会merge进正常的高考班那其实那个时候时间就很短对就已经到了大三的下学期吧高三的下学期对对对那这个其实有点想创业它是破釜成舟的对但是当时觉得是非常有意思的一个经历然后当时学竞赛的时候也觉得非常有干劲因为你身边的朋友都跟你有同样的一个愿景你们都是希望比如说把这个题解开小到把一个题解开然后大到比如说冲就是省一啊到之后的金牌啊等等这些所以其实是有很强的motivation做这个事也不觉得苦竞争关系强吗竞争关系不强我们当时可能是因为教练引导的比较好OK但事实上其实可能清华每年在河北竞赛保送就还是就是有限的指标的吗嗯竞赛的话它是你要考到如果你会先进省队我考的比较好你拿到省一省一里面会挑选一波进省队然后进完省队之后会参加一些就是国家集训队然后等等然后一直到就是国家的整体的考试所以一说竞争也是有的但是我们当时其实更像是一种同伴关系其实竞争的关系是比较弱的还蛮好的他怎么引导呢能够营造出这样的这个班级氛围我觉得主要是大家都是从零成长起来的就是更像是大家在一起抱团然后把这个问题解决所以如果是所有人都在同一个阶段然后慢慢成长的话我觉得这个占有的情意其实要比竞争的这个要兼顾的多你在SMU的时候当时也是机械工程系然后PhD毕业的时候你当时那个论文是系里的最佳博士论文讲对我觉得那个应该是很难的吧一年估计就一位还是几位我们那一届是一年有两个人所以当时你的paper内容是什么我当时CISIS叫Building Adaptable Generalist Robots说起来有点奥口还是一样对对对本身就是希望能够让机器人有他适应他变化环境的这种能力因为预训练本身他肯定是非常有用的我也非常相信skating这个事情但预训练不是全部或者说我们不能寄希望于机器人只通过预训练然后他就是一个OK非常扭的100%可以成功成功的这么一个个体然后他到部署环境之后是一定需要适应具体环境的一些变化因为人的现实的环境我们叫他开放世界开放世界的一个特点就是这个任务是在不断变化的比如说我家里可能今天他有20个物体但是可能一周之后他就会有30个物体并且跟之前的物体的种类也会不一样然后以及人其实在不同的场景里面他们的preference就他的偏好也是在不断变化的那这个本身就是一个开放世界的体现那反过来到机器人的一个能力的需求的话就是希望让机器人能够适用这种环境的带来的变化并且能够在这个变化的环境里面去提升他自己所以当时用的主要的这个解题思路是什么当时其实探索了几个解题思路第一个就是Inconized Learning机器人的上下文学习第二一个是通过test time的training就改变这个模型的某种小部分的参数它其实本身其实都是为了一个vision所努力的嘛就是让机器人能够不单单是受限于他的training然后能够通过interaction通过context在现实的场景里面去不断的学习一个路子第一个就是in-context learning这个路线然后它本身是从我有一个工作叫prompt decision transformer然后那个工作开始的然后当时是21年的时候做这个工作现在看起来也是五年之前的工作了当时主要的motivation是看到了GPT3GPT3当时是有了in-context learning的能力我当时觉得非常的酷因为这个时候你就不像一个传统的这种ML的一个想法就是你训练完了之后然后如果你有了一个新的任务你去做Funtuning然后GPT3它是有一个能力就是上下文学习也就是说你可以通过Prompting的方式你给它一个某种任务的定义或者是一个输出的Format这个模型可以根据你的Prompt然后改变它自己的输出我觉得这个是非常厉害的因为你就不需要在就是部署的环境当中重新做训练它其实是一种更高效快捷的一种adaptation的方式然后当时就想呢机器人是不是也能够有这样的就是上下轮学习然后以及快速adaptation的能力我们就做了Prompt Decision Transformer这个工作当时做的也是从一个相对简单的setting出发的是给这个模型一个机器人的adaptation然后让它能够 [15:00] 去adapt到不同的local motion的任务然后以及manipulation的任务然后后来第二一个也是From Decision Transformer的续作吧叫Hyper Decision Transformer它就是沿着刚刚说的第二个路子就是我在test time的时候就是部署的时候我去改它的模型的一定的参数但改参数这个事是一个它像一个双刃剑吧它其实你能够让这个模型解决你的target的那个任务但它有可能你改的参数更多了之后其实你模型之前的一些预训练的知识就会被忘记所以我们当时取了一个折衷的方法让这个模型先学一个hyper network就是它有一些语言这种支持的这种这是被inject到了你的hypernetwork的参数里面然后再通过这个hypernetwork生成一个小量的adapter然后这个adapter其实只占整体的transformer的可能参数的0.5%0.5对所以你就只需要去adapt这个0.5%的参数嗯所以效果怎么样呢效果的话其实在小量的预训练的前提下其实Hyper Network是更容易Work的但现在因为大家的数据量其实是在不断的积累然后预训练的规模也在不断的积累所以其实我自己本人的话我就真正的Future direction其实还是Income as Learning就是用Crompting的这种方式因为你就不需要改模型的参数或者你只需要在让模型学或者是收集更多个Moddy Task的任务之后你再做这种batch的参数的update所以咱们现在做的事情和当时做的事情的延续或者发展体现在什么地方啊?主要是发展吧,体现在什么地方?就是自从做完了Promed Design Transformer之后,其实通过这种Incontact Learning的方式让模型有快速的打patient的能力的work后来又有了还蛮多的有一些工作我觉得还蛮不错比如说有一个是叫Algorithm Distillation是DeMind的Researcher的一个工作它有一个非常有意思的想法是你的模型到底应该等价于一个什么样的智能就比如说大家在现在用一些VLA的时候其实本身你是把这个模型当成模型的参数等价让它包含了一些任务相关的支持就因为我们都是在用expert的demonstration同时用模仿学习的方式去把这个expert demonstration的知识distill到你的模型参数里面去嘛这个是一种对应还有另外一种对应就是algorithm distillation里面提出的一个想法就是你模型参数应该等价于一个算法嗯就是你模型猜数应该等价于一个RL的一个algorithm这是它整个文章里面的一个主要的claim它做法其实就是说你会把一些suboptimal的trajectory放到你的context window里面去然后让模型根据它的过去的一些不好的就是执行的动作啊或者是histor然后让他不断的去改变他自己的future action所以你可以把这个类似Transformer的结构它就拥有了这种自我提升的这种能力它的参数里面就其实是等价于一个RL的algorithm的所以这个最后比如说它在模拟器还是在真机上它有一些这个落地的效果吗它在模拟器里面有然后但是它当时做的很多的任务都是更偏向于Navigation或者Locomotion比如说走迷宫然后或者是一些Locomotion的任务比较难得沿着这个方向的话后面还有一些工作比如说像就是之前Skilled有一篇文章就是Deepak他们组发了一篇文章他们公司发了一个文章吧叫Localformer也是一个非常厉害的能够把这种adaptation的方式就用Transformer其实Incontest Learning这种adaptation的方式给它部署到就是一些四组的极限上面去但其实也是更偏LocalMotion的然后再到后面还有就是RobotTT最近NV发的一个工作它就是可以让机器人看一些人的长城的manipulation的视频或者用TT layer的方式去改变这个模型的一些behavior让机器人也能够类似的有这个human demonstration里面的一些动作就听起来大家这个思路都还是蛮发散的就你现在有感觉到就有收敛的这种迹象吗我觉得大家对adaptation的重视性因为可能是因为大家在发现通过大量的scale data然后以及scale模型的预训练之后你机器人确实是一个没有办法只是通过预训练来或者只是通过expert demonstration based的imitation learning来解决的这么一科那在此基础上adaptation就变得尤其的重要最近是我觉得这个方向是在逐渐的为大家形成一种新的共识来讨论的这还蛮有意思 [20:00] 因为这个其实听起来好像有一种这个也不用特别去讨论就它就自然应该是重要的那为什么到现在它才变重要呢对因为有一个debate吧就其实我们在看人的为什么他的泛化能力非常强有两个原因第一个原因是我们有非常多的积累就这个积累其实从生物进化角度上来讲我们本身就有非常强的这种所谓小脑控制的这种能力然后另外一个是人在不断学习的过程当中其实你的prior knowledge都是通过某种memory的方式或者某种就是方式存到了我们的先验知识里面的然后这是第一个人有非常强的prior第二一个是会比较快这个我觉得是本身为什么人的放话能力非常强的然后大家其实之前的主流的方式在做的就是通过scale数据以及scale模型然后来让这个模型的比如说Multi-Task的能力变得更强然后instruction following的能力变得更强它就有点像通过数据采集的方式先让这个模型有足够强的prior然后但是并不代表就是说Taptation这个部分不重要这可能也是为什么大家最近开始越来越多的意识到机器人的模型确实是需要有很强的Taptation的能力的这个也是从实际的机器人之后的应用场景出发的这么一个考量但同样来讲的话机器人为了有比较强的达部队神的能力他确实对你的base模型就是你的积模的能力是有一定的要求的因为我们不希望说他这个机器人到了一个实际的场景当中去他可能能自己学但是他学的这个过程是非常的可怕的比如说他可能会把杯子打碎啊等等这些这个是我们需要避免的然后呢为了避免这些我们就需要这个模型有比较强的积模的能力所以大家其实从fire开始做也受获利的然后你读博士后是去了斯坦福然后当时是在吴家军和李飞飞的组当时做什么工作呀当时其实是我觉得做了三个我还非常满意也比较感兴趣的工作多长时间内这才三个工作对我有非常强的collaborator对对非常幸运有很强的collaborator其实当时做的主要就是把我之前博士的一些想法变得更落地更实际了一些然后我第一个参与的工作是behavior challengebehavior benchmark其实是飞飞组里面一个投入了非常多的时间经历的这么一个benchmark他本身在做的事就是尝试回答一个问题吧就是机器人解决什么样的任务Behaviour里面其实有非常多的simulation的场景它是一个simulation的benchmark包括一些家用场景然后包括一些学校的场景里面有非常多的open source的一些asset就是researcher都可以使用的所以他回答的问题就是什么样的任务比较重要然后我在里面的角色是帮着生成了一些数据集然后我们当时propose的一个方法是momagen就是生成by manual local manipulation的一些simulation里面的数据优优独播剧场——YoYo Television Series Exclusive它其实跟我之前的工作相比的话就会更落地一点因为之前就没有太涉及就是local manipulation就是by manual local manipulation就是它任务还是很难的尤其是很多长城的人然后第二个做的是让机器人变得更stirable其实跟我的主线研究就会更加的相关就是stirable其实本身就是让机器人能够 follow更多的更diverse的人的不同的language instruction不同的preference然后这个也是发表了亮片相关的工作我还挺喜欢的然后第三一个是一个creative to use的benchmark就是希望机器人能够有一天能够有类似人的这种创造性的物理工具使用的能力这个benchmark要怎么做呀又要creative又要benchmark对我们当时是从人的数据开始猜拯的这个benchmark其实想要回答的问题就是说我们发现人在实际用工具的时候其实并不是根据工具的名字来使用它的我们其实是根据这个工具的我们叫它function或者是在romotics里面有一个专用的名词叫fordance来使用的比如说举一个例子就是如果我们今天想切蛋糕但是我手边没有这个蛋糕的刀具那我其实可以用叉子或者用筷子等等我都是可以把这个蛋糕切开的所以其实我们在实际使用工具的时候是依据于这个工具它的功能而不是它的名字来使用的然后或者类似的比如说我想清扫桌子上的一些物品我可能如果有一个调数我可以直接用但是如果没有的话我可以用书本甚至可以用这个机器人的小臂然后人的小臂吧清扫桌子上的物体所以人会有非常多这种就是创造性的使用身边的一些物体的这种系统 [25:00] 我们其实是希望让机器人有类似的这个行为所以这个Matchmark最开始就是采了比较多的人的这种就是创造性工具使用的一切数据机我们其实是采了非常多一三十角对齐的这种数据OK那这个benchmark要怎么去评估呢就是是把什么样的任务丢给机器人那是比如说就切蛋糕擦桌子还是什么这个其实也是很有意思的问题我们当时是定了三个想要去benchmark的东西然后第一个是现在的这种多模胎大模型它挑选工具或者是生成这种工具使用的Traderctuary的能力OK然后第二个是从Vision的角度出发的因为其实用工具的时候很多时候我们都是为了去操控一些就是非常见的或者是非钢体的这种物体比如说我想切蛋糕它是一个柔性物体对吧还是一个可以分开的这种柔性物体然后以及这种就是水啊等等这些就deformable object所以其实这个这些物体它的4D的重建就会相对来说比较困难所以第二一个我们benchmark的就是现在的一些不同方法的一些3D reconstruction还有4D reconstruction的能力然后第三一个benchmark的就是机器人是不是也可以有类似的这种工具使用的能力就现在的方法有没有一个现成的方式可以把人的这种就是灵巧工具使用的能力给它transfer到机器人的灵巧工具能力上面去所以是三个维度吧这还蛮有意思的所以当时在飞飞组里面就是比如说飞飞是什么那样的风格然后组里面是一个什么样的氛围我当时是有两个的Wiser我有两个advice因为他们的风格还挺不一样的给我的收获也很不同飞飞的话其实会更就是vision driven一些就是她经常会问我一些问题是让我去跳出单个的项目然后单个的benchmark去思考比如说我们的领域未来十年甚至更远的时间什么样是真正对这个领域重要的问题以及你在这个领域里面应该扮演一个什么样的角色就这两个问题就是她exactly问过的吗其实不是其实是她的她会在我们讨论当中非常能够引起你思考的一些问题其实总体归结下来会落地到这样的思考思考未来以及思考自己最能做出的这个最significant的贡献可能是什么对有具体的问题你还记得吗比如说当时我们在定benchmark的一些masher的时候嗯我们其实是希望比如说能够给参赛者一些更fine green的一些metric比如说他的progress的一些成功率然后或者他的一些时间等等我们会把这个mashhook定得非常的细致然后但是当时飞飞就说这些mashhook你觉得哪个是真正重要的其实就只有一个就是你final success rate其他的都是你从development的角度上来想它是重要的但是从final的愿景来想它不是真正重要的真正重要的只有你的success rate在当时就赢了爱因斯坦的一句话叫把事情变得简单不是更简单所以就是让大家希望大家能够思考更本质的一个问题你要让事情变得简单而不是更简单对当时其实也是思考的蛮多的因为可能从PhD成长到Postdoc到PI的话其实你考虑的事情确实是会不一样的PhD考虑的是你希望把这个事做成所以你需要看非常多的更细节的一些Metra可知道你怎么样去debug你的方法然后但真正的你变成一个PI之后谢谢只是要跳出来对就不是只是几句问题而是要定义问题对对对从解题人变初题人对然后嘉隽的话其实相对来说就是他会更汉丧我跟他能讨论的事就是比如说我的project应该做什么样的东西然后以及具体的细节design我都会跟他讨论以及我如果有一些迷茫的时候他也会push我去做我真正能够建立我自己的叫research brand的一些工作其实他给了我非常多的support这个还挺难得的对所以他俩其实是非常好的组合就是作为Advisor的CodeAdvisor的组合所以当说到这个为Search Brand的时候要怎么理解这个事情啊就每个人都应该去追求对吧但这个要怎么追求这个有没有一些可以分享的心得其实我自己的想法就是research brand这个事儿可能是要从你的research的兴趣出发的,嗯,就是其实真正能够,嗯,让自己……花时间去研究十年甚至更远的一个研究问题本身就应该是能够定义你的research brand 的一个问题我觉得他 [30:00] 有些人会说你的research brand需要可能跟别人不一样啊等等这些它其实都不是本质的最重要的还是说你觉得什么样的问题是重要的然后你就得花时间去研究它然后你如果对一个问题研究到了超过三年五年那本身就已经成了你的一个research brand听起来还是要和创业很像就是要从自己自身的热情出发对从相信的地方出发我最近也看Paul Graham他说就是他写了一篇文章叫如何成就伟大事业然后里面就讲说其实你对一个事情感兴趣的时候你会发现远看它像一个球这个知识体系像一个球感觉这个表面已经非常的平滑完美但是你只要走进它就发现这个球体它坑坑洼洼它甚至里面有大量的漏洞黑洞那只要坑洼和漏洞黑洞的地方就是创业的机会这是这个或者研究值得做下去的这个起点那又是什么原因你决定回国呢因为听起来这个一路做下去是很容易我是23年的时候回清华姚班就是教杂系研究院这边来面试的然后当时也是聊了院系里面的很多的老师也包括姚先生当时怎么决定要来面试当时其实二三年的时候我基本上就已经进入到了我的博士五年级嘛就是在考虑自己之后的一个发展方向对我来说其实就是两个路要不就是大的来讲就是工业界和学术界两个的选择当时我是在Google实习了非常长的一段时间我在Google的体验也非常的好我的mentor其实也给了我很多的帮助包括我自己research test的一些构建其实他们都帮了我很多以及在工业界的话确实你会有资源做更大规模的事情相对来说学术界确实是会有一些资源上的限制所以当时也是思考了很多到底要去工业界还是学术界的这个问题优优独播剧场——YoYo Television Series Exclusive去咬班面试的契机是当时就是有幸就是认识了吴易老师然后他当时是帮我类似于是做了一个bridge然后拿到了这个插院面试的这个机会然后面试的时候其实跟院协议老师聊包括跟咬先生聊我的体验都还是蛮好的因为就是插院的话本身他有几个强项吧第一个是人都很强就是学生学生非常的强我相信就是很多做Wattics以及包括做AIA方向的人在美国其实都会认识到一些咬班的人,他们其实的researcher有非常多的咬班的毕业生是各个领域里面顶尖的resulting对人的层面是一个然后第二一个是有考虑到我自己的研究方向是做机器人的机器人本身它是一个系统你单纯只做大脑或者只做硬件我觉得都会在我心里有点欠缺然后那我就需要找一个最合适的地方让我能够把机器人做成一个真正能够落地的系统那总和考虑下来的话就是查阅这边的机会其实是我的最有的选择嗯然后前面其实你有提到在工业界和学术界你其实想了很久对后来是怎么这个做决定的应该很多人现在也面临同样的十字路口对对对是的我当时在做决定之前也包括来插约面试之前其实找了非常多的就是我的朋友啊师长啊来寻求一些建议然后到后来发现真正不是自己做决定的还是你自己心里具体想要的是什么比如说对我来说的话虽然就是工业界它可能有很多的算力的支持然后你可以把你一个小的想法更容易的去sfill up但是它同时也会有一个自由度的缺失其实对我来讲的话自由度这个事是非常重要的因为我希望我的时间能够被最大化的分配到我觉得重要的问题上面去然后那这个时候学术界就是我的相对来说比较optimal的choice但这个可能每个人的想法都会有不同但我觉得最后落脚点还是自己心里真的觉得什么东西重要有意思然后刚才你也提到回来插阅面试体验很好然后之前有一次我们聊天你说这个吴亦其实那个问题不是吴老师问的,是另外一个老师问的,但是那个问题是,我觉得后来也是我一直在思考的一个问题,这个问题是你为什么会觉得你五年之后一定能够成为自己领域的顶尖的researcher?我当时回答其实并不太好我当时回答应该是非常自信的说哎我学的我一定可以应该是类似这个风格的自信对对相信我做到是嗯但后来逐渐的想就是这个回答其实不太好嗯我觉得其实还是说 [35:00] 如果我找到了一个我感兴趣的topic就比如说事实上机器人能够真的有一天进入到千家万户同时也能够在实际的环境当中不断提升自己这个是我非常感兴趣的一个topic如果我沿着这个正确的道路研究五年我觉得一定不会差的就还是专注对专注然后以及真正的去有深度的去思考这个问题当时和姚先生念试的时候他问了一些什么你还记得吗姚先生其实我们聊的还是就其实包括生活然后包括研究其实都会有数据他当时也是问我为什么会想要回到插院我其实当时的回答跟现在的回答差不多因为我觉得差人是一个蛮好的平台然后我也可以有自由度做我想做的事情姚先生问的一个或者他给我的一个建议我觉得是后来在我伯后的时候,也非常受益的一个建议是要把关注都就是要把自己的注意力跟focus一起嗯因为重要的问题可能真正重要的问题其实没有几个的然后一个人的时间又是非常有限的如果把时间摊开到太多的事情上其实这个结果可能是并不太好所以他给我的建议就是一定要focus在自己真正感兴趣的事情上其实我听起来觉得你好奇心也蛮多的对我我对很多事情都很好奇所以你可能要反复的去提醒自己要专注专注对对但后来我发现其实不同领域它都是有一些互通的东西因为robotics它本身就是一个很大的就是集成性的这么一个学科有时候有些人会做硬件然后有些人会做算法然后包括做一些learning algorithm等等这些但其实到最后真正如果你的目标是把它放到游泳和落地上面的话其实这些东西都是需要有所了解的其实Robotics不存在一个说我只做硬件我觉得它已经逐渐的尤其是在这个AI时代的话它已经不是这样定义的了就你需要有一个比较全面的Holistic的这种知识系统确实那你自己现在要怎么平衡呢就一方面你可能要专注在去做自适应做泛化另一方面其实还是要了解非常多这个领域在发生什么的那这个领域发生的事情感觉每天都很多头条新闻对对我其实现在看头条新闻看的没有那么多我可能还是看一些文章或者一手的一些消息会看的相对来说多一点因为其实最近国内的robotics确实发展的非常的火爆然后其实国外最近也是robotics已经是一个非常hot topic了但其实还是要花很多的时间到自己真正研究的地方会好一些因为如果一直是看就是这些消息的话很容易会迷失我觉得这个也是我在跟一些美国的一些我的朋友交流的时候大家的一个反应其实真正重要的事情还是你手头的两年更长时间觉得会改变这个领域的一些东西还是需要全下心来来做所以你现在认为重要的事情就是机器人的自适应和发化对我现在认为真正重要的事情还是让机器人有就是Incontest Learning的能力让他能够不止被你预训练的时候看到的数据所定义让这个模型真正的有去根据环境的收集到的信息比如说他的Feeder Case然后或者是一些人的DemonstrationRobot Demonstration以及人的Body Jetsure然后一些Correction的指示这些自己运行的这种体在场景当中不断学习心的人物其实在很多外人看来感觉你的人生非常的一帆风顺你会自己听到这个词的时候是一个什么样的感受你会这么形容自己吗还是你觉得有别的词我其实还是踩了很多的坑的也还是有很多就是转折的点的比如说看我自己的发展经历的话也会发现最开始做设计然后后来就是逐渐的转到了做learning啊做算法做模型其实中间每次转型都还是相对有一些坎坷但如果我总结我的成长经历的话应该更多的是幸运因为每一个阶段都有非常好的朋友能够支撑我然后老师能够支撑我mentor能够支撑我所以我自己的词应该是幸运那这个幸运它是比如说从天而降的还是你其实觉得获得更多的幸运它也有一些方法或者这个规律这个有一些巧合但可能是我交到的朋友都非常好吧对嗯就是大家能够有一个比较好的支撑的网络能够互相帮助所以某种程度上我觉得一个人成长成什么样子一部分是自己决定的 [40:00] 的一部分是你选择了一个什么样的环境环境会反过来影响你你再怎么选择环境啊这是个很好的问题我自己选的时候其实更多的是看...能不能我在这个环境里面能够发挥出我自己最大的作用我只是能够最大化我自己的兴趣点以及我的能力可知可很有意思啊我以为你要说就是选最好的其实不是对因为好不好这个事情还是一个可能大家会有一个general的metric但是对自己个人发展来讲的话还是要选最适合自己的就是你需要看比如说你选择了一个事情之后你的能力是不是在经过这个或者一个环境之后你能力是不是能够翻倍不是double就像游戏通关一样就是你要不断不断的去通关然后当成一个游戏来做那在没有进到这个环境之前所以不管是这个去查阅或者之前去SMU去Stanford你要怎么能够尽可能多的了解这个环境是不是真的能够就是放大自己的能力呢适合自己呢这个时候就是信息采集会非常的重要我自己的话就是我会比如说找我的就是朋友先看能不能connect到如果不行的话我就发邮件connect一下后来发现其实research里面有很多人都是非常热心的就是如果你正确的表达了自己的request大家其实都是会愿意互帮互主的那其实对很多Iron来说这个蛮难突破的你有什么小技巧tips给到大家吗对我自己其实也是个Iron但后来觉得I的就是你在做自己的专业的领域的时候你其实是需要maximize你自己的方法的我觉得即使是爱人的话也是可以有一些比如follow的一些protocol比如说你可以让AI帮你draft一下就是邮件但是你要自己先写一个出版的邮件然后让它polish一下变得更就是更plied或者是更合适一些的这样一种方式其实现在工具还是蛮多的你只要正确的使用工具的话还是我去见现在已经没有什么事情是不能达成的嗯那换一个问法,现在应该也有很多学生或者你的学弟学妹们也会来给你发邮件或Code,什么样的这种邮件和code call你会更愿意回复啊有一些邮件其实明显看出来就是纯AI写的然后这个其实我就不会毁了因为还是如果要发邮件给别人的话最重要的是表现出你的诚意对吧然后那诚意体现在什么方面呢体现在第一个你真的对这个领域有了解然后对这个方向是有了解的这个其实是把你的兴趣点他考察就是你把你的兴趣学落实到实际的工作上面这个练路是不是能够走通有很多人可能只有兴趣但是没有落实这个其实就是一个需要注意的点如果他明确的能够分析出来就是他的兴趣体现出来他的兴趣然后同时能够分析出来他的愿意做的东西然后这个就是一个比较有想法的表现有想法的学生我一般都是会愿意去在我们prosted到下一步多聊一下的蛮有意思的然后刚才其实你也提到自己其实面临过很多的转型不止一次你之前感觉自己最tough的一个比如说所谓的人生十字路口抉择时刻是什么呀其实最tough的一个选择确实就是要不要回国其实某种程度上也是选工业节和选学术节它其实对我来说其实是一个非常大的考虑然后也是考虑了非常多的时间因为我自己的科研的生涯绝大部分时间其实都是在美国的然后当时也是会犹豫一下是不是这个能够回国能够适应然后它肯定是有很多挑战的我特别喜欢ML里面有一个概念叫no free lunch有免费的午餐吗就你选了一个决定你可能就要承担它的就是可能它一些稍微来说比较弱的一些层面这个其实也是经过了非常多的考虑刚刚提到就是说我自己发现我最看重的还是我的自由度就我以及我希望做这个机器人让它变成一个整体的system让它能够实际的落地所以呢这样综合下来的话回国去做教职是一个我的ultimate choice应该大量的见到了非常多的在巨升领域的不管是researcher还是创业者你现在整体感觉是什么就目前中国目前巨升创业现状我其实到回国之前就了解了一些觉得非常的experient [45:00] 就是大家都非常有干劲的然后沿着这个机器人整个系统的不同层面在做事情但其实我回来包括之前了解,包括现在的了解,一个整体的感受就是其实有非常多实际的进步,但是也会存在着一些泡沫。但它两个其实不是互斥的东西好的地方是确实在整个机器人系统的层面比如说从就是材料sensor然后到本体然后再到数据然后再到模型其实你都能看到对应的一些公司国内的公司在沿着这个方向做公关然后也会有非常多的资源就是沿着这个方向然后再被投入所以长远来讲的话我还是非常乐观的我觉得它一定是能够有实际的进步包括现在也是有实际的进步正在发生的但同时也会存在着一些泡沫就因为大家巨生这个事它本身还没有收敛对吧然后所以大家是沿着不同的Bet沿着自己相信的方向在前进的那肯定就会有一个焦点的一个转变有时候可能之前是在沿着数据可能慢慢的在点到世界模型然后后来又慢慢的可能有些人又在开始关注数据所以它是一个焦点在不断变化的过程当中那在这个比较多变的情况下泡沫其实是一定存在的就像控制里面你可能会有些超条啊等等这些超调是什么超调就是你可能PID参数调的不好了你可能他就会震荡就是说会有一些震荡好上次你有提到吗就感觉去年找理聊的很多都是这个说先做数据对吧对然后上半年就是大家都在做世界模型然后最近又开始讨论数据你感觉这个中间的这种转移是因为什么样的原因在发生吗其实是大家在看问题的角度会稍微有一些变化但我觉得它其实不是完全的转移就包括刚刚提到的话其实大家的关注点是在逐步的变化的你可能是从数据到模型上可能再到数据可能之后又到模型大家在不断的思考说这个行业里面什么是真正重要的问题然后但这两个问题其实都是非常重要的因为它其实不是互斥的它不是两个路线而是在看两个不同的层面数据本身确实距深的数据是非常稀缺的那数据决定的是你这个模型它能够看到什么东西然后模型的话包括世界模型它相对于VLA来讲的话它是可能是相对VLA是一个新的路线就是representation是什么你对世界的理解是什么然后这个跟VLA更任务相关的这种路线的话确实是不太一样的然后我其实自己本身也是比较相信就是世界模型的这个路线因为它是我们叫他任务不相关但任务这个事是一个非常容易不scalable的一种方式因为任务实在是太多了你很难通过穷举的方式但如果你能够通过用世界模型的方式让他学到这个世界变化的一个规律他其实是更防的门头的一种能力有意思然后在中国和美国你分别最关注哪些公司或者一些实验室啊我现在关注的还是挺多的嗯看的时候其实主要是在看哪些公司跟我的研究方向会比较相关,跟我的belief会比较相关,比如说美国的话,它也肯定是会关注的,然后还有就是一些大公司像Google MV,还有一些出众公司像Generalist,还有Rhoda。我觉得他们的路线都是我觉得还挺有意思的尤其Roda他们其实也在做一些就是Incontext Learning然后的一些尝试然后国内的话其实也会有一些公司的工作我也还蛮喜欢的比如说领波他们最近发的领导的VAR其实也是沿着ICLIncontest Learning的路线在做我觉得也是非常有意义的工作最近没有看到什么Skinload的信号吗其实我觉得还是看到了一些的但是不是我们自己的其实是一些其他的公司发的一些结果吧比如说能看到像有十万小时到一百万小时你的预讯的数据被scale up之后即使你能够在一些hold out就是没有见过的数据籍test set上面它能够有比较好的效果但大家现在测的更多的是叫所谓的loss但机器人里面有一个很tricky的点是你的loss跟你的成功率不是直接挂钩的就你可能你的loss很低但是你final的这个success rate它可能不一定是低的它会有很多的震荡就举个例子就是比如说我们要拿一个杯子可能一共是花20个step20步去拿到这个杯子可能前17步都是你跟这个杯子没有接触的 [50:00] 然后即使你这前十几部Fit的非常的好如果你第十八部就是你真的跟这个杯子有接触的时候它就是误差比较大这个任务其实就很容易失败所以它会有一个这种Temple上面时序上面的一个这个不平衡的情况在所以就会导致你的loss跟你的成功率其实大部分时候它是不是直接相关的所以我觉得可能真正之后如果大家能够在看之后的skilling law假设能够有一个skilling law它是能够展示出你的数据逐渐增多然后你的模型逐渐变大然后你的Success Rate你在没有见过任务上面的success rate是逐渐升高的我觉得这个是真正有意义的或者我想要见到的Squieta Scaling就目前你觉得有一些信号但是这些信号没有那么的强对其实大家都很喜欢聊一个问题就是机器人到底有没有他的GPT moment你觉得会有吗我觉得会有我还是非常相信skating这个事情那现在来讲的话如果要做一个对比现在的主流的居住模型其实还是在沿着这么一个我有一定的fait training然后fait training完了之后我根据我的target domain做一些fine training这个其实就可以类比成就是language model的更偏向于gpt1的时候其实它gpt1本身也是你需要做有针对性的后训练你才能够去解决这个相应的任务但我自己真正希望能够做到的是相对来说GP3的时刻其实就是你能够通过这种ICL的方式通过prompting的方式给这个模型相关的任务一些的信息但是你不需要通过fine training而是只是通过context来告诉这个模型它具体需要做什么这个时候就会把fine training的比重降的更弱一点它其实也更容易通过SLO进到更多的场景发展更多的任务对对普通的也可以用起来对对在巨声领域当我们去关注这个Skilling Law它带来GPT Moment的时候你觉得有哪些benchmark是特别值得关注的吗有没有这样的榜单什么的还是你觉得其实也不需要这样的benchmark有可能它就像GPT Moment一发生它自然像魔法一样所有人就能够感受到了我还是觉得应该会需要有一些benchmark尤其是巨身的话因为它跟Language Model相比Language Model发展其实确实有很多Bunchmark对吧就大家虽然也是有比较多的争议但它确实是在某种程度上前期发展的时候是帮助了模型的发展的巨身的层面我觉得Evaluation或者叫Bunchmark会变得更加的重要因为巨身你是有一个身体的就是你有一个physical body然后这个时候就会让Evaluation的时候你不能只是Evaluate这个模型的然后他的失败的情况然后以及risky的情况都是需要通过一些预先的这种benchmark然后来告诉这个模型developer以及告诉用户他的能力的编辑是在哪里所以他的benchmark就会变得更加重要那现在领域里其实做benchmark大家有很多公司有一些避远的就是自己内部的一些品测的标准然后这个就有一点无从夺置然后那开源的一些benchmark的话还是想推荐一下behavior因为它本身确实是更长城的一些任务而且它有比较多的家用的一些环境家庭的环境然后以及物体的一些布置可能抓牌就是会有被人会criticize的时候就是会有一些sim to real的这种gap但是你从模型能力来讲的话eventually simulation只是一种环境所以Behaviour这个Bunchmark从你们当时做到今天它一直是有人在维护和进化的吗对它一直是有人在维护的然后它的应用性也是在逐渐的提高的嗯而且在上半年的时候英伟达的这个金范他有一个就感觉中美都刷屏的演讲啊他是认为这个巨声的发展会这个严格的去对应语言模型的几个阶段嗯你认可吗你觉得这个也是会有类似的对比吗我觉得我总体上是认可的比如说像Language Model里面大家已经知道的比如说Scaling啊Scaling Law以及你会有一些parnation model出现然后需要有incontest learning的能力这些其实在巨神里面也是会出现的但可能不一样的是会有一些侧重点的不同然后以及机器人有它领域的一些独特性刚刚提到有一点就是机器人里面你的安全性是需要再往前放的就是你在部署之前你需要有一个类似的这种stress test你才能够真正的部署到场景里面去然后这些其实是会比language model这个层面是更关键也更急迫的一些问题 [55:00] 另外一个是机器人的他的context会更多样因为他有一个身体所以他的flexibility就会更强你可以观测周围的环境然后你的context里面就会有更多不同的含义这个是第二个层面所以其实总体上来讲我觉得机器人一定是会逐渐被scale up机器人模型是一定会被scale up但是关注的点可能会有前后的不同因为我自己在想其实今天就大家都愿意用SOTA的语言模型嘛所以我给他一个任务有时候20分钟才给我回复但我觉得完全OK因为就等吧反正我很多任务同时在跑但是对机器人来说是不可能的就是一秒钟我都觉得这个他是不是死记了就想去拍一拍他对对对实时性确实也是一个非常重要的点因为巨山的模型你肯定是不能希望于他20分钟给你一个reaction他其实是需要实时的跟周围的环境有交互的所以我感觉就是还是很有蛮多工作需要去功课任重到远我们前面聊蛮多行业的观察思考就是再回到你自己的工作你现在在就是比如说最近一两个月你做的最重要的事情是什么其实最重要的我们是最近沿着Incontest Learning这个路线在不断的往前做我想再解释一下就是Incontest Learning它具体是在巨生里面到底是什么样的含义以及它最终可能会enable什么样的能力对嗯举一个简单的例子就比如说大家看到非常多机器人的diamor是点一幅对吧就拿举点一幅这个例子来嗯举例就大家看到的叠衣服都是叠成方块然后它其实有一个假设是每个人家里的衣服都是叠成方块的对但其实不是就比如说我自己我用胶囊衣橱那我的衣服都是卷起来的然后我希望说这个机器人他到了我家里之后我告诉他OK你看我我的衣服是这么叠的我说我把它好好的卷起来然后另一个人可能到了机器人到家了之后他会说我的衣服都是按照固定颜色摆放的有些人可能甚至根本不用叠我就是把它挂起来所以其实Incontest Learning本身想要解决的就是他希望让这个模型有被终端用户定义的这种能力这种能力用户可以根据自己的偏好需求去改变模型的一些具体的能力然后一起改变模型的behavior这个是我们可能最终希望机器人能够实现的一个事情然后另外就是假设机器人最开始比如说我做一道菜他不会做然后我想让他做一道菜但机器人不会做我可能给他demo一下然后类似的场景可能机器人学了比如说1000个之后最开始他可能需要半个小时adapt要就是十分钟或者甚至更少的时间adapt其实我们本身在训练的是这个模型快速学习新的任务的能力所以它如果能够被扑到更多的场景然后更多的家庭然后甚至服务场景等等这些之后因为它在不断的去reinforce它的这种学习的能力它其实是会学得越来越快的所以我其实非常相信就是Internet Learning它是一个能够最终让模型去scale up的这么一个方式那你看我感觉这一点还是依赖蛮多外部突破的不管是本体也好还是这个世界模型也好甚至这个比如说我就能想到非常多的事情你就现在他最可能做不到的那个点是会比如说输在哪里 bug 出在哪里最难的点其实是能不能让这个模型有一个稳定的数据的闭环因为其实这个方式刚刚提到说你是需要做一个跟场景的结合的包括你真的把这个机器人放到你的中端的家庭或者是一些服务场景里面去然后你需要有合适的mentor来教这个机器人来做事以及这个机器人能够说让人在交了比如说一定时间半个小时之后他能够有先而易见的一些进展这样的话你的中东用户才会愿意用对吧然后你的数据闭环才能够真的开始转起来那这个就有一个就是击生蛋诞生机的问题吧对就是你的base模型需要足够好你的学习的能力你的学习的速度才会速过快然后但是呢我们的模型又是需要有一个这种你先得能进入到这个场景里面去然后让用户开始用这个模型的这个一个base能力先给他激发出来所以这个其实是能不能跑通这个数据闭环其实是最risky的一个点咱们现在跑通了什么样的数据闭环吗简单的跑通的闭环现在是什么样的对我们现在其实在做一些比较简单的桌面任务的一些人的一些修正知识 [60:00] 然后机器人可以根据人的修正啊指示demo然后来改变他自己的behavior还是先从著面任务开始做的嗯嗯这都是在真机上是吧对都是在一个by manual setup就是双臂的一个场景然后同时呢也会有一个灵巧手所以其实我们最终想做的还是就是全身的灵巧操作咱们做的这个事情和离线模仿他们之间的这个关系是什么相同不同是什么比先模仿一个相当来说大家公认的定义的话就是你会有一些专家的数据然后这些专家的数据会被我用一些就是监督学习的方式就是invitation learning的方式然后来学到这个其实本质上还是违规到我们刚刚讲就是transformer跟algorithm distillation它的去其实你这种invitation learning本身是你把这个模型当成了一个任务的记忆的这么一个模块如果这样通过大规模的训练之后你的expert数据你如果想要去解决一些generalization的场景就是让他解决一些没有见过的任务的话你其实本身是寄希望与这个模型有一些内插性的范化叫intervalation generalization就是这个模型比如说我看到了桌上的五块的十个位置然后我再给他一个新的位置也在一个相关的范围之内他可以把这个任务给解决但是他其实是没有学习因为它本身是某种在memorize你数据里面的一些动作的这些知识然后我们想做的其实更多的是让这个模型有针对性的看到不同类型的数据比如说它能看到一些subultimal的数据然后看到一些人的body gesture然后language instruction修正的一些指示以及人的demo然后robot demo等等这些它其实是种rich的我们激发出不同的一些模型的能力它其实远远会超过你只是通过这种imitated expert demonstration能够赋予的模型的能力对因为其实说到插院大家会想到一些名字啊就现在在创业的领域很活跃的这个助理教授比如说许华哲高阳陈建宇等等就是你们最近有空坐下来聊天吗就是大家会一起开会吗大家其实私下里确实都还挺忙的就是其实没有一个时间说能够大家全部坐下来一起聊但私下里会有一些沟通其实大家做的东西我觉得总体来讲大致的vision都是一样的如果scale up的方式去落地到一些应用场景让机器人真的能够实际的有用但大家细节上的bat会有一些不同比如说有些人可能更bat down世界模型有些人是更想要做融合独卿比如说vla加上世界模型的这种路线短期来讲我觉得这个是一个很好的事情因为确实还没有最终的收敛是大家共同感兴趣的话题是什么共同感兴趣的话题就是如何能够让模型去scal up其实包括其实平时也会讨论就是数据相关的然后以及如何能够让这个模型进入到人的一些场景里面去之前跟高老师也是聊过一些相关的topic所以聊到和数据相关我记得之前我们沟通的时候你有提到你觉得它特别难的地方在于需求的定义对这可以展开讲一下吗就这个为什么难在这里其实数据本身它是会被喂给模型的对吧但数据的定义其实不是凭空定出来的数据定义是靠模型的能力定出来的所以大家在定数据的时候本身在做的事就是模型到底需要什么样的能力你会反推出来就是数据应该怎么样去被采集比如说如果我需要这个模型它的动作更平化我就需要我的数据都是这种平化类型的数据如果我希望这个模型它有这种filia recovery,就是从失败当中学习的能力的话,我的数据就会需要采集这个VLA模型,不管是还是世界模型,它能够有些filia,然后有些修正的这样的数据。所以其实本身数据它的定义应该是由模型的能力来定义的。只是大家现在对模型的能力的定义还相对来说比较模糊吧我觉得这个也是肯定是有很多researcher正在逐渐思考的问题比如说我是不是需要让它的base模型有这种分割的能力然后一些CVE任务相关的能力就分割tracking还有一些depth相关的一些重建然后normal的一些重建等等这个就是更偏CVE的一些能力然后还有就是比如说incontest learning它本身也是一种新的能力这个比如说modality就是人的一些 [65:00] 部的指示身体的指示然后语言指示这些学习其实不同的模型能力确实是会反过来定义你数据的一些需求的听起来是还蛮复杂的就要从模型出发而在模型的这个大家的主张上面其实也没有收敛嗯嗯那现在比较主流的这些踩数据的方式有一些自己的这个就是或者你有一些自己觉得就是肯定不行的我是融合拍因为我觉得不同的数据它模型从你们学到的东西应该是不一样的比如说如果是一些TileOperson的数据的话它确实是最接近这个机器人本体的数据所以它非常适合用在比如说你训练的后的阶段不管是通过Fintuning还是Post Training这个阶段其实你是希望让它跟Target Domain更直接相关的所以TileOperson的数据在这个层面它肯定是最好的然后呢Simulation的数据的话就是它比较容易或者是这种texture就是物体的表面的这种贴图你可以给它做比较多的泛化颜色等等这些也可以做比较多的变化所以它其实是能够让这个模型对一些viral的变化更卤棒的这么一种数据来源所以它其实在模型的训练的前端会比较有用就是更早期的阶段会比较有用比如说pre-training或者甚至mid-training这些阶段而且simulation的数据其实能是一个比较好的对齐的数据那时候干净一点你可以通过用这些数据来激发出来可能你经过大规模的视频训练的一些模型的一些能力然后还有一种就是UMI的数据UMI数据其实是有点在中间的它会更像一些机器人的数据但是它采集的成本会低一些然后再走到成本最低的这个层面就是human data其实我本人还是非常喜欢human data的因为人确实是一个非常成熟的这个本体机器人的本体对所以其实人能够日常的非常方便非常快捷的帮助我们采集到场景的数据而且human data的话它因为它实在是成本比较低所以你可以比较大量的扑到不同的场景里面去然后那这个时候场景的对场景的鲁棒性然后对不同场景的理解这个时候就是human data它应该发挥作用的地方有些人可能会觉得比如说human data它跟机器人的morphology实在是太不一样了但我会觉得就是human它本身是一种morphology所以如果我们有比较好的就是morphology transfer的这种方式的话它其实是能够有非常非常大的作用的而且我们其实本身从human data里面学的应该是就是这个场景的变化然后以及人在做任务的时候这个物体的一些变化就是它其实是跟你的Mafology具体的形状是不那么相关的它是更任务相关的一些信息其实可以比较好的从human data里面去的所以本质上还是就是用什么数据就是要把它用到对的地方然后以及就是正确的构建数据和模型能力之间的这个链接嗯因为今天巨生变得非常火嘛所以就应该有很多的学生包括很多就是可能学汽车或学机械的学生也想要做巨生你会给大家什么样的建议啊就是刚走上研究的道路的年轻的学生们我的第一个建议就是一定要多看就是一定要吸收的足够多因为其实我在跟一些学生聊的时候但是可能对一些fancy的概念觉得自己感兴趣但其实如果认真的去问他你到底兴趣点在哪的时候其实就是会比较模糊的这个其实一个本质的原因就是因为大家知道的还不够多你可能只有就是书阅读越厚再阅读越薄嘛就是你可能要先知道的足够多之后你才能够从里面抽出来然后并且也能够逐渐了解你真正感兴趣的地方在哪里这个是第一个点就是一定要多看然后并且多跟人交流然后第二个是要实际上手干活因为很多人是对巨星这个方向感兴趣的包括我也是从小对机器人非常感兴趣我就这时拿出来大家都会对这个方向感兴趣但是把实际你的兴趣转化成你的行动的能力这个是要越早开始培养越好的所以要实际的去上手你才能够了解说这个领域它真正难的地方在哪比如说真机部署是一个非常消耗经验的事情然后呢这个方面的话如果能够早期的话有一些积累是比较好的我们现在也带 PhD 对不对?对你面 PhD 的时候 [70:00] 什么必问问题吗必问问题的话我会问这个学生他最感兴趣的一篇文章是什么或者说换一个方式来问的话就是他觉得哪个文章做得最好这个其实是一个怎么说一个research test相关的问题或者一个opinion相关的一个问题这还蛮难回答的对其实还是挺难的其实假设你现在这个学生他已经有了对领域的一定的了解并且能够知道自己的兴趣点在那了所以这个是我的一个逼问的问题你听到最好的答案曾经是什么我有一个学生他对Diffusion非常的感兴趣然后但是他演的那个文章不是Diffusion Policy而是更就是Diffusion Model最开始original的一篇文章所以我会觉得这个学生非常的广的它并不是只是局限在可能Robotics的一些相对来说应用的一些层面而是能够去trace back就是找到这个文章真正的发源地我觉得这个是比较好的就是有这种刨根问底对找到最开始它的起点的这个能力对你现在会带一些本科生做研究吗也会带其实我们组里有一些是我刚来的时候就已经开始跟我做研究的一些本科生其实也能看到他们非常多的一个成长也是逐渐的从就是可能自己的兴趣点还没有那么明确然后到逐渐的知道了更多然后自己上手做了更多的事情自己的拼力也会变得更强这样你会怎么选人本科生我们还是现在是比较宽禁的就是因为我还是希望能够给大家提供一个平台是说你能够有一个机会去了解前沿的research在做什么所以其实我们组会都是会邀请非常多的本科生来听组会的形式也都是tutorial的形式就是会前面比如说半个小时到45分钟会讲一讲整个领域的一个发展就是以一种科学式的角度来讲然后或者是一个topic分成不同的流派来讲然后可能最后的15分钟到半个小时是presented的同学会讲一讲自己的项目都是这样来组织的其实主要的目的就是让学生能够有一个学东西的机会我觉得是一个很好的学习小组这是每周还是最开始是计划的每周后来实际执行的话应该能有biweekly所以这个tutorial是谁做呀tutorial是学生做所以其实我觉得学生们都还挺厉害的就是会给他们一个我会提前问他们这题是什么然后我们讨论一下topic第一遍的时候其实会带他们就是过一遍就梳理一遍看他这个topic的organized的方式是不是正确的然后后来慢慢的学生其实就能够自己做一个总结了其实大家学习的效率都是非常快的因为一开始有问MBTI嘛我觉得你还是蛮典型的INTJ是吗对对你感觉自己曾经有过一些F的时刻吗我是一个共享能力很强的人体现在什么地方我自我认为我能非常敏锐地观察到别人的一些就是情绪的变化所以其实我是一个相对来说如果在一个集体里面是更照顾别人的情绪的这么一个角色这是好还是不好呀就是我觉得是个好事吧因为本身来讲团队的凝聚力是靠一些关键的人宁可起来的所以在非工作的时刻比较F其实是能够拉近跟同学们或者跟大家我的collaborator的一些距离因为大家不单单我并不希望我的所有的伙伴都只是工作上的伙伴我感觉你确实很有亲和力哦 是吗所以在这个比如说讨论工作之余大家在一起比如和PhD们和同事们在一起还会聊别的什么话题吗也会吧就是其实我还挺感谢我的学生们的因为其实最开始就是你跟一个年轻的一批来读你的PhD本身就是一个很risky很有challenge很有挑战性的这么一个选择对所以其实我当时在面试我的博士学生的时候我都会直接问他们我会直接告诉他们说你如果来我这读的话你可能会需要承担一些就是实验室的construction构建的一些角色然后你可能会做一些比如说看起来会比较杂事的一些活其实也是会提前跟大家讲清楚但他们其实都是非常愿意或者是愿意接受这个挑战吧其实就有点其实建最开始的实验室就有点像建startup确实对但我我其实不太觉得它是艺人的startup还更像是我的我自己还有我的一些部门 [75:00] 五十双在一起构建这个事情嗯对你来说也很像是从临到一因为尤其这些博士生都还不是之前认识的班底但我们的信任其实磨合的还挺好的主要就是大家有一个共同的愿望就是能够把事做好有了这样的一个共同的愿望之后,其实每个人都在正确的地点去contribute自己的能力或者时间的话,其实我觉得凝聚力还是比较容易构建的。你们会团建吗团建的做什么啊会团结我们前两天还去一起唱歌来着唱歌对我其实也会组织大家一起应该是已经我自己组织过两次团结然后学生们会组织团结有的时候也会叫我所以我觉得还是蛮好的这个其实是我比较想要构建的一些实验室的氛围我并不希望大家只是工作上的或者是学术上的一些collaborator而是你能够长远相信的一些朋友有意思我们最后聊点轻松的你在日常会用的一些AI的产品吗我用XGVT用的比较多然后最近其实有一个变化是我会几个就是XGPT Gemini会轮番着用可能他们确实会在一些事情上面给的观点还是蛮不一样的OK然后最近一个变化是在把我之前用AI都是更知识性的比如说我让他帮我总结一些东西或者是做一些调研最近开始跟他有些对话对就是非工作的一些对话你和AI都聊什么非工作之外的话题工作之外的话题有的时候会聊一些对事件的看法最近一些比较有意思的事情可能也还是跟工作有点相关啊就是我在给我的实验室起名字然后我在问那个问AI说就是我给你一些关键词你能不能帮我尝试构建一些然后我有一些初步的一些list然后让他给我就是polish一下或者propose一些新的然后当时就觉得嗯他能propose的一些名字都还挺好的所以定下来了吗还没有还需要多聊最近我遇到好几个人都说在他们的领域论文大爆发就你有感觉到吗有Robotics的论文最近是在翻倍增长对我们也见一个很垂直的一个物理学的一个这个Postdoc他就说原来他们领域一天可能就四篇大家其实每天早上都会刷现在就是已经不可能了就是对这里面有很多是AI写的然后质量也一笼混杂对那你怎么在面对当下的这个就是整个研究环境的变化呀我现在其实是会摄取论文的方式有不同的种比如说我会每天可能刷一刷我关注的一些researcher他们去宣传的一些文章因为他本身就像是自己做了一些筛选就是你作者list已经做了一个筛选就是他觉得可能他自己真正proud真正自豪的一些文章有哪些他会做一些推广做一些转发尤其是在embodied AI就是robotics这个领域大家已经越来越熟悉或者是习惯于用这种社交媒体的方式去宣传自己的工作了然后也包括会有一些researcher国内的researcher会在英台上去宣传自己的文章我大概每天都这么过一遍然后但其实能明显的看到有些文章是AI写的成分非常多我觉得目前来讲的话就是AI写的文章它可能能够通过审稿然后可能真的能够中一些会议但它的quality整体上来讲还是不太好不会有人写的更高的因为AI写的文章它其实看起来会像实你第一眼看你可能会觉得像实但是实际上它有很多的论证是有点漏洞百出的就是它可能看起来像实但是实际的内容并没有很多所以我在如果发现这个谁也爱写的文章的话我对这个文章兴趣就会大点折扣对最后一个问题啊大家其实都会很喜欢用一个比喻说巨生是一场马拉松马拉松就42公里嘛你觉得我们现在跑到几公里了我觉得跑到十公里嗯好的啊四分之一的一个位置因为真正重要的还是把这个机器人放到水街场景去拥有还没有我们就讲智能机器人啊就是这种强调泛化性通用性的这种智能机器人直接落地还是没有看到的所以还有挺长的路要走的 [80:00] 但我整体上来讲还是Beas up.乐观就是我觉得在未来的三到五年其实我们能够看到一个通过scaling看到一个明确的范式的转变或者明确的一个拐点所以我会觉得未来的三到五年是非常关键的一个时间阶段谢谢我觉得做创业做研究做巨神做AI都得乐观对因为悲观特别容易正确只有乐观才可能成功对嗯好呀谢谢孟迪今天很开心谢谢期待你再来做客感谢Kaji拜拜