清华徐梦迪押注具身ICL 称单纯预训练难解开放世界自适应

清华徐梦迪押注具身ICL 称单纯预训练难解开放世界自适应 具身智能Scaling Law目前受制于训练Loss与真机成功率的脱钩，机器人只有摆脱离线微调、转向无需更新权重的上下文学习，才能真正适应开放家庭环境并跑通数据闭环。 徐梦迪指出具身智能不能仅依赖出厂前的大规模离线预训练，而必须借助上下文学习（ICL）实现在开放世界中的实时自适应，摆脱传统微调导致的灾难性遗忘与端侧高昂开销。对谈拆解了机器人领域 Scaling Law 的独特困境——验证集 Loss 的下降并不直接等同于关键物理接触时的成功率提升，且强调了任务无关的世界模型与多模态数据源融合的核心价值。此外，她回顾了在斯坦福受吴佳俊与李飞飞指导时建立独立学术品味（Research Brand）的蜕变，并坦言选择回清华叉院任教是为了追求纯粹的科研自由度。最后她将当前的具身智能马拉松定位在刚刚跑完四分之一的“10公里”处，坚信三到五年内将迎来范式跃迁。 清华叉院助理教授徐梦迪指出，预训练模型无法完全应对开放世界的动态变化，机器人的终局在于上下文学习（In-Context Learning, ICL），即通过动作示范或物理 Prompt 在现场无需微调参数即可快速自适应新任务。 (11:45) 具身智能的 Scaling Law 面临“时序物理接触不平衡”的特殊陷阱：前段无接触位移的极低 Loss 无法保证关键接触步骤的成功，实际物理成功率才是检验模型规模化效果的唯一核心标准。 (49:07) 针对当前具身数据路线之争，徐梦迪主张多模态数据源融合哲学：遥操作数据适合后训练微调，大规模仿真数据适合预训练，而成本极低的人类日常视频则用于理解环境物理规律与物体交互演变。 (63:00) 按 42 公里全马赛程类比，徐梦迪认为当前具身智能仅跑完了约 10 公里，但预测未来 3 到 5 年内行业有望通过数据与模型规模化扩展迎来类似大语言模型的范式转变拐点。 (79:22)

清华交叉信息研究院助理教授徐梦迪指出，具身智能无法仅依赖预训练成为通用个体，上下文学习（ICL）与物理世界自适应才是终局；当前行业仅跑到马拉松的“十公里”阶段，正处于震荡探索与 Scaling Law 信号初现的关键窗口。 超越预训练：开放世界下的上下文学习自适应 (11:45) 徐梦迪在 CMU 获得最佳博士论文奖的核心观点是：预训练并非具身智能的全部，现实世界是多变且充满主观偏好的开放环境，要求机器人具备部署到新场景时的实时自适应能力。她将大语言模型的上下文学习机制引入控制领域，主导提出了 Prompt Decision Transformer 以及参数仅占 0.5% 的 Hyper Decision Transformer，主张通过实体交互 Prompt 在不更新网络权重的前提下完成任务调整。 她认为，相比依赖专家轨迹内插的离线模仿学习，机器人的终极形态应当类比 GPT-3：通过摄取次优数据、肢体姿态与人类即时修正指示，使终端用户拥有定义机器人的权力，现场在数分钟内快速学会卷衣服或做私房菜等非标长程任务。 Scaling Law 苗头与物理世界成功率的脱节困境 针对具身智能是否出现 Scaling Law 的疑问，徐梦迪表示业界确实观察到了积极信号，如预训练数据从 10 万小时扩充至 100 万小时后，模型在未见测试集上的预测能力显著改善。然而机器人领域的独有瓶颈在于：验证集损失函数（Loss）的下降与真机成功率并不直接挂钩。 以抓取水杯为例，前 17 步无接触移动拟合极好、Loss 极低，但第 18 步关键物理接触只要出现轻微空间或时序误差，水杯就会滑落，导致最终成功率归零。因此，真正的具身 Scaling Law 必须证明模型扩展能在全新任务中稳定提升真机成功率，且系统必须具备亚秒级响应能力，而非容忍大模型的推理长延迟。 资本泡沫的超调震荡与多模态数据采集哲学 面对国内具身智能创业领域的资本热潮与路线争论，徐梦迪借用经典控制理论解释：行业技术路线尚未收敛，大家在数据、世界模型与 VLA 之间的下注与关注点漂移，本质上是控制系统参数调优过程中必然且健康的“超调（overshoot）”与震荡。世界模型理解物理底层规律，属于任务无关表征，与数据驱动路线并不冲突。 关于数据定义困境，徐梦迪自称是“融合派”，主张数据形式应由目标能力反推：高成本的遥操作数据贴合本体，用于后训练微调；低成本、泛化性强的仿真数据用于预训练和中程训练；人类日常视频数据虽然缺乏机械臂形态，但对学习物理环境演化规律至关重要，可通过形态迁移补足硬件差异。 从答题者到出题者：顶尖学术训练与科研定力 (26:30) 徐梦迪分享了从清华车辆工程、CMU 博士到斯坦福博士后的学术成长。在斯坦福与李飞飞、吴佳俊合作期间，李飞飞用“把事情变得尽可能简单，但不要过分简化”的原则启发她摆脱繁琐过程性指标、聚焦最终成功率，完成从解决具体题目的“答题者”到确立长远方向的“出题者”转变。 回国加入清华叉院后，她践行姚期智先生关于“保持专注（focus）”的忠告，将精力聚焦于能实质改变行业的深层命题。在清华实验室建设上，她采取类似创业公司的协作模式，通过双周“Tutorial”科学史学习小组培养本科生的科研审美，并依托同行信用网络抵御 AI 生成低质论文带来的信息过载。 徐梦迪认为具身智能这场 42 公里的马拉松目前仅跑了约 10 公里，技术尚未实现脱离受控 Demo 的开放世界成熟落地；但她预测未来 3 到 5 年内，数据与模型规模化扩展将迎来关键的范式拐点。

[0:00] 徐梦迪: 让机器人能够从现实的场景当中不断地持续提升自己 [11:45] 徐梦迪: 预训练不是全部，我们不能寄希望于机器人只通过预训练就成为一个 100% 完美的个体 [26:30] 李飞飞: 未来十年甚至更长远，这个领域真正重要的事情到底是什么？你在其中应该扮演什么角色？ [26:30] 李飞飞: 这些指标里到底哪一个才是唯一重要的？就只有你最终的成功率（Final Success Rate），其他都只是研发阶段的 Debug 工具 [26:30] 李飞飞引述爱因斯坦: Make things as simple as possible, but not simpler [26:30] 徐梦迪: 你的 Research Brand 不是靠刻意追求跟别人不一样而立起来的，最本质的在于你打心底里觉得什么问题真正重要，并且你愿意为之沉下心钻研五年、十年，它自然就会成为你的学术标签 [30:57] 徐梦迪: 工业界虽有海量算力，但时间难免受限于业务目标；而我希望我的时间能够被最大化地分配到我认为真正关键的长期科学问题上 [30:57] 清华叉院面试教授: 你凭什么觉得五年之后的你一定能成为这个领域的顶尖学者？ [40:00] 徐梦迪: 天下没有免费的午餐 [72:47] 徐梦迪: 团队的凝聚力是靠一些关键的人拧起来的 [70:00] 徐梦迪: 你最感兴趣的一篇文章是什么？ [79:22] Koji / 徐梦迪: 悲观特别容易正确，但只有乐观才可能成功

[0:00] 嗨,我是Koji,本周十字路口的嘉宾是徐孟迪孟迪是清华插院的助理教授在回国任教之前他先后求学于清华,John Hopkins以及CMU也在斯坦福的吴嘉峻和李飞飞团队做博士后你好,孟迪,欢迎来到十字路口嗨大家好我是徐梦迪非常感谢Koji还有十字路口的邀请我们还是先从我们的传统快案快答开始帮助大家了解你然后请问梦迪你的年龄我今年30.5岁三十点五这么精确求学经历刚才我介绍过了那我们就直接下一个MBTI和星座我的MBTI是INTJ星座是摩羯一句话介绍一下你当前花时间最多的研究方向是什么我现在最重要的研究方向是让机器人能够从现实的场景当中不断的持续提升自己这个是持续多久了呀我知道好像很早之前就在做泛化啊对我从在CMU之后其实就在演着泛化的方向来做的当时是觉得机器人不能只依赖于他预先学到的一些知识也包括我们在看人类的为什么他有这么强的泛化性很多的鲜艳知识然后另外一个层面是人能学知识学得非常的快我觉得真正的泛化其实是希望能够让机器人有类似人的这种快速学习的能力嗯当时是什么样的一个契机让你开始进入这个研究方向的呀我是到CMU之后其实就开始做当时叫robot learning的方向本身就是把一些机器学习的一些嗯技能吧然后一些方法用到机器人上面去啊当时还不叫巨身智能这个非常fancy的名字我在CMU的时候非常喜欢有一个工作叫MAML是Charles Alvin一个Stanford教授也是现在Physical Intelligence创始人的他的一个非常有名的工作MAMO他有一个非常厉害的地方是他能够让机器人学到他没有见过的任务我当时觉得这个是真正机器人未来的一个方向看到这个工作的呢?当时确实这个工作非常有名我们实验室当时有一些同学其实对就是ML的一些前因方向都非常的感兴趣所以大家其实平时也会互相交流啊,分享一些文章然后我们看的文章其实都非常的杂所以其实也是看到了这个方式嗯,我记得在清华本科你是车辆工程系对就是从车辆工程系到巨升这个中间感觉隔着一个变形金刚这个这个是怎么一个转型的过程啊我本科的时候确实学的是汽车,我们专业叫车辆工程我们现在想其实当时去汽车是一个非常正确的事情,因为汽车其实学的非常的全面,我们其实本科的课程会涉及到机械设计,然后一些汽车电子,其实就跟现在的电子专业的学生学的会较差性还蛮强的,然后以及一些算法相关的。开始做科研的时候我带来的科研是跟着机械系的一个老师严孝泽老师当时做的研究当时研究其实是Bio Robotics本身我们做的是研究蜜蜂的一个翅膀的超弹性恢复因为其实蜜蜂它在比如说采蜜的过程当中它会非常多的有翅膀和周围环境的一个碰撞然后但是蜜蜂的翅膀不会因此而受到就是损害因为它有就是它通过结构有一个超弹性的这个性质在里面所以我们当时是研究了这个然后后来也因此为契机吧我后来到了CMU的一个Hobby Choset老师的组里面就是班 Robotics然后我后来鼠岩的时候是大三暑假的时候是到了豪卫的组里面设计了一个舌型机器人然后我们让这个舌型机器人去爬管子然后当时就开始从设计逐渐地转到了机器人的一些算法的设计可以理解成就是从此开始做机械设计和慢慢开始做算法但这个感觉也不是一个非常常规的在一个这个车辆工程系的学生会选的路对是但我们系的学生后来发现其实学生有一个特点就是自己想做的事情就会非常努力的去找跟自己去match的地方来做这样的事其实我也有一些学长当时到了严少泽老师组里面包括杨恒学长现在也是在哈佛的一个AP然后以及当时我有一些高中的同学就是跟我一起学竞赛的同学也在严少泽老师的组里面到 [5:00] 等下了我吃了嘴里刚才提到高中做竞赛嘛然后也想听你讲一讲自己这个在中学甚至小学阶段的经历你是一路都是那么学霸吗其实我现在特别不敢称我自己为学霸因为后来慢慢的包括不断求学出国等等看到了非常非常多厉害的人觉得大家都是非常有想法的就学不学霸只是可能有些人把精力放到了可能学业上面另一些人把精力放到自己更感兴趣的事情上面我的小学其实过的还挺轻松的就是我小学没有上过什么复习班其实课余的时间都是要不就参加一些学校的活动要不就是可能跟朋友玩耍你是河北人对吧我是河北人河北哪里啊我河北洪水人所以你是恒水中学吗对我高中是恒中的然后小学的时候其实家里也给了我一个比较自由的环境吧就相当来说所以其实我小学还是过得非常非常快乐的当时有一个小的兴趣爱好就是拼四驱车就当时有一个非常火的动漫叫四驱兄弟就是我小的时候然后当时他有一些就是那种可以自己买过来零件然后拼起来的那个不同的四驱车这个是我当时很大的一个兴趣爱好当时觉得这是一个很烧钱的兴趣爱好后来还想着赚钱还赚钱吗其实院里有好几个小朋友都非常喜欢这个四驱车想要去赚钱去拼所以我们当时还有一些赚钱的方式就是用四驱车赚钱还是用别的方式赚钱来买四驱车怎么赚啊这个可能就是我们当时会放学路上会就是捡一些就是小垃圾然后去卖一样但是其实还蛮赚钱这很像一个城市寻宝游戏对什么样的垃圾能卖到去买四驱车的钱对当时会有一些那种钢铁的零件对然后会有一些人会回收这种钢铁的零件哇塞现在想想小的时候还是蛮有毅力的知道对而且感觉你很小时候埋下了车辆工程系的种子对对后来想了想是为什么也是我后来喜欢车辆工程的原因因为一直我对机械的结构觉得都非常的酷嗯就是他能够把一些很小的零件整体的组装到一起其实是有非常多代的工匠的这个知识的积累嗯迎接成了一个非常精密的椅子所以横水中学的体验是什么?我在横中的体验就是我自己的体验其实还挺好的因为我高中的时候学的是竞赛我是竞赛生所以我们算是竞赛生的话主页就是学竞赛嘛然后跟高考班的管理的要求其实还挺不一样的于某种程度上你是要激发学生自己更motivated所以其实整体上我们高考的课程学的就跟高考的班解会都有不同怎么才能成为竞赛生啊应该是高一嗯,第一个学习结束的时候会整体的做一个意向的调研,就老师会过来问,你是不是对哪课更感兴趣?我当时是在数学还有物理当中挑的,然后后来觉得物理是一个非常,就是ground到现实世界的这么一个学科,后来选了物理。OK我听说很水就是大家早上5点多钟6点钟就起床就甚至那个安排系到那个1分钟5分钟然后我有一个朋友他后来在复旦然后现在在挣个基金啊所以他说他们那个时候甚至可能一个礼拜都只有一次洗澡机会对确实他行中包括不管是对高考班还是竞赛班其实我们要求还是挺一致的就是早上起来要跑操上午要跑操有固定的非常严格的作息时间高三的时间也都会分开让大家错峰去食堂等等这个层面上的管理其实还是挺严格的因为现在外面对衡水模式是有非常多的讨论的大家也都很感兴趣这个衡水模式最后出来的学生他会是一个怎样的发展他是会很多元还是他会很应试教育还是会怎么样就你自己的观察是什么我的观察其实主要是基于我自己的经历就是我因为是在竞赛班大家一个很强的特点是每个人都有非常强自己的想法就是为什么大家会选择来做竞赛这个事因为竞赛本身他你需要非常强的时间的commitment 比如说现在高考就是高考生他们有一些暑假寒假的时间其实我们都是花这些时间来做集训的嗯对所以我的嗯竞赛班的同学其实有一部分人确实会出国也成长成了非常优秀的researcher有一部分人也确实是在国内发展的嗯所以当时竞赛其实听起来是一条有点不归路的感觉会有这种感觉吧因为竞赛的话确实你不能像其他的高考学生一样你去学特别多就是正常科目里面的知识我们其实是 [10:00] 竞赛考试然后到保送生到自招之后最后才确定了可能比如说没有保送的这个机会了之后才去进入到正常的就是我们会merge进正常的高考班那其实那个时候时间就很短对就已经到了大三的下学期吧高三的下学期对对对对,这个其实有点像创意,它是破釜成舟的。对,但是当时觉得是非常有意思的一个经历,然后当时学竞赛的时候觉得非常有干劲。因为你身边的朋友都跟你有同样的一个愿景,你们都是希望比如说把这个题解开,小到把一个题解开,然后大到比如说冲,就是省一啊,到之后的金牌啊等等这些。所以其实是有很强的motivation做这个事,也不觉得苦。竞争关系强吗竞争关系不强我们当时可能是因为教练引导的比较好OK但事实上其实可能清华每年在河北竞赛保送就还是就是有限的指标的吧嗯竞赛的话它是你要考到如果你你会先进省队我考的比较好你拿到省一省一里面会挑选一波进省队然后进完省队之后会参加一些就是国家集训队然后等等然后一直到就是国家的整体的考试也是有的但是我们当时其实更像是一种统伴关系其实竞争的关系是比较弱的还蛮好的他怎么引导能够营造出这样的这个安解氛围我觉得主要是大家都是从零成长起来的就是更像是大家在一起抱团,然后把这个问题解决。所以如果是所有人都在同一个阶段,然后慢慢成长的话,我觉得这个占有的情意其实要比竞争的这个要...监污的多你在 CMU 的时候当时也是机械工程系哈然后 PhD 毕业的时候你当时那个论文是系里的最佳博士论文讲对呃我觉得那个应该是很难的吧一年估计就一位还是几位我们那一届是一年有两个人嗯嗯所以当时你的 paper 内容是什么呀我当时 thesis 叫 building adaptable generalist robots说起来有点奥口还是一样对对对嗯本身就是希望能够让机器人有它变化环境的这种能力因为预训练本身它肯定是非常有用的我也非常相信skating这个事情但预训练不是全部或者说我们不能寄希望于机器人只通过预训练然后它就是一个OK非常扭的100%可以成功的这么一个个体然后它到部署环境之后是一定需要适应具体环境的一些变化因为人的现实的环境我们叫它开放世界开放世界的一个特点就是这个任务是在不断变化的比如说我家里可能今天它有20个物体,但是可能一周之后它就会有30个物体,并且跟之前的物体的种类也会不一样。然后以及人其实在不同的场景里面,他们的preference,就是它的偏好也是在不断变化的。那这个本身就是一个开放世界的体现。那反过来到机器人的一个能力的需求的话,就是希望让机器人能够适应这种环境的带来的变化,并且能够在这个变化的环境里面去提升他自己。然后的这个解题思路是什么?当时其实探索了几个解题思路,第一个就是Inconnest Learning,机器人的上下轮学习。第二个是通过Test Time的Training,就改变这个模型的某种小部分的参数。它其实本身其实都是为了一个Vision所努力的嘛,就是让机器人能够不单单是受限于它的Pretraining,然后能够通过Interaction,通过Context,在现实的场景里面去不断的学习。一个路子第一个就是incundice learning这个路线啊他本身是嗯从我有一个工作叫prompt decision transformer然后那个工作开始的然后当时嗯是21年的时候做这个工作现在看下也是五年之前的工作了当时主要的motivation是看到了gbt3GPT3当时是有了Income as Learning的能力,我当时觉得非常的酷,因为这个时候你就不像一个传统的这种ML的一个想法,就是你训练完了之后,然后如果你有了一个新的任务,你去做Funtuning,然后GPT3它是有一个能力就是上下文学习,也就是说你可以通过Prompting的方式,你给它一个某种任务的定义,或者是一个输出的format,这个模型可以根据你的Prompt,然后改变它自己的输出,因为你就不需要在就是部署的环境当中重新做训练它其实是一种更高效快捷的一种adaptation的方式然后当时就想那机器人是不是也能够有这样的就是上下轮学习然后以及快速adaptation的能力我们就做了prompt decision transformer这个工作当时做的也是从一个相对简单的setting出发的是给这个模型一个机器人的adaptation然后让他能够 [15:00] 去adapt到不同的locomotion的任务然后以及manipulation的任务然后后来第二个也是 from decision transformer 的续作吧叫 hyper decision transformer 它就是研制刚刚说的第二个路子就是我在 test time 的时候就是部署的时候我去改它的模型的一定的参数但改参数这个事是一个它像一个双刃剑吧是它其实你能够让这个模型解决你的 target 的那个任务但它有可能你改的参数更多了之后其实你模型之前的一些预训练的知识就会被忘记所以我们当时取了一个折衷的方法就是让这个模型先学一个hyper network就是它有一些原这种知识的这种就是被inject到了你的hyper network的参数里面然后再通过这个Hyper Network生成一个小量的Adapter这个Adapter其实只占整体的Transformer的可能参数的0.5%0.5%?对,所以你就只需要去Adapter这个0.5%的参数所以效果怎么样呢?效果的话其实在小量的预训练的前提下,其实Hyper Network是更容易work的。但现在因为大家的数据量其实是在不断的积累,然后预训练的规模也在不断的积累。所以其实我自己本人的话,我觉得真正的Future direction其实还是Income as Learning,就是用prompting的这种方式,因为你就不需要改模型的参数,或者你只需要在让模型学或者是收集更多个monitask的任务之后,你再做这种batch的参数的update。所以咱们现在做的事情和当时做的事情的延续或者发展体现在什么地方啊主要是发展吧体现在什么地方嗯就是自从做完了Prompt Design Transformer 之后其实通过这种 in-contact learning 的方式让模型有快速的代表性的能力的 work后来又有了还蛮多的有一些工作我觉得还蛮不错比如说有一个是讲Algorithm Distillation,是DeepMind的Researcher的一个工作,它有一个非常有意思的想法是你的模型,到底应该等价于一个什么样的智能就比如说大家在现在用一些VLA的时候其实本身你是把这个模型当成模型的参数等价让它包含了一些任务相关的支持,就因为我们都是在用expert的demonstration,同时用模仿学习的方式去把这个expert demonstration的支持distilled到你的模型参数里面去嘛,这个是一种对应。还有另外一种对应就是algorithm distillation里面提出的一个想法,就是你模型参数应该等价于一个算法。嗯就是你模型猜数应该等价于一个ORL的一个algorithm就是他整个文章里面的一个主要的claim他做法其实就是说你会把一些suboptimal的trajectory放到你的context window里面去然后让模型根据他的过去的一些不好的就是执行的动作啊或者是histor然后呢他不断的去改变他自己的future action所以你可以把这个类随 Transformer 的结构它就拥有了这种自我提升的这种能力它的参数里面就其实是等价于一个RL的 algorithm的嗯所以这个最后比如说它在模拟器还是在真机上它有一些这个落地的效果吗它在模拟器里面有然后但是它当时做的很多的任务都是更偏向于 Navigation 或者 Locomotion比如说走迷宫然后或者是一些 Locomotion 的任务也比较难得嗯嗯最近NV发的一个工作,它就是可以让机器人看一些人的长城的manipulation的视频,然后是用TT layer的方式去改变这个模型的一些behavior,让机器人也能够类似的有这个human demonstration里面的一些动作。嗯,就听起来大家这个思路都还是蛮发散的,就你现在有感觉到就有收敛的这种迹象吗?我觉得大家对adaptation的重视性最近是越来越多了的,因为可能是因为大家在发现通过大量的scale data,然后以及scale模型的预训练之后,你机器人确实是一个没有办法只是通过预训练来的。或者只是通过expert demonstration based imitation learning 来解决的这么一个在此技术上 adaptation就变得尤其的重要最近是我觉得这个方向是在逐渐的为大家形成一种新的共识来讨论的这还蛮有意思的 [20:00] 是的因为这个其实听起来好像有一种这个也不用特别去讨论就他就自然应该是重要的嗯那为什么到现在他才变重要呢对因为有一个debate吧就其实我们在看人的为什么他的泛化能力非常强有两个原因第一个原因是我们有非常多的积累就这个积累其实从生物进化角度上来讲我们本身就有非常强的这种所谓小脑控制的这种能力然后另外一个是人在不断学习的过程当中其实你的prayer knowledge都是通过某种memory的方式或者某种就是方式存到了我们的先验知识里面的然后这是第一个人有非常强的prayer第二一个是会比较快这个我觉得是本身为什么人的放话能力非常强的然后大家其实之前的主流的方式在做的就是通过scale数据以及scale模型然后来让这个模型的比如说multi task的能力变得更强然后instruction following能力变得更强它就有点像通过数据采集的方式先让这个模型有足够强的prior然后但是并不代表就是说daptation这个部分不重要这可能也是为什么大家最近开始越来越多的意识到就是机器人的模型确实需要有很强的daptation的能力的这个也是从实际的机器人之后的应用场景出发的这么一个考量但同样来讲的话也受合理的然后你读博士后是去了斯坦福然后当时是在吴家军和李飞飞的组当时做什么工作呀当时其实是我觉得做了三个我还非常满意也比较感兴趣的工作这多长时间内这三个工作对我有非常强的collaborator对对非常幸运有很强的collaborator其实当时做的主要就是把我之前博士的一些想法变得更落地更实际了一些嗯然后我第一个参与的工作是behavior challengebehavior benchmark其实是飞飞组里面一个投入了非常多的时间经历的这么一个benchmark他本身在做的事就是尝试回答一个问题吧解决什么样的任务Behavi里面其实有非常多的simulation的场景它是一个simulation的benchmark包括一些家用场景然后包括一些学校的场景里面有非常多的open source的一些asset就是researcher都可以使用的所以他回答的问题就是什么样的任务比较重要然后我在里面的角色是帮着生成了一些数据集然后我们当时propose的一个方法是momagen就是生成by manual local manipulation的一些simulation里面的数据优优独播剧场——YoYo Television Series Exclusive嗯他其实跟我之前的工作相比的话就会更更落地一点因为之前就没有太涉及就是local manipulation就是by manual local manipulation就是他任务还是很难的尤其是很多长城的人然后第二一个做的是嗯让机器人变得更steerable其实跟我的主线研究就会更加的相关就是steerable其实本身就是让机器人能够follow更多的更diverse的人的不同的language instruction不同的 preference然后这个也是发表了亮片相关的工作我还挺喜欢的然后第三一个是一个creative to use 的 benchmark就是希望机器人能够有一天能够有类似人的这种创造性的物理工具使用的能力这个 benchmark 要怎么做呀他又要creative 又要 benchmark对嗯我们当时是从人的数据开始猜拘的嗯这个 benchmark 其实想要回答的问题就是说其实并不是根据工具的名字来使用它的。我们其实是根据这个工具的我们叫它Function,或者是在Romotics里面有一个专用的名词叫Fordance。来使用的比如说举个例子就是如果我们今天想切蛋糕但是我手边没有这个蛋糕的刀具那我其实可以用叉子或者用筷子等等我都是可以把这个蛋糕切开的所以其实我们在实际使用工具的时候是依据于这个工具它的功能而不是他的名字来使用的然后或者类似的比如说我想清扫桌子上的一些物品我可能如果有一个调说我可以直接用但是如果没有的话我可以用书本甚至可以用这个机器人的小臂然后人的小臂吧来整体的清扫桌子上的物体所以人会有非常多这种就是创造性的使用身边的一些物体的这种形式 [25:00] 我们其实是希望让机器人也有类似的这个行为所以这个Matchmark最开始就是采了比较多的人的这种就是创造性工具使用的一切数据机嗯我们其实是采了非常多一三十角对齐的这种数据OK那这个benchmark要怎么去评估呢就是是把什么样的任务丢给机器人呢是比如说就切蛋糕擦桌子还是什么这个其实也是很有意思的问题我们当时是定了三个想要去benchmark的东西然后第一个是现在的这种多么太大模型它挑选工具或者是生成这种工具使用的TraderX的能力OK然后第二个是从Vision的角度出发的因为其实用工具的时候很多时候我们都是为了去操控一些就是非常见的或者是非钢体的这种物体比如说我想切蛋糕它是一个柔性物体对吧还是一个可以分开的这种柔性物体然后以及这种就是水啊等等这些就deformable object所以其实这个这些物体它的4D的重建就会相对来说比较困难所以第二个我们benchmark就是现在的一些不同方法的一些3D reconstruction还有4D reconstruction的能力然后第三个Benchmark就是机器人是不是也可以有类似的这种工具使用的能力就现在的方法有没有一个现成的方式可以把人的这种就是灵巧工具使用的能力给它transfer到机器人的灵巧工具使用的能力上面去所以是三个纬度吧这还蛮有意思的所以当时在飞飞组里面就是比如说飞飞是什么样的风格然后组里面是一个什么样的氛围有两个advise因为他们的风格还挺不一样的给我的收获也很不同飞飞的话其实会更就是vision driven一些就是她经常会问我一些问题是让我去跳出单个的项目然后单个的benchmark去思考比如说我们的领域未来十年甚至更远的时间什么样是真正对这个领域重要的问题以及你在这个领域里面应该扮演一个什么样的角色就这两个问题就是她exactly问过的吗其实不是其实是她的她会在我们讨论当中非常能够引起你思考的一些问题其实总体归结下来会落地到这样的思考思考未来以及思考自己最能做出的这个最significant的贡献可能是什么对有具体的问题你还记得吗比如说当时我们在定 benchmark 的一些masherk 的时候我们其实是希望比如说能够给参赛者一些更fine grain的一些metric比如说它的progress的一些成功率然后或者它的一些时间等等我们会把这个mashook定得非常的细致然后但是当时飞飞就说这些mashook你觉得哪个是真正重要的其实就只有一个就是你final success rate,其他的都是你从development的角度上来想它是重要的但是从final的愿景来想它不是真正重要的真正重要只有你的success rate在当时就引了爱因斯坦的一句话叫把事情变得简单不是更简单所以就是让大家希望大家能够思考更本质的一个问题你要让事情变得简单而不是更简单对当时其实也是思考的蛮多的因为可能从PhD成长到Postdoc到PI的话其实你考虑的事情确实是会不一样的PhD考虑的是你希望把这个事做成所以你需要看非常多的更细节的一些Myshakes来知道你怎么样去debug你的方法然后但真正的你变成一个PI之后最重要的那个点就是要跳出来对就不是只是这些问题而是要定义问题对对对从解题人变初题人对然后家俊的话其实相对来说就是他会更汉丧嗯我跟他能讨论的事就是比如说我的project应该做什么样的东西然后以及具体的细节design我都会跟他讨论以及我如果有一些迷茫的时候他也会push我去做我真正能够建立我自己的叫research brand的一些工作其实他给了我非常多的support这个还挺难得的对所以他俩其实是非常好的组合就是作为Advisor的CodeAdvisor的组合所以当说到这个为Search Brand的时候要怎么理解这个事情啊就每个人都应该去追求对吧但这个要要怎么追求这个有没有一些可以分享的心得其实我自己的想法就是research brand这个事儿可能是要从你的research的兴趣出发的嗯就是其实真正能够嗯让自己花时间去研究十年甚至更远的一个研究问题本身就应该是能够定义你的research brand 的一个问题我觉得它 [30:00] 有些人会说你的resource brand需要可能跟别人不一样啊等等这些它其实都不是本质的最重要的还是说你觉得什么样的问题是重要的然后你就得花时间去研究它然后你如果对一个问题研究到了超过三年五年那本身就已经成了你的一个resource brand听起来还是要这个和创业很像就是要从自己自身的热情出发对从相信的地方出发我最近也看这个Paul Graham他说就是他写了一篇文章叫如何成就伟大事业然后里面就讲说其实你对一个事情感兴趣的时候你会发现远看它像一个球这个知识体系像一个球感觉这个表面已经非常的平滑完美但是你只要走进它就发现这个球体它坑坑洼洼它甚至里面有大量的漏洞黑洞那只要坑洼和漏洞黑洞的地方就是创业的机会这是这个或者研究值得做下去的这个起点那又是什么原因你决定回国呢因为听起来这个一路坐下去是很容易不如留在Stanford 之后开始我是二三年的时候回清华姚班就是教杂系研究院这边来面试的然后当时也是聊了院系里面的很多的老师也包括姚先生当怎么决定要来面试啊当时其实二三年的时候我基本上就已经进入到了我的博士五年级嘛就是在考虑自己之后的一个发展方向对我来说其实就是两个路要不就是大的来讲就是工业界和学术界两个的选择当时我是在Google实习了非常长的一段时间我在Google的体验也非常的好我的mentor其实也给了我很多的帮助包括我自己research taste的一些构建其实他们都帮了我很多以及在工业界的话确实你会有资源做更大规模的事情相对来说学术界确实是会有一些资源上的限制所以当时也是思考了很多到底要去工业界还是学术界的这个问题我会想到你了吗?去咬班面试的契机是当时有幸认识了吴易老师,他当时是帮我做了一个bridge,拿到了插院面试的机会。面试的时候,其实跟院协议老师聊,包括跟咬先生聊,我的体验都还是蛮好的。相信就是很多做WattX以及包括做AIA方向的人在美国其实都会认识到一些咬班的人他们其实的researcher有非常多的咬班的毕业生是各个领域里面顶件的resulting对人的层面是一个然后第二一个是有考虑到我自己的研究方向是做机器人的机器人本身它是一个系统你单纯只做大脑或者是只做硬件我觉得都会在我心里有点欠缺然后那我就需要找一个最合适的地方让我能够把机器人做成一个真正能够落地的系统那总和考虑下来的话就是查阅这边的机会其实是我的最有的选择嗯然后前面其实你有提到在工业界和学术界你其实想了很久对后来是怎么这个做决定的应该很多人现在也面临同样的十字路口对对对是的我当时在做决定之前也包括来插约面试之前其实找了非常多的就是我的朋友啊师长啊来寻求一些建议然后到后来发现真正不使自己做决定的还是你自己心里具体想要的是什么比如说对我来说的话虽然工业界可能有很多的算力的支持,你可以把你一个小的想法更容易的去scall up。但是它同时也会有一个自由度的缺失其实对我来讲的话自由度这个事是非常重要的因为我希望我的时间能够被最大化的分配到我觉得重要的问题上面去然后那这个时候学术界就是我的想法来说比较optimal的choice但这个可能每个人的想法都会有不同但我觉得最后落脚点还是自己心里真的觉得什么东西重要嗯有意思然后刚才你也提到回来插阅面试体验很好然后之前有一次我们聊天你说这个无意当时问了一个其实那个问题不是吴老师问的,是另外一个老师问的,对。但是那个问题是,我觉得后来也是我一直在思考的一个问题,这个问题是你为什么会觉得你五年之后一定能够成为自己领域的顶尖的researcher?我当时回答其实并不太好我当时回答应该是非常自信的说我学的我一定可以应该是类似这个风格的自信相信我做到但后来逐渐的想就是这个回答其实不太好我觉得其实还是说 [35:00] 如果我找到了一个我感兴趣的topic就比如说事实上机器人能够真的有一天进入到千家万户同时也能够在实际的环境当中不断提升自己这个是我非常感兴趣的一个topic如果我沿着这个正确的道路研究五年我觉得我一定不会差的就还是专注对专注然后以及真正的去有深度的去思考这个问题当时和姚先生面试的时候他问了一些什么你还记得吗姚先生其实我们聊的还是就其实包括生活然后包括研究其实都会有设计他当时也是问我为什么会想要回到插院我其实当时的回答跟现在回答差不多因为我觉得插院是一个蛮好的平台然后我也可以有自由度做我想做的事情姚先生问的一个或者他给我的一个建议我觉得是后来在我博后的时候也非常受益的一个建议是要把关注的就是要把自己的注意力更focus因为重要的问题可能真正重要的问题其实没有几个的然后一个人的时间又是非常有限的如果把时间摊开到太多的事情上其实这个结果可能是并不太好所以他给我的建议就是一定要focus在自己真正感兴趣的事情上其实我听起来觉得你好奇心也蛮多的对我对很多事情都很好奇所以你可能要反复的去提醒自己要专注专注对但后来我发现其实不同领域就是有一些互通的东西因为Robotics它本身就是一个很大的就是集成性的这么一个学科有时候有些人会做硬件然后有些人会做算法然后包括做一些learning algorithm等等这些但其实到最后真正如果你的目标是把它放到应用和落地上面的话其实这些东西都是需要有所了解的其实Robotics不存在一个说我只做硬件我觉得它已经逐渐的尤其是在这个AI时代的话它已经不是这样定义的了就你需要有一个比较全面的Holistic的这种知识系统确实那你自己现在要怎么平衡呢就一方面你可能要专注在去做自适应做泛化另一方面其实还是要了解非常多这个领域在发生什么的那这个领域发生的事情感觉每天都很多头条新闻对对我其实现在看头条新闻看的没有那么多我可能还是看一些文章或者是一手的一些消息会看的相对来说多一点因为其实最近国内的robotics确实发展的非常的火爆然后其实国外最近也是robotics已经是一个非常hot topic了嗯但其实还是要花很多的时间到自己真正研究的地方会好一些因为如果一直是看就是这些消息的话很容易会迷失我觉得这个也是我在跟一些嗯美国的一些我的朋友交流的时候大家的一个反应就是其实真正重要的事情还是你手头的你觉得会在比如说未来一年或者甚至两年更长时间觉得会改变这个领域的一些东西还是需要沉下心来来做所以你现在认为重要的事情就是机器人的自信和放话对我现在认为真正重要的事情还是让机器人有就incontest learning 的能力让他能够不止被你预训练的时候看到的数据所定义让这个模型真正的有去根据环境的收集到的信息比如说他的fidder case然后或者是一些人的demonstrationrobot demonstration以及人的body gesture然后一些correction的指示这些让他能够变成一个可以自己运行的智能体在场景当中不断学习新的人其实在很多外人看来感觉你的人生非常的一帆风顺你会自己听到这个词的时候是一个什么样的感受你会这么形容自己吗还是你觉得有别的词我其实还是踩了很多的坑的也还是有很多就是转折的点的比如说看我自己的发展经历的话你会发现最开始做设计然后后来就是逐渐的转到了做learning啊做算法做模型嗯其实中间每次转型都还是相对有些坎坷但如果我总结我的成长经历的话应该更多的是幸运因为每一个阶段都有非常好的朋友能够支撑我然后老师能够支撑我mentor能够支撑所以我自己的词应该是幸运那这个幸运它是比如说从天而降的还是你其实觉得获得更多的幸运他也有一些方法或者这个规律这个有一些巧合但可能是我交到的朋友都非常好吧对嗯就是大家能够有一个比较好的支撑的网络能够互相帮助所以某种程度上我觉得一个人成长成什么样子一部分是自己决定的 [40:00] 的一部分是你选择了一个什么样的环境环境会反过来影响你你在怎么选择环境啊这是个很好的问题我自己选的时候其实更多的是看能不能我在这个环境里面能够发挥出我自己最大的作用我只是能够最大化我自己的兴趣点以及我的能力可知可很有意思啊我以为你要说就是选最好的其实不是对因为嗯好不好这个事情还是一个可能大家会有一个general的metric但是对自己个人发展来讲的话还是要选最适合自己的就是你需要看比如说你选择了一个事情之后你的能力是不是在经过这个或者一个环境之后你能力是不是能够翻倍不是double就像游戏通关一样嘛就是你要不断不断的去通关然后当成一个游戏的作用那在没有进到这个环境之前所以不管是这个去查阅或者之前去SAMU去Stanford你要怎么能够尽可能多的了解这个环境是不是真的能够就是放大自己的能力呢适合自己呢这个时候就是信息采集会非常的重要我自己的话就是我会比如说找我的就是朋友先看能不能 connect 到如果不行的话我就发邮件 connect 一下后来发现其实research 里面有很多人都是非常热心的嗯就是如果你正确的表达了自己的 request 大家其实都是会愿意忽帮忽主的嗯那其实对很多爱人来说这个蛮难突破的你有什么小技巧 tips 给到大家吗对我自己其实也是个爱人是嗯但后来觉得爱的就是你在做自己的专业的领域的时候你其实是需要maximize你自己的方法的就我觉得即使是爱人的话也是可以有一些比如follow的一些protocol,比如说你可以让AI帮你draft一下就是邮件,但是你要自己先写一个出版的邮件,然后让他polish一下,变得更就是更plied的,或者是更合适一些的这样一种方式,其实现在工具还是蛮多的,你只要正确的使用工具的话还是,我去打了现在已经没有什么事情是不能达成的那换一个问法,现在应该也有很多学生或者你的学弟学妹们也会来给你发邮件或code,什么样的这种邮件和code call 你会更愿意回复啊?有一些邮件其实明显看出来就是纯AI写的然后这个其实我就不会毁了因为还是如果要发邮件给别人的话最重要的是表现出你的诚意对吧然后诚意体现在什么方面呢?体现在第一个你真的对这个领域有了解然后对这个方向是有了解的这个其实是把你的兴趣点他考察就是你把你的心血落实到实际的工作上面这个列路是不是能够走通,有很多人可能只有兴趣但是没有落实,这个其实就是一个需要注意的点。如果他明确的能够分析出来,就是他的兴趣,体现出来他的兴趣,然后同时能够分析出来他的愿意做的东西,然后这个就是一个比较有想法的表现。有想法的学生,我一般都是会愿意去在我们proceed到下一步多聊一下的。蛮有意思的然后刚才其实你也提到自己面临过很多的转型不止一次你之前感觉自己最tough 的一个比如说所谓的人生十字路口抉择时刻是什么呀?其实最tough 的一个选择确实就是要不要回国其实某种程度上也是选工业节和选学术节它其实对我来说其实是一个非常大的考虑然后也是考虑非常多的时间因为我自己的科研的生涯绝大部分时间其实都是在美国的然后当时也是会犹豫一下是不是这个能够回国能够适应然后它肯定是有很多挑战的我特别喜欢ML里面有一个概念叫No Free Launch有免费的午餐嘛就你选了一个决定你可能就要承担他的就是可能他一些稍微来说比较弱的一些层面这个其实也是经过了非常多的考虑刚刚提到就是说我自己发现我最看重的还是我的自由度就我以及我希望做这个机器人把它变成一个整体的system让它能够实际的落地所以呢这样综合下来的话回国去做教职是一个我的ultimate choice所以你回来这一年多应该大量的见到了非常多的在巨升领域的你现在整体感觉是什么目前中国目前巨生创业现状我其实到回国之前就了解了一些觉得非常的有趣 [45:00] 就是大家都非常有干劲的然后沿着这个机器人整个系统的不同层面在做事情但其实我回来包括之前了解包括现在的了解一个整体的感受就是其实有非常多实际的进步但是也会存在着一些泡沫但它两个其实不是互斥的东西好的地方是确实在整个机器人系统的层面比如说从就是材料sensor然后到本体然后再到数据然后再到模型其实你都能看到对应的一些公司国内的公司在沿着这个方向做公关然后也会有非常多的资源就是沿着这个方向然后再被投入所以长远来讲的话我还是非常乐观的我觉得它一定是能够有实际的进步包括现在也是有实际的进步正在发生的但同时也会存在着一些泡沫就因为大家巨生这个事他本身还没有收敛对吧然后所以大家是沿着不同的bat沿着自己相信的方向在前进的那肯定就会有一个焦点的一个转变有时候可能之前是在沿着数据可能慢慢的在扁到世界模型然后后来又慢慢的可能有些人又在开始关注数据所以它是一个焦点在不断变化的过程当中那在这个比较多变的情况下泡沫其实是一定存在的就像控制里面你可能会有些超条啊等等这些超条是什么超条就是你可能PID参数调的不好了你看它就会震荡就稍微会有一些震荡对上次你有提到吗就感觉去年找理聊的很多都是这个说先做数据对吧对然后上半年就是大家都在做世界模型然后最近又开始讨论数据你感觉这个中间的这种转移是因为什么样的原因在发生吗其实是大家在看问题的角度会稍微有一些变化但我觉得它其实不是完全的转移就包括刚刚提到的话其实大家的关注点是在逐步的变化的你可能是从数据到模型然后再到数据可能之后又到模型所以它本身是大家在不断的思考说这个行业里面什么是真正重要的问题然后但这两个问题其实都是非常重要的因为它其实不是互斥的它不是两个路线而是在看两个不同的层面数据本身确实距身的数据是非常稀缺的但数据决定的是你这个模型它能够看到什么东西然后模型的话包括世界模型它相对于VLA来讲的话它是可能是相对VLA是一个新的路线因为它更关注于你的就是representation是什么你对世界的理解是什么然后这个跟VLA更任务相关的这种路线的话确实是不太一样的然后我其实自己本身也是比较相信就是世界模型的这个路线因为它是我们叫它任务不相关但任务这个事是一个非常容易不scalable的一种方式因为任务实在是太多了你很难通过穷举的方式但如果你能够通过用世界模型的方式让它学到这个世界变化的一个规律它其实是更 fundamental的一种能力有意思然后在中国和美国你分别最关注哪些公司或者一些实验室我现在关注的还是挺多的看的时候其实主要是在看哪些公司跟我的研究方向会比较相关跟我的belief会比较相关比如说美国的话他肯定是会关注的然后还有就是一些大公司像google mv还有一些出装公司像generalist还有roda我觉得他们的路线都是我觉得还挺有意思的尤其 Rhoda 他们其实最近也在做一些就是 In-context learning 的一些尝试然后国内的话其实也会有一些公司的工作我也还蛮喜欢的比如说领波他们最近发的Linbot VAR其实也是沿着 ICL In-context learning 的路线在做我觉得也是非常有意义的工作最近你有看到什么Skinload信号吗其实我觉得还是看到了一些的但是不是我们自己的其实是一些其他的公司发的一些结果吧比如说能看到像有10万小时到100万小时你的预讯的数据被scale up之后即使你能够在一些hold out就是没有见过的数据及test set上面它能够有比较好的效果但大家现在测的更多的是叫所谓的loss但机器人里面有一个很tricky的点是你的loss跟你的成功率不是直接挂钩的就你可能你的loss很低但是你final的这个success rate它可能不一定是低的它会有很多的震荡就举个例子就是比如说我们要拿一个bass可能一共是花20个step20步去拿到这个bass可能前17步都是你跟这个bass没有接触的 [50:00] 然后即使你这前十几部 fit 的非常的好如果你第十八部就是你真的跟这个杯子有接触的时候他就是误差比较大这个任务其实就很容易失败嗯所以他会有一个这种time pro 上面时序上面的一个这个不平衡的情况在所以就会导致你的loss跟你的成功率其实大部分时候它是不是直接相关的所以我觉得可能真正之后如果大家能够在看之后的scaling law假设能够有一个scaling law它是能够展示出你的数据逐渐增多然后你的模型逐渐变大然后你的Success Rate你在没有见过任务上面的 success rate 是逐渐升高的我觉得这个是真正有意义的或者我想要见到的Squieter Skating了嗯嗯 这目前你觉得有一些信号但是这些信号没有那么的强对 哎 其实大家都很喜欢聊一个问题就是机器人到底有没有他的GPT moment你觉得会有吗我觉得会有我还是非常相信skating这个事情那现在来讲的话如果要做一个对比现在的主流的居住模型其实还是在沿着这么一个我有一定的free training然后free training完了之后我根据我的target domain做一些fine training这个其实就可以类比成就是language model的更偏向于gpt1的时候其实它gpt1本身也是你需要做有针对性的后训练你才能够去解决这个相应的任务但我自己真正希望能够做到的是相对来说GP3的时刻其实就是你能够通过这种ICL的方式通过prompting的方式给这个模型相关的任务一些的信息但是你不需要通过finetraining而是只是通过context来告诉这个模型它具体需要做什么这个时候就会把finetraining的比重降的更弱一点它其实也更容易通过SLO进到更多的场景完成更多的任务对通通人也可以用起来对对在巨声领域当我们去关注这个scaling law它带来GPT moment的时候你觉得有哪些benchmark是特别值得关注的吗有没有这样的榜单什么的还是你觉得其实也不需要这样的 benchmark有可能它就像GPT Moment这样它一发生它自然像魔法一样所有人就能够感受到了我还是觉得应该会需要有一些 benchmark尤其是巨身的话因为它跟Long Quijs model相比,Long Quijs model发展其实确实有很多Bunchmark对吧,就大家虽然也是有比较多的争议,但它确实是在某种程度上前期发展的时候,是帮助了模型的发展的。巨身的层面我觉得Evaluation或者叫Bunchmark会变得更加的重要,因为巨身你是有一个身体的,就是你有一个physical body,然后这个时候就会让Evaluation的时候,你不能只是Evaluate这个模型的,比如说它的成功率,然后他的失败的情况然后以及risky的情况都是需要通过一些预先的这种benchmark然后来告诉这个模型developer以及告诉用户他的能力的边界是在哪里所以他的benchmark就会变得更加重要那现在领域里其实做benchmark大家有很多公司有一些避远的就是自己内部的一些品测的标准然后这个就有一点无从夺置然后那开源的一些benchmark的话还是想推荐一下behavior因为它本身确实是更长城的一些任务而且它有比较多的家用的一些环境家庭的环境然后以及物体的一些布置可能draw pack就是会有别人会criticize的时候就是会有一些sim to real的这种gap但是你从模型能力来讲的话eventually simulation只是一种环境所以Behaviour这个Benchmark从你们当时做到今天它一直是有人在维护和进化的吗对它一直是有人在维护的然后它的应用性也是在逐渐的提高的而且在上半年的时候英伟达的这个金饭他有一个就感觉中美都刷屏的演讲啊他是认为这个巨声的发展会这个严格的去对应语言模型的几个阶段嗯你认可吗你觉得这个也是会有类似的对比吗我觉得我总体上是认可的就是说像Language Model里面大家已经知道的比如说scaling啊,scaling law以及你会有一些pondation model出现然后需要有incontent learning的能力这些其实在局身里面也是会出现的但可能不一样的是会有一些侧重点的不同以及机器人有它领域的一些独特性刚刚提到有一点就是机器人里面你的安全性是需要再往前放的就是你在部署之前你需要有一个类似的这种stress test你才能够真正的部署到场景里面去这个层面是更关键也更急迫的一些问题 [55:00] 另外一个是嗯机器人的他的context会更多样因为他有一个身体所以他的flexibility就会更强你可以观测周围的环境然后你的context里面就会有更多不同的含义嗯这个是第二个层面所以其实总体上来讲我觉得机器人一定是会逐渐被scale up机器人模型是一定会被scale up但是关注的点可能会有前后的不同对因为我自己在想其实今天就大家都愿意用sota的语言模型嘛所以我给他一个任务有时候20分钟才给我回复但我觉得完全ok因为就等呗对吧反正我很多任务同时在跑但是对机器人来说是不可能的对就是一秒钟我都觉得这个他是不是死记了就想去拍一拍他对对对实时性确实也是一个非常重要的点因为巨山的模型你肯定是不能希望于他20分钟给你一个reaction他其实是需要实时的跟周围的环境有交互的对所以我感觉就是还是有蛮多工作需要去功课的 任重道远我们前面聊蛮多行业的观察思考啊就是再回到你自己的工作 嗯你现在在就是比如说最近一两个月你做的最重要的事情是什么?其实最重要的我们是最近沿着Income S Learning这个路线在不断的往前走。嗯,我想再解释一下就是Income S Learning它具体是在巨生里面到底是什么样的含义?以及它最终可能会enable什么样的能力ok 嗯举一个简单的例子就比如说大家看到非常多机器人的diamble是点衣服对吧就拿举点衣服这个例子来嗯举例就大家看到的叠衣服都是叠成方块然后它其实有一个假设是每个人家里的衣服都是叠成方块的对但其实不是就比如说我自己我用胶囊衣橱那我的衣服都是卷起来的然后我希望说这个机器人他到了我家里之后我告诉他OK你看我我的衣服是这么叠的我说我把它好好的卷起来然后另一个人可能到了机器人到家之后他会说我的衣服都是按照固定颜色摆放的有些人可能甚至根本不用叠所以其实Incantest Learning本身想要解决的就是他希望让这个模型有被终端用户定义的这种能力这种能用户可以根据自己的偏好需求去改变模型的一些具体的能力然后一起改变模型的behavior嗯这个是我们可能最终希望机器人能够实现的一个事情然后另外就是嗯假设机器人最开始比如说我做一道菜他不会做然后我想让他做一道菜但机器人不会做我可能给他demo一下然后类似的场景可能机器人学了比如说1000个之后最开始他可能需要半个小时adapt只要就是10分钟或甚至更少的时间adapt其实我们本身在训练的是这个模型快速学习新的任务的能力所以他如果能够被扑到更多的场景然后更多的家庭然后甚至服务场景等等这些之后因为他在不断的去reinforce他的这种学习的能力他其实是会学的越来越快的所以我其实非常相信就是Internet Learning他是一个能够最终让模型去scale up的这么一个方式这一点还是依赖蛮多外部突破的不管是本体也好还是这个世界模型也好甚至这个比如说我觉得能想到非常多的事情你觉得现在他最可能做不到的那个点是会比如说输在哪里嗯bug出在哪里最难的点其实是,嗯,能不能让这个模型有一个稳定的数据的闭环因为其实这个方式刚刚提到说你是需要做一个跟场景的结合的包括你真的把这个机器人放到你的中端的家庭或者是一些服务场景里面去然后你需要有合适的mentor来教这个机器人来做事以及这个机器人能够说让人在交了比如说一定时间半个小时之后他能够有现而易见的一些进展这样的话你的中东用户才会愿意用对吧然后你的数据闭环才能够真的开始转起来那这个就有一个就是击生蛋诞生机的问题吧对就是你的base模型需要足够好你的学习的能力你的学习的速度才会速过快然后但是呢我们的模型又是需要有一个这种你先得能进入到这个场景里面去然后让用户开始用这个然后模型的这个一个base能力先给它激发出来所以这个其实是能不能跑通这个数据闭环其实是最 risky 的一个点咱们现在跑通了什么样的数据闭环吗简单的跑通的闭环现在是什么样的对我们现在其实在做一些比较简单的桌面任务的一些人的一些修正知识 [60:00] 然后机器人可以根据人的修正啊指示demo然后来改变他自己的behavior还是先从著面任务开始做的这都是在真机上是吧对都是在一个by manual setup就是双臂的一个场景然后同时呢也会有一个灵巧手所以其实我们最终想做的还是就是全身的灵巧操作咱们做的这个事情和离线模仿他们之间的这个关系是什么相同不同是什么比先模仿一个相当来说大家公认的定义的话就是你会有一些专家的数据然后这些专家的数据会被我用一些就是监督学习的方式就是invitation learning的方式然后来学到这个其实本质上还是违规到我们刚刚讲就是transformer跟algorithm distillation它的区别其实你这种invitation learning本身是你把这个模型当成了一个任务的记忆的这么一个模块如果这样通过大规模的训练之后你的expert数据你如果想要去解决一些generalization的场景就是让它解决一些没有见过的任务的话你其实本身是寄希望与这个模型有一些内插性的范化叫intervalization generalization就是这个模型比如说我看到了桌上的5块的10个位置然后我再给它一个新的位置也在一个相关的范围之内它可以把这个任务给解决因为它本身是某种在memorize你数据里面的一些动作的这些知识。然后我们想做的其实更多的是让这个模型有针对性的看到不同类型的数据。比如说它能看到一些subultimal的数据,然后看到一些人的body gesture,然后language instruction,修正的一些指示,以及人的demo,然后robat demo等等这些。我们激发出不同的一些模型的能力它其实远远会超过你只是通过这种imitated expert demonstration能够赋予的模型的能力对因为其实说到插院大家会想到一些名字啊就现在在创业的领域很活跃的这个助理教授比如说许华哲高阳陈建宇等等就是你们最近有空坐下来聊天吗就是大家会一起开会吗大家其实私下里确实都还挺忙的就是其实没有一个时间说能够大家全部坐下来一起聊但私下里会有一些沟通其实大家做的东西我觉得总体来讲大致的vision都是一样的通过scale up的方式去落地到一些应用场景,让机器人真的能够实际的有用。在大家细节上的bite会有一些不同,比如说有些人可能更bite down世界模型,有些人是更想要做融合独卿,比如说vla加上世界模型的这种独卿。短期来讲我觉得这个是一个很好的事情因为确实还没有最终的收敛是嗯嗯嗯大家共同感兴趣的话题是什么共同感兴趣的话题就是如何能够让模型去scal up其实包括其实平时也会讨论就是数据相关的然后以及如何能够让这个模型进入到人的一些场景里面去之前跟高老师也是聊过一些相关的topic所以聊到和数据相关我记得之前我们沟通的时候你有提到你觉得它特别难的地方在于需求的定义对这可以展开讲一下吗?为什么难在这里?其实数据本身它是会被喂给模型的对吧但数据的定义其实不是凭空定出来的数据定义是靠模型的能力定出来的所以大家在定数据的时候本身在做的事就是模型到底需要什么样的能力你会反推出来就是数据应该怎么样去被采集比如说如果我需要这个模型它的动作更平化我就需要我的数据都是这种平化类型的数据如果我希望这个模型它有这种fileal recovery,就是从失败当中学习的能力的话,我的数据就会需要采集这个VLA模型,不管是还是世界模型,它能够有一些fileal,然后有一些修正的这样的数据。所以其实本身数据它的定义应该是由模型的能力来定义的。只是大家现在对模型的能力的定义还相对来说比较嗯模糊吧我觉得这个也是嗯肯定是有很多researcher正在逐渐思考的问题比如说我是不是需要让它的base模型有这种分割的能力然后一些CV任务相关的能力就分割tracking还有一些嗯depth相关的一些重建然后normal的一些重建等等这个就是更偏CV的一些能力然后还有就是比如说incontest learning它本身也是一种新的能力这个比如说modality就是人的一些 [65:00] 肘部的指示身体的指示然后语言指示这些学习其实不同的模型能力确实是会反过来定义你数据的一些需求的听起来是还蛮复杂的就要从模型出发而在模型的这个大家的主张上面其实也没有收敛嗯嗯嗯那现在比较主流的这些采数据的方式有一些自己的这个就是呃或者你有一些自己觉得就是肯定不行的我是融合拍因为我觉得不同的数据它模型从里面学到的东西应该是不一样的比如说如果是一些TileOperson的数据的话它确实是最接近这个机器人本体的数据所以它非常适合用在比如说你训练的后的阶段不管是通过Funtuning还是Post Training这个阶段其实你是希望让它跟Target Domain更直接相关的所以TileOperson的数据在这个层面它肯定是最好的然后呢Simulation的数据的话或者是这种texture就是物体的表面的这种贴图你可以给他做比较多的泛化颜色等等这些也可以做比较多的变化所以他其实是能够让这个模型对一些viral的变化更鲁棒的这么一种数据来源所以他其实在模型的训练的前端会比较有用就是更早期的阶段会比较有用比如说pre training或者甚至mid training这些阶段而且simulation的数据其实能是一个比较好的对齐的数据它其实相当于说干净一点你可以通过用这些数据来激发出来可能你经过大规模的视频训练的一些模型的一些能力然后还有一种就是UMI的数据吗UMI数据其实是有点在中间的它会更像一些机器人的数据但是它采集的成本会低一些然后再走到成本最低的这个层面就是Human Data其实我本人还是非常喜欢Human Data的因为人确实是一个非常成熟的这个本体机器人的本体对所以其实人能够日常的非常方便非常快捷的帮助我们采集到场景的数据而且human data的话他因为他实在是成本比较低所以你可以比较大量的扑到不同的场景里面去然后那这个时候场景的对场景的鲁棒性然后对不同场景的理解这个时候就是human data它应该发挥作用的地方有些人可能会觉得比如说human data它跟机器人的morphology实在是太不一样了但我会觉得就是human它本身是一种morphology所以如果我们有比较好的就是morphology transfer的这种方式的话的作用的而且我们其实本身从Human Data里面学的应该是就是这个场景的变化然后以及人在做任务的时候这个物体的一些变化就是它其实是跟你的Mafology具体的形状是不那么相关的它是更任务相关的一些信息其实可以比较好的从Human Data里面去到所以本质上还是用什么数据就是要把它用到对的地方然后以及正确的构建数据和模型能力之间的链接因为今天巨神变得非常火嘛,所以就应该有很多的学生包括很多就是可能学汽车或是机械的学生也想要做巨生你会给大家什么样的建议啊就是刚走上研究的道路的年轻的学生们我的第一个建议就是一定要多看就是一定要吸收的足够多因为其实我在跟一些学生聊的时候我发现他们其实对可能对一些fancy的概念觉得自己感兴趣但其实如果认真的去问他你到底兴趣点在哪的时候其实就是会比较模糊的这个其实一个本质的原因就是因为大家知道的还不够多你可能只有就是书阅读越厚再阅读越薄嘛就是你可能要先知道的足够多之后你才能够从里面抽出来然后并且也能够逐渐了解你真正感兴趣的地方在哪里这个是第一个点就是一定要多看然后并且多跟人交流然后第二个是要实际上手干活因为很多人是对巨星这个方向感兴趣的包括我也是从小对机器人非常感兴趣我就这时拿出来大家都会对这个方向感兴趣但是把实际你的兴趣转化成你的行动的能力这个是要越早开始培养越好的所以要实际的去上手你才能够了解说这个领域它真正难的地方在哪比如说真机部署是一个非常消耗经验的事情然后呢这个方面的话如果能够早期的话有一些积累是比较好的你现在也带phd对不对对你面phd的时候 [70:00] 有什么弊问问题吗必问问题的话我会问这个学生嗨。最感兴趣的一篇文章是什么或者说换一个方式来问的话就是他觉得哪个文章做得最好这个其实是一个怎么说一个research test相关的问题或者一个opinion相关的一个问题这还蛮难回答的对其实还是挺难的其实假设你现在这个学生他已经有了对领域的一定的了解并且能够知道自己的兴趣点在那了所以这个是我的一个必问的问题你听到最好的答案曾经是什么我有一个学生他对Diffusion非常的感兴趣然后但是他演的那个文章不是Diffusion Policy而是更就是Diffusion Model最开始Original的一篇文章非常的广的它并不是只是局限在Cone Robotics的一些相对来说应用的一些层面而是能够去trace back就是找到这个文章真正的发源地我觉得这个是比较好的就是有这种刨根问底对找到最开始它的起点的这个能力对你现在会带一些本科生做研究吗也会带其实我们族里有一些是我刚来的时候就已经开始跟我做研究的一些本科生其实也能看到他们非常多的一个成长也是逐渐的从就是可能自己的兴趣点还没有那么明确然后到逐渐的知道了更多然后自己上手做了更多的事情自己的拼力也会变得更强这样你会怎么选人?本科生我们还是现在是比较宽进的就是因为我还是希望能够给他提供一个平台是说你能够有一个机会去了解前沿的research是在做什么所以其实我们组会都是会邀请非常多的本科生来听嗯组会的形式也都是tutorial的形式就是会前面比如说半个小时到45分钟会讲一讲整个领域的一个发展就是以一种科学式的角度来讲然后或者是一个topic分成不同的流派来讲然后可能最后的15分钟到半个小时是presented的同学会讲一讲自己的项目都是这样来组织的其实主要的目的就是让学生能够有一个学东西的机会是一个很好的学习小组这是每周还是最开始是计划的每周后来实际执行的话应该能有bi-weekly哦嗯嗯所以这个tutorial是谁做呀tutorial是学生做所以其实我觉得学生的都还挺厉害的就是会给他们一个我会提前问他们具体是什么然后我们讨论一下topic嗯第一遍的时候其实会带他们就是过一遍就梳理一遍看他这个topic的organized的方式是不是正确的然后后来慢慢的学生其实就能够自己做一个总结了其实大家学习的效率都是非常快的就因为一开始有问 MBTI嘛我觉得你还是蛮典型的 INTJ 是吗?对对对你感觉自己曾经有过一些 F 的时刻吗?我是一个共享能力很强的人体现在什么地方我自我认为我能非常敏锐地观察到别人的一些就是情绪的变化所以其实我是一个相对来说如果在一个集体里面是更照顾别人的情绪的这么一个角色这是好还是不好呀就是我觉得是个好事吧因为本身来讲团队的凝聚力是靠一些关键的人宁可起来的嗯所以在非工作的时刻比较F其实是能够拉近跟同学们或者跟大家活的collaborator的一些距离因为大家不单单我并不希望我的所有的伙伴都只是工作上的伙伴对我感觉你确实很有亲和力哦是吗所以在这个比如说讨论工作之余大家在一起比如和PHD们和同事们在一起还会聊别的什么话题吗也会吧就是其实我还挺感谢我的学生们的因为其实最开始就是你跟一个年轻的一批来读你的phd 本身就是一个很risky 很有challenge 很有挑战性的这么一个选择对所以其实我当时在面试我的博士学生的时候我都会直接问他们我会直接告诉他们说你如果来我这读的话你可能会需要承担一些就是实验室的construction构建的一些角色然后你可能会做一些就是说看起来会比较杂事的一些活其实也是会提前跟大家讲清楚但他们其实都是非常愿意或是愿意接受这个挑战吧其实就有点其实建最开始的实验室就有点像建startup确实但我其实不太觉得它是艺人的startup它更像是我的我自己还有我的一些 [75:00] 五十双在一起构建这个事情嗯这对你来说也很像是从音到音对因为尤其这些博士生都还不是之前认识的班底但我们的信任其实磨合的还挺好的主要就是大家有一个共同的愿望就是能够把事做好有了这样的一个共同的愿望之后,其实每个人都在正确的地点去contribute自己的能力或者时间的话,其实我觉得凝聚力还是比较容易构建的。你们会团建吗团建的做什么啊会团些我们我们前两天还去一起唱歌来着啊唱歌对哇塞对我其实也会组织大家一起应该是已经我自己组织过两次团结然后学生们会组织团结有的时候也会叫我所以我觉得还是蛮好的这个其实是我比较想要构建的一些实验室的氛围我并不希望大家只是工作上的或者是学术上的一些collaborator而是你能够长远相信的一些朋友有意思嗯来我们最后聊点轻松的啊就是呃你在日常会用的一些AI的产品吗我用XGVT用的比较多然后最近其实有一个变化是我会几个就是XGPT Gemini会轮番着用可能他们确实会在一些事情上面给的观点还是蛮不一样的ok 然后最近一个变化是在把我之前用AI都是更知识性的比如说我让他帮我总结一些东西或者是做一些调研最近开始跟他有些对话哈对呃就是非工作非工作的一些对话所以你和AI聊都聊什么就是非工作之外的话题工作之外的话题有的时候会聊一些对事件的看法最近一些比较有意思的事情可能也还是跟工作有点相关啊就是我在给我的实验室起名字然后我在问那个问AI说就是我给你一些关键词能不能帮我尝试构建一些然后我有一些初步的一些list然后让他给我就是polish一下或者propose一些新的然后当时就觉得嗯他能propose的一些名字都还挺好的所以定下来了吗还没有还需要多聊最近我遇到好几个人都说在他们的领域论文大爆发就你有感觉到吗?有!robotics 的论文最近是在翻倍增长对我们见一个很垂直的一个物理学的一个这个嗯 postdoc 他就说原来他们领域呃一天可能就四篇大家其实每天早上都会刷嗯现在就是已经不可能了嗯就是对对呃这里面有很多是 ai 写的然后质量也一笼混杂对那你怎么在面对当下的这个就是整个研究环境的变化呀我现在其实是会摄取论文的方式有不同的种比如说我会每天可能刷一刷我关注的一些researcher他们去宣传的一些文章因为他本身就像是自己做了一些筛选就是你的作者list已经做了一个筛选就是他觉得可能他自己真正proud真正自豪的一些文章有哪些他会做一些推广做一些转法尤其是在embodied AI就是robotics这个领域大家已经越来越熟悉或者是习惯于用这种社交媒体的方式去宣传自己的工作了然后也包括会有一些researcher 国内的researcher 会在英台上去宣传自己的文章我大概每天都这么过一遍然后但其实能明显的看到有些文章是AI写的成分非常多我觉得目前来讲的话就是AI写的文章它可能能够通过审稿然后可能真的能够中一些会议但它的quality整体上来讲还是不会有人写的更高的因为AI写的文章它其实看起来会像实你第一眼看你可能会觉得像实但是实际上它有很多的论证是有点漏洞百出的就是它可能看起来像实但是实际的内容并没有很多所以我在如果发现这个是AI写的文章的话我对这个文章兴趣就会大点折扣对最后一个问题啊大家其实都会很喜欢用一个比喻说巨生是一场马拉松马拉松就42公里嘛你觉得我们现在跑到几公里了我觉得跑到10公里嗯嗯好的啊四分之一的一个位置因为真正重要的还是把这个机器人放到水节场景去拥用还没有我们就讲智能机器人啊就是这种强调泛化性通用性的这种智能机器人直接落地还是没有看到的所以还有挺长的路要走的 [80:00] 但我整体上来讲还是Bizou!乐观就是我觉得在未来的三到五年其实我们能够看到一个嗯通过scaling看到一个明确的范式的转变或者明确的一个拐点嗯所以我会觉得未来的三到五年是非常关键的一个时间阶段嗯对我觉得做创业做研究做巨神做AI都得乐观对因为悲观特别容易正确只有乐观才可能成功对嗯好呀谢谢孟迪今天很开心谢谢再来做客感谢Koji好拜拜