Dyna用百万小时人视视频弃VLA转WAM 押注软硬全栈

Dyna用百万小时人视视频弃VLA转WAM 押注软硬全栈 具身智能的护城河不在纯软件大脑，而是能以软硬一体架构独立接管端到端工作流并形成规模化商业部署闭环。 节目深入复盘了 Dyna-1 在实验室达到 99.4% 成功率后，进入鼎泰丰后厨等真实场景却暴露出毫米级精度与流程卡壳的落差，从而得出机器人必须自主接管端到端完整工作流的惨痛教训。面对行业分化，Dyna 联合创始人兼首席科学家 Jason Ma 阐释了团队放弃双足和灵巧手等花哨形态、采用半人形与夹爪务实推进软硬一体全栈自研的底层逻辑。技术上，Dyna 依托100万小时人类第一视角视频验证了跨本体动作预测的 Scaling Law，并在后训练中仅需少量遥操数据即可快速适配新任务。最后，嘉宾带领主持团队实地探访其纽约研发办公室，展示了机器人自适应插拔线管、分拣药丸以及在员工茶水间自主取饮料等高鲁棒性闭环操作。 Dyna 从 VLA 转向世界动作模型（WAM），利用 100 万小时人类第一视角视频验证了跨本体迁移 Scaling Law：随着数据量按数量级扩增，模型对未见机器人本体动作的预测能力呈现持续单调提升。 (0:00) Dyna-1 在实验室评估中任务成功率达 99.4%，但在鼎泰丰后厨的商用标准（严格 Grade 4/5）下实际合格率仅约 75%，揭示出实验室指标与工业落地之间的巨大鸿沟。 (50:00) 预训练依靠 100 万小时第一人称视频保证数据覆盖与泛化，后训练则仅需几十分钟高质量遥操数据即可让机器人适应全新任务并实现工业级落地。 (60:00) Dyna 推出自研半人形双臂移动底盘机器人 Taku，可在商业洗衣房自主闭环完成投衣、开关门、调旋钮、烘干、折叠及码放等长达 30 至 60 分钟的端到端工作流。 (80:00) 面对纯算法层公司路线，Dyna 坚持软硬一体全栈自研，主张线下物理硬件与真实部署场景才是具身智能时代无法被替代的终端分发渠道与核心壁垒。 (85:00)

Dyna Robotics 联合创始人兼首席科学家 Jason Ma 提出，具身智能的真正壁垒在于端到端真实部署与软硬件垂直整合，而非单纯追求实验室基准或炫技演示；团队通过 100 万小时第一人称人类视频驱动的世界动作模型（WAM），验证了跨本体迁移缩放定律。 真实部署教训与拒绝流水线陷阱 (55:00) Dyna 经历 10 个月实地部署后认识到，实验室评测与商业可用之间存在巨大鸿沟。在鼎泰丰后厨测试中，Dyna-1 虽然在实验室取得了 99.4% 的粗粒度动作成功率，但面对餐厅仅认可 Grade 4 和 5 的严苛标准，现场合格率仅约 75%。此外，若将机器人硬塞入工业流水线中，即使达到 99% 的成功率，剩余 1% 的失误仍会导致整线停摆，迫使下游增加人工质检，反而丧失商业价值。 团队由此确立了全自主工作流（Workflow）的路线：机器人必须能独立接管一整套端到端闭环，具备意向性错误恢复能力。在 Dyna-2 迭代中，机器人在鼎泰丰后厨折餐巾的速度达到 95 张/小时（单日产能 1590 张），跨越了客户设定的单日 1500 张硬性门槛；其自研半人形双臂移动底盘机器人 Taku 也能自主接管洗衣房内抓取、洗烘、折叠至码放的全套流程，运行 30 至 60 分钟无需人工干预。 WAM重构与跨本体迁移标度律 (60:00) 针对传统 VLA 模型仅预测动作而缺乏对物理世界动态认知的问题，Dyna 转向能够预测未来环境演变的像素级世界动作模型（WAM）。团队将预训练与后训练严格分工：预训练依靠高覆盖度的数据学习通用物理规律，后训练则利用数十至几十分钟的高质量遥操作数据针对特定商业场景进行精细微调。 在将第一人称人类视频从 100 小时逐步扩展至 100 万小时的过程中，团队观察到了跨本体迁移标度律（Cross-Embodiment Transfer Scaling Law）：随着人类数据规模翻倍，模型在预训练阶段从未见过的机器人本体动作预测轨迹上展现出单调提升。尽管因纯视觉缺乏触觉与力反馈传感而在接触物理感知上存在固有局限，但无动作标注的人类视频大幅降低了标注成本，验证了利用海量人类日常操作数据训练通用机器人的可行性。 务实硬件选型与全栈整合壁垒 (10:00) 在硬件形态上，Dyna 坚持务实产品主义，刻意规避双足与多指灵巧手等高维护、低稳定性的花哨配置，商业部署严格采用轮式底盘、双臂与二指夹爪。Jason Ma 强调，平地商业场景（如具备严格平整度法规的车间后厨）中轮式方案在可靠性与成本上具有压倒性优势，而灵巧手当前硬件成熟度与遥操作效率极低，多指研究仅局限在内部基础科研中。 面对行业内专注于纯算法层的路线，Dyna 选择软硬件一体整合。Jason Ma 认为，纯物理智能层模式在商业上尚未被验证，容易在上游硬件与下游客户 ROI 之间受到双向挤压。算法架构更迭快且趋向开源，纯软件门槛会被抹平，而深入客户业务流的硬件实体与部署渠道构成了高昂的物理替换成本，才是具身智能最核心的分发护城河。 扎根2B商业场景与务实研发哲学 (105:00) 与部分同行高调进军 2C 家用场景不同，Dyna 选择扎根工厂与商用后厨等 2B 领域。Jason Ma 解释，2B 场景的任务范围明确且封闭，测试集（Test Set）是已知确定的，免受家庭隐私与复杂非结构化环境的干扰，使团队能专注打磨物理闭环与跑通投资回报率（ROI）。在 2B 极端工况下磨练出的高鲁棒性，未来亦可向消费级产品降维迁移。 这一务实哲学同样体现在其科研取舍上。Jason Ma 早期主导过 VIP、Eureka 及 GVL 等开创性强化学习与大模型奖励生成工作，但他明确反对将离散动作 Token 化或直接在缺乏高精度模拟器的物理真机上强推纯强化学习。Dyna 的研发原则坚持从物理真实问题倒推解法，优先夯实世界模型底座与系统可观测性，而非盲目套用强化学习算法。 Dyna Robotics 的探索表明，机器人通用化的关键瓶颈在于真实物理数据规模与硬件系统工程，而非单纯的模型算法迭代；然而，纯视觉世界模型如何跨越触觉力控盲区、以及高精度操作能否在更复杂的非结构化商业场景中大规模复刻，仍是具身智能领域悬而未决的挑战。

[0:00] Jason Ma: 机器人如果真的开始工作了，它本来就应该是无聊的。 [10:00] Jason Ma: 我觉得现在如果不能落地的话，不是因为你没有腿或者你没有手……我觉得整个系统不足够好。 [60:00] Jason Ma: 遥操是能收取最高质量数据的唯一方法，我觉得其他任何采数据的方案都会对质量有一些差距。 [105:00] Jason Ma: 我觉得去工厂做 2B，首先你不需要把它做成一个很完整的‘消费品’，其次你也不需要担心比如说隐私这些问题，或者有小孩这些问题。所以一开始就让你这个部署可以很专注地把模型和必要的闭环做好。

[0:00] 全世界最无聊的机器人这是最近纽约邮报的一篇报道标题而这家公司的创始人们却认为这是对一家机器人公司最高的赞美这家公司叫做Dyna Robotics嗨 Jason 你好 谢谢看多了机器人跳舞 打拳 跳钢水等酷炫的视频啊Dyna确实很无聊发布的Dyna One主攻叠毛巾 叠衣服这次发布Dyna 2之后呢新机器人她酷进了洗衣房默默把脏衣服放进洗衣机再拿出来折好放在架子上联合创始人金森马说因为机器人如果真的开始工作了它本来就应该是无聊的而在这份无聊的背后真实部署是衡量机器人的唯一新姑不能落地的话不是因为你没有腿或者你没有手是因为模型不够好什么整个系统不足够好吧你们把Dynamic One的10个月的Deployment称作是Bitter Lesson可能是Bitter Sweet LessonBitter就是比我们想象到要难但Sweet就是因为难你就必须要去解决觉得那你就会领先几辆工资很多一个计划上发现问题跟你在同时部署10台100台1000台发现问题都是完全不一样的你每次scale就会发现新的问题作为一个具身的公司必须要有这个conviction就是我真正要把部署做下去要scale下去而在机器人计划上丹娜也在进行一系列前沿的探索在一年多前规规101采访他们的时候丹娜万用的还是VLA而到了丹娜2他们决定重新做底层模型用WAM世界动作模型扩大到了100万小时第一人称人类视频他们发现随着人类视频从100小时1000小时1万小时10万小时一路增加模型不仅越来越会预测人的动作连它从来没有在预训练里见过的机器人动作也预测的越来越好Dana将此称为跨本体牵移Cross Embodiment Transfer Scaling Law100万小时的第一人称数据找到了这些数据Scaling Law的端倪从100小时10001万到10万阶梯每个阶段就越大就越好其实每一次我们把数据10x这个模型的prediction就变好那如果换成第三年城市角的视频会不会可能还会继续有这样的scaling law?应该会有scaling law但可能slope就很不一样了是不是现在快到了一个gbt3的一个时刻了?robotics有没有gbt moment我觉得可能也没有那么很重要的感觉那这一期的视频播客我们时过一年半再次回到Dyna Robotics他们不仅换了新版格式连对模型数据和机器人的思考也都很不一样了上一期我们采访了联合昌食人York Young这一期我们对谈Jason Ma从技术和部署的角度去谈谈丹娜在过去两年发生的挫败、教训、反思、优化以及我们更想通过Share-SEN去理解这一轮规谱巨神智能正在发生的变化和趋势那么以下就是我与Jason的视频播客哈喽,杰森你好,欢迎做客,硅谷杨林耀你好,非常荣幸上年的podcast这个采访我们也带了一个cohost来,君武他也是在机器人行业这样待会我们可以就一些专业的问题,可以一些比较深度的探头那君武要不要跟大家介绍一下你自己我叫张君武,我是现在在Blue River Technology做机器人工程师你好Dina最近是有一系列的发布,同时我也知道硅谷这边其实最近机器人行业也很热闹新的模型在发新的demo在发你觉得现在我们机器人是进入到一个什么样的一个新的里程碑了吗为什么大家在最近有这么集中的发布啊对我觉得这是个好问题我觉得把通用机器人做下去还是需要一两个至少一两个突破然后很多公司大的路线都是差不多了首先要scale data把数据搞上去然后model里面有一些capability也想做出来也可能就是暑假时候发东西的好时机所以大家就舍心多把东西发出来对然后我觉得整个机器人领域的话现在是一个逐渐从demo到真正就是商业落地的一个阶段吧然后我们公司的话肯定也在这方面做了很多的工作我们也等一下肯定也会谈所以我觉得是一个非常做robotics就是非常激动人心的一个时刻从你的角度看啊就是现在的这个时间点意味着就是机器人的这个行业进入到一个什么样的阶段它跟LLM相比的时候有些人说是不是现在快到了一个GPT3的一个时刻了可以这样对比吗我觉得可能现在还在GPT2和3中间的阶段吧我觉得就纯从数据scale的这个角度来看的话我觉得我们Robotics的数据还是相对于GPT3这个阶段的语言模型拥有的这个数据量还是要小一些的但我觉得Robotics的话也跟语言模型不一样就是你可以有很强的robotics model可以干一些指令下的一些任务就是一些specific setting 的任务但像语言模型的话如果你不能跟他流利的去聊天的话其实没有什么 capability 可以这样的用上所以我觉得从产品形态来说的话robotics 有没有 GPT Moment 我觉得 [5:00] 也许是可能也没有那么很重要的感觉对不过你讲到GPT Moment现在有很多这个讲法就是说机器人好像可能就不一定会有GPT Moment这样一个概念因为大家的这个机器人的这个形态也不一样啊然后保管他们处理的一些具体的一些任务也不太一样你觉得会有一个就是有这样一个GPD moment吗还是说要看情况我觉得是要看情况的我觉得就是在聚生智能之前我们可以看就是这个无人车对吧Toneless Driving我觉得AutoLimous Trading的话就没有人提过GPT Moment的这个概念对吧因为说实话就是Waymo啊Tesla其实把一个demo做好十多年前已经就有了但是我觉得从一个demo到真正落地能在三番里打个Vimo这个车的距离还是挺长的所以我觉得在真实世界里做迭代的话其实这个过程还是比较长的就算现在我们有很多跟无人车刚开始的话有很多much better这些技术但我觉得这个过程还是必须要有的肯定不能像就像语言模型一样因为大家已经有了手机有电脑这些东西如果能上XGPG这个网站你就能用到这个intelligence我觉得如何把这个intelligence用上其实是个很难的问题你刚才说那个最近data上面有进展然后模型上面有进展所以也就是这两个方面有进展让机器人又可以往前面迈一步了是吗对我觉得这两个是其实最重要的两点之一但我觉得还有一个东西其实也特别重要的就是硬件如果没有验尖的话这个model不管再怎么厉害你其实根本就感受不到它很厉害对吧如果你硬件只能做比如说一个很小的机器员它只有5个自由多那它也只能做一些很简单的抓取所以我觉得在据实现的话就是模型数据和硬件必须要一起往前进步这样才能达到一个最终我们觉得达到一个产品真正能让很多不同的人千家万户都用上并且你主要指的是本体还是它的供应链还是它的运控我觉得是首先是指本体对那供应链那就是能把本体scale上去的一个很大一部分但我觉得本体的话现在有很多不同的机器人但我觉得在design这个机器人的过程中把一些就是机器学型AI的里面的一些概念或者从把模型训练出来把它做部署的一些心得都放到这个硬件迭来的过程我觉得是一个最后做闭环是个很大的臂位这一点其实挺有意思的因为你们的联合常事人York他之前有说过他把行业分成三派现在硅谷的机器人一类是这个model first就是只做大脑的比如说physical intelligence派他们还有就是这种heartware first的只做本体的还有就是这种integration的就是说全做的Dyna其实是第三派同时做为什么你们选这个路线对因为我觉得最后的话如果把机器人这种部署下去大家付费的不是说你的模型模型只是这整一个stack一部分其实比如说我们去跟一些客户聊他们根本就不care我们有VLA还是什么world model他们根本就不知道这些是啥他们最后就care all在他们的这些场景里能不能把这些很复杂的任务很多样性的人物能完成从这个角度出发的话那我觉得必须要把大脑和本体放在一起去做,这样才能达到最好的效果。然后从一个更技术的层面来说的话,我觉得很难把模型和大脑和本体两个都分开,然后做一个非常general的东西。因为我觉得在real world,真实世界这种物理的intelligence都是大脑。跟你的本体连在一起才能达到很好的效果就像我们人一样对吧我们的brain就是adapt了我们自己的本体上在我的印象中我觉得Dyna其实是一个偏务实的公司是吧从你们的demo上面还有从你们的本体的设计上面也能够看出来我觉得你们非常的克制啊不是去追求这种很fancy的这种demo啊或者动作反而呢你们是从叠毛巾叠衣服这种非常落地的商业化的那个角度去设计你的路线的这是为什么呢对因为我觉得从纯学术角度来说在机器人领域里能做的事太多了任何一个题目都是你可以花好几年去去纯做研究但我觉得现在整个机器人学习就是robot learning 技术已经达到了有可能商业化的地带了所以现在就非常需要一个从产品从product 出发的这种角度去想哪一些问题是我们必须要解决的哪些问题其实现在解决不解决都不是很重要的这样就可以帮我们整个团队都做很好的就是prioritization确保我们在技术研发就整个公司两年这个成长轨迹中哪一点我们都去做一些更正确的一些技术判断和一些选择然后从我们过去的demo里面可能也能感受到我们做的一些demo做的一些capability都是我们觉得真正落地就是必要的GCK [10:00] 而不是就是为了拍一个视频很fancy而去做的可能因为我们这个领域现在很火所以我觉得很多人的做法可能就是更demo driven但我觉得那样的话可能是更本末倒置吧然后我们就从最终我们要开发或者生产或者把几万个robot都要派出去的话哪些技术问题我们必须从今天就开始解决从这种思考方式出发决定我们整个团队的技术路线其实我也有个follow up就是包括像你前面讲这个hardware的这个co-design包括像这个去了客户之后发现的一些经验我之前自己也在这个比如说物流啊调检这方面做过我觉得客户他其实这个要求是很高的是我就好奇就是说你们对于硬件自己做硬件的选择是一开始自己就想做硬件呢还是说去了客户的这个customer site然后有一些什么样的经验教训然后让你们自己觉得哎呀不行我一定要自己来做硬件我觉得两个都有有一点就是从第一原则的话我觉得首先就是我们要做硬件要做通用机器人我们必须要从书记从哪里来用什么样的数据去做训练去引导硬件要怎么去设计像我们现在我们已经发布了Dyna2预训论有大量海量的就是人第一视角的数据如果我们预训论要从人学习我觉得在做布署的时候你机器人的形态如果能跟人越像的话那这个transfer就会越好但是做人型机器人的话又有一些要不要做腿啊要不要做手这种trade off所以我们就从中间里挑了一个非常好的trade off point就觉得我们现在做一些半人型家底盘的话就可以从今天就开始deploy,然后也可以拿到从人数据去训练的很大的benefit,这是我们的一些思路,从第一原则出发开始想面前要怎么去设计。因为你们现在不是做的是一个全人型的human weight,你们是没有做双组,也没有做灵抢手,但你们觉得现在形态已经可以去落地做很多事情了?对,我觉得现在形态已经可以做很多事情,所以我觉得现在如果不能落地的话不是因为你没有腿或者你没有手然后我们内部的话也做很多临降手的研究现在的话就是纯fundamental research纯研究而不是比如说有要把林巧手落地的打算因为我觉得现在的话这些林巧手的硬件成熟程度其实还没有到直接落地的状态因为我刚才看见的demo其实都还挺顺的但是我看有一些林巧手的demo反而会把这个动作给降慢下来这也是你们的一个考量吗对我觉得林桥手的话就现在做操作的话或者就做摇操的话其实比夹爪还难很多要把这个林桥手摇操的速度高跨也是很难的所以就因为这些原因连销售的较矛盘都会比较慢一些你刚才说客户如果他不能落地的话不是因为手也不是因为脚是因为模型不够好是吗我觉得整个系统不足够好因为我觉得一套系统能不能落地然后我们也在我们部署的blog post也讲了不仅仅是模型必须要100%能做得好你也必须要有很多observability就是说你要知道你在这一天你这个模型干了啥你的robot干了啥你在robot上的computer有没有一些就是resource contention和其他的东西对所以我觉得这些都是对部署很重要的所以我觉得每一次比如说我们更新机器人要更新模型的话我们把这些工作都做好这样我们就有一个observability在真正的用户的这个customer side那里对其实这些讲到了很多很有意思的点包括像这个机器人的形态对于这个crossing bottom and transfer 的影响包括像你前面讲到这个GBT moment和这个internet scale的这样的一个数据量这些我们之后可能都会有料到对对对好呀欧维对你们在deployment当中学到什么东西非常感兴趣我们要不要从day one然后给观众复盘一下觉得可能在你在整个的research当中的taste跟你自己的一些选择可能也奠定了之后Dyna的一些技术路线你是什么时候对机器人开始感兴趣的我其实是从博士就博弈开始但是机器人和强化学习并大也有GRASP Laboratory就是一个很大的机器人研究中心刚读PhD的时候其实我是本来想去学习强化学习因为你大学的时候其实都是在做强化学习那一块大学的时候我其实也没有做很多的研究我当初大学的时候就在探索很多不同的方向但是我就觉得reinforcement learning非常的make sense我就想继续读博去研究因为其实更早的时候就是我在国内长大的时候我就小时候就下了很多的围棋所以好 放高刚出来的时候就正好我啊 [15:00] 高三吧在美国然后我就觉得这个东西很神奇能把这么难的游戏都给work了所以我就说那我上大学必须要研究一下这个东西然后当时觉得挺有趣的所以我就继续去读了个博士AlphaGo打败李适时的时候是你高中的时候吗对那一场比赛对你来说意味着什么他们两个不仅仅下了一场对吧下了五场我就很惊讶AlphaGo可能是4比1打败李适时对因为我当初很小的时候就看李适时鼓励下围棋所以当初把李适时打到我就觉得这是不可思议的东西特别是后来神之一手出来的时候第37步的时候有惊讶到你吗对肯定是有因为我当初就觉得37步或者其他reinforcement的人能找出来的一些solution就非常非常的神奇但我觉得其实跟最近language model能把一些很难的数学问题解决其实是同一个概念在一些固定的场景里如果这个奖励函数比较缺定的话AI它肯定能找到比人能想出来的思路是好这个principle我觉得十年过去都还是没有变的当时就对比如说AI的这个大脑怎么做决策比较感兴趣然后正好机器人是不是又是IRL里面的一个包括像我记得当时可能机器人自动驾驶都算是IRL里面的一些比较主流的应用对但我觉得在机器人这个领域RL的话必须要更谨慎的去用因为它是physical的对或者就是我觉得reinforcement能 work最大的原因就是这个domain必须要有很好的模拟器对比如说游戏这种这个游戏本身就是个模拟器或者你做语言模型这个语言模型这个itself就是可以模拟语言这个progression现在robotics的话在很多use case上做一个很好的模拟器其实非常的难对所以我觉得现在比如说教机器人跑步啊跳舞这些都是在模拟器里做reinforcement learning搞出来的但我觉得比如说要做一些就是抓取啊或者一些contact rich manipulation我觉得现在simulation还是有一些距离的我不是很encourage就是在真机上跑reinforcement了这个其实我曾经做过但我觉得真机的话那你parallel的这个程度就太低了永远不如模拟器你可以四千个环境一起跑这样是不是这也是为什么你们选择了比如说毛巾万一它的这个力度不是特别准确毛巾也不会被捏碎因为不像我们之前可能做一些这种比如说包装一些维生素的瓶子万一力气一大整个瓶子被压碎对所以这就是我们公司在一开始想在商业化和技术同时往前进的生态下我们就首先从叠毛巾叠衣服出发因为很难叠烂对吧这个机器人会出错但是出错了不是致命的这种错对对最差就是把毛巾给撕烂或者把衣服撕烂了目前好像还没有发生对挺有意思的因为我知道我认识了很多RL guy你就说的游戏是一个非常适合去做RL的一件事情包括DeepMind他们路线也是训了很多游戏出来然后就往LM大模型那边走了但是你没有往大模型那边走你反而选择了机器人方面的RL也是因为你导师吗还是说你自己的兴趣对可能当初做博士的时候就是我自己的兴趣然后当初我在做RL在Robotics一开始的几篇paper我觉得也还做得挺不错然后我当初就我导师也建议我就继续在一个路线上做的就是最顶流的这些工作这样比就是做很多不同的工作但但每一篇都在不同领域,都是马马虎虎那种,其实我觉得Roi更高,你怎么去找你自己比较感兴趣的论文的选题的,你是喜欢那种挑战现有的一些认知的这样的方向吗,因为我觉得从你的论文题目,还有你的选题都能够看出,对,其实我在博士后面那几年我都是这么想的,就比如说我去写一篇论文这个problem必须很新颖就是没有baseline因为我觉得机器人现在还没有被解决一个大原因就是这个problem statement其实大家还没有完全同意那如果在problem statement大家都没有有共识的这个condition下那如果你去写一篇就是这个problem statement已经设好了那你就beat一个baseline我觉得意义不是很大那我觉得机器人的话Robot learning 其实能做的东西的空间很大所以我在博士后面几年我就从第一原则去想如果要把强化学习在robotics上真正work有哪些bottleneck其实很容易就发现我觉得最大的bottleneck就是奖励函数没有办法去设定如果你玩游戏玩围棋那游戏规则就是奖励函数对吧 [20:00] 拿几分 Robotics 的话不管是学走路跑步跳舞或者怎么去抓东西怎么去切菜没有人给你讲理函数对吧就你无法编一个程就把怎么切菜这个事完全用一个很数学的方法mathematical的方法写一个工程写一个我就觉得当初这个问题必须解决如果这个不解决没有办法做RL而且对这个感觉也很有意思嘛因为在我们生活中完成一个事情比如说拿一个杯子它没有一个标准答案对吧你可能走左边去拿或者走右边去拿也都可以对那你这时候该怎么去这个去涉及他的奖励还属于这是不是你前面聊到的一些对对对因为在很多manipulation任务上其实没有一个最优解对所以我有一篇paper叫VIP就是从一些人的视频里学一个prior学一个很大的reward model就是人是怎么做的就用人的这种做法去做一个guidance for the reward model当时应该是2022年你在Meta做的评则论文是吗?对。Meta那部是有研究机器人的团队的?对,Meta其实一直都有研究机器人团队。他们现在也在做机器人。对,之前就更偏学术一点,因为当初是在那个Fair。在2020年的时候就是可以做很多发配事可能是第二最好的时光现在就很不一样所以你当时VIP的那篇论文解决的问题就是说从人类视频的时间顺序里面去学816对比如说从时间顺序比如说我去抓一个东西那我从第一张图到最后一张图这就是一个过程对吧把这个过程这个顺序理好的话就可以帮你去做判断同样的任务在这一张图的时候解决了百分之多少然后下一张图解决了百分之多少对这个任务上来说就是一种很scalable的方法去学讲理函数模型2022年的时候机器人数据很少对 我觉得现在还少当时就更不用讲了所以我觉得当时就很make sense你说的摇操数据对 或者摇操不摇操就是机器人视频都没有那么多对所以当时就觉得必须要有一种方法不从这个机器人数据上因为机器人最后还是要解决比如说人在物理世界上想解决的一些task所以就make sense从人的视频里开始出发当时你的人类视频能用什么样的视频当时也是污蔑或者其他的当时还没有污蔑当初2021年其实有一篇paper也是从Fair出来叫Eagle 4D可能是第一篇large scale这种第一视角的视频数据Human Centric对当初那个数据其实也有3000个小时带着什么头盔去踩的不知道了对当初我记得哇3000小时好大算挺多的当初就是很多了但从现在这个scale比那3000就太小了你们更迅了100万小时对吧但我觉得很有意思了就是从你当时的那个research就一直到现在是有这样的一个持续性的相当于因为感觉Dynatoo也是在讲怎么样通过更加现成的这个互联网就相对来说视频更加好采集的这样的一个数据的一个形态连续性其实也没有就是特定就特意想去用我之前的paper我觉得说实话做robotics必须要practical一点其实我之前的一些paper 可能有时候 too early for its time, so we can talk about Eureka.当初做research can be used, but if you use this技术,这种产品还不是特别的所以我们丹亚刚创的时候我其实很少用我之前的一些 method 而是就把一些我觉得肯定能work的method先scale up所以你觉得你2023年在英伟达做的Eureka的paper是太早了吗其实我觉得当初做出来的效果就很惊讶了当初就是第一个能不仅仅就是转笔这个demo大家可能都看过但就是用AI它automatically generate一个脚底函数我后来做功课的时候才发现你那个时候已经让GPT4去写reward code了对 其实跟现在Astra写很多东西很相似但是唯一的区别是他是直接去写reward code的他不是直接给policy他不是直接驱动机器人的吗对不对就是当初就是GPD4先把reward code写然后我们就在simulation里跑reinforcement论然后reinforcement论就会有个policy对吧对你可以看这个policy的performance然后告诉GPD4一些feedback这样就基本上就是一个recurse of self-improvement就把这个reward code一直improve 非常到RSI 对现在大家都叫RSI 当初名字没有这么fancy 是的 是的 对所以你们用那一套是让当时应该是英国的shadow的那个手 林乔手就是让他学会了转币 对 是在这个模拟器上学的 对但我觉得真机上按理来说也应该可以 但我觉得这工程上会很大然后当初的话林乔手市场也没有很多选择不像现在当初可能就只有Shadow [25:00] 可以做的 shadow hand的话它其实挺贵的几万美金一只对然后我们当初也没有这个资源所以我们就先在simulation里做了作为research是吧我觉得一开始先把一个idea从模拟器里验证是一个很好的做研究的方法但我们接下来发了一篇paper叫Dr. Eureka就是教了一个机器狗在一个做瑜伽的那种求生里balance和走路保持平衡那个就是我们把Eureka放到真实世界的一个follow up board还有我有一个follow up问题就是最近GPT6 Astra在机器人领域的一些影响很多人都在讨论它现在对整个的机器人的影响跟你当时用GPT4去写它这个reward code带来的这种用途跟影响有什么样的根本上的区别吗我觉得根本上的区别就是GPG6的话其实你直接跟它说你要啥它就能一口气干很多事情给你完成,当初的话,我们用GPT4的话,Eureka也open source了我们自己的code,你可以看我们是怎么让GPT4自己写代码,把它写的代码融进到我们simulation,像现在GPT6它可以自己把simulator给你安装,然后给你全能够好,GPT6可以自己安装,对,但capability也肯定更高。从前GPT4的话还是主要是做一个语言模型所以它对视觉对空间的这个理解其实不会很好像现在的话GPT6空间理解很好所以它可以直接就完成一些就是对spatial reasoning就是空间这个推理要求很高的一些机器人物所以我觉得这个是一个本质的一个区别在未来会有哪些领域更多会用到像GPT6这样子的这种agent tech robotics会更加有帮助的其实我觉得这两者之间其实在我看来没有很大本质的区别最重要的就是我们得给这个模型或者给这个Agentic System一个奖励函数就比如说你training一个模型你有training loss你可以跟GPG6你就一直改改参数改到你这个training loss达到比如说2.3左右对吧如果你要让他做agentic robotics也是团的概念比如说你一直写code写到你把这个啊任务能做出来所以最终就是要给这个模型一个目标对对蒋林函数很重要你2023年在英伟达的那个路线其实非常英伟达嘛大量的依赖这个仿真当时应该Jim Fan跟你在那篇paper上也有合作对对对Jim Fan是那篇paper的last author我当时就跟Jim和Yuk在mv里合作的但当初我们做这个project的时候也没有说必须要用仿真因为当初我先做了VIP对吧,从人的视频里学奖励函数,所以我们一开始想做转笔的时候,我们的思路是先用人的视频去学能不能把专比的奖励函数这个function学出来但当初我在尝试这个idea的时候我就发现首先我们没有一个真正的灵巧手可以在真机上验证这个转别的policy所以我就说那如果真机是bottle night我们必须要从simulation里开始但从simulation里开始这个问题就非常的obvious在Simulate我都不知道这个模拟器能不能训练出来的一个模型可以专比因为Simulation就是做模拟器最大的问题在Robotic就是有一些任务你不知道这个模拟器还能不能虚拟就是连模拟都能不能模拟出来当初赚品因为没有人做过这个任务所以就是一个未知然后我就觉得OK在这个情况我们就首先手搓一些奖励函数吧然后就觉得手册奖励还是没有出路的就必须要用模型自己去开发一些奖励研术所以这就变成了Eureka这个工作了你后来去过google之后几时做JVL吗好像又是回到了之前VIP的一个延续的工作城市吗可以这么说吧因为我当初我PhD大部分的工作就是解决在robotics能力奖励函数和一些其他的标注从哪里来这个问题我加入Google的时候当初正好Gemini 1.5刚出来其实Gemini的multi-model的能力这都不错所以我就想有没有办法去把这些东西运用在robotic上所以我就搞了一个算法可以用VLM直接做In Context Learning,去把奖林韩石学说,当时效果还很好,其实我当时还挺惊讶的,我就说为什么这个东西会work?它应该不work,肯定会在pre-training。也有很多创业公司就是做GVL这样的东西去做标注不要脚力函数不要就是subtax annotation用VLM所以现在这种说实话GVL可能比Eureka和VIP都更commercial来自一些对就是今年我觉得出来了好多数据公司他们很大的一个落底的方向就是卖给机器人公司最近超级赚钱对是然后标志就是一个大问题对对所以用VLM标注的挺好的 [30:00] 你想要创业是在Google之后但你为什么没有加入你实习过的这三家公司反而是想要创业的可能是因为我当初做了很多research然后我就觉得我其实想在真是世界上有更大的影响因为我就觉得写paper这件事对我当初来说已经没有太大的吸引力然后我觉得robot就是巨深的战场不是在lab里写paper而是真正把机器人带到真正的应用场景里看看能不能work所以你当时就意识到deployment很重要对因为我在学术界的时候不管是在这些industrial 学校做过很多paper 然后做过很多demo然后我当初觉得好像我个人感觉就是我是自己在评估自己的作业没有一个真实的客户因为在robotics当初就是每篇paper都有新的demo就是想做得更酷炫耀的但是所有的任务都是researcher自己猜出来了就我自己设定人就比如说我在Dark Eureka里教一个狗怎么在一个球上保持平衡这个没有人做过的在我之前但我当初想出来就是想验证这个算法我觉得这个很酷但我觉得更实际应用场景那就是两码事对吧我就觉得想把我的research做了impact 更大一点,然后我觉得去做个startup,尤其是像我们这种就是product和research都在一起的startup,我觉得learning和impact会更高一些。我刚刚其实也好奇了,就是说你在三个不同的lab都待过,对你之后的影响是什么?是不是有哪些技术方面的影响?但是现在听起来反而是一个更多是一种选择和非技术方面的,会不会在商业化这方面对你的影响会更多一点?我觉得我在这些大厂工作对我最有帮助的有几点吧第一点就是首先就是人脉吧之前的这些mentor也是现在在机器人领域非常有影响力的人然后我跟他们其实关系就挺好第二点我觉得就是因为我在三个厂或者在phd里其实不是说我在一种方法就一直写paper对吧就比如说我从人的视频里学用vm直接来做推理也用模拟器 反正去做一些reward function所以我觉得我之前就是因为我这个coverage比较高所以我在创业的时候其实没有就像我刚刚说的没有特定说我必须要从这种一种技术路线内出发所以我就更impulsual一点我就每一个时刻就看这个阶段用什么方法最好这样我觉得让我们公司长期发展也会有帮助吧就是不会只堵在一个技术的形象这里我其实还有一个小follow因为其实你前面讲到你做很多东西其实有些时候你不太expect这个模型能够work但其实它最后反而actuallywork了那我相信现在可能有很多同学啊包括是在现在在读PhD的同学或者说准备想再去博士深造的同学你觉得现在模型已经能handle大部分的所有的这个任务吗就是在模型方面还有新的research问题吗还有没有必要读PhD对我觉得新的问题还是有很多吧因为我觉得做PhD最重要的就是要去探索新的问题而不是在已有问题上比人的刷分高了两三分这种所以我一开始讲我PhD的一些工作的时候我提的就是你要写的paper就是这种没有办法有baseline的paper你就创新了一个新的一个problem如果这个problemmake sense那肯定就自然会有很多人follow out像我当初的Eureka的时候其实没有Base-A对 我得自己想一些basis 因为当初没有人从reward 从language model 里搞reward 然后搞一些rsi 这种东西然后做VIP GVL也是相同的要把这个problem statement 整齐我觉得这是research 最重要的所以我觉得做PhD 学生的话,最重要就是要找一些新问题,而不是要跟比如说GPT6或者什么其他模型去比一些BENCHMARK,我觉得这样是没有太大意义的。你什么时候遇到York跟Linden?我是2024年3月份来的估计,然后当初刚来几周我其实就认识了Linden和York,对。他们不在估计吧?他们当时应该是他们keeper被收购了吗?对他们当初就被收购了,当初Linden应该在Miami里面,然后York好像在国内。被收购之后呢?我觉得没有,我觉得我们三个都不是那种。闲得下来的人闲得下来的人对然后当初其实是Monica介绍的刚加入了Google的时候也其实在想接下来要做什么吧因为我其实就是想把robot真正带到一些真正的environment而不是就在lab的自己想任务所以我就觉得当初他们的想法跟我的想法其实是能走到一起所以那个时候可能是因为Linden跟York他们是在上一个创业项目的时候两个人是已经互为co-founder所以他们项目被收购了退出了之后他们在想下一个项目的时候想要开始做lobotics然后这个时候呢可能Monica之前是投资人现在已经肉身加入你们了说我们需要一个做钱 [35:00] 我想的叫做一个scientist所以就找到了你对吧对那我也好奇啊就是你当时有很多不管是research还是startup的方向你可能有很多选择Lindon和York身上有哪些特质跟你是特别一拍即合的或者是为什么你选择了呢首先我觉得一点就是我觉得要把robotics公司做好,我个人感觉是不能只做学术因为就算我是学术背景的,我最后还是想把一个模型本体做成一个产品出来,就是我们现在这个技术路线。如果只跟比如说research一起去创业,在这个founder team里就有很大的bias。所以我觉得长期的话未必是最优的这种发展路线。几次就是因为我觉得他们也做过startup,然后也做的挺好的,也是一个硬件的startup。所以我觉得他们会在某一些领域懂的东西跟我在技术上懂东西很互补所以这个其实挺重要的Linden Yorff跟你现在各负责什么Linden更负责就是他是CEO嘛那就是executive 的东西,比如说对外,找钱,找人找钱,对,我主要管技术路线一边,对技术路线就是research 做事了technical milestone 整合文士 technically我们接下来要做一些什么样的东西然后York是其实是我目前见过其实做 engineering最强的engineer之一所以我觉得有啥特别难的东西他都可以做然后他也做一些engineering上一些啊management你们三个会吵架吗我觉得必须要有争议对吧对我觉得如果没有争议那就是you don't talk enough但我不会说争议是吵架我觉得争议是好事这样我们大家就能尽早的发现问题然后解决问题因为我们三个都是想把公司做好做大的比如说你们会在什么样的问题上会有争议啊可能就是比如说一些技术路线 商业路线或者对可能大家有不同的想法但我觉得最后都是能解决的东西技术路线跟商业路线有时候会有冲突吗把Dyna这种公司做好其实最难的一点就是如何在商业和技术上能找到就是共鸣点就是你做这些任务技能推动就是我们商业的部署也能让模型或者我们整个这个Flyware达得更好所以我们一开始学一些Folding就是这个原因我觉得这是做robot foundation model的第一任务因为它就容错了你不会把这个东西撕坏不像比如说洗盘子这种你打碎一个盘子就很麻烦了我们就从这个角度出发找第一个人物第二个人物但现在公司做大了之后我们之后的策略也可能有一些改变我们回到Dyna Day Zero的时候你们要发Dyna One的时候你们当时选择了叠毛巾然后叠衣服作为你们的demo那个时候我觉得还是蛮先驱性的因为你们最开始也是叠毛巾的demo活起来的当然现在我们看到很多人公司都在叠毛巾叠那个衣服我之前去WSC还有WRC的时候发现每家公司都在叠衣服叠毛巾了但是那个场景是你们当时从商业化的考虑是一个很好的第一落地场景的选择因为当初解决了蝶毛巾蝶餐巾这些模型应该是能做的那最大的问题不是模型能不能做这个任务而是能不能百分之百去完成这个任务我们第一个模型发布了一个重点就是说目前有这么多什么VLA General Model但都没有达到很高的成功率如果成功率很低其实是没有任何商业价值的所以我们第一个技术突破就是能不能达到100%接下来我们DNA1发布之后其实我觉得大部分其他公司都在那个方向有一些跟进就发现很多公司都在发reliability的demo说明我们当初发的东西其实是有很大的影响意的对你们三个开始创业之后有没有讨论过只做Fundation Model的那个layer这件事情在你们那儿就没有任何的可能性吗因为当时你看到比如说physical intelligence也应该成立了吧他们其实从day one就只想做这种intelligence layer不想去碰硬件但是你们从day one就没有往那方面去考虑过是对一开始的话呢没有硬件的情况下那肯定就是先买一些别人的币去尝试先把毛都做起来但我们从一开始就有做硬件的打算但把硬件要做好的话那肯定是要花很长时间的所以最近我们猜吧我们最新的硬件发出来大家也可以看到我觉得你们硬件还是就是能在部署一边部署的时候一边去改进硬件还是很厉害的我自己的共鸣是之前在做这种挑检机器人的时候可能有些时候因为这个线数它的设计的不当啊包括像一些这个相机的摆放的位置啊可能就导致你这个线受力过大 [40:00] 或者影响你的哪一次重复的这个consistency对吧它的reliability所以对我也好奇是不是在为了要达到很好的reliability你们是在硬件上也要花很大的功夫对那是肯定的对因为我觉得reliability就是真正不管你是intelligence layer还是什么layer我觉得最后都要做到对吧但这个reliability不仅仅是model的reliability是整个system的这个稳定性那如果你只做模型不做硬件那就是这个这整个系统的稳定性很大一部份你肯定就没有这个掌握所以我觉得这样的话做产品的话其实是会很吃亏的你们最开始叠毛巾的时候其实都不是说一个就现在一样的一个轮盘也没有一个好像机器人的头好像那个时候也没有其实就是两个甲爪基本上是两个币你们当时在跟投资人聊的时候他们会觉得你们不够fancy吗我觉得有可能吧我觉得是不够fancy同时的时候你们看到很多公司已经有人型了双足了但是你们没有觉得会干扰你们是说就是做人型的公司有没有干扰我们我们肯定是有想就是这个接下来验尽要怎么做但我觉得我们公司一直都是非常就是务实的务实不会说就一步要做一个很fancy的东西没有落地的机会因为我们最后都是我们是非常相信这种用迭代去推进技术发展的这种理念所以我们不会从零一步就做一个最终的验尽这个话中间出错率很高然后也没有商业落地的闭环的feedback所以我觉得这个其实想把技术做好了技术做好了是很吃亏的一件事技术做好是一件很吃亏的一件事就是说比如说你要把模型做好你就必须在你的硬件上做很多eval但是硬件就很不稳定那你连eval评估都做不了那你就无法知道这个模型如果work了或者不work是什么原因其实很多人先进行这个问题就是这个系统太不稳了就会对模型发展有很多不好的这种negative feedback但像我们的话就首先部署的话就有一些比较简单的系统这样我们在现在目前的部署和模型可以达成个飞温同步我们可以把硬件我们自己的硬件做好这样就有一个parallel这种概念对是不是除非这个任务本身涉及到比如说要跨越一些很复杂的地形包括像需要有很大范围的移动否则不一定完全有需要做人形因为有一些人形的展示也是一个人形机器人但是它是在一个固定的地方我个人感觉是没有什么必要我觉得很多内部室内的工作很多其实不需要双腿尤其是就在比如说工厂或者商业的这种场景但我觉得家用的话因为家用这个家都是给人设计的人是有腿的比如说你这个家里这个客厅有上下楼梯这种对那我觉得做轮实可能会有一些局限性但我觉得工业或者就是商业场景地都是很平的因为他们尤其是在美国他们是有一些这个regulation就是必须把地做很平所以我觉得这对一开始不熟的话是会有很大的优势那我们回到那个蝶毛巾的那个案例上面来蝶毛巾的难点在哪里我们一开始觉得就是蝶毛巾难后来发现叠毛巾我们模型其实做得很好很快最后难的就是把你叠完的毛巾能不能就很整齐的一个一个往上叠这个其实比较难精准的要求比较高尤其比如说你要叠10个毛巾在一起如果你第3个毛巾比较歪你上面的毛巾你继续歪下去所以每个毛巾都要叠得非常的整齐在很准确的位置所以把这些整齐这个度提升其实是后来发现其实还比较难中间最难的一点是什么就是比如说甲转它的难点在哪里呢就是说我发现我叠错了然后我能怎么把它给纠正过来这块是最难的吗因为我看那个Dynamic One当中也是有三环嘛然后你的foundation with one model到autonomous exploration然后到intentional failure recovery那是不是这种intentional failure recovery也就是说我搞砸了这事我能够把它给掰回来这一步其实是模型最重要也是最难的一步对这种是肯定最难让模型学习的这种动作对所以我觉得是有一些难点对但我觉得现在Dynamic一年多之后了我觉得在我们公司目前来说我们知道如何去解决然后能解决得很好怎么去解决这个就不能透过了这是通过RL的方式吗我觉得RL是一种但我们有多种明明的recipe对其实我待会在world model这方面其实我也挺好奇你们的一些技术路线的选择以及 [45:00] model的一些具体的应用方式是不是能帮到这样的类似于这种的failure case那么现在就问好呀对其实我就也好奇了因为你说一开始的这个错误可能会之后会tompound那现在有了这个world model我知道你们没有选择在inference time去产生这个未来的video prediction但是如果选择的话是不是可以理解为可以去预测未来的这个视频是什么样子那在inference time的时候是不是就可以去预测可能的这个错误的情形从而在就像比如说你下围棋在inference time就想很多步哪一步有可能有问题在Dynamically在选择因为跟这个相关的其实也是Dynastro达到了比如说110毫秒可以生成未来三秒的视频按理说应该也算比较快了那你们为什么没有选择在Inference Time的时候产生视频对我们在写Block Post的那几个模型是没有用到Inference Time就是产生视频但我们现在的模型是有这个capability的但我觉得很多情况下有一些问题可以用更简单的方法去解决就用更简单的方法去解决,像这个Inference Time Generated Video其实是比较贵的一个东西,所以我们现在还在探索哪一些signary要真正需要这个KB Relay,哪些其实不需要。对,看来还是很部署这个,就部署Focus,这第一步想到的是部署啊,包括像这个成本和这个性能的一个平衡。对,不仅仅是部署吧,我觉得就是在Machine Learning里,就是。总体来说就是更简单的方法才就是其实更work 更能scalable 所以我们经常从做研究的角度就是要选一些就是非常simple非常elegant的东西去scale因为我觉得这太complicate的东西就很难真正work就是说太多里面可能有几步就很容易出错或者就是要调窗的话要调的这一点是不是你也是你从一开始到现在贯穿的一个不管是科研啊还是技术上面的一个一种自己的一个taste吧对吧就是要做的简单然后要做的比较elegant这样子对就是越简单越好就是太复杂了后期就很难真正的去work其实现在你看一下比如说在语言模型里的所有的一些big idea 其实都不是很复杂尤其是一开始的一些Deep Learning Idea对就是越simple的东西更scalable好那我们回到这个Deployment上面来我看你们当时Dino One是在六周之内最开始只能跑五分钟然后变成了一个小时八小时24个小时然后最后能够一天折八百多条这个餐厅那过程当中发生了什么就是为什么会要有最开始只能跑五分钟然后到后面能够Ready的这个过程对就在这个五周过程中或者我们就是继续去做targeted error recovery可以收集很多很高质量的数据就可以让模型每次重新跑的时候就会有大量的质量的进步所以这个就是就是continual learning的一个过程但是这是不是说你们当时把模型或者你们的机器放在一个新的环境当中或者放到一个新的客户那儿就需要那么长的时间去补书啊其实不是的,我们这五周其实就是讲我们当初做research的五周,真正部署,像我们最近的话部署其实有一些场景,有一些任务其实几天都不需要,尽量达到一个模型,就是跟客户的要求是完全一致的,这种capability。Denna One的时候,你们就已经找一些真实的客户然后把机器人送到他们的那个地方去给他们叠参见了当时有跟哪些客户合作其实我们从DNA1的时候我们就跟DNA1有一些合作当初就是非常early pilot他们也很open吗让他们的这个厨房给你们开放挺open对我们一开始都比较喜欢更open的一些客户这样因为我们一开始也不能保证我们的模型能work所以如果能在这些英文场景里就是迭代能收取一些教训其实对我们公司发展其实帮助挺大的 尤其在早期但当初我们就在净台风尝试去叠餐金这个认为其实特别的难对 所以现在真的能做出来其实我觉得也是个like very big milestone难的点是在把它叠整齐?对,其实叠餐间比叠毛巾要难很多叠毛巾其实你就叠两下差不多就行了但如果你去看一下点台峰会的其他一些餐间的这些餐间它都叠得很细致了对吧所以这个客户的要求就是比如说几毫米和一厘米这种差别就是pass和不pass的这种区别所以这对模型的精准度要求很高你能不能把叠好的餐巾放在一个box里摆得很整齐如果摆得不整齐有时候这些餐巾就算你一开始叠的时候叠好你放到box里才就会乱掉了我看你们当时给 [50:00] 他们有五个grade12345它分别是对应它能做到多少的准确度或者做到什么样的任务就是5和4或者5和3就是几毫米的区别所以能把模型做到在这几毫米容粗粒都能达到最高的grade其实是很难的事我看Dyna1当时的你们说LAB里面实验室的成功率是做到了99.4%但是只有75%的叠餐巾是达到了后来真实的客户的标准中间的差距是为了什么成功率就是按有没有把一个餐巾折好去算所以如果它是grade3,grade2也算折好但pass rate就是你刚刚提70%这是按其实我们在所有折好的餐季里有多少个是达到了grade 4和5customer他最后只接受grade 4和5grade 3是不可以接受的对internally做评估还是有一个12345这样我们就知道我们模型现在的progress在那里是的对但不过我也好奇就在这么难的提高百分之零点几的这样的一个成功率的要求下在当时是靠模型的进步来改进的还是说尽量采集更多的真实的客户数据来我觉得都有模型有很多的进步然后数据也有很多的进步就是更高质量的数据把这种一个任务做到百分百然后质量很高的这种exercise 做几次就能感受到高质量数据和低质量数据的差距和差别我觉得这个其实真正做部署或者做产品的话是很重要的东西Dyna1的数据是怎么样的一个构成我们当初所有的数据都是我们自己内部采的但现在就很不一样了因为现在就很多很多的数据我们就不仅仅是要利用我们自己采采的数据而就是利用所有我们觉得能用上的数据所以其实有很多新的research 课题要做Dyna1是全部用的腰草数据对踩了多少小时?这个我们就不用透露了但是都是在你们办公室自己所有自己的researcher去踩的?对,用自己的researcher去踩的因为我记得好像一年半去你们办公室采访的时候看到有人在现场都在不停的踩对,踩实际我觉得是必须一直做的工作对我们待会可以聊聊Dina2的数据我还有几个关于Dina1的部署Deployment的问题你觉得Dina1的部署给你们最大的教训是什么最大的教训就是我们在Lab里做的东西跟真正能deploy的东西其实差距是很大的因为就像我们刚刚说Dynam1做出来说是业界里成功率最高的模型但成功率最高的模型带到真正商业场景里真正的deployment其实gap还是有很多的就像我刚刚提的一些问题比如说整齐度 language following或者速度其实Dynam1的速度也没有达到真正领台风可以接受的速度所以我觉得就算把成功率堆上去了,其实还是有很大的gap。但幸好你们有一个听上去比较耐心的客户。我之前工作的公司叫Vicarious,后来就被Intrinsic收购了。可能有些客户他对于cycle time的要求高,或者他的不一定那么耐心的话,可能你就要去花很多资源去做这样的一个客户。作为一个startup与此同时也要考虑到这个多个客户的这种pilot嘛像我们前面讲到技术和商业的这个结合和balance就是你们怎么样呃在做好一个客户的前提下也要去cover到会不会有多个pilot同时在进行对我觉得这有两点第一点就是如果这个base model越来越好那就可以帮你把任何部署都做得更快一些对吧更通用那第二点就是我觉得Manage this pilot, I think is quite important.不同的Pilot不同的Deployment有不同的问题你Deploy到足够数量的时候你就会同时Flash out所有的问题我觉得这样对把engineering做到其实是有很大帮助的这就是scaling的问题你在一个deployment上发现的问题跟你在同时部署10台100台1000台发现问题都是完全不一样的你每次scale就会发现新的问题所以我觉得作为一个巨身的公司必须要有这个conviction就是我真正要把部署做下去要scale下去要不过你永远就在一到十台或者一到五台这种境界的话你是很难发现很多你只有scale up 上去才能发现的一些那运营和deployment的问题对 大家提到成功率这件事情我也听说就是机器人行业中的成功率我们要怎么去看待它,虽然99%听上去是一个很高很高的成功率的数字了,之前其实君武也跟我聊过,Vacarius这个公司也是做到百分之九十几的成功率吧,但是还是没有办法很好的存活下来,所以后来就是被收购嘛,那就因为是99%的这个成功率,当你去重复这个任务一千次的时候, [55:00] 它是有十次是做不好的那十次有可能就把整个生产线给弄混掉了所以对客户来说可能是没有办法接受的这就是为什么机器人公司必须对产品形态要有很多深刻的思考像流水线这些任务就是conveyor belt对吧物流的这些人物我觉得成功率是致命的东西如果你成功率不是100%那就说明这整条线上会有一些物品你是没有把它做好那就说明这个robot做完工作之后下游必须还有一些机器或者一些人去做keyway把质量保证好其实这样的话你的机器人其实没有autonomously对把整个线都包了尤其是其实给人或者其他机器机器加了更多的工作所以我们一开始就觉得做converable机器其实不是做巨神智能通用智能最好的出发点所以我们一开始追求的任务都是机器人能不能他就自己把这整一个任务全都包掉的这种workflow如果机器人能不能把整个workflow就不需要任何人去做QA不需要任何人去做intervention能做好那就算这个机器人现在比较慢它同样也是能产生商业价值我们就觉得要从这里出发去引导我们怎么去做技术,怎么去做模型,怎么去做硬件,和其他所有的一些技术的考验。我看你们把Dynamic One的10个月的设计,称作是Bitter LessonBitter的点在于你们发现这个东西even 99.4%的成功率是不够的对我觉得从现在来看可能是Bitter Sweet LessonBitter就是比我们想象到要难但Sweet就是因为难你就必须要去解决如果你解决了那你就会领先其他公司很多因为其实很多要解决的问题都不是那种非常很酷炫的比如说搞个新模型把模型搞大数据skill上去的这些问题我们团队是有这种问题我们就必须要解决的这种 conviction可能有一些团队其实没有这种DNA那他们就永远不会自己想把弟朋友做得好好但我觉得这个的话长期的话可能会是一个略试你觉得这些lesson是如果你们没有做deployment的话可能你们是没有办法学习到这些lesson教训的对 是这样的所以你们是有专门的deployment team是吗?可以这么说吧我们有个product team但deployment也需要很多research所以我们做project都是非常collaborative不是说就是一个对待做就大家都能帮上忙硬件软件模型product deployment operation都可以那我看从DANA1到DANA2你们整个的模型上其实变得挺多的你们当时为什么不是说DANA1做了之后发现deployment的问题当时Dynam1的问题比如说我把数据再做好一点,把准确率再做高一点,再把deployment做好一点,而是说回到那个模型Fundation Model上面,对模型进行一些新的创新,这个决策或者这个过程是怎么发生的?其实我们当初,Dynam1是个VLA模型,我们在VLA模型做了很久的时候就发现其实这个模型从框架角度来说是有一些缺陷的所以在VOA上你可以做很多的布丁但我觉得最后补丁做多了我就很难继续在一个不是特别solid的Foundation上继续把东西做大所以我们当初就又同时在deploy VRE 同时在fundamental research 里开始做一些更我们觉得能scalable的一些architecture然后这就变成我们现在做的Dynet World Action Model然后我们当初就觉得有很多县长都是一个质的提升就比如说泛化性这个ability to follow language然后其他很多东西我们在Blog post也讲了因为我们最后的目标不是说就在一个电台风或者在一些冰光里折衣服或者折什么我们最后还是要做一个通用的机器人智能平台所以从这个目标里来讲的话换模型或者要做更scalable的东西其实是很然后我们愿意去做的东西那这里能不能简单给我们听众拆解一下就是说什么是VLA和World Action Model的区别以及这些你前面讲到比如说VLA会有一些缺陷那这些缺陷主要是在哪里我觉得其实World Model最重要的东西有其实就是一点就是我们去做model 它要推理一个东西对吧做VLA的话你去算robot的轨迹 action做world model的话就不仅仅是robot的轨迹你把整个世界未来要发生什么轨迹也去用来做训练这样的话就可以让这个模型学到就是更本质的一些feature和information帮助这个模型去推理 [60:00] 这个世界接下来会怎么evolve我觉得这个其实是对机器人泛化和其他一些capability都很重要的一些那你们当时在比如说一边在部署BLA,一边在探索别的这个model architecture的时候,是除了world model以外还探索过别的框架吗?就是为什么选到了World Action Model这样的一个框架?因为我们当初的思路是,我们想从Video Model里出发因为Video Model它已经能predict video这个对在真实世界上做一些physical manipulation是会有很大帮助的然后我们就觉得Video Model它有很多property,VLM没有都有机械能力用上所以我们就算了离开出发然后当初其实除了VLM和VideoModal也没有其他太多的模型可以去做探索还有一个小follow up是比如说就算在World Model里面当然除了这个diffusion based的也有就predict这个pixel本身的可能也有像那个Jepard这样子的对吧就是predict另外的一种representation那这算不算是一种可以选择可供探索的一个架构以及你们当时为什么没有选择选JAPA这个道路因为当初我们还是想从一些pre-trained video model开始出发像大部分pre-trained video model他们一开始的use case都是video generation所以他们就已经predict video了当初其实没有什么JPOD的什么checkpoint可以用I see那要pre-trained的这个benefit是不是说就是互联网上大海量的这样子的数据都可以用来用对这样就可以让你这个迭来速度会快很多了所以你在做Dyna1然后当时你们都是在用摇操数据的时候当时你是不是就觉得说啊已经知道说这不是最终的solution,就是one day还是得需要去用大量的互联网的数据去做,这个可能又回到你的这个vip啊,还有比较早前的一些。其实也不是说摇操是就是不正确的方案,我觉得Robotics,我们现在还是要分pre-training和post-training在预训练的时候,那就是什么东西能给你最大的coverage,能最广给你最多的数据你就应该用那个数据里 figure out怎么让这个model generalize但如果你要做后学人要真正把模型部署到一些商业场景那就是这个稳定性和质量要求特别高那就是Polestrian要干的事舀操是能收取最高质量数据的唯一方法我觉得其他任何数材的方案都会对质量有一些差距的所以在Dyna2当中Post training当中也是还会用到摇操的数据的要用的摇操的数据会比重新要少很多像我们在Dynad 2.1就是我们接下来要发的东西或者在Dynad 2里我们都有就是用几十分钟数据就能学一对新的任务的这些results从前的话我觉得几十分钟其实肯定不行那我们再DevIn2一下Dana2你们的发布我觉得你们最惊艳的一个结论就是用了100万小时的第一人成数据找到了计刑数据scaling law的端倪能不能跟我们解释一下research过程是什么样子的其实我们当初就在尝试ego-centric data对吧我们当初就已经尝试了1000小时1万小时和10万个小时这种级别的pre-training然后在这三个级别我们就发现了scaling这个scaling到1000小时的时候就发现了不是就从100小时10001万到10万所以就是四个阶段每个阶段都发现说它数据越大就越好对就是每一次我们把数据10x然后这个变好不仅仅是在predict这个人的motion因为预讯呢我们只用人的数据所以如果你更多人的数据让这个模型predict人的motion更好其实也可能不是特别的surprising但是我觉得特别surprising就是在人的数据做了之后这个模型在predictrobot action就是机器人这个轨迹也会变得更好但这个模型他当初做推理的时候他根本就没有见过这些robots所以我觉得这个是非常所以这个我们在blog post也讲叫cross embodiment transfer scaling law就是我们在想做cross embodiment transfer 时又没有scaling law我觉得这个其实是非常重要的东西因为就像我刚刚我们一开始谈scaling law 我觉得如果你data总体数量不够其实没有太大的意义去做scaling law但在机器人领域的话 我觉得摇操就很难达到100万小时数据量所以我觉得要做scaling 完蛋了必须要从更scalable或者就直接从最scalable 的datasource 开始所以我们就首先挑了人的数据但是在robotics 里US scalable data source 它有个tradeoff就是那就跟robot 最终部署长什么样他给假装长成了就越远所以如果我们能从一个很scalable但跟robot其实关系不是很大的数据能达到能获取scaling on robots那我觉得这是个非常大的突破就让我们就有办法能让这个巨身的模型更聪明然后不需要利用很多机器人的数据 [65:00] 巨神的话机器人数据永远都是一个瓶颈这100万小时的第一人生数据都是比如说从机器人的那个视角去看然后看到我的双手在做什么样的事情也不是说从机器人的视角吧就是从人的视角比如说有很多数就是人头上带个相机这样去拍的但各个不同的这个啊素材我们的partner或者我们内部的这些设备其实都不是一致的所以他这个这个viewpoint其实是很广的可能就是因为他这个很广然后人的胳膊你能穿衣服每个人也都不一样G2模型有generalization capability这100万个小时大部分都是合作伙伴那边买的是吗?很多都是合作伙伴但我们内部也有自己的异国设备在探但我觉得一个公司去产生就很难scale,那么大。一百万个小时在现在机器人数据当中是一个什么样的量?我觉得就是从publicly available这个信息里100万小时pretraining就是最大的pretraining这个很贵吗我觉得是有些贵的然后数据更多那肯定要花更多的钱但我觉得那是一个什么样的成本量我觉得这个就不好投入但我觉得就是人的数据成本会远低于腰操或者其他的数据方案因为就是你不需要一个机器人你不需要像摇操的你必须要教这个人怎么去摇操的吧但人的数据你就是给他一个相机让他去每天都做了什么很多这样的数据其实是也已经能用上了不过我在好奇如果要体量更大的话可能互联网上就是第三人称啊或者说一些非egocentric的数据可能占到更大的百分比就我好奇这个cross embodiment transfer有多少是可以说所谓的依赖于这个视频里面人的这个形态跟机械病的形态本身就是挺像的那如果换成第三人称视角的视频可能还会继续有这样的scaling law?应该会有scaling law,但可能这个scaling law这个slope就很不一样了。因为如果从第三视角或者就是跟robot,就是manipulation,没有任何关系的视频去学的话,可能会让这个模型对这个世界这个,整体这个knowledge又improve但如果想直接transfer的manipulation那可能会distance更大一些所以可能更难但我们的Dynan Tool里也有一些就是如果我们只scale video数据会怎么样但我们那个result还是只有scale人做任务的视频,不是说任何random视频。所以我觉得random视频能不能对robotics有帮助。我觉得应该会有但我觉得现在还没有很多的证据你们下一步是准备再去验证一下这个scaling law比如说从100万小时到几百万小时一千万小时这个Skilling Law还能不能站住吗对这个肯定是我觉得就是我们肯定会尝试去做的对吧因为我们去做Skilling Law的原因就是想继续Scale就想找到就是很能Scaleable的方法就Scale Data你觉得有可能rescale之后他会发现说可能不是这个不是Skinning Law 会有这种可能性我觉得这种概率可能比较小因为我觉得说实话现在robotics的模型都比较小我们在所有的robotic scaling results 没有同时 比如说数据,scale模型大小和scale compute,一般都是只scale一个axis所以我觉得如果把三个axis这个工作都做得很好我觉得一定是能发现一个很不错的scanning law但我觉得这样的话这些工程量就会大很多因为其实在那个图形上主要有这个scanning law是很不错的但是好像从100k到1million的这个数据的改善相对于之前一个10k到100k的这样的改善速度是稍微有点下降的所以可能才会好奇就是说这样的scanning law会不会到后面数据量越大就越难我们发现了slope从10万到100万更低的原因是因为我们当初搞100万小时的数据的时候其实整个行业都没有100万小时高质量数据我们在搞1000个小时1万10万个小时的数据的时候这10万小时所有的数据都是我们认为高质量数据像我们到100万小时的时候首先就是没有100万个小时就是已经有标注的视频所以到100万小时这个scale很多视频就没有标注了这也是为什么从10万到100万可能有一些更小的这个弧度但我觉得如果我们有100万小时就是真正高质量数据我觉得这个scale论号是我们是非常confident它其实不会被搜掉的对包括像我觉得这次Block里面这个视频是一方面了但是能够真的把这些视频用好的架构还是World Action Model吗我的理解说这个Block [70:00] 也讲到很多world model的一些东西那包括比如说你们加了没有action label的video prediction这样的一个training比可能joint action加上video还要好那怎么样去拆解这样子的一个实验的结果我觉得这个区别就是在只做joint video action的时候如果你所有的数据都要做video和action prediction那就说明这些数据必须要有action轨迹的标准你能用的数据量就会比如果你有一些数据没有action你也可以用来做训练的数量肯定会少所以我们的point就是说如果我们能在video prediction上也发现有scaling那就可以让我们的模型用更多更多的数据我觉得这个其实很重要因为在做human video的数据中标注action标注人的手和手的关节的这些标记其实是比较费劲的一件事所以如果能有办法就用纯视频去做训练的话是一个对模型generalization是会有很大帮助的一个东西那这些没有Action Label的视频它是不是就是大多数都被用于训练world model是怎么样去predict这个future state那我们怎么知道这个predict的这些future state真的是在学到背后的这个物理规律呢因为比如说人拿一个有水的杯子或者没有水的杯子他的这个视频看上去有可能是一样的然后我想拉一个重的门或者轻的门但是这个能不能使他背后的物理对于实践来说真的重要吗对我觉得对于时间来说是挺重要的但我觉得你说的也很对就是说有一些任务从视频上是很难判断比如说这个门到底是轻是重的如果是一个水杯很transparent 很透明那人家有没有水这些就是我觉得做world model一个 caveat 就是很少人说就是说如果这个world model比如说做一些任务你需要视觉和触觉但你这个数据就没有触觉那你不管怎么计算怎么predict你都不知道真是世界里背后物理的certainty所以我觉得其实现在做World Model, the Robotics World Model,大部分Model还是从这个视频里开始选,但我觉得视频做一些任务是不够了所以这就是现在的这些框架的一些很本质的一些缺陷嘛但可能就是我们现在还没有大量的不是这个camera的一些data是的这种力的这种数据还比较比较难猜极对我之前采访Andrew Dei的时候因为他在做visual reasoning嘛就是想要把视频里面的物理规则让模型真正的理解到因为我理解可能这个research还是在比较早期的阶段但是确实是唐一爷大家都在开始发力要去做的事情优优独播剧场——YoYo Television Series Exclusive必须要用预训练去解决比如说有一些触觉的数据你人的数据上是没有但如果你机器人上有触觉传感器那你说不定在后训练你就用很少量的数据就可以学到因为我觉得视频或者图片它其实是这个重复性很高的一种modality对吧就比如说你一张图片里你这个pixel和那个pixel其实长得差不多但是触觉啊比如说这个Audio它其实Information Per Bit会高很多所以说不定不需要100万小时的触觉数据进程学一个很好的有触觉Input都爆发那些忙的对你们接下来会考虑加触觉进去吗其实我们在看,但我觉得触觉其实在整个robot learning 领域也是一个争持很大的一个领域。就是因为很多人觉得其实不需要,但也有很多人觉得需要,所以很难说。我们的看法就是要从实践里发现什么东西work,然后什么东西在什么场景下work。是的是的对因为我本来还蛮好奇就是说如果说World Action Model有这样的一些缺陷那机器人从research来说它下一步的方向可能会是哪里可能会是新的模型架构呢还是说在post training里面加更多不同形态的包括像有利益的这些数据听上去好像是Post Training 的数值是一个比较大的一个方向对 Post Training 我觉得一直都会是很大的方向因为我觉得做robotics很难就是一个模型的Zero Shot不需要任何训练书籍就可以做很多任务,为什么?因为每一个客户或者每个人的需求都不一样,如果大家需求都不一样,你不可能一个模型机能猜对所有人的需求所以后续如何进入很少的数据去改这个模型,Adapt 的模型,我觉得是长期一直都有的一个工作然后预期内的那种数据就是很重要了能不能用更scalable的方法去采集到这样的数据对不过讲到这里我还可能还有一个问题就是不管是pre training 还是post training 我们都在讲数据多难采集数据的质量多高但是其实是不是大家容易忽略的一个点是就算采集了很多数据高质量的数据怎么样把它去做ingestion怎么样把它去补 [75:00] 然后真正转化为能用的数据这个背后的Infra是不是也是需要很大的工程量?对是需要很大工程量我们其实有个Infra Blog就是讲这些事儿对我觉得做百万小时这个scale的训练不仅仅是训练模型的问题也是一个很大的infrastructure问题如果没有好的infrastructure你根本就连这个job你都跑不起来或者跑几次就会挂点然后就比较很费力所以我觉得做什么Large Scale的Experiment一开始都是要把Infra先打好他们像幕后英雄这样是吧Infra都是这样的我觉得在那个LLM那边也是的Infra团队都是不被看见的那个团队但是又是最重要的但我觉得在我们这里我觉得还是有很多visibility我们写了一个blog post就专门讲Infra对吧我觉得这些幕后英雄they deserve to be known包括像blog里面也讲到这个crossing body and transfer这个视频已经跟机器人本身长得比较像了那就我可能好奇视频里面的什么东西真正被机器人给学过去了我觉得有几点首先就是用World Action Model的时候就是把这个世界的物理能从视频里判断出来的东西我觉得这些都有transfer对吧因为我们首先就是预测这个视频接下来会发生什么东西这是一点其次就是对比如说做一些任务不管你这个end effect就是你这个是不是甲爪或者林乔首这个大致的这种策略怎么去解决一个任务都是可以学过来的比如说你抓东西你的现在手臂在这里的东西在这不管你是什么样的灵巧手或者夹断你都一开始要先把你的手移过去对吧?是的 这种concept是完全可以从人的视频里学出来的可能wrist比较类似的这个kipo 但如果就是非常精细的动作,那就首先标注的质量高不高,如果不高的话就会有很多飘影其实把这些数据用起来做零敲手训练的话帮助也未必很大如果接下来的路线是从100万个小时到1000万个小时感觉中间的数据gap会多吗如果还是以跟数据公司合作的方式那你们也很需要很多的标注很需要很多高质量的这个数据吗那这些数据接下来从哪来呢这个市场里面有这么多的 supply其实这是个好问题我觉得 supply 是个问题另外一个就是 infrastructure 的问题 对吧我觉得我们现在的电脑可以承担100万小时这个级别觉得要handle 1000万个小时级别不仅是训练然后就是标注做QA的话其实上是有很多工作要继续做的你们有一个结论就是说DNA 2之后不要再把model当产品要把model加hardware加deployment加data infra加teachability加physical agent一起scale然后这六块柱子一起scale然后才是真正的scaling了我觉得真正能把产品做下去因为我觉得robotics整个stack是很长的只做中间的一部分的话我觉得是很难把东西做好的所以是一个木桶原理就是每一块都是要每一块都很重要缺一块其实就很难把东西真的做好对那从这个角度来说每一块都是比较非常重要的这一次跟鼎泰峰的合作跟上一次应该优化了不少吧对对对我们一直就在鼎泰峰里做最后做到了一种程度真正我觉得可以当成一个产品了这也是我们为什么我们现在发出来我看数据提升还挺高的最开始的时候Dyna1是每个小时跌35个纸巾大概是每天可以跌480个但是当时客户就给你们的要求是说希望你们可以做到每天1500个有一个18个小时的shift如果达到每个小时跌95张,达到了每天1590张,所以也是满足了科夫的标准。我觉得这其中有很多增长,模型是一个比较大的增长。但我觉得数据和其他一些continual learning的东西做好我觉得是很重要的因为我觉得模型达到一种程度比如说我们现在到每天能得1400个餐厅我们如何达到1500个餐厅其实没有很多low hand influence就不是说我们要再多采取数据技能又跌快很多其实不是这样的所以我觉得越那离你的目标越近其实难度就越来越高像一开始你没有模型你穿一个模型能DS30个餐厅一个小时其实不是很难从我们现代人从现在我们知道的不是很难的如果要进一步提升的话可能又是要模型加数据上面再进一步的一个提升对 我觉得是这样的如果在一个Task上提升都这么难大家现在很多在讲通用一个机器人可以做所有的Task你觉得就是真的要达到那一天是不是也还有一些距离对我觉得这个差距就是 [80:00] 通用机器人我不可能一个机器人一个模型就所有任务都100%对吧就像我刚刚说的ZeroShot就是很难的东西很难你能猜人的要求是什么所以我觉得通用的话如果能达到任何任务就是70% 80%用很少的数据就能fintune这个model去做一些customer task我觉得是一个不错的milestone那会不会有一个risk就是说你们的模型因为采集的数据都是跟客户的场景相关的比如说叠毛巾叠衣服这些大部分的protection data都是来自于这几个任务的话会不会你们的模型就会越来越擅长做这些任务反而他的就像俊武说的他的general purpose之后的任务的翻滑性可能就不会那么强我觉得其实未必是这样的,因为在预算的时候我们大部分的数据都是人人视频,这些数据非常diverse我们内部的数据跟我们的Human的数据比的话是会小很多很多的所以预期我们是追求generalty那肯定会有一些bias比如说在我们的本体上有一些bias但我觉得这些都是好的vias对吧就像比如说你要做语言模型你想让它coding很好一行就必须把coding的数据百分比放大一点我觉得做自身的话也是同样的我觉得做general这是一个很很虚的一个概念我觉得大家最后都是有constraint就是你care什么东西或者你更care什么比如说你更care零巧手那你预训练就把零巧手的失去这个百分比放大一点如果你不care那你完全就可以做运训练没有零巧手失去所以我觉得这些最后都是根据你最后的goal来决定你预训练的这个的 data mixture是什么你们刚才还提到一个概念啊就是说机器人他最后要落地的话他必须要怎么说替代一个人力就是他要做这样的一个完整的任务,而不是一个任务中间的某一个动作,不然的话是替代不了一个人物的,他也没有办法最终的被客户接受。那么在Dana 2当中,你们的落地还选择了比如说洗衣房的一些任务,对不对?那就比如说你们Dana 2找的一些用适案,或者是想要进一步验证落地的方向有哪些?对,我们一开始还是先从洗衣房开始。对,因为我们之前叠毛巾的话,就像你说的,还是需要一个人过来把毛巾全拿来。我来已经轰杆好的毛巾拿过来然后我们的robot叠完之后一个人必须要拿走其实这个是很繁琐的任务然后有一点比较就非常有意思就是这个模型如果是一个固定的就是station robot这个模型越好那这个人的这个intervention率就更高因为如果你robot模型更好那你跌得更快那你跌得更快那这个桌子上就有很多毛巾人就必须要拿走因为就没地了对吧所以就是你模型越好那人就是参与就要越高但如果你模型不好那就根本就没人买对吧所以就比较尴尬的一个点从这一点我们就觉得那我们必须接下来要做一个像physical agent一样的东西就像agent对吧我们做physical agent这个agent他就把整个任务全包了不需要人去interview我觉得现在做coding agent跟几年前我们可以做autocomplete的那些model的区别当初做autocomplete的模型你过几秒我就要tap一下那我就一直看着他去携带现在的话就是你把一个任务交给扣定医生他就直接一口气就全做完我们想在这个physical world 里达到这种效果接下来自然的一步会不会就是说就你指的这个physical agent 是不是多个机器人协同啊或者比如说你的毛巾就直接放在你们的一个可以移动的这样的一个平台上自动的一个机械车就可以推走对说不定我们会探索那样的路线那我们现在的physical agent 就是一个robot我们这个robot是一个semi-humanoid他就可以把一个洗衣房里所有的东西比如说洗烘然后叠然后把叠好的毛巾放在一个柜子上这些都能一口气端到端就是很长长的任务全部完成中间也需要很多理想就是推理我看你们demo其实就很make sense自己把毛巾送进去洗拿出来去烘干然后去按按钮还会扭它的那个转盘温度多高多低这些都可以做到对是接下来要发布的东西就是在这里这是我们周二要发布的Dyna 2.1自己开发的一个robot叫Taku在日文有一个词叫Takumi就是CrossMission就是指这个工作做得很好然后我们给我们自己的robot也起了一个降薪的对降薪的对我们为什么要做自己的本体呢就是因为我们在部署了很多次之后就发现各个商家厂家想要的而是能把整个 [85:00] 分座流全包的这种肉吧所以我们有了自己的本体加上自己的模型然后这个robot就不仅仅是折衣服了他就能把洗衣服 烘干衣服这些所有在一个洗衣房里所有做的工作这一个机器人都能一下子包下来不需要有人来interview这样才能真正达到这个autonomy很高你们动作还挺丝滑的对 然后如果这个他掉了他还会下去剪他剪完了就会丢到脏的毛巾的这个框架对 很不错的一点就是他其实不会撞到东西位置没有算得足够精准的话这个头其实是会撞到那个洗衣机的但这个完全没有发生就说明这个模型全身运控其实是非常不错的然后它会扭到这个正确的这个modeonbotting其实精准要做很好的因为罗宝就会试好几次然后最后试成功了你看像这样但你们还是针对特定的洗衣机进行了一些优化的地方还是说一些any random的洗衣机也都可以需要有应有话但换一个洗衣机换一个换干净其实学习得很快十几分钟几十分钟的数据就多你看就真正在跑就所有的步骤都会做就就是我们的long term vision把我们的robot做成一个像robot脸谱一样对对对它这个其实还是蛮长城任务对就非常长城那中间你觉得最难的难点是什么我觉得每一步就其实难度比较高都有几率会出错这个洗衣房这个任务如果真要做起来30分钟到一个小时中间哪一步出一个小撮来对这个模型的泛化性和广望性要求其实特别特别高你们的客户喜欢这样的产品吗就对于你们的这个产品需求用完之后他们是什么样的反应我觉得他们挺喜欢的我们可能之前在我们blog post也说过一些用户就是真实的反馈他们会经常发短信中说哇这个东西好好但有一些客户他们能不能再多弄几个robot那个时候是什么时候是顶台风还是洗衣房因为我看到你们有发一个就是说客户有问你们说对我忘了是哪个的具体检察风也有吧然后也有一些就是西方这种那那个moment对你来说意味着什么就是说啊他们竟然喜欢我们的产品然后这个东西成了是吗我觉得是跟从前就是发paper就是很不一样的这种成就感吧因为这就说明我们内部里就是我们在做的这些技术真正有人享用因为从前写paper呢就是我写给别的researcher看那我们就是自己自娱自乐的这种感觉但我觉得现在就真正就是迈向这个更大的社会的第一步这样的感觉所以从公司从技术角度我觉得都是一个很好的milestone你觉得接下来你们在research包括在deployment上面的一些新的目标是什么的有一个目标就是我觉得要做这种mobility加manipulation就是用半人闲做的这些任务我觉得难度会比stationary要高很多然后对运控的要求也高很多把运控和模型都做好的情况下也能把模型的速度提升我觉得是个比较难的点所以我觉得这些是我们接下来值得去探索一些问题我觉得其他的一些比如说模型泛滑模型架构我觉得这些都是我们都会继续去做的然后不做的话别人也会发所以就有很多东西可以直接来利用对于之后的机器人公司自己的这种核心竞争力除了模型以外是不是硬件啊帮我想你说的这些别的对大家想象的更重要因为模型有很多是开源其实硬件和部署我觉得是最重要的因为这就是决定你的distribution对就像XGPT一样如果一开始没有电脑没有手机不管你这模型有多纸大家都不知道没人能用所以如果我们能把部署deployment做好那我们假如说我们有成千上万台那如果有一天我们发现有一个很好的开源模型或者别人的模型跟我们的差不多好或者比我们更更便宜 或者我们可以用他们的模型加我们的模型我觉得就很容易去distribute对吧但如果没有我如果只做模型如果有另外一家的模型比我们当下的做好我觉得就比较被动的一个如果你只做模型,你要依靠人家 integrator 帮你去 distribute your intelligence但如果你的intelligence不是最好的,那为什么人家要设计你的intelligence而不是别人的intelligence?对然后这个论点也是基于像你之前说的机器人的大脑和他的这个形态还是很有关系的对吧因为像也有些公司认为我就是做通用智能那你不管是什么distribution我都上能上去给你给你做但是可能你认为更加还是要跟这个形态相关对然后我觉得模型和形态模型本体一起做的话最终的效果我现在感觉还是会是最好之前来说一下整个硅谷的一些情况好最近感觉competition又起来了虽然大家会有一些不一样的路线但是我感觉最近机器人赛道真的是非常的热闹先说一下这个派这个公司好不好因为他也是最开始出了 [90:00] 就叫在大脑这个层面的它是完全没有自己做本体的我有听过很不看好他们的观点觉得他们可能有一天就需要被卖掉的这样的一个结论在我觉得我很好奇说你们怎么去看他们想要做physical intelligence layer的这样的一个路线对我觉得Pi的research都很强然后我个人看法是这个physical intelligence layer这个东西还是没有proven据我所知还没有一个 successful example就这种东西不仅仅是做demo就是真正能落地做得很好因为我觉得现在的话把模型做得很好的话post training的工作还是需要很多的所以如果没有一个公司就预训练后训练这些都在一起做觉得很难真正达到商业价值那如果你做intelligence leader然后你的下游客户无法达到商业价值或者真正能获得ROI那你也没有办法获得ROI对吧因为他们不可能付费给你然后他们没有办法收他们下游客户的费所以这是为什么我觉得也跟无人车当初有一些相似的点就是说如果你只做里面的一部分那你就是被上被下都会有最后压榨的感觉但如果你做整套系统的话我觉得it can be better就是说Waymo为什么有可能跑不过特斯拉就是因为它没有自己的车成本就会非常的跪下不来Waymo可能还算有一些自己的deployment但是别的公司可能有一些相对来说更以卖服务或者卖卫生的那可能就对我大概能理解这一项的意思Pi现在路线还是非常明确的是VLA那边的这个我不是很了解对于他们内部的话我不是很清楚你觉得就是VLA跟WAM会是两个不同的track还是说他们其实 ultimately会合并在一起我觉得应该会合并在一起因为现在当然就是system one two zero对吧就是每一层会有不同的架构我觉得WAM和VLA最本质的区别就是你要不要predict the future我觉得最后大家都会predict the future就像language modelnext token prediction就是你预测语言的未来我觉得做physical agent的话你也是要预测不仅仅是robot接下来做什么这个世界around you它怎么evolvebased on就是你robot的action我觉得派在开源整个的数据里面还是蛮重要的我觉得他们对整个行业其实有很大的贡献他们就是一开始做很多开源的模型但是感觉这也就是一波一波这么发展起来的因为最近WAM又很相对可能走进主流了现在有很多很多公司在开源一些模型但我觉得从开源模型到能做商业部署就这个gap是很large然后我觉得现在可能没有很多的team真正figure out我觉得反正也很有意思因为想到你前面讲你原来做VIP的一些这个视频的一些东西就有一点点乔布斯说你只能回头看的时候才能connect the dots这种感觉就是现在反而这个视频变成了一种更加主流的这个模型框架的一个选择对 我觉得就是算当初也有很多人说我们要从视频里学习但当初就没有首先没有很好的视频数据没有很好的模型有啥都没有所以我们只有idea所以当初的robotics做这些paper的话能做一些很简单的任务但我觉得最后都没有scale up起来所以我觉得现在就很多一些已经很久的idea都被rediscover然后就做了much better还想补充刚才世界模型的一个问题就是如果我们用的Clima Centric的视频数据那比如说世界模型可以直接生成这样的数据这些数据是足够好的吗是够用的吗我觉得世界模型是可以生成这些数据但这些数据足够不足够好我觉得是个open question其实有很多paper他们就是做从world model里generated数据用generated出来的数据做训练然后是能把policy这个鲁棒性上升一些但我个人的看法就是就是很多paper他们会说我们把一个模型从40%拉到60%或者拉到70%其实在我看来就是从40到70这个过程是用很容易的方法都能达到的不一定要用它不一定对所以我更care是假如说我们到了95%到99%然后就很传统的方法就很难再给你很多高质量的数字在真的那种情况下你能不能有效的利用一些更就是synthetic data去帮助你这是为什么我觉得很多时候从学术界的一些IDR和paper其实不是很容易能transfer到真正Practical Application上说到世界模型刚刚发生了一件新闻就是李菲菲老师的这个New Lab被AMD收购了今天下午的事情在过来之前刚看到但我以为世界模型它们会落地场景主要在机器人公司因为机器人公司会买很多这种数据但是目前看起来Revenue还是没有办法足够支撑 [95:00] 对我觉得做世界模型找use case我觉得是比较难的东西做video generation我觉得就已经很难了很卷了对,World Model,我觉得那更unproven了,所以我觉得会有很多公司可能会陆续被收购的这种感觉也太受算力了所以这个Infra要求也很高我们来说一下Scale的公司他们最近也是发了S1嘛理念就是一个brain要学会adaptation然后他们说any task any robotone brain的这种omnibody intelligence这个概念你同意吗我觉得这是值得去探索的一个问题我觉得可能会比较困难吧我个人看法是我觉得最有价值的大脑就是人的大脑我们的大脑我们只控制我们自己的body但这个已经足够好了如果我们能达到人的大脑这种capability那我觉得已经某种程度损physical AGI所以我觉得我更care的是如何能在一个身体上用一个大脑就能做任何人物我觉得这个可能是更能行的一个路径吧我觉得从纯学术角度来说如何能用一个模型去控制很多不同的robot我觉得也有很多paper在看对但我觉得目前的话还没有一个breakthrough就是真正你在别的robat上学在一个新的罗络上能做得很好这样说一下Figure这家公司争议很大他们最近好像是发了新的demo反正我觉得他们每次发demo然后就会有机器人行业里面的人然后会喷一喷它们我觉得他们其实硬件做得挺好的我觉得很精致然后他们的运控视频拍的都很丝滑我觉得这些是我们公司也还在学习的一些点因为我觉得Figure也没有做很多public demo所以你很难知道这个模型到底好不好所以大部分公司都是这样的所以你很难亲眼肉眼看你他们的模型之内来做事所以很难做一些比较objective的一些评估行业里面有对他们的批评啊就是说他们demo放的有点太aggressive了demo 放出来说你有十次可能你成功了那么两三次然后你把成功的拼在一起好像给大众的一种印象说我的robot非常的fancy它可以做好多好多事情它可以走进千家万户可以帮我叠被子弄枕头交花还有很多的这种demo都可以出来在机器人行业我知道有些公司是蛮鄙视人的行为的你们觉得这种demo是对行业来说有害的还是也能理解这种行为?我觉得都有吧,我觉得hype就是带动整个行业,对吧?就像伊朗,对吧?但我觉得不好的地方就是,可能人们对我们机器人现在技术的到达什么点,可能有些miss expectation 或者大家觉得通路机器应该到了 但说实话现在还没有到 对对所以可能是这方面会有一些 negative impact 你觉得反而对那种很扎实的像你们踏踏实实做 deployment 的公司来说会对你们带来一些 noise 吗?我相信很多的投资人肯定会问你们说啊,他们可以做这些东西,为了你们不行。我们现在的robotics 我觉得 noise 很多。所以我觉得这事我觉得做公司还需要一个 mission所以就不能就是别人这个公司发个demo那个公司发个demo然后就非常被sway,对吧?我觉得是要找本质上就必须要做的东西,把自己做好。我看你们的联创Uorg,它有一个bubble公式,我觉得还挺有意思的。它说,它的bubble等于当前capability和公众expectation之间的gap,诚意是要补上这个gap的时间我觉得这做的挺好的做的挺对的对你也认为是这样对我挺认同的我觉得York就是发这些观念的时候其实大部分都对在业界很多人都很赞同这些你觉得现在整个机器人行业的bubble肯定是有bubble的但是这个bubble现在大吗我个人感觉还好吧因为我觉得就是就算有一些hype但我觉得也是有真有很多的progress对吧可能在某些场景里落地就像我们做的别的公司也肯定做了一些所以接下来这个 progress 肯定会越来越快对,所以不好说现在是不是一个,就是传Bubble,就是没有东西,然后就是hike的很高的那种Bubble。你说这个Progress的事,就是真的我们会看到一些工厂里面的use case。开始逆转起来希望是这样的那像你说没有达到大家的这个 expectation那这当中的gap具体到底是在但我知道你我们刚刚也聊了很多这个这些gap 如果一定要你比如说top3的最大的原因有哪些原因是还没有达到?我觉得最大的原因还是数据和验诫如果硬件没有很多台那就很难scale数据就是没有足够的数据这个模型intelligence不在 [100:00] 那我觉得做Post Trading的话就会更吃力所以我觉得这两者永远都是瓶颈我觉得模型什么架构这些我觉得其实啊我觉得会每时每刻就会经常变对吧过几个月这个火过几个月那个火我觉得这些都不是最本质的东西那如果这样说硬件足够重要并且它的产量足够重要的话在美国硅谷市场的话那特斯拉会是一个非常强劲的立先走我觉得有可能吧但我觉得大厂的话我觉得robotics这种事其实也比较难做因为robotics就是你必须要所有人一起合作大厂不管是哪个厂他们都会有team的这种概念就是team跟team所以我觉得很多时候信息communication就不足足够多然后有时候尤其是做硬件的话有一些决定的话就很难改你做了你就必须首先把这几百台都生产出来然后再做下一代那这样的话我觉得迭来速度就会比较慢我觉得在硅谷啊,就是现在大厂大家就是有一个公识就是说intelligence他之后如果真真的是要反悔到他最大的效益的话一定是要go physical 的所以我们看到OpenAI其实也是在非常快速的招非常多的TopTalents去组建他们的机器人团队,而且他们跑得也非常的快,对,你会担心这样的竞争吗?我说实话不是特别的担心因为我觉得我们做startup其实最大的model就是我们这整个flywheel就我们会做部署我们要大量在部署的数据我们也对数据质量的要求我觉得我们的见解会比只做但是没有达到百分百成功率压力的公司要高很多然后其实我们还有硬件我们把整个硬件模型都做成一个平台如果别的公司有更好的模型或者他们有个模型可以帮助我们整stack每个部分或者某一些部分我们都是非常欢迎的去用的,对,对,这也是我觉得从我角度来说我们公司这个架构上来说,别的公司把模型做好都是对我们有帮助的东西,而不是跟我们直接竞争。不过我觉得我们刚刚两个问题都是讲startup和更大的公司的这些区别了我觉得我在两种环境都工作过我是对你刚刚说的这个teams和communication是很有感触的但是我也好奇在公司skill的路上,startup总有一天也会变成更大的公司。你们是怎么看待这个问题?对,我觉得是个好问题。我觉得在早期的话,如果能想办法,就没有这么多barrier,我觉得是最好的。公司scale up 最重要的就是公司文化能不能继续拥有所以我觉得我们现在的规模还是足够可以manage对就刚才我们说的特斯拉嘛我也比较好奇就是说自动驾驶给特斯拉带来的一些经验那比如说他们的video啊fleet啊然后他们的叫simulation policy learning啊这些东西其实会对他们的optimist team带来一些正向的帮助吗自能驾驶当中的很多Lesson Learned它是能够transfer到机器人公司里面去的我觉得很多是可以transfer就比如说data infrastructure这是肯定我觉得是能直接transfer的但我觉得有一些其他的lesson我觉得因为我觉得自动驾驶这个数据数量不是问题所以我觉得有很多其实其人最本质的problem就是有没有足够多的数据所以我觉得这个是个很不同的一点但我觉得其他一些模型上的一些概念我觉得都是有一部分是可以transfer的模型上的什么概念是可以transfer的比如说在做支架的时候就是你这个模型要推理这个车接下来的轨迹比如说接下来一秒两秒钟要做什么这其实在坐无人车里是个非常standard practice这个已经做了很多年了但是robotics直到三年前左右人们才就有像Aloha这种paper说我们必须不仅仅要预测下一步的这个action而是把整个一秒或者两秒的action全都预测出来对吧所以我觉得像这种idea是transfer的很好的是的我也在想我觉得自动驾驶很有意思因为它本来人就是在开这个车所以它数据采集可能比较自然但是对于如果大家要做通用机器人来说在数据这方面自己采ego-centric data就是主要的路径吗ego是目前最scalable的数据我想就是simulation 是对因为simulation就是因为不管你是Ego 腰操还是比如说Wumi这种家长都是operation很大的问题,人力的问题,对吧?然后像Woomine Eagle的话,你需要很多的收费这设备也要维修所以其实是很繁琐的一件事但如果是 simulation 的话所有东西就是一个 [105:00] should problem. You can generate many data, you can generate many data. the next frontier, one of the next frontiers. That is not a problem with the ground truth data. - Yeah, so I think This is open question, I still need a lot of work that we just talked about in the entire region we saw there are many top tier startups there, like you, like you, like you, like Sunday Robotics, they actually do very well. At the same time, OpenAI, Meta, Nvidia, I believe Androbic maybe one day will be able to do robotics, because physical AI is a big thing. It's a big thing. You think the future will be what is the thing? winner takes all的 管头或者双管头的 这样的一个形式存在 那为什么是 startup能够outbit 这种巨头能够跑出来 了解 对我觉得应该会有很多winner 因为我觉得在physical world里 这个switching cost It's very high. I that's just look at which one can distribute more than 20.1. I think this advantage will be compounded. But I think from model layer, I think switching costs are a lot. That's very low, right? For example, if you have a better version of the software, you can use it. But I think the value of the future is the service. You can provide the customer service. Service is the value of the service. So I think if I use the one-to-one, Was it a If there's many people, I think there are many different companies in different industries. If model can switch, Jason mentioned that the model is a good thing. For example, OpenEye or Anthropic, they use the machine with your own machine. In the situation, switching costs are not a good. Can you switch to a model? I think if you switch hardware, switch is very high. But if you If the best way to the original version of the original version is not to I think Actually, The company's influence is not very big, because they can change the mode. Like I said, I'm a Ushu. They can do many things. Many things like this, they can train their own. But if you have a platform, I think Your life will be higher Yeah, that's the distribution and the machine-setting system, actually, at least at the moment, it's a bit密密. Yeah, I think it's very important. You can take this into your hands. Yeah, we think we should do this. We need to do it. I think this is a very interesting thing. Because now, in large language model, it's OpenAI and Anthropics, or just so many companies. And many of the companies do agent applications, and say, "This is not a big deal." We will be replaced by the companies. Now look at because the switching cost is higher, so it may not be that. So I think distribution is the most important thing. It's a thing that's been忽略. Muse from Meta, right? Meta has been a long time, and it has been distributed. Muse is very hot. It's been a long time since it's been a long time. It can be a chance to lose a chance. Doesn't matter. Apple也是. Yes. So what distribution is just for everyone's use of the environment. If you're caught up with the user, it will be more and more. It will be more and more. The phone is distribution. iPhone is now. If you're on iPhone, you need to get Apple to get it. You need to get Apple to get it. So they don't want to do AI. I think in the硅谷, the most important thing is to choose. It's a lot of different types of things. Tesla, Figer, and One X, they actually are very clear to do home robots. I understand that they think home robots are more fancy, more expensive than the market. It's a bigger market for the entire market. But the other part, you know, they are very... He said he is a good idea to build a factory in the factory, to build a Lodiwa. Do you think this kind of division is always the... I think I'm going to go to the factory and do 2B. First, I think you can go to the factory and go to the home. You need to be careful. You don't need to put this into a complete product. You don't need to use it. 其次你也不需要担心比如说隐私这些问题或者有小孩这些问题 [110:00] 所以开始就让你这个部署你就可以focus 你就很专注把这个模型和这个必要的这闭环做好要做家用的话就一开始做deployment就要做成一个产品然后有很多东西其实跟robotics本身没有太大的关系或者就是跟就生智能没有太大关系就是你做一个robotics产品就是说做一个扫地机器人跟做一个家用的一些consideration都要做所以我就一开始会让你进家更难所以我往往觉得就是如果能把2B做好说不定接下来做2C可能还会更快一点因为我觉得一开始的话很多问题比如说模型要泛化模型做东西要做够快我觉得都是大同小异的但我觉得2B的话就可以让你的机器人进这个deployment setting much faster我觉得这个其实对做迭代挺重要的因为就像machine learning一样有个train set和test set做home robot你就永远都看到不了Tesla因为就算你去租几个Airbnb或者你在你自己家里这跟比如说一个美国家前去Best Buy买一个Home Robot这个家肯定长得很不一样做Home Robot这个Tesla比较难但我觉得做to be 的话 test thatlike you know the test set但是 单纳有一天可能也会做Home Robot?我觉得这个不好说,目前没有做Home Robot的大算,因为我觉得to be the opportunity is still too big.对你来说,做机器的意义在哪里?做机器人的意义你是说对社会的意义还是对我个人的?对你个人的也对社会的?我个人的话我一直就很喜欢做research 做研究,然后我觉得这是一个很好把我之前passion的东西真正带到全世界的这种在平台 要做一些影响的影响 要做一些影响work 所以世界的话那我就觉得增加肌肉的食物,增加肌肉的食物多的有free time去做他们想做的事然后我觉得现在人工也挺缺的在很多国家像美国日本都是很全人工所以如果机器人能真正把整个workflow都做好我觉得商业价值会很大的Infinite abundance这个概念比较大了你是的 是的确实是那我觉得在想如果要讲未来的话不管是Dynast 3还是比如说别的一些model我可能自己有一个比较好奇的一个点就是说Tokenized这个因为现在很本来从Transformer大家都是很把很多东西去Tokenize嘛那这样子的一个一个Approach对于机器人来说真的work嘛机器人动作不像词语它是可以这个呃就是它是有单个的它是可以不连贯的但机器人很多时候是continuous不是discrete这样的一个token就好奇可能从科研角度你对未来有什么展望包括也可以聊一聊这个之后的Dynan3的一些我觉得tokenization因为tokenization就是把一个continuous东西做discrete那你肯定会丢失一些信息对吧所以如果就是很精准度要求很高的任务可能会做的没有就直接predict continuous要好然后Dino3我觉得这个现在很难说我们会聚起发布什么但我觉得现在我觉得是 most exciting time就是做机器人最激动人性的时刻所以就有很多东西可以做我们也在不同的方向有一些探索你希望Denna 3能够证明什么Scanning law真的一千多小时那么长?我觉得Scanning law肯定是一个非常exciting的东西但我们公司一直的看法就是模型技术只是整个stack的一部分NNS3或者我们可能会care很多把我们的半人形我们刚发布的这个机器人和模型真正deploy到很多应用场景去收RI这样的技术上我觉得我也提到了比如说人的数据Post training RL simulation我觉得这些还有就是Breakster的机会所以Bainal觉得最开始成立的时候它的RL的应急还挺强的但是慢慢的我觉得它已经pivot了对,我觉得RL最重要的问题就是做决定要不要做RL这件事是一个very important decision因为我觉得从历史这个RL发展的角度来看你会发现RL最work的设定都是就是我一开始说必须要有一个模拟器然后这个奖励函数必须非常明确对所以我觉得robotics说实话没有这些property所以一开始就用RL去做了就是问题都没有看清楚就直接用一个solution但是我们是更追求从一个问题出发去想solution而不是我有一个solution不管啥问题我都尝试去要跑这样这个还挺有意思的因为Dyna这个名字其实是一个很RL的名字对 是的对因为我在一年半之前采访你们的时候其实并不知道Dyna跟RL的关系是然后采访完 [115:00] 点完之后有一天我正在做那个强化学习的一个稿子然后看到是强化学习之父Richard Shunton他写了一个Dyna其实是他当时的一个框架的一个paper的名字我说哦原来这个是Dyna Robotics名字的来源那是motivation之一对然后他那边 Richard那篇paper其实不是只讲RL他那是讲一个world model去做RL所以其实跟我们现在技术路线也有一些相似这个大词又连起来了对我觉得RL要做robotics没有world model或者没有simulator我就觉得是很难做的事所以从技术路线角度来说你也可以看到我们首先把这个基础based modelword model先做好然后再考虑要不要RL这种东西对我是很喜欢之前前面聊到就是说要先有问题再找解决方案就可能你们现在的问题最核心的还是说怎么样帮客户创造更多的价值或者我觉得预训练或者Data还是最大的问题而不是要不要做RL先把Data的这个预行链的基础打起来让模型的这个这个泛换泛换能力的先提上来好的那以上就是我所有问题了有没有什么问题我没有cover到的你还想补充的我觉得都cover到了对对我觉得我们聊了很多很多不同的问题我觉得挺好的谢谢Jason不用谢非常感谢你们也来做这个podcast非常期待之后Dana Sun是什么样子的好好 期待期待所以这是你们的新办公室对 这是我们的新的办公室然后这一层都是我们很多机器人很多做研发的主板办公室我们就在这里跑很多Model Eval今天这个就是一个conveyor belt这种任务就是把不同的机器比如说手套啊这边都处理在不同的箱子里像这个任务就在餐厅里需要用不同的铲子来这些食物都放在这个餐盘里然后把这个箱子也关上然后这全都是autonomous最后就会把这个关上我特别喜欢这个pressing action这里对 做得很精细这样然后往这边我们就有一些更工艺一点的任务在一个撤工厂的一些任务就要做一些精准度要求很高的这种组装像这里就是要把这些不同的东西一个一个放上去我觉得这其实是我们现在做Eval其中最难的任务之一像这个就是另外一种精准的任务这是一个冰箱然后冰箱后面其实有很多要这种把一些tube都要插进去这种任务也是惊人的很高然后这个模型他就会尝试好几次然后像现在他就成功把这个已经给insert进去了这个demo我上次见过是吗其实我们所有的demo都是从我们自己Dainet2一个base model里做一些post training去训练出来这个其实就是鲁邦性其实特别高我觉得它切的还比较均匀这个是减药品?对,这是减药品把这些pill一个一个拿起来其实对甲爪的精准度要就挺高因为它很滑对,比较滑或者就是你用力太大就会把这个药挤出去这里就是更多researcher, engineer做研发也是做一些更多的素材,3D打印机的rune现在什么东西是3D打印的?就是很多那种我们的甲爪或者就是一些不同的parts大家都在纽约的工作大家好忙你们现在一共有多少人了在美国这边应该有70到80人了我们office也是太friendly这是上边吗我们家也有一只好可爱讲的有点像你们的新机器人能放机器人的地方我们都放了机器人我记得Sunday Robotics的Tony他就说现在机器人工作都是办公室越办越打越办越对我觉得很make sense也是小的那些空间我们在厨房里也做一些我们今天有一个demo就是用这个robot可以在冰箱里拿不同的饮料做这个机器人也有一点就是想让这个机器人在我们的办公室里帮我们做一些事很好的feedback cycle the office好 我选了这个sparkling water对 所以选了sparkling water这个robot就会开始它就有视觉的识别能力也有这个语言的understanding开冰箱其实也比较难是 对他这种任务会不会灵巧手会更好一点对开冰箱就是很多这些东西都是给原用的所以我觉得用灵巧手的话其实会更容易一点挺好玩的对谢谢大家谢谢对Deployment 部署是这场采访中Jason提的最多的词他说客户不在乎你用的是VLA还是WAM亦或是GPT6 Astra之后可能带来的机器人性模型范式机器人能不能稳定地把工作做完才是唯一的指标雷万哲奇啊我也对丹娜最大的感受是这家公司在过去两年一直在通过部署被真实世界纠正而他们选择很特别的 [120:00] 把这些经验教训分享给外界那我们也很期待DANA 2在接下来的几个月部署中会学到什么样的Bitter Sweet Lesson以及DANA 3会是什么样子的接下来在模型和数据这两个硅谷最发力的方向会有什么样的新进展我们也会为大家持续的关注好了那感谢大家看到这里你们的点赞留言和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期再见了Bye请不吝点赞 订阅 转发 打赏支持明镜与点点栏目