Dyna押注世界动作模型与自研硬件 放弃纯大脑与双足路线

Dyna押注世界动作模型与自研硬件 放弃纯大脑与双足路线 真实部署倒逼机器人公司放弃纯大模型与双足噱头，唯有贯穿百万小时第一视角预训练与自研硬件的全栈整合，才能在严苛商用闭环中跨过99%成功率与商业合格率之间的鸿沟。 节目深入探讨了 Dyna Robotics 放弃纯学术 Demo 路线、扎根真实商业部署的技术转型。面对 Dyna-1 在鼎泰丰后厨遭遇的合格率断崖与系统瓶颈，团队总结出深刻的“苦涩甜蜜经验”，将底层架构从传统的 VLA 彻底转向世界动作模型（WAM）。通过 100 万小时人类第一视角视频，Dyna 初步验证了跨本体迁移的 Scaling Law，并自研半人形移动操作机器人 Taku 接管端到端全流程。对话同时全面横向对比了 Physical Intelligence、Skild 与 Figure 等硅谷同行的不同流派，阐明了软硬件协同与 ToB 真实场景数据对构建物理智能飞轮的核心价值。 Dyna Robotics 发布 Dyna-2 并将架构从 VLA 全面转向世界动作模型（WAM），基于 100 万小时人类第一视角视频验证了跨本体迁移的 Scaling Law。 (0:00) 真实商业部署与实验室存在巨大鸿沟：Dyna-1 虽在实验室内达到 99.4% 成功率，但在鼎泰丰后厨实测中符合毫米级公差的实际合格率仅有约 75%，倒逼团队重构系统以实现全流程闭环。 (50:00) 针对落地工程妥协，Dyna 放弃双足和五指灵巧手，选择“半身双臂 + 轮式底盘 + 夹爪”，并推出端到端接管洗衣房全流程的自研移动操作机器人 Taku。 (10:00) Dyna 反思机器人领域的强化学习瓶颈，明确放弃早期盲目套用纯 RL 的路线，确立“先依托海量数据构建基座与世界模型，再在有明确商业价值点时引入后训练或 RL”的技术优先级。 (115:00)

[0:00] Jason Ma: 因为机器人如果真的开始工作了，它本来就应该是无聊的。 [75:00] Jason Ma: 硬件和部署我觉得是最重要的，因为这就是决定你的 distribution……如果你只做模型，你要依靠人家的 Integrator，帮你去传达你的 intelligence。但如果你的 intelligence 不是最好的，那为什么人家要设计你的 intelligence 而不是别人的 intelligence？ [30:00] Jason Ma: 我觉得做 PhD 最重要的就是要去探索新的问题，而不是在已有问题上比别人的刷分高了两三分这种。所以我一开始讲我 PhD 的一些工作的时候，我提的就是你要写的 paper 就是这种没有办法有 baseline 的 paper，你就创新了一个新的 problem。 [40:00] Jason Ma: 把技术做好是一件很吃亏的一件事。就是说比如说你要把模型做好，你就必须在你的硬件上做很多 eval。但是如果硬件就很不稳定，那你的 eval 评估都做不了，那你就无法知道这个模型如果 work 了或者不 work 是什么原因。

[0:00] 全世界最无聊的机器人这是最近纽约邮报的一篇报道标题而这家公司的创始人们却认为这是对一家机器人公司最高的赞美这家公司叫做Dyna Robotics嗨 Jason 嗨你好 你好 谢谢看多了机器人跳舞 打拳 跳钢水等酷炫的视频啊Dyna确实很无聊发布的Dyna One主攻叠毛巾 叠衣服这次发布Dyna 2之后呢新机器人她酷进了洗衣房默默把脏衣服放进洗衣机再拿出来折好放在架子上联合创始人杰森马说因为机器人如果真的开始工作了它本来就应该是无聊的而在这份无聊的背后真实部署是衡量机器人的唯一新姑不能落地的话不是因为你没有腿或者你没有手是因为模型不够好是吗整个系统不足够好吧你们把Dynamic One的10个月的Deployment称作是Bitter Lesson可能是Bitter Sweet LessonBitter就是比我们想象到要难但Sweet就是因为难你就必须要去解决那你就会领先几辆工资很多一个计划上发现的问题跟你在同时部署10台100台1000台发现问题都是完全不一样的你每次scale就会发现新的问题作为一个最深的公司必须要有conviction就是我真正要把部署做下去要scale下去而在机器人计划上丹娜也在进行一系列前沿的探索在一年多前规规101采访他们的时候丹娜万用的还是VLA而到了丹娜2他们决定重新做底层模型用WAM世界动作模型扩大到了100万小时第一人称人类视频他们发现随着人类视频从100小时1000小时1万小时10万小时一路增加模型不仅越来越会预测人的动作连它从来没有在预训练里见过的机器人动作也预测的越来越好Dana将此称为跨本体牵移Cross Embodiment Transfer Scaling Law100万小时的第一人称数据找到了机器人数据Scaling Law的端倪从100小时10001万到10万每个阶段每个阶段越大就越好其实每一次我们把数据10x这个模型的prediction就变好那如果换成第三年城市场的视频会不会可能还会继续有这样的scaling law应该会有scaling law但可能slope就很不一样是不是现在快到了一个gbt3的一个时刻了Robotics有没有gbt moment我觉得可能也没有那么很重要的感觉那这期的视频播客我们时过一年半再次回到Dyna Robotics他们不仅换了新版本史连对模型数据和机器人的思考也都很不一样了上一期我们采访了联合昌食人York Young这期我们对谈Jason Ma从技术和部署的角度去谈谈丹娜在过去两年发生的挫败、教训、反思、优化以及我们更想通过Sherson去理解这一轮硅谷巨神智能正在发生的变化和趋势那么以下就是我与Jason的视频播客Hello,Jason,你好,欢迎做客,硅谷杨林耀。你好,非常荣幸上你的podcast。这个采访我们也带了一个cohost来,君武,他也是在机器人行业,这样待会我们可以就一些专业的问题,可以一些比较深度的探头。君武,要不要跟大家介绍一下你自己?我叫张君武,我是现在在Blue River Technology做机器人工程师。你好。Dina最近是有一系列的发布,同时我也知道硅谷这边其实最近机器人行业也很热闹,新的模型在发 新的demo在发你觉得现在我们机器人是进入到一个什么样的一个新的里程碑了吗为什么大家在最近有这么集中的发布啊对我觉得这是个好问题我觉得把通用机器人做下去还是需要一两个至少一两个突破然后很多公司大的路线都是差不多了首先要scale data把数据搞上去然后这个model里面有一些capability也想做出来也可能暑假时到发东西的好时机,所以大家就舍心多把东西发出来。我觉得整个机器人领域现在是一个逐渐从demo到真正商业落地的一个阶段。我们公司肯定也在这方面做了很多的工作,我们等下肯定也会谈。所以我觉得是一个做robotics,非常激动人心的一个时刻。从你的角度看,现在的时间点意味着机器人的行业进入到一个什么样的阶段,它跟LLM相比的时候,有些人说是不是现在快到了一个GPT3的一个时刻了,可以这样对比吗?我觉得可能现在还在GPT2和3中间的阶段吧,我觉得就纯从数据scale的这个角度来看的话,我觉得我们Robotics的数据还是相对于GPT3这个阶段的语言模型拥有的这个数据量还是要小一些的,但我觉得Robotics的话也跟语言模型不一样,就是你可以有很强的 Robotics Model 可以干一些指令下的一些任务就是一些 specific setting 的任务但像语言模型的话如果你不能跟它流利的去聊天的话其实没有什么 capability 可以这样的用上所以我觉得从产品形态来说的话 Robotics 有没有 GPT Moment 我觉得 [5:00] 也许是可能有没有那么很重要的感觉对不过你讲到GPT Moment现在有很多这个讲法就是说机器人行业可能就不一定会有GPT Moment这样一个概念因为大家的这个机器人的这个形态也不一样啊然后保管他们处理的一些具体的一些任务也不太一样你觉得会有一个有这样一个GPD moment吗?还是说要看情况?我觉得是要看情况的我觉得在聚生智能之前我们可以看无人车,Tolimus Driving我觉得AutoLimous Trader就没有人提过GPT Moment的概念对吧因为说实话就是Waymo Tesla其实把一个Demo做好十多年前已经就有了但是我觉得从一个demo到真正落地能在三番里打个Vimo这个车的距离还是挺长的所以我觉得在真实世界里做迭代的话其实这个过程还是比较长的就算现在我们有很多跟无人车刚开始的话有很多much better的一些技术但我觉得这个过程还是必须要有的肯定不能像就像语言模型一样因为大家已经有了手机有电脑这些东西如果能上XGPG这个网站你就能用到这个intelligence我觉得如何把这个intelligence用上其实是个很难的问题你刚才说那个最近data上面有进展,然后模型上面有进展所以也就是这两个方面有进展,让机器人又可以往前面迈一步了是吗?对,我觉得这两个是其实最重要的两点之一但我觉得还有一个东西其实也特别重要的就是硬件如果没有验见的话这个model不管再怎么厉害你其实根本就感受不到它很厉害对吧如果你这个硬件只能做比如说一个很小的机器员它只有5个自由度那它也只能做一些很简单的抓取所以我觉得在据实现的话就是模型数据和这个硬件必须要一起往前进步这样才能达到一个最终我们觉得就是达到一个产品真正能让很多不同的人,千家万户都用上并且你主要指的是本体还是它的供应链还是它的运控?我觉得首先是指本体,对,供应链就是能把本体scale上去的很大一部分但我觉得本体的话,现在有很多不同的机器人但我觉得在design这个机器人的过程中,把一些机器学起来的一些AI的概念或者从把模型训练出来,把它做部署的一些心得都放到硬件迭来的过程中,我觉得是一个最后做闭环,是个很大的臂位。这一点其实挺有意思的,因为你们的联合常事人York,他之前有说过,他把行业分成三派,现在硅谷的机器人。一类是model first,就是指做大脑的,比如说physical intelligence派他们,还有就是这种heartware first的,指做本体的,还有就是这种integration的,就是说全做的。为什么你们选这个路线?对,因为我觉得最后的话,如果把机器人这种部署下去,大家付费的不是说你的模型,模型只是这整一个stack的一部分,对吧?其实比如说我们去跟一些客户聊,他们根本就不在乎我们有VLA,还是什么world model,他们根本就不知道这些是啥,他们最后就有KLO,在他们的这些场景里能不能把这些很复杂的任务很多样性的人物能完成从这个角度出发的话那我觉得必须要把大脑和本体放在一起去做这样才能达到最好的效果然后从一个更技术的层面来说的话我觉得很难把模型和大脑和本体两个都分开然后做一个非常整体的东西因为我觉得在真实世界这种物理的这种intelligence都是大脑跟你的本体连在一起才能达到很好的效果就像我们人一样对吧我们的brain就是adapt了我们自己的本体上在我的印象中我觉得Dyna其实是一个偏务实的公司是吧从你们的demo上面还有从你们的本体的设计上面也能够看出来我觉得你们非常的克制啊不是去追求这种很fancy的demo或者动作反而你们是从跌毛巾跌衣服这种非常落地的商业化的角度去设计你的路线的这是为什么呢对因为我觉得从纯学术角度来说在机器人领域里能做的事太多了任何一个题目都是你可以花好几年去纯做研究但我觉得现在整个机器人学习robot learning 技术已经达到了有可能商业化的地带了所以现在就非常需要一个从产品从product 出发的这种角度去想哪一些问题是我们必须要解决的哪些问题其实现在解决不解决都不是很重要的这样就可以帮我们整个团队都做很好的prioritization确保我们在技术研发就整个公司两年成长轨迹中哪一点我们都去做一些更正确的一些技术判断和一些选择然后从我们过去的demo里面可能也能感受到我们做的一些demo做的一些capability都是我们觉得真正落地就是必要的GCK [10:00] 而不是就是为了拍一个视频很fancy而去做了可能因为我们这个领域也现在很火所以我觉得很多人的做法可能就是更demo driven但我觉得那样的话可能是更本目倒置吧然后我们就从最终我们要开发或者生产或者把几万个robot都要派出去的话哪些技术问题我们必须从今年就开始解决从这种思考方式出发决定我们整个团队的技术路线其实我也有个follow up啊,就是包括像你前面讲这个hardware的这个co-design,包括像这个去了客户之后发现的一些经验,我之前自己也在这个比如说物流啊,调检这方面做过,我觉得客户他其实这个要求是很高的,是,我就好奇就是说你们对于硬件,自己做硬件的选择,是一开始自己就想做硬件呢,还是说,去了客户的这个customer site然后有一些什么样的经验教训然后让你们自己觉得哎呀不行我一定要自己来做应用对我觉得两个都有有一点就是从第一原则的话我觉得首先就是我们要做硬件要做通用机器人我们必须要从书记从哪里来用什么样的数据去做训练去引导硬件要怎么去设计像我们现在我们已经发布了Dyna2预训论有大量海量的就是人低视角的数据如果我们预训论要从人学信我觉得在做布署的时候你机器人的形态如果能跟人越像的话交易就会越好但是做人型机器人的话又有一些要不要做腿要不要做手这种trade off所以我们就从中间里挑了一个非常好的trade off point就觉得我们现在做一些半人型家底盘的话就可以从今天就开始deploy,然后也可以拿到从人数据去信任的很大的benefit,这是我们的一些思路,就从第一原则出发开始想面前要怎么去设计。因为你们现在不是做的是一个全人型的humanoid,你们是没有做双组,也没有做灵巧手,但你们觉得现在形态已经可以去落地做很多事情了?对,我觉得现在形态已经可以做很多事情,所以我觉得现在如果不能落地的话不是因为你没有腿或者你没有手然后我们内部的话也做很多临教授的研究现在的话就是纯Fundamental Research 纯研究而不是比如说有要把林巧手落地的打算,因为我觉得现在的话,这些林巧手的硬件成熟程度,其实还没有到直接落地的状态。因为我刚才看见的demo其实都还挺顺的,但是我看有一些林巧手的demo反而会把这个动作给降慢下来,这也是你们的一个考量吗?对我觉得灵巧手的话就现在做操作的话或者就做摇操的话其实比夹爪要难很多要把灵巧手摇操的速度高跨也是很难的所以就因为这些人连敲手的Diamma都会比较慢一些你刚才说客户如果他不能落地的话不是因为手也不是因为脚是因为模型不够好是吗?我觉得整个系统不足够好因为我觉得一套系统能不能落地然后我们也在我们部署的Blog Post也讲了不仅仅是模型必须要100%能做得好你也必须要有很多observability就是说你要知道你在这一天你这个模型干了啥你的robot干了啥你在robot上的computer有没有一些就是resource contention和其他的东西对所以我觉得这些都是对部署很重要的所以我觉得每一次比如说我们更新机器人然后更新模型的话我们把这些工作都做好这样我们就有一个observability在真正的用户的这个customer side 呢对其实这些讲到了很多很有意思的点包括像这个机器人的形态对于这个crossing bottom and transfer 的影响包括像你前面讲到这个GBT moment和这个Internet scale的这样的一个数据量,这些我们之后可能都会有料到。对,好,欧欲对你们在Deployment当中学到什么东西非常感兴趣。我们要不要从Day 1然后给观众复盘一下,我觉得可能在你在整个的research当中的Taste,跟你自己的一些选择可能也奠定了之后Dyna的一些技术路线。你是什么时候对机器人开始感兴趣的?但是机器人和强化学习并大也有GRASP Laboratory就是一个很大的机器人研究中心刚读PhD的时候其实我是本来想去学习强化学习因为你大学的时候其实都是在做强化学习那一块大学的时候我其实也没有做很多的研究我当初大学的时候就在探索很多不同的方向但是我就觉得reinforcement learning非常的make sense我就想继续读博去研究因为其实更早的时候就是我在国内长大的时候我就小时候就下了很多的围棋所以好 放高刚出来的时候就正好我啊 [15:00] 高高三在美国,我就觉得这个东西很神奇能把这么难的游戏都给work了所以我就说那我上大学必须要研究一下这个东西,然后当时觉得挺有趣的,所以我就继续去读了个博士。Alpha 给我打败李诗时的时候是你高中的时候吗那一场比赛对你来说意味着什么?他们两个不仅仅下了一场,对吧?下了五场,我就很坚硬AlphaGo可能是4比1打败李世世因为我当初很小的时候就看李世世鼓励下位棋所以当初把李世世打败我就觉得这是不可思议的东西特别是后来神之一手出来的时候第37步的时候有惊讶到你吗?对,肯定是有的因为我当初就觉得37步或者其他reinforcement的人能找出来的一些solution就非常非常的like 神奇,但我觉得其实跟最近language model 能把一些很难的数学问题解决其实是同一个概念,在一些啊固定的场景里如果奖励函数比较确定的话AI它肯定能找到别人能想出来的思路是好这个principle我觉得10年过去都还是没有变的当时就对比如说AI的大脑怎么做决策比较感兴趣然后正好机器人是不是又是IRL里面的一个包括像我记得当时可能机器人啊自动驾驶啊都算是IRL里面的一些比较主流的应用是吧对但我觉得在机器人这个领域RL的话必须要更谨慎的去用因为它是 physical 的对 或者我觉得 reinforcement 能 work最大的原因就是这个domain必须要有很好的模拟器对比如说游戏这种呢这个游戏本身就是个模拟器或者你做语言模型的这个语言模型 itself可以模拟语言的 progression在 Robotics 的话在很多Use case 上做一个很好的模拟器其实非常的难对,所以我觉得现在比如说,教机器人跑步啊跳舞这些都是在模拟器里做reinforcement learning搞出来的,但我觉得比如说要做一些就是啊抓取或者一些contact rich manipulation,我觉得现在simulation还是有一些我不是很encourage在真机上跑reinforcement learning,这个其实我曾经做过,但我觉得真机的话,你把parallel的程度就太低了,永远不如模拟器,你可以4000个环境一起跑这样。是不是这也是为什么你们选择了,比如说毛巾,万一它的力度不是特别准确,毛巾也不会被捏碎,对吧?因为不像我们之前可能做一些这种,比如说包装一些维生素的瓶子,万一力气一大,整个瓶子被压碎。所以这也说成我们公司在一开始想在商业化和技术同时往前进的生态下,我们就首先从叠毛巾、叠衣服出发很难跌烂对吧能凑理机器人会出错但出错了不是致命的这种错最差就是把毛巾给撕烂或者把衣服撕烂了目前好像还没有发生挺有意思的因为我知道我认识了很多RL guy你就说的游戏是一个非常适合去做RL的一件事情包括DeepMind他们路线也是训了很多游戏出来然后就往LM大模型那边走了但是你没有往大模型那边走你反而选择了机器人方面的RL因为你导师吗?还是说你自己的兴趣?对,可能当初做博士的时候就是我自己的兴趣吧然后当初我在做RL在robotics一开始的几篇paper我觉得也还做的挺不错然后我当初就我导师也建议我就继续在一个路线上做的就是最顶流的这些工作这样比就是做很多不同的工作的每一篇都在不同领域都是马马虎虎那种其实我觉得好 更多你怎么去找你自己比较感兴趣的论文的选题的?你是喜欢那种挑战现有的一些认知的方向吗?对,因为我觉得从你的论文题目,还有你的选题都能够看出。对,其实我在博士后面那几年我都是这么想的。比如说我去写一篇论文,这个problem必须很鲜颜,没有baseline,因为我觉得机器人现在还没有被解决一个大原因就是problem statement,其实大家还没有完全同意如果在Problem Statement 大家都没有有共识的如果在这个情况下,如果你去写一篇,这个问题已经设好了,你就打个背伤,我觉得意义不是很大。因为在机器人的话,robot learning 其实能做的东西的空间很大,所以我在博士后面几年,我就就从第一原则去想如果是要把强化学习在robotics上真正work有哪些bottleneck?就很容易就发现我觉得最大的bottleneck就是奖励函数没有办法去设定如果你玩游戏玩围棋,游戏规则就是奖励函数对吧 [20:00] 拿几分 Robotics 的话不管是学走路跑步跳舞或者怎么去抓东西怎么去切菜没有人给你讲理函数对吧你无法编一个程就把怎么切菜这个事完全用一个很数学的方法mathematical的方法写一个工程写一个我就觉得当初这个问题必须要解决如果这个不解决没有办法做ORL而且对这个感觉也很有意思因为在我们生活中完成一个事情比如说拿一个杯子它没有一个标准答案对吧你可能走左边去拿或者走右边去拿也都可以对那你这时候该怎么去这个去设立它的奖励还属于这是不是你前面聊到的一些对对对因为在很多manipulation任务上其实没有一个最优解对所以我有一篇paper叫VIP就是从一些人的视频里学一个prior学一个很大的reward model就是人是怎么做的就用人的这种做法去做一个guidance for这个reward model当时应该是2022年你在Meta做了评则论文是吗?对。Meta那部是有研究机器人的团队的?对,Meta其实一直都有研究机器人团队。他们现在也在做机器人。对,之前就更偏学术一点,因为当初是在那个Fair。在2020年的时候就是可以做很多大事,可能是VIR最好的时光,现在就很不一样。所以你当时VIP的那篇论文解决的问题就是说,从人类视频的时间顺序里面去学816。对,比如说从时间顺序上,比如说我去抓这个抓一个东西,我从第一张图到最后一张图,这就是一个过程对吧?把这个过程顺序理好的话就可以帮你去做判断你现在比如说机器人去做同样的任务,在这一张图的时候解决了百分之多少,然后下一张图解决了百分之多少,对这个任务上来说。就是一种很scalable的方法去学讲理函数模型。2022年的时候机器人数据很少,对,我觉得现在还少,当时就更不用讲了,所以我觉得当时就很make sense。你说的摇操数据。对,或者摇操不摇操,就是机器人视频都没有那么多。对。所以当时就觉得必须要有一种方法,不从这个机器人数据。机器人数据上学习奖励函数,因为机器人最后还是要解决,比如说人在物理世界上想解决的一些TASK,所以就make sense从人的视频里开始出发。当时你的人类视频能用什么样的视频?当时也是WUMI啊,或者其他的?当时还没有WUMI,当初2021年其实有一篇paper也是从Fair出来,叫EGO4D,可能是第一篇large scale这种第一视角的视频数据。Guinness and Check?这个细节我可能不知道了,当初我记得哇3000小时好大,算挺多的。当初就是很多了,但从现在这个scale比较3000就太小了。你们更迅了100万小时对吧?对。但我觉得很有意思了,就是从你当时的那个research,就一直到现在是有这样的一个持续性的相当于,因为感觉DNA2也是在讲怎么样通过更加现成的互联网,就相对来说视频更加好采集的这样的一个数据的形态。连续性其实也没有特定,就特意想去用我这个视频的,就是这样的一个数据的一个形态。之前的paper 我觉得说实话做robotics 必须要practical一点其实我之前的一些paper可能有时候too early for its time所以就是我们等一下可以讲一下Eureka这些工作所以我觉得当初做research可以但如果想用这个技术去做个产品还不是特别的所以我们Dyna刚创的时候我其实很少用我之前的一些method 而是就把一些我觉得肯定能work的method 先scale up所以你觉得你2023年在英伟达做的 Eureka 的paper 是太早了吗?其实我觉得当初做出来的效果就很惊讶了当初就是第一个能不仅仅就是撰比这个demo 大家可能都看过但就是用AI它 automatically generate 一个脚底函数我后来做功课的时候才发现你那个时候已经让 GPT-4 去写Webware code了但是唯一的区别是当时GPT4它是直接去写reward code的,它不是直接给policy,它不是直接驱动机器人的吗?对不对就是当初就像GPD4先把reward code写然后我们就在simulation里跑reinforcement论然后reinforcement论就会有个policy对吧对你可以看这个policy的performance然后告诉GPD4一些feedback这样就基本上就是一个recurse of self-improvement就把reward code一直improve 现在大家都叫RSI当初名字没有这么fancy 是的 对所以你们用另一套是让当时应该是英国的Shadow的那个手 林乔手就是让他学会了转币 对 是在模拟器上学的但我觉得真机上按理来说也应该可以但我觉得工程上会很大 当初的话林乔手市场也没有很多选择不像现在当初可能就只有Shadow [25:00] 可以做的 shadow hand的话它其实挺贵的,几万美金一只。对,然后我们当初也没有这个资源,所以我们就先在simulation里做了。做research,我觉得一开始先把一个idea从模拟器里验证,是一个。很好的做研究的方法我们接下来发了一篇paper叫Dr. Eureka就是教了一个机器狗在一个做瑜伽的那种求生里balance和走路保持平衡那个就是我们把Eureka放到真实世界的一个follow up work还有一个follow up问题就是最近GPT6 Astra在机器人领域的一些影响很多人都在讨论它现在对整个的机器人的影响跟你当时用GPT4去写它这个reward code根本上的区别吗我觉得根本上的区别就是GPT-6的话其实你直接跟它说你要啥它就能一口气干很多事情给你完成,当初的话,我们用GPT4的话,Eureka也open source了我们自己的code,你可以看我们是怎么让GPT4自己写代码,把它写的代码融进到我们simulation,像现在GPT6它可以自己把simulator给你安装,然后给你全能够好,GPT6可以自己安装,对,但capability也肯定更高。从前GPT4的话还是主要是做一个语言模型,所以它对视觉对空间的这个理解其实不会很好。像现在的话GPT6空间理解很好,所以它可以直接完成一些对spatial reasoning,空间的推理要求很高的一些机器人物。所以我觉得这个是一个本质的区别。会更加有帮助的其实我觉得这两者之间其实在我看来没有很大本质的区别最重要的就是我们得给这个模型或者给Agentic System一个奖励函数就比如说你training一个模型你有training laws你可以跟GPG61你就一直改改参数改到你这个training loss达到比如说2.3左右对吧如果你要让他做agentic robotics也是团的概念比如说你一直写code写到你把这个啊任务能做出来,所以最终就是要给这个模型一个目标。对,对,讲理很重要。你2023年在英伟达的那个路线,其实非常英伟达嘛,大量的依赖这个仿真。当时应该Jim Fan跟你在那篇paper上也有合作。对,Jim Fan是那篇paper的last author,我当时就跟Jim和岳克在NV里合作的但当初我们做这个project的时候也没有说必须要用仿真因为当初我先做了VIP对吧从人的视频里学奖励函数所以我们一开始想做转笔的时候我们的思路是先用人的视频去学能不能把专比的奖励函数这个function学出来但当初我在尝试这个idea的时候我就发现首先我们没有一个真正的灵巧手可以在真机上验证转别的policy所以我就说如果真机是bottoline 我们必须要从simulation里开始但从simulation里开始 这个问题就非常的obvious在Simulate 我都不知道这个模拟器能不能训练出来的一个模型可以专比因为Simulation就是做模拟器最大的问题在Robotic就是有一些任务你不知道这个模拟器还能不能虚拟就是连模拟都能不能模拟出来当初赚比因为没有人做过这个任务所以就是一个未知然后我就觉得OK在这个情况我们就首先手搓一些奖励函数吧就觉得手册奖励还是没有出路的就必须要用模型自己去开发一些奖励还是说所以这就变成了Eureka这个工作你后来去过google之后几时做GVL吗好像又是回到了之前VIP的一个延续的工作城市吗可以这么说吧因为我当初我PhD大部分的工作就是解决在robotics能力奖励函数和一些其他的标注从哪里来这个问题我加入Google的时候当初正好Gemini 1.5刚出来其实Gemini的multi-model的能力一直都不错所以我就想有没有办法去把这些东西运用在robotic上所以我就搞了一个算法可以用VLM直接做In Context Learning,去把奖林韩石学书,当时效果还很好,其实我当时还挺惊讶的,我就说为什么这个东西会work?它应该不work,肯定会不会要pre-training,对,然后现在也有很多创业公司就是做GVL这样的东西去做标注不要脚力函数不要就是subtext annotation用VLM所以现在这种说实话GVL可能比Eureka和VIP都更commercial来自一些 对 对今年我觉得出来了好多数据公司 对他们很大的一个落底的方向就是卖给机器人公司 最近超级赚钱 对 是的 然后标志就是一个大问题嘛 对对所以用VLM标注的挺好的 [30:00] 理想的创业是在Google之后但你为什么没有加入你实习过的这三家公司反而是想要创业呢?可能是因为我当初做了很多research然后我就觉得我其实想在真是世界上有更大的影响因为我就觉得写paper这件事对我当初来说已经没有太大的吸引力然后我觉得robot就是巨深的战场不是在lab里写paper而是真正把机器人带到真正的应用场景里看看能不能work所以你当时就意识到deployment很重要对因为我在学术界的时候不管是在这些industrial 学校做过很多paper 然后做过很多demo然后我当初觉得好像我个人感觉就是我是自己在评估自己的作业没有一个真实的客户因为在robotics当初就是每篇paper都有新的demo就是想做的更酷炫耀的但是所有的任务都是researcher自己猜出来的就我自己设定中就比如说我在Dr. Eureka里教一个狗怎么在一个球上保持平衡这个没有人做过的在我之前但我当初想出来就是想验证这个算法我觉得这个很酷但我觉得更实际应用场景那就是两码事对吧我就觉得想把我的research做了impact 更大一点,然后我觉得去做个startup,尤其是像我们这种就是product和research都在一起的startup,我觉得learning和impact会更高一些。我刚刚其实也好奇了,就是说你在三个不同的lab都待过,对你之后的影响是什么?是不是有哪些技术方面的影响?但是现在听起来反而是一个更多是一种选择和非技术方面的,会不会在商业化这方面对你的影响会更多一点?我觉得我在这些大厂工作对我最有帮助的有几点吧第一点首先就是人脉吧之前的这些mentor也是现在在机器人领域非常有影响力的人然后我跟他们其实关系一直都挺好第二点我觉得就是因为我在三个厂或者在 PhD 里其实不是说我在一种方法就一直写 paper 对吧就比如说我从人的视频里学用 VRM 直接来做推理也用模拟器 反正去做一些reward function所以我觉得我之前就是因为我这个coverage比较高所以我在创业的时候其实没有就像我刚刚说的没有特定说我们必须要从这种一种技术路线来出发所以我就更"impulsual"一点我就每一个时刻就看这个阶段用什么方法最好这样我觉得让我们公司长期发展也会有帮助吧就是不会只堵在一个技术的形象这里我其实还有一个小follow因为其实你前面讲到你做很多东西其实有些时候你不太expect这个模型能够work但其实它最后反而actuallywork了那我相信现在可能有很多同学啊包括是在现在在读PhD的同学或者说准备想再去博士深造的同学你觉得现在模型已经能handle大部分的所有的任务吗?就是在模型方面还有新的research问题吗?还有没有必要读PhD?对我觉得新的问题还是有很多吧因为我觉得做PhD最重要的就是要去探索新的问题而不是在已有问题上比人的刷分高了两三分这种所以我一开始讲我PhD的一些工作的时候我提的就是你要写的paper就是这种没有办法有baseline的paper你就创新了一个新的problem如果这个problem make sense那肯定就自然会有很多人follow out像我当初的Eureka的时候其实没有Base-Anne对 我得自己想一些basis 因为当初没有人从reward 从language model 搞reward 搞一些rsi 这种东西然后做VIP GVL也是相同的 要把problem statement 想成 整齐 我觉得这是research 最重要的所以我觉得做 PhD 学生的话最重要就是要找一些新问题而不是要跟比如说 GBD 6 或者什么其他模型去比一些 Benchmark 或者这样是没有太大意义的你什么时候遇到York跟Linden?我是2024年3月份来的故估,然后当初刚来几周我其实就认识了Linden和York,对。他们不在谷歌吧?他们当时应该是他们keeper被收购了吗?他们当初就被收购了,当初Linden应该在Miami里面,然后York好像在国内。被收购之后呢?我觉得没有,我觉得我们三个都不是那种闲得下来的人对 当时其实是Monica介绍的刚加入了Google的时候也在想接下来要做什么因为我其实就是想把robot真正带到一些真正的environment而不是就在lab的自己想任务所以我就觉得当初他们想法跟我的想法其实是能走到一起的所以那个时候可能是因为Linden跟York他们是在上一个创业项目的时候两个人是已经互为co-founder所以他们项目被收购了退出了之后他们在想下一个项目的时候想要开始做lobotics然后这个时候可能莫妮卡之前是投资人现在已经肉身加入你们了我们需要一个做前一项 [35:00] 模型的这样的一个scientist,所以就找到了你对吗?对。对。那我也好奇啊,就是你当时有很多,不管是research 啊,还是startup 的方向,你可能也有很多选择,Lindon 和 York 身上有哪些,呃,特质跟你是特别一拍即合的,或者是为什么你选择了呢?首先我觉得一点就是,我觉得要把robotics公司做好,我个人感觉是不能只做学术,因为就算我是学术背景,我最后还是想把一个模型本体做成一个产品出来,就是我们现在这个技术路线,如果只跟比如说research一起去创业,那就在这个founder team里就有很大的bias,所以就长期的话未必是最优的这种发展路线。会在某一些领域懂的东西跟我在技术上懂的东西很互补所以这个其实挺重要的Linden Yorff跟你现在各负责什么Linden更负责就是他是CEO嘛那就是executive 的东西,比如说对外找钱找人找钱,对,我主要管技术路线一边对技术路线就是research 什么样做是吧然后technical milestone 整文思 technically我们接下来要做一些什么样的东西然后又或者是其实是我目前见过其实做Engineering最强的engineer之一所以我觉得有啥特别难的东西他都可以做然后他也做一些engineering上一些啊management你们三个会吵架吗我觉得必须要有争议,对吧?对,我觉得如果没有争议,那就是, you don't talk about it.但我不会说争议是吵架,我觉得争议是好事,这样我们大家就能尽早地发现问题,然后解决问题,因为我们三个都是想把公司做好做大的。比如说你们会在什么样的问题上会有争议啊?可能就是比如说一些技术路线 商业路线或者对可能大家有不同的想法那我觉得最后都是能解决的东西技术路线跟商业路线有时候会有冲突吗把Dyna这种公司做好其实最难的一点就是如何在商业和技术上能找到就是共鸣点就是你做这些任务技能推动就是我们商业的部署也能让模型或者我们整个这个flywall达得更好所以我们一开始学一些folding就是这个原因我觉得这是做robot foundation model的第一个任务因为它就容错了,你不会把这个东西撕坏,不像比如说洗盘子这种,你打碎一个盘子就很麻烦了。我们就从这个角度出发,找第一个人物,第二个人物,但现在公司做大了之后,我们之后的策略也可能有一些改变。我们回到Dyna Day Zero的时候,你们要发Dyna One的时候,你们当时选择了叠毛巾,然后叠衣服作为你们的demo,那个时候我觉得还是蛮先驱性的,因为你们最开始也是叠毛巾的demo活起来的,当然现在我们看到很多人公司都在叠毛巾,叠衣服,我之前去WSC还有WRC的时候发现每家公司都在叠衣服,叠毛巾了,但是那个场景是你们当时从商业化的考虑,也从技术化的考虑,是一个很好的第一落地场景的选择因为当初解决了碟毛巾碟餐巾这些模型应该是能做的最大的问题不是模型能不能做这个任务而是能不能百分之百去完成这个任务我们第一个模型发布的一个重点就是说目前有这么多什么VLA general model但都没有达到很高的成功率如果成功率很低呢其实是没有任何商业价值的所以我们第一个技术突破就是能不能达到100%接下来我们DNA1发布之后其实我觉得大部分其他公司都在那个方向有一些跟进吧就发现很多公司都在发reliability的demo说明我们当初发的东西其实是有很大的影响意的对对对你们三个开始创业之后有没有讨论过只做Fundation Model的那个Layer这件事情在你们那儿就没有任何的可能性吗?因为当时你看到比如说physical intelligence也应该成立了吧,他们其实从day one就只想做这种intelligence layer,不想去碰硬件,但是你们从day one就没有往那方面去考虑过是?对,一开始的话,没有硬件的情况下,肯定就是想买一些别人的币去尝试,先把矛盾做起来。但我们从一开始就有做硬件的打算但把硬件要做好的话那肯定是要花很长时间的所以最近我们猜吧我们最新的硬件发出来大家也可以看到我觉得你们硬件还是就是能在部署一边部署的时候一边去改进硬件还是很厉害的我自己的共鸣是之前在做这种挑剪机器人的时候可能有些时候因为这个线数它的设计的不当啊包括像一些这个相机的摆放的位置啊可能就导致你这个线受力过大 [40:00] 或者影响你的哪一次重复的 consistency,对吧?它的 reliability,所以对,我也好奇是不是在为了要达到很好的 reliability,你们是在硬件上也要花很大的功夫,对,对,那是肯定的,对,因为我觉得 reliability就是真正,不管你是 intelligence layer 还是什么 layer,我觉得最后都要做到对吧但reliability不仅仅是model的reliability是整个system的稳定性如果你只做模型不做硬件整个系统的稳定性很大一路负你根本就没有掌握所以我觉得这样的话做产品的话其实是会很吃亏了。嗯,你们最开始叠毛巾的时候,其实都不是说一个,就现在一样的一个轮盘,啊,也没有一个,好像机器人的头好像那个时候也没有,其实就是两个,两个夹爪。对,基本上是两个币。嗯,对。你们当时在跟投资人聊的时候,他们会觉得你们不够fancy吗?我觉得有可能吧,我觉得是不够fancy。是说做人型的公司有没有干扰我们了对我们肯定是有想这下验尽要怎么做但我觉得我们公司一直都是非常就是务实的对吧不会说就一步要做一个很 fancy 的东西没有落地的机会对吧,因为我们最后都是,我们是非常相信这种用迭代去推进技术发展的这种理念所以我们不会就是从零一步就做一个最终的硬件,这个话中间出错率很高也没有商业落地的闭环的feedback所以我觉得这个其实想把技术做好了技术做好了是很吃亏的一件事技术做好是一件很吃亏的一件事就是说比如说你要把模型做好你就必须在你的硬件上做很多EVA但是如果印件就很不稳定,那你的EVAL评估都做不了那你就无法知道这个模型如果work了或者不work是什么原因其实很多人性机器人只有这个问题就是这个系统太不稳了就会对模型发展有很多不好的这种negative feedback 但像我们的话就首先部署的话就有一些比较简单的系统这样我们在现在目前的部署和模型可以达成个绯闻同步我们可以把硬件我们自己的硬件做好这样就有一个parallel这种概念对是不是除非这个任务本身涉及到比如说要跨越一些很复杂的这个地形包括像需要有很大范围的移动否则不一定完全有需要做人形因为有一些人形的这个展示也是一个人形机器人但是它是在一个固定的地方我个人感觉是没有什么必要所以我觉得很多内部室内的工作很多其实不需要双腿尤其是就在比如说工厂或者商业的这种但我觉得家幼的话,因为家用家都是给人设计的对吧人是有腿的比如说你家里客厅有上下楼梯这种我觉得做论事可能会有一些局限性但我觉得工业啊或者就是商业场景地都是很平的因为他们尤其是在美国他们是有一些regulation,必须把D做了一遍,所以我觉得这对一开始布施的话是会有很大的优势。那么回到叠毛巾的案例上面来,叠毛巾的难点在哪里?我们一开始觉得就是叠毛巾难,后来发现叠毛巾我们模型其实做得很好很快,最后难的就是把你叠完的毛巾能不能就很整齐的一个一个往上叠。这个其实比较难,精准的要求比较大,尤其比如说你要叠10个毛巾在一起,如果你第三个毛巾比较歪,那你上面的毛巾,那你继续挖下去,就compound,所以每个毛巾都要叠得非常的整齐,在很准确的位置上。对,所以把这些整齐,这个度提升,其实是后来发现其实还比较难。中间最难的一点是什么?就是比如说甲爪,它的难点在哪里呢?就是说我发现我叠错了,然后我能怎么把它给纠正过来这块是最难的吗因为我看Dynamic One当中也是有三款嘛然后你的Foundation Reward Model到Autonomous Exploration然后到Intentional Failure Recovery那是不是这种Intentional Failure Recovery也就是说哎呀我搞砸了这事我能够把它给掰回来这一步其实是模型最重要也是最难的一步对这种是肯定所以难让模型学习的这种动作对所以我觉得是有一些难点对啊但我觉得现在呃,单单一年多之后了,我觉得这个在我们公司目前来说我们知道如何去解决,然后能解决得很好怎么去解决?这个就不能透过了这是通过RL的方式吗?我觉得RL是一种对当我们有多种其实我待会在那个world model这方面其实我也挺好奇你们的一些技术路线的选择 [45:00] Model 的一些具体的应用方式是不是能帮到这样的类似于这种的 failure case那么现在就问好呀对 其实我就也好奇了因为你说一开始的这个错误可能会之后会tompound那现在有了这个world model我知道你们没有选择在inference time去产生这个未来的video prediction但是如果选择的话是不是可以理解为可以去预测未来的这个视频是什么样子那在inference time的时候是不是就可以去预测可能的这个错误的情形从而在就像比如说你下围棋在inference time就想很多步 哪一步有可能有问题在dynamically再选择因为跟这个相关的其实也是dynatube达到了比如说110毫秒可以生成未来三秒的这个视频吗按理说应该也算比较快了那你们为什么没有选择在inference time的时候产生这个视频我们在写那个blockpost的那几个模型是没有用到inference time就是产生视频但我们现在的模型是有这个capability但我觉得就是很多情况下有一些问题可以用更简单的方法去解决就用更简单的方法去解决像这个Inference Time Generate Video其实是比较贵的一个东西所以我们现在还在探索哪一些Sinervial真正需要这个KBW,哪些其实不需要对,看来还是很部署这个,就部署Focus嘛这第一步想到的是部署啊,包括像这个成本和这个性能的一个平衡对,不仅仅是部署吧,我觉得就是在Machine Learning里就是总体来说就是更简单的方法才就是其实更work更能scalable所以我们经常从做研究的角度就是要选一些就是非常simple非常elegant的东西去scale因为我觉得这太complicate的东西就很难真正work就是说太多里面可能有几步就很容易出错或者就是要调窗的话要调的这一点是不是你也是你从一开始到现在贯穿的一个不管是科研还是技术上面的一个自己的一个taste吧对吧就是要做的简单然后要做的比较elegant这样对就是越简单越好就是太复杂了后就很难真正的去work其实现在你看一下比如说在语言模型里的所有的一些big idea 其实都不是很复杂尤其是一开始的一些Deep Learning Idea对,越simple的东西更scalable好,我们回到Deployment上面来我看你们当时Dino One是在6周之内最开始只能跑5分钟然后变成了一个小时,8个小时,24个小时然后最后能够一天折800多条餐巾那过程当中发生了什么?就是为什么会要有最开始只能跑5分钟然后到后面能够Ready的过程对,就在5周过程中或者我们就是继续去做targeted error recovery 可以收集很多很高质量的数据就可以让模型每次重新跑的时候就会有大量的质量的所以这个就是continual learning的一个过程。但是这是不是说你们当时把模型或者你们的机器放在一个新的环境当中,或者放到一个新的客户那儿,就需要那么长的时间去补书啊?其实不是的,我们这五周其实就是讲我们当初做research 的五周,真正部署了,像我们最近的话部署其实有一些场景,有一些任务其实几天都不需要,竟然达到一个模型,就是跟客户的要求是完全一致的这种 capability。Dana One 的时候,你们就已经找一些真实的客户,然后把机器人送到他们的那个地方,去给他们叠参境了,是吗?是的,当时有跟哪些客户合作?其实我们从Dynam1的时候,我们就跟简台风有一些合作,当初就是非常early pilot,他们也很open吗?让他们的这个厨房给你们开放?挺open,对,我们一开始都比较喜欢更open的一些客户,这样因为我们一开始不能保证我们的模型能work,所以如果能在这些英文场景里叠代,能收取一些教训,其实对我们公司发展及时帮助挺大的 尤其在早期到当初我们就在净台风尝试去叠餐饲这个任务其实特别的难对 所以现在真的能做出来其实我觉得也是个很大的连续难的点是在把它叠整齐?对,其实叠餐间比叠毛巾要难很多叠毛巾其实你就叠两下差不多就行了但如果你去看一下点台峰会的其他一些餐间的这些餐间,它都叠得很细致了对吧所以客户的要求就是比如说几毫米和一厘米这种差别,就是pass和不pass的这种区别所以这对模型的精准度要求很高你能不能把叠好的餐巾放在一个box里摆得很整齐如果摆得不整齐有时候这些餐巾就算你一开始叠的时候叠好你放到box里才就会乱掉了我看你们都是 [50:00] 他们有5个grade,12345它分别是对应它能做到多少的准确度,或者做到什么样的任务?5和4,或者5和3就是几毫米的区别所以能把模型做到在这几毫米容粗粒都能达到最高的grade其实是很难的事我看Dyna1当时的你们说LAB里面实验室的成功率是做到了99.4%但是只有75%的叠餐金是达到了后来真实的客户的标准中间的差距是为了什么?成功率就是按有没有把一个餐金折好去算的所以如果它是grade3,grade2也算折好但pass rate就是你刚刚提70%就是按其实我们在所有折好的餐季里有多少个是达到了grade 4和5customer他最后只接受grade 4和5grade 3是不可以接受的对internally做评估还是有一个12345这样我们就知道我们模型现在的progress在那里是的对但不过我也好奇啊就在这么难的这个提高百分之零点几的这样的一个成功率的要求下在当时是靠模型的这个进步来改进的还是说尽量采集更多的真实的客户数据来我觉得都有模型有很多的进步然后数据也有很多的进步就是更高质量的数据把这种一个任务做到百分百然后质量很高的这种exercise 做几次就能感受到高质量数据和低质量数据的差距和差别我觉得这个其实真正做部署或者做产品的话是很重要的东西Dyna1的数据是怎么样的一个构成?我们当初所有的数据都是我们自己内部采的但现在就很不一样了因为现在就很多很多的数据,我们就不仅仅是要利用我们自己采采的数据,而就是利用所有我们觉得能用上的数据。所以其实有很多新的research 课题要做。Dyna 1 是全部用的腰草数据?对。踩了多少小时?这个我们就不用透露了但是都是在你们办公室自己所有自己的researcher去踩的?对,用自己的researcher去踩的因为我记得好像一年半去你们办公室采访的时候看到有人在现场都在不停的踩,踩实际我觉得是必须一直做的工作对,我们待会可以聊聊Dina2的数据我还有几个关于Dina1的部署,Deployment的问题你觉得Dina1的部署给你们最大的教训是什么?最大的教训就是我们在Lab 里做的东西跟真正能 deploy 的东西其实差距是很大的因为就像我们刚刚说 Dynamo 1 做出来说是业界里成功率最高的模型但成功率最高的模型带到真正商业场景里真正的 deployment 其实 gap 还是有很多的就像我刚刚提的一些问题比如说整齐度 language following 或者速度其实 Dynamo 1 的速度也没有达到真正引台风可以接受的速度所以我觉得就算把成功率堆上去了,其实还是很大的gap。幸好你们有一个听上去比较耐心的客户。我之前工作的公司叫Vicarious,后来就被Intrinsic收购了。可能有些客户对于cycle time的要求高,或者不一定那么耐心的话,可能你就要去花很多资源去做这样的一个客户。作为一个startup与此同时也要考虑到这个多个客户的这种pilot嘛那我们前面讲到技术和商业的这个结合和balance就是你们怎么样啊在做好一个客户的前提下也要去cover到会不会有多个pilot同时在进行?对,我觉得这有两点第一点就是如果 base model越来越好那就可以帮你把任何部署都做得更快一些对吧更通用那第二点就是我觉得Manage the pilot,我觉得其实是挺重要的就因为不同的Pilot不同的Deployment有不同的问题你Deploy到足够数量的时候你就会同时Flush out所有的问题我觉得这样对把这个工程做到其实是有很大帮助的这就是Scaling 的问题你在一个设计上发现的问题跟你在同时部署10台 100台 1000台发现问题都是完全不一样的你每次Scale 就会发现新的问题所以我觉得作为一个巨身的公司必须要有这个conviction就是我真正要把部署做下去要scale下去要不过你永远就在一到十台或者一到五台这种境界的话你是很难发现很多你只有scale up 上去才能发现的一些那运营和deployment的问题对 大家提到成功率这件事情我也听说就是机器人行业中的成功率我们要怎么去看待它虽然99%听上去是一个很高很高的成功率的数字了之前其实君武也跟我聊过Vacarius这个公司也是做到90%几的成功率吧但是还是没有办法很好的存活下来所以后来就是被收购嘛那就一份是99%的这个成功率一千次的事 [55:00] 它是有10次是做不好的那10次有可能就把整个生产线给弄混掉了所以对客户来说可能是没有办法接受的这就是为什么机器人公司必须对产品形态要有很多深刻的思考像流水线这些任务就是conveyor belt对吧物流的这些人物我觉得成功率是致命的东西如果你成功率不是100%那就说明这整条线上会有一些物品你是没有把它做好那就说明这个robot做完工作之后下游必须还有一些机器或者一些人去做keyway把质量保证好其实这样的话你的机器人其实没有autonomously把整个线都包了而且是其实给人或者其他机器机器加了更多的工作所以我们一开始就觉得做converbal的机器其实不是做巨生智能通用智能最好的出发点所以我们一开始追求的任务都是机器人能不能他就自己把这整一个任务全都包掉的这种workflow如果机器人能不能把整个workflow就不需要任何人去做QA不需要任何人去做 intervention 能做好就算机器人现在比较慢它同样也是能产生商业价值我们就觉得要从这里出发去引导我们怎么去做技术怎么去做模型怎么去做硬件和其他所有的一些技术的决定我看你们把Dynamic One的10个月的执行称作是Bitter Lesson,Bitter的点在于你们发现这个东西,even 99.4%的成功率是不够的,是吧?对,我觉得从现在来看可能是Bitter Sweet Lesson,Bitter就是比我们想象的要难,但Sweet就是因为难你就必须要去解决,如果你解决了,你就会领先其他公司很多,因为其实很多要解决的问题都不是那种非常,就是很酷炫的,比如说搞个新模型,把模型搞大,数据skill上去的这些问题,所以我觉得,我们团队是有这种问题我们就必须要解决的这种conviction 可能有一些团队其实没有这种DNA,那他们就永远不会自己想把DNA做得好好,但我觉得这个的话长期的话可能会是一个劣势你觉得这些Lessons如果你们没有做Deeporement的话可能你们是没有办法学习到这些Lessons教训的?对是这样的所以你们是有专门的运动队是吗?可以这么说吧,我们有个 product team但运动也需要很多 research所以我们做 project 都是非常 collaborative不是说一个对待做大家都能帮上忙硬件软件模型 product deployment operation 都可以那我看从Dyna1到Dyna2 你们整个的模型上其实变得挺多的你们当时为什么不是说Dyna1做了之后发现 deployment 的问题不是针对当时Dyna1的问题 比如说我把数据再做好一点把这个准确率再做高一点 再把 deployment 做好一点这个决策或者这个过程是怎么发生的?其实我们当初,Dynamo1是个VLA模型我们在VLA模型做了很久的时候就发现其实这个模型从框架角度来说是有一些缺陷的所以在VOA上你可以做很多的布丁我觉得最后补丁做多了我就很难继续在一个不是特别solid的Fundation上继续把东西做大所以我们当初就又同时在deploy VRE 同时在fundamental research 里开始做一些更我们觉得能scalable的一些architecture然后这就变成我们现在做的Dainet World Action Model然后我们当初就觉得有很多性能都是一个这个质的提升就比如说泛化性啊这个ability to follow language 然后其他很多东西我们在 blog post 里也讲了因为我们最后的目标不是说就在一个点台风或者在一些冰广里折衣服或者折什么我们最后还是要做一个通用的机器人智能平台所以从这个目标里来讲的话换模型或者要做更scalable的东西其实是很然后我们愿意去做的东西那这里能不能简单给我们听众拆解一下就是说什么是VLA和World Action Model的区别以及Jason你前面讲到比如说VLA会有一些缺陷那这些缺陷主要是在哪里我觉得其实World Model最重要的东西有其实就是一点,我们去做model 它要推理一个东西对吧做 VLA 的话你去算这个 robot 的轨迹 action做world model的话就不仅仅是robot的轨迹你把整个世界未来要发生什么轨迹也去用来做训练这样的话就可以让这个模型学到更本质的一些feature information帮助这个模型去推理 [60:00] 这个世界接下来会怎么evolve我觉得这个其实是对机器人泛化和其他一些功能都很重要的一些那你们当时在比如说一边在部署BLA,一边在探索别的这个model architecture的时候,是除了world model以外还探索过别的框架吗?就是为什么选到了World Action Model这样的一个框架?因为我们当初的思路是,我们想从Video Model里出发因为Video Model它已经能predict video,对在真实世界上做一些physical manipulation是会有很大帮助的然后我们就觉得Video Model它有很多property,VLM没有都有机制能力用上所以我们就算了就开始出发然后当初其实除了VLM和VideoModal也没有其他太多的模型可以去做探索还有一个小follow up是比如说就算在World Model里面当然除了这个diffusion based的也有就predict这个pixel本身的可能也有像那个Jepard这样子的对吧就是predict另外的一种representation那这算不算是一种可以选择可供探索的一个架构以及你们当时为什么没有选择选JAPA这个道路因为当初我们还是想从一些pre-trained video model开始出发像大部分pre-trained video model他们一开始的use case都是video generation所以他们就已经predict video 了当初其实没有什么JPOD的checkpoint可以用I see 对那要pretrain的benefit是不是说就是互联网上大海量的这样子的数据都可以用来用对这样就可以让你这个迭来速度会快很多了所以你在做Dyna1然后当时你们都是在用摇操数据的时候当时你是不是就觉得说啊已经知道说这不是最终的solution,就是one day还是得需要去用大量的互联网的数据去做,这个可能又回到你的这个vip啊,还有不要造钱的一些,其实也不是说摇操是就是不正确的方案,我觉得Robotics 我们现在还是要分pre-training和post-training在预训练的时候那就是什么东西能给你最大的coverage 能最广给你最多的数据你就应该用那个数据里 figure out怎么让这个model generalize但如果你要做后学人要真正把模型部署了一些商业场景那就是这个稳定性和质量要求特别高那就是Polstrian要干的事舀操是能收集最高质量数据的唯一方法我觉得其他任何数材的方案都会对质量有一些差距的所以在Dyna2当中Post training 当中也是还会用到摇操的数据的要用的摇操的数据会比重新要少很多像我们在 Dyna 2.1 就是我们接下来要发的东西或者在 Dyna 2 里我们都有就是用几十分钟数据就能学一个新的任务的这些 results从前的话我觉得几十分钟其实肯定不行的我们再谈谈一下Dana2你们的发布我觉得你们最惊艳的一个结论就是用了100万小时的第一人成数据找到了计刑数据scaling law 的端倪能不能跟我们解释一下这个research过程是什么样子的?其实我们当初就在尝试ego-centric data 对吧我们当初就已经尝试了1000小时1万小时和10万个小时这种级别的pre-training级别我们就发现了scaling这个scaling到1000小时的时候就发现了?不是,就从100小时1000,10000到10万所以就是4个阶段,每个阶段都发现说它数据越大就越好对,每一次我们把数据10x这个模型的prediction就变好然后这个变好不仅仅是在prediction这个人的motion因为疫情我们只用人的数据所以如果你更多人的数据让这个模型prediction人的motion更好其实也可能不是特别的surprising但是我觉得特别surprising就是在人的数据读了之后这个模型在predict robot action就是机器人这个轨迹也会变得更好但这个模型他当初做推理的时候他根本就没有见过这些robots所以我觉得这个是非常所以我们在blog post也讲叫cross embodiment transfer scaling law我们在想做cross embodiment transfer 时又没有scaling law我觉得这个其实是非常重要的东西因为就像我刚刚我们一开始谈scaling law 我觉得如果你data总体数量不够其实没有太大的意义去做scaling law但在机器人领域的话 我觉得摇操就很难达到100万小时数据量所以我觉得要做ScaleAware必须要从更ScaleAble或者就直接从最ScaleAble的Data Source开始所以我们就首先挑了人的数据但是在robotics 里US scalable data source 它有个 trade-off就是那就跟robot最终部署这个robot长什么样他给假装长成了越远所以如果我们能从一个很scalable但跟robot其实关系不是很大的数据能达到能获取Skilling of on robots我觉得这是一个非常大的突破,这样我们就有办法能让巨身的模型更聪明,然后不需要利用很多机器人的数据 [65:00] 巨神的话,机器人数据永远都是一个瓶颈这100万小时的第一人数据都是比如说从机器人的视角去看,然后看到我的双手在做什么样的事情?也不是说从机器人的视角吧,就是从人的视角,比如说有很多数据是人头上带一个相机这样去拍的,但各个不同的这个啊,数彩,我们的partner,或者我们内部的这些设备其实都不是一致的。就要模型有generalization capability这100万个小时大部分都是合作伙伴那边买的是吗?有很多都是合作伙伴但我们内部也有自己的Eagle设备在采但我觉得一个公司去产生就很难scale,那么大一把半个小时在现在机器人数据当中是一个什么样的量?我觉得从Publicly Available信息里100万小时Pretraining就是最大的Pretraining scale这个很贵吗我觉得是有些贵的,数据更多那肯定要花更多的钱了但我觉得是一个什么样的成本来的?我觉得这个不好透露,但我觉得人的数据成本远低于腰草或者其他的数据方案,因为就是你不需要一个机器人,你不需要像摇操了,你必须要教这个人怎么去摇操了吧但人的数据,你就是给他一个相机让他去每天都做了什么很多这样的数据其实是也已经能用上了不过我在好奇如果要体量更大的话可能互联网上就是第三人称啊或者说一些非egocentric的数据可能占到更大的百分比啊就我好奇这个cross embodiment transfer有多少是可以说所谓的依赖于这个视频里面人的这个形态跟机械病的形态本身就是挺像的啊那如果换成第三人称视角的视频可能还会继续有这样的scaling law?应该会有scaling law,但可能这个scaling law这个slope就很不一样了,因为如果从第三视角或者就是跟robot,就是manipulation,没有任何关系的视频去学的话,可能会让这个模型对这个世界这个整体这个knowledge又improve但如果想直接transfer的manipulation那可能会distance更大一些所以可能更难但我们的Dynia Tool里也有一些就是如果我们只scale video数据会怎么样但我们那个 result 还是只有 scale 人做任务的视频,不是任何 random 视频。所以我觉得 random 视频能不能对 robotics 有帮助。我觉得应该会有但我觉得现在还没有很多的 evidence 你们下一步是准备再去验证一下这个scaling了比如说从100万到几百万小时1000万小时这个Skilling Law还能不能站住吗对这个肯定是我觉得我们肯定会尝试去做的对吧因为我们去做Skilling Law的原因就是想继续Scale就想找到很能scalable的方法就Scale Data你觉得有可能rescale之后他会发现说可能不是这个不是Skinning Law 会有这种可能性我觉得这种概率可能比较小因为我觉得说实话现在robotics的模型都比较小我们在所有的robotic scaling results 没有同时 比如说数据,scale模型大小和scale compute,一般都是只scale一个axis所以我觉得如果把三个axis这个工作都做得很好我觉得一定是能发现一个很不错的scaling law但我觉得这样的话这些工程量就会大很多因为其实在那个图形上嘛当然有这个scaling law是很很不错的但是好像从100k到1million的这个数据的改善相对于之前一个10k到100k的这样的改善速度是稍微有点下降的所以可能才会好奇就是说这样的scaling law会不会到后面数据量越大就越难了我们发现了slope从10万到100万更低的原因是因为我们当初搞100万小时的数据的时候其实整个行业都没有100万小时高质量数据我们在搞1000个小时10万个小时的数据的时候这10万小时所有的数据都是我们认为是高质量数据像我们到100万小时的时候,首先就是没有100万个小时就是已经有标注的视频,所以到100万小时这个scale很多视频就没有标注了。这也是为什么从10万到100万可能有一些更小的这个弧度,但我觉得如果我们有100万小时就是真正高质量数据,我觉得这个scale论范是我们是非常confident它其实不会被搜掉的对 包括像我觉得这次Block里面这个视频是一方面了但是能够真的把这些视频用好的架构还是World Action Model吗?我的理解说这个Block [70:00] 也讲到很多world model的一些东西那包括比如说你们加了没有action label的video prediction这样的一个training比可能joint action加上video还要好那怎么样去拆解这样子的一个实验的结果我觉得这个区别就是在只做Joint Video Action的时候如果你所有的数据都要做Video和Action Prediction那就说明这些数据必须要有Action轨迹的标准你能用的数据量就会比如果你有一些数据没有Action你也可以用来做训练的数量肯定会少所以我们的point就是说如果我们能在video prediction上也发现有scaling那就可以让我们的模型用更多更多的数据我觉得这个其实很重要因为在做human video的数据中标注action标注人的手和手的关节的这些标记其实是比较费劲的一件事所以如果能有办法就用纯视频去做训练的话是一个对模型generalization是会有很大帮助的一个东西那这些没有Action Label的视频它是不是就是大多数都被用于训练world model就是怎么样去predict这个future state那我们怎么知道这个predict的这些future state真的是在学到背后的这个物理规律呢因为比如说人拿一个有水的杯子或者没有水的杯子他的这个视频看上去有可能是一样的然后我想拉一个重的门或者轻的门但是这个能不能使他背后的物理对于实践来说真的重要吗对我觉得对于时间来说是挺重要的,但我觉得你说的也很对,就是说有一些任务从视频上是很难判断,比如说这个门到底是轻是重的,如果是一个水杯很透明,很透明,那人家有没有水?这些就是我觉得做world model一个 caveat,就是很少人说,就是说如果这个world model 比如说做一些任务你需要视觉和触觉但你这个数据就没有触觉那你不管怎么训练怎么predict 你都不知道真是世界里背后物理的certainty所以我觉得其实现在做World Model, the Robotics World Model,大部分Model还是从视频里开始选,但我觉得视频做一些任务是不够了所以这就是现在的这些框架的一些很本质的一些缺陷,但可能我们现在还没有大量的不是这个camera的一些data。是的,这种Lead的数据还比较难采集。我之前采访Android Dye的时候,因为他在做visual reasoning,就是想要把视频里面的物理规则让模型真正的理解到,因为我理解可能这个research还是在比较早期的阶段,但是确实是唐一爷大家都在开始发力要去做的事情。优优独播剧场——YoYo Television Series Exclusive必须要用预训练去解决比如说有一些触觉的数据你人的数据上是没有但如果你机器人上有触觉传感器那你说不定在后训练你就用很少量的数据就可以学到因为我觉得视频或者图片它其实是重复性很高的一种modality,对吧?就比如说你一张图片里,你这个pixel和那个pixel其实长得差不多。但是触觉啊比如说这个Audio它其实Information Per Bit会高很多所以说不定不需要100万小时的触觉数据就能学一个很好的有触觉Input都爆发了什么对你们接下来会考虑加触觉进去吗其实我们在看,但我觉得触觉其实在整个robot learning 领域也是一个争持很大的一个领域。就是因为很多人觉得其实不需要,但也有很多人觉得需要,所以很难说。我们的看法就是要从实践里发现什么东西work,然后什么东西在什么场景下work。是的 是的 对 因为我本来还蛮好奇 就是说如果说World Action Model有这样的一些缺陷 那机器人从research来说它下一步的方向可能会是哪里可能会是新的模型架构呢还是说在Post Training里面加更多不同形态的包括像有利益的这些数据听上去好像是Post Training 的数值是一个比较大的一个方向对,Post Training 我觉得一直都会是很大的方向因为我觉得做robotics很难就是一个模型它是0 shot不需要任何训练数据就可以做很多任务为什么呢因为每一个客户或者每个人的需求都不一样如果大家需求都不一样你不可能一个模型就能猜对所有人的需求所以后续如何进入很少的数据去改这个模型,大的模型我觉得是长期一直都有的一个工作然后预期内的那儿其实数据就是很重要了能不能用更scalable的方法去采集高这样的数据对不过讲到这里我还可能还有一个问题就是不管是pre training 还是post training 我们都在讲数据多难采集,数据的质量多高,但是其实是不是大家容易忽略的一个点是,就算采集了很多数据,高质量的数据,怎么样把它去做ingestion,怎么样把它去补充 [75:00] 然后真正转化为能用的数据这个背后的Infra是不是也是需要很大的工程量?对,是需要很大工程量我们其实有个Infra Blog就是讲这些事儿对我觉得做百万小时这个skill的训练不仅仅是训练模型的问题也是一个很大的infrastructure问题如果没有好的infrastructure你根本就连这个job你都跑不起来或者跑几次就会挂点然后就比较很费力所以我觉得做什么Large Scale的Experiment一开始都是要把Infra先打好他们像幕后英雄这样是吧是Infra都是这样的我觉得在那个LLM那边也是的Infra团队都是不被看见的那个团队但是又是最重要的对但我觉得在我们这里我觉得还是有很多visibility我们写了一个blog post就专门讲Infra对吧我觉得这些幕后英雄they deserve to be known包括像blog里面也讲到这个crossing body and transfer这个视频已经跟机器人本身长得比较像了那就我可能好奇就是说这些视频里面的什么东西真正被机器人给学过去了?我觉得有几点,首先就是用World Action Model的时候,把世界的物理能从视频里判断出来的东西,我觉得这些都有交易,对吧?因为我们首先就是预测视频介绍会发生什么东西,这是一点。其次就是对比如说做一些任务,不管你这个End Effect,是不是甲爪或者林乔首,大致的这种策略,怎么去解决一个任务都是可以学过来的比如说你抓东西你的现在手臂在这你的东西在这不管你是什么样的灵巧手或者夹断你都一开始要先把你的手移过去对吧?这种concept是完全可以从人的视频里学出的可能wrist比较类似,但如果就是非常精细的动作那就首先标注的质量高不高,如果不高的话会有很多飘影其实把这些数据用起来做零敲手训练的话帮助也未必很大如果接下来的路线是从100万个小时到1000万个小时感觉中间的数据gap会多吗如果还是以跟数据公司合作的方式那你们也很需要很多的标注很需要很多高质量的这个数据吗那这些数据接下来从哪来呢就是这个市场里面有这么多的 supply其实这是个好问题我觉得 supply 是一个问题另外一个就是 infrastructure 的问题 对吧我觉得我们现在的资料可以拥有100万小时这个级别觉得要控制1000万个小时级别不仅是训练然后就标注做QA的话其实上是有很多工作要继续做的你们有一个结论,就是说DNA 2之后不要再把model当产品要把model加hardware加deployment加data infra加teachability加physical agent一起scale对,然后这6块柱子一起scale,然后才是真正的scaling了我觉得真正能把产品做下去因为我觉得robotics整个stack是很长的只做中间的一部分的话我觉得是很难把东西做好的所以是一个木桶原理就是每一块都是要做得很好缺一块其实就很能把东西真的做好对那从这个角度来说每一块都是比较非常重要的这一次跟鼎泰峰的合作,跟上一次应该优化了不少吧?对,我们一直就在鼎泰峰里做,最后做到了一种程度,真正我觉得可以当成一个产品了,这也是为什么我们现在发出来。我看数据提升还挺高的,最开始的时候,Dyna1是每个小时跌35个,纸巾大概是每天可以跌480个,但是当时客户就给你们的要求是说,希望你们可以做到每天1500个,有一个18个小时的Shift。如果达到每个小时跌95张,达到了每天1590张,所以也是满足了客户的标准。我觉得这其中有很多增加,模型是一个比较大的增加。对但我觉得就是数据啊和其他一些这个continual learning的东西做好我觉得是很重要的因为我觉得模型达到一种程度比如说我们现在到每天能得1400个餐厅我们如何达到1500个餐厅其实这个没有很多low hand influence就不是说我们要再多采取数据技能因为跌快很多其实不是这样的所以我觉得越那离你的目标越近,其实难度就越来越高像一开始你没有模型,你转一个模型能DS30个餐厅一个小时其实不是很难从我们现代人from what we know now,不是很难的。如果要进一步提升的话,可能又是要模型加数据上面再进一步的一个提升。对,我觉得是这样的。如果在一个Task上提升都这么难,大家现在很多在讲通用一个机器人可以做所有的Task,你觉得就是真的要达到那一天是不是也还有一些距离对我觉得这个差距就是 [80:00] 通用机器人不可能一个机器人一个模型就所有任务都100%对吧就像我刚刚说的ZeroShot就是很难的东西很难你能猜人的要求是什么所以我觉得通用的话如果能达到任何任务就是70% 80%用很少的数据就能fine tune这个model去做一些customer task是个不错的milestone那会不会有一个risk就是说你们的模型因为采集的数据嘛都是跟客户的场景相关的比如说叠毛巾啊叠衣服啊这些大部分的这个protection data都是来自于这几个任务的话会不会你们的模型就会越来越擅长做这些任务反而他的就像俊武说的他的general purpose的之后的任务的翻滑性可能就不会那么强我觉得其实未必是这样的,因为在预算的时候我们大部分的数据都是人人视频,这些数据非常diverse我们内部的数据跟我们的Human的数据比的话是会小很多很多的所以预期我们是追求generality那肯定会有一些bias比如说在我们的本体上有一些bias但我觉得这些都是好的vias对吧就像比如说你要做语言模型你想让它coding很好一行就必须把Colin的实际百分比放大一点我觉得做自身的话也是同样的我觉得做general这是一个很很虚的一个概念我觉得大家最后都是有constraint就是你care什么东西或者你更care什么比如说你更care零桥手那你预训练就把零桥手的视距这个百分比放大一点如果你不care那你完全就可以做预训练没有零桥手视距所以我觉得这些最后都是根据你最后的goal来决定你预训练的这个嗯Data Mixer 只是你们刚才还提到一个概念啊就是说机器人他最后要落地的话他必须要怎么说替代一个人力就是他要做这样的一个完整的任务,而不是一个任务中间的某一个动作,不然的话是替代不了一个人物的,他也没有办法最终的被客户接受。那么在Dana 2当中,你们的落地还选择了比如说洗衣房的一些任务,对不对?比如说你们Dana 2找到一些用适案,或者是想要进一步验证落地的方向有哪些?对,我们一开始还是先从洗衣房开始。对,因为我们之前叠毛巾的话,就像你说的,还是需要一个人过来把毛巾全拿过。我来已经轰杆好的毛巾拿过来然后我们的robot叠完之后一个人必须要拿走其实这个是很繁琐的任务然后有一点比较就非常有意思就是这个模型如果是一个固定的就是station robot这个模型越好那这个人的这个intervention率就更高因为如果你如果把模型更好那你跌得更快那你跌更快那这个桌子上就有很多毛巾人就必须要拿走因为就没地了对吧所以就是你模型越好那人就是参与就要越高但如果你模型不好那就根本就没人买对吧所以就比较尴尬的一个点从这一点我们就觉得那我们必须接下来要做一个像physical agent一样的东西就像agent对吧我们做physical agent这个agent他就把整个任务全包了不需要人去interview我觉得现在做coding agent跟几年前我们可以做autocomplete的那些模式的区别当初做autocomplete模型你过几秒我就要tap一下那我一直看着他去携带现在的话就是你把一个任务交给扣定医生他就直接一口气就全做完我们想在这个physical world 里达到这种效果接下来自然的一步会不会就是说你指的这个physical agent 是不是多个机器人协同啊或者比如说你的毛巾就直接放在你们的一个可以移动的这样的一个平台上自动的一个机械车就可以推走了对说不定我们会探索那样的路线但我们现在的physical agent 就是一个robot我们这个robot 是一个semi-humanoid他就可以把一个洗衣房里所有的东西比如说洗、烘、叠然后把叠好的毛巾放在一个柜子上这些都能一口气,端到端就是很长的战略全部完成中间也需要很多理想就是推理我看你们的demo其实就很make sense自己把毛巾送进去洗拿出来去烘干然后去按按钮还会扭它的那个转盘温度多高多低这些都可以做到对是接下来要发布的东西就是在这里这是我们周二要发布的Dyna 2.1自己开发的一个robot叫Taku在日文有一个词叫Takumi就是Cross-Mission就是指这个工作做得很好然后我们给我们自己的robot也起了一个降薪的对 降薪的 对我们为什么要做自己的本体呢就是因为我们在不说很多次之后就发现各个商家厂家想要的而是能把整个 [85:00] 原作流全包的这种流吧所以我们有了自己的本体加上自己的模型然后这个robot就不仅仅是折衣服了他就能把洗衣服 烘干衣服这些所有在一个洗衣房里所有做的工作这一个机器人都能一下子包下来都需要有人来interview这样才能真正达到这个autonomy很高哇 你的工作还挺丝滑的对 然后如果这个 哦 他掉了他还会下去剪他剪完了就会丢到那个脏的毛巾的这个框子哦 对 很不错的一点就是他其实不会撞到东西位置没有算得足够精准的话这个头其实是会撞到那个洗衣机的但这个完全没有发生就是说明这个模型全身运控其实是非常不错的然后它会扭到这个正确的这个modeembody其实精准要做很多但是罗宝就会试好几次然后最后试成功但你们还是针对特定的洗衣机进行了一些优化的地方还是说一些any random的洗衣机需要有应有化但换一个洗衣机换一个换干净其实学习得很快十几分钟几十分钟的数据就多你看就真正在跑就所有的步骤都会做这就是我们的long term vision把我们的robot做成一个像robot脸谱一样对对对它这个其实还是蛮长城任务对就非常长城你觉得最难的难点是什么我觉得每一步就其实难度比较高都有几率会出错这个洗衣房这个任务如果真要做起来30分钟到一个小时中间哪一步出一个小撮来对模型的泛化性和广告性要求其实特别高你们的客户喜欢这样的产品吗对于你们的产品需求用完之后他们是什么样的反应我觉得他们挺喜欢的我们可能之前在我们blog post也说过一些用户就是真实的反馈他们会经常发短信用说这个东西好好有一些客户他们能不能再多弄几个robot那个时候是什么时候是顶台风还是洗衣房因为我看到你们有发一个就是说客户有问你们说对我忘了是哪个的具体警察风也有吧然后也有一些就是西方这种那那个moment对你来说意味着什么就是说啊他们竟然喜欢我们的产品然后这个东西成了是吗我觉得是跟从前发paper就是很不一样的这种成就感吧因为这就说明我们内部里,我们在做的这些技术真正有人享用因为从前写paper 就是我写给别的researcher看那我们就是自己自娱自乐的这种感觉但我觉得现在就真正就是迈向更大的社会的第一步这样的感觉所以从公司从技术角度我觉得都是一个很好的迈速你觉得接下来你们在research 包括在deployment上面的一些新的目标是什么的?有一个目标就是我觉得要做这种mobility加manipulation就是用半人前做的这些任务我觉得难度会比stationary要搞很多然后对运控的要求也高很多把运控和模型都做好的情况下也能把模型的速度提升我觉得是个比较难的点所以我觉得这些是我们接下来值得去探索一些问题我觉得其他的一些比如说模型泛滑模型架构我觉得这些都是我们都会继续去做的,不做的话别人也会发,所以就有很多东西可以直接来利用。对于之后的机器人公司,自己的这种核心竞争力除了模型以外,是不是硬件啊?帮我想你说的这些别的对大家想象的更重要?因为模型有很多是开源的。硬件和部署我觉得是最重要的,因为这就是决定你的distribution。对就像XGPT一样如果一开始没有电脑没有手机不管你这模型有多纸,大家都不知道,没人能用所以如果我们能把部署deployment做好,假如说我们有成千上万台,如果有一天我们发现有一个很好的开源模型,或者别人的模型跟我们差不多好,或者比我们更贵,或者我们可以用他们的模型加我们的模型我觉得就很容易去distribute对吧但如果没有我如果只做模型如果有另外一家的模型比我们当下的做好我觉得就比较被动的一个如果你只做模型,你要依靠人家的Integrator,帮你去传达你的智能。但如果你的 intelligence 不是最好的那为什么人家要设计你的 intelligence 而不是别人的 intelligence对然后这个论点也是基于像你之前说的机器人的大脑和他的这个形态还是很有关系的对吧因为像也有一些公司认为我就是做通用智能那你不管是什么distribution我都上能上去给你给你做但是可能你认为更加还是要跟这个形态相关对然后我觉得模型和形态模型本体一起做的话最终的效果我现在感觉还是会是最好之前来说一下整个硅谷的一些情况好最近感觉competition又起来了虽然大家会有一些不一样的路线但是我感觉最近机器人赛道真的是非常的热闹先说一下派这个公司好不好因为他也是最开始出了 [90:00] 聚焦在大脑层面的,它是完全没有自己做本体的我有听过很不看好他们的观点觉得他们可能有一天必须要被卖掉的这样的一个结论在我觉得我很好奇说你们怎么去看他们想要做Physical Intelligence Layer的这样的一个路线对,我觉得Pi的research都很强然后我个人看法是Physical Intelligence Layer这个东西还是没有proven据我所知还没有一个successful example这些东西不仅仅是做demo就是真正能落地做得很好因为我觉得现在的话把模型做得很好的话post training的工作还是需要很多的所以如果没有一个公司就预训练后训练这些都在一起做觉得很难真正达到商业价值那如果你做intelligence leader然后你的下游客户无法达到商业价值或者真正能获得ROI那你也没有办法获得ROI对吧因为他们不可能付费给你然后他们没有办法收他们下游客户的费所以这是为什么我觉得也跟无人车当初有一些相似的点就是说如果你只做里面的一部分那你就是被上被下都会有最后压榨的感觉但如果你做整套系统的话我觉得 it can be better就是说Waymo为什么有可能跑不过特斯拉就是因为他没有自己的车成本就会非常的贵下不来Waymo可能还算有一些自己的deployment但是别的公司可能有一些相对来说更以卖服务或者卖卫生的那可能就对我大概能理解这些的意思对Pi现在的路线还是非常明确的是VLA那边的这个我不是很了解对于他们内部的话我不是很清楚你觉得就是VLA跟WAM会是两个不同的truck还是说他们其实会合并在一起我觉得应该会合并在一起因为现在就是System 1,2,0每一层会有不同的架构我觉得WAM和VLA最本质的区别就是你要不要predict the future我觉得我最后大家都会predict the future就像language model,next token prediction就是你预测语言的未来我觉得做physical agent的话那你也是要预测不仅仅是robot接下来做什么这个世界around you它怎么evolve based on你robot的action但我觉得派在开语言整个的手续里面还是蛮重要的我觉得他们对整个行业其实有很大的贡献他们就是一做很多开源的模型但是感觉这也就是一波一波这么发展起来的因为最近WAM相对可能走进主流了现在有很多很多公司在开源一些模型但我觉得从开源模型到能做商业部署这个gap是很大然后我觉得现在可能没有很多的team真正figure out我觉得反正也很有意思因为想到你前面讲你原来做VIP的一些视频的东西视频的一些东西就有一点点乔布斯说你只能回头看的时候才能connect the dots这种感觉就是现在反而这个视频变成了一种更加主流的这个模型框架的一个选择对我觉得就是算当初也有很多人说我们要从视频里学习但当初就没有首先没有很好的视频数据没有很好的模型有啥都没有所以我们只有idea所以当初的robotics做这些paper的话能做一些很简单的任务但我觉得最后都没有scale up起来所以我觉得现在就很多一些已经很久的idea都被rediscover然后就做了much better我还想补充刚才世界模型的一个问题就是如果我们用的Crimic-centric的视频数据那比如说世界模型可以直接生成这样的数据这些数据是足够好的吗是够用的吗我觉得世界模型是可以生成这些数据但这些数据足够不足够好我觉得是个open question其实有很多paper他们就是做从world model里generated数据用generated出来的数据做训练然后是能把policy把这个鲁棒性上升一些但我个人的看法就是就是很多paper他们会说我们把一个模型从40%拉到60%或者拉到70%其实在我看来就是从40到70这个过程是用很容易的方法都能达到的不一定要用它是不一定的所以我更在乎的是假如说我们到了95%到99%然后就很传统的方法就很难再给你很多高质量的数字在真的那种情况下你能不能有效的利用一些更就是synthetic data去帮助你这是为什么我觉得很多时候从学术界的一些IDR和paper其实不是很容易能transfer到真正这种practical application上说到世界模型刚刚发生了一件新闻就是李菲菲老师的NeoLab被AMD收购了今天下午的事情在过来之前刚看到了但我以为世界模型他们会落地场景主要在机器人公司因为机器人公司会买很多这种数据但是目前看起来revenue还是没有办法足够支撑 [95:00] 对我觉得做世界模型找一use case 我觉得是比较难的东西做video generation 我觉得就已经很难了很卷了对,World Model,我觉得那更unproven了所以我觉得会有很多公司可能会陆续被收购的这种感觉也太受算力了所以这个的infra要求也很高我们来说一下Scale的公司他们最近也是发了S1嘛理念就是一个brain要学会adaptation然后他们说any task any robotone brain的这种omnibody intelligence这个概念你同意吗?我觉得这是值得去探索的一个问题我觉得可能会比较困难吧我个人看法是我觉得最有价值的大脑就是人的大脑我们的大脑我们只控制我们自己的body但这个已经足够好了如果我们能达到人的大脑这种capability那我觉得已经某种程度损physical AGI所以我觉得我更care的是如何能在一个身体上用一个大脑就能做任何人物我觉得这个可能是更能行的一个路径吧我觉得从纯学术角度来说如何能用一个模型去控制很多不同的robot我觉得也有很多paper在看对但我觉得目前的话还没有一个breakthrough就是真正你在别的robat上学在一个新的罗络上能做得很好这样的说一下Figure,这公司争议很大他们最近好像是发了新的demo反正我觉得他们每次发demo然后就会有机器人行业里面的人然后会喷一喷他们 对我觉得他们其实硬件做的挺好的我觉得很精致然后他们的运控视频拍的都很丝滑我觉得这些是我们公司也还在学习的一些点因为我觉得Figure也没有做很多public demo所以你很难知道这个模型到底好不好所以大部分公司都是这样的,所以你很难亲眼肉眼看见他们的模型之内来做事。所以很难做一些比较objective的评估。行业里面有对他们的批评啊就是说他们的demo放的有点太aggressive了demo放出来说你有10次可能成功了那么两三次,然后你把成功拼在一起,好像给大众的一种印象说我的robot非常的fancy,它可以做好多好多事情,它可以走进千家万户,可以帮我叠被子弄枕头,浇花,还有很多的demo都可以出来。在机器人行业,我知道有些公司是蛮鄙视人的行为,你们觉得这种demo是对行业来说有害的?还是也能理解这种行为?我觉得都有吧,我觉得hype带动整个行业,对吧?就像伊朗,对吧?但我觉得不好的地方就是,可能人们对我们机器人现在技术的到达什么点,可能有些miss expectation 或者大家觉得通路机器应该到了但说实话现在还没有到对对所以可能是这方面会有一些 negative impact你觉得反而对那种很扎实的像你们踏踏实实做 deployment 的公司来说会对你们带来一些 noise 吗?我相信很多的投资人肯定会问你们说啊他们可以做这些东西为了你们不行?我们现在的robotics 我觉得 noise 很多所以我觉得这事我觉得做公司还需要一个 mission所以就不能就是别人这个公司发个demo那个公司发个demo然后就非常被sway,对吧?我觉得是要找本质上就必须要做的东西,把自己做好。我看你们的联创U-Org,它有一个bubble公式,我觉得还挺有意思的。它说,它的bubble等于当前capability和公众 expectation之间的gap,诚意需要补上这个gap的时间我觉得这做的挺好的,做的挺对的对,你也认为是这样的对,我挺认同的我觉得York发这些观念的时候,其实大部分都对在业界很多人都很赞同这些你觉得现在整个机器人行业的bubble肯定是有bubble的但是这个bubble现在大吗?我个人感觉还好吧因为我觉得就算有一些hype但我觉得也是有真有很多的progress的,对吧?可能在某些场景里落地了就像我们做的别的公司也肯定做了一些所以接下来这个 progress 肯定会越来越快对,所以不好说现在是不是一个,就是传Bubble,就是没有东西,然后就是hike得很高的那种Bubble。你说这个Progress的事,就是真的我们会看到一些工厂里面的use case?开始运转起来希望是这样的那像你说没有达到大家的这个 expectation那这当中的gap具体到底是在 但我知道我们刚刚也聊了很多这个这些gap 如果一定要你比如说top3的最大的原因有哪些原因是还没有达到?我觉得最大的原因还是数据和验警如果硬件没有很多台那就很难scale没有足够的数据 模型intelligence不在 [100:00] 我觉得做Post Training的话就会更吃力吧所以我觉得这两者永远都是平静我觉得模型什么架构这些我觉得其实我觉得会每时每刻就会经常变对吧过几个月这个火过几个月那个火我觉得这些都不是最本质的东西那如果这样说硬件足够重要并且它的产量足够重要的话在美国硅谷市场的话那特斯拉会是一个非常强劲的领先者吗我觉得有可能吧但我觉得大厂的话我觉得robotics这种事其实也比较难做因为robotics就是你必须要所有人一起合作大厂不管是哪个厂他们都会有team的这种概念就是team跟team所以我觉得很多时候信息communication就不足够多有时候尤其是做硬件的话有一些决定的话就很难改你做了你就必须首先把这几百台都生产出来然后再做下一代那这样的话,我觉得DI数据就会比较慢我觉得在硅谷啊,就是现在大厂大家有一个公识就是说,Intelligence 它之后如果真的要发挥到它最大的效益的话一定是要勾菲子口的所以我们看到OpenAI其实也是在非常快速的招非常多的top talents去组建他们的机器人团队而且他们跑得也非常的快对你会担心这样的竞争吗我说实话不是特别的担心因为我觉得我们做startup其实最大的mode就是我们这整个flywheel就我们会做部署我们要大量在部署的数据我们也对数据质量的要求我觉得我们的见解会比只做大脑但是没有达到百分百成功率压力的公司要高很多其次我们还有硬件我们把整个硬件模型都做成一个平台如果别的公司有更好的模型或者他们有个模型可以帮助我们整个stack每个部分或者某一些部分我们都是非常欢迎的去用对这也是我觉得从我角度来说我们公司架构上来说别的公司把模型做好都是是对我们有帮助的东西而不是跟我们直接竞争不过我觉得我们刚刚两个问题都是讲startup和更大的公司的这些区别了我觉得我在两种环境都工作过我是对你刚刚说的teams和communication是很有感触的但是我也好奇在公司skill的路上startup总有一天也会变成更大的公司对你们是怎么看待这个问题对觉得是个好问题我觉得在早期的话就如果能想办法就没有这么多barrier我觉得是最好的然后我觉得公司scale up最重要的就是公司文化能不能继续拥有对所以我觉得我们现在的规模还是足够crate manage对就刚才我们说的特斯拉我也比较好奇自动驾驶给特斯拉带来的一些经验比如说他们的video啊fleet啊然后他们的simulation policy learning啊这些东西其实会对他们的optimist team带来一些正向的帮助吗自动驾驶当中的很多lesson learned它是能够transfer到机器人公司里面去的吗我觉得很多是可以transfer就比如说data infrastructure这是肯定我觉得是能直接transfer的但我觉得有一些其他的lesson我觉得因为我觉得自动驾驶这个数据数量不是问题所以我觉得有很多机器人最本质的problem就是有没有足够多的数据所以我觉得这个是个很不同的一点我觉得其他一些模型上的一些概念我觉得都是有一部分是可以transfer的模型上的什么概念是可以transfer的?比如说在做自驾的时候就是你这个模型要推理车接下来的轨迹比如说在一秒两秒钟要做什么这其实在坐无人车里是个非常standard practice这个已经做了很多年了但是robotics直到三年前左右人们才就有像Aloha这种paper说我们必须不仅仅要预测下一步的action而是把整个一秒或者两秒的action全都预测出来对吧所以我觉得像这种idea是transfer的很好的是的 我也在想啊 我觉得自动驾驶很有意思因为他本来人就是在开这个车嘛所以他数据采集可能比较自然但是对于如果大家要做这个通用机器人来说在数据这方面自己采Ego-centric data就是主要的路径吗Ego是目前最scalable的数据唯一一个能更scalable的我想就是simulation是 对 因为simulation就是因为不管你是Eagle腰操还是比如说Wumi这种家转都是Operation很大的问题,人力的问题,对吧?然后像Wumi,Eagle的话,你需要很多的设备,这些设备也要维修所以其实是很繁琐的一件事,但如果是Simulation的话,所有东西就是一个可行的 [105:00] should problem. You can generate a lot of data, you can generate a lot of data. uh the next frontier one of the next frontiers that is not a question of the next frontier is - Yeah, so I think This is open question, I need to do a lot of work We just talked about the entire grid. We saw a lot of top tier startups. There are such a lot of startups. Like you, like Sunday Robotics, they actually do very well. At the same time, OpenAI, Meta, Nvidia, I believe Androbic maybe one day will be able to do robotics. Because physical AI is a big thing. It's a big thing. You think the future will be what kind of thing? winner takes all的, or the double-suit of the two types of things. Why is startup can't out-beat, or how can we get out of the two types? I think there are a lot of winners. I think in physical world, switching costs, is very high. That's just to look at which one can distribute more than 202. I think this advantage will be compounded. But I think from model layer, switching costs are a lot. That's very low, right? For example, if you have a better version of the product, I would use it. But I think the value of the product is the service to the customer. The service is the value of the product. So I think if I use the product well, Was it a... If there's many people, I think there are many different companies in different industries. If model can switch, Jason mentioned that the model is a bit better. For example, OpenEye or Anthropic, they use the machine with your own machine. In the situation, switching costs are not a good. Can you switch to the model? I think if you switch to the hardware, switch to the cost. If the best way to the original version of the original version is not I think Actually, The company's influence is not very big, because they can change the mode. Like I said, I'm a Ushu. They can do many things. Many things like this, they can train their own. But if you have a platform, I think Your life will be higher Yeah, but look at distribution and the machine set up, actually, at least at the moment, it's a bit more密. Yeah, I think it's very important. You can choose to take this into your hands. Yeah, we think that this should be a part of the machine. I think this is a very interesting thing. I think this is a very interesting thing. Because now, large language model is open-air and anthropic, or just so many companies. And there are many agent applications of the company that says, "Hey, this is not a big thing.". Thank you. Now, in this case, because the switching cost is higher, so it may not be that. So I think distribution is the most important thing. It's a thing that is being忽略. Muse from Meta, right? Actually, Meta in AI has been a long time, for a year. And then it has been distributed. So Muse is a very hot. So even though it's a model, but it has been distributed. It can be a chance to lose. Doesn't matter. - Apple is also. - Yes. So what distribution is just for everyone's use of the environment. It's possible that the user's payment and the customer's payment and the business model will be more close. The phone is distribution. If you're doing any of the iPhone, you need to pay for Apple. So they don't want to do AI. I think in the硅谷, the most important thing is to choose. For example, Tesla, Figur, and One X, they are very clear to do home robots. I understand that they think home robots are more fancy, and more expensive. It's a bigger market market, because it has over the number of people. But the other one, you know, they are very... He said he is clearly saying that he is going to be a factory in the factory, and to be a lot more efficient. Do you think this kind of division will always be I think that first, when I first started to build a factory, to build a 2B, I think that you can build a factory from a home. You have to consider it safe. You don't need to put this into a complete product. You don't need to worry about the problem of my own, or my children. [110:00] 所以一开始就让你这个部署你就可以focus你就很专注把这个模型和这个必要的闭环做好要做家用的话就一开始做设计你就要做成一个产品然后有很多东西其实跟robotics本身没有太大的关系或者就是跟巨生智能没有太大关系就是你做一个robotics产品就是说做一个扫地机器人跟做一个家用的一些consideration都要做所以我觉得一开始会让你进家更难所以我往往觉得就是如果能把2B做好说不定接下来做2C可能还会更快一点,因为我觉得一开始的话很多问题,比如说模型要泛化,模型做东西要足够快,我觉得都是大同小异的,但我觉得2B的话就可以让你的机器人进这个设计程度更快。我觉得这个其实对做迭代挺重要的,因为就像Machine Learning一样,有个Train Set和Test Set,做Home Robot你就永远都不够,看到不了 Tesla因为就算你去租几个 AirBnB 或者你在自己家里就不是这根比如说啊一个美国家前去 Best Buy 买一个 Home Robot 这个家肯定长得很不一样做 Home Robot 这个 Tesla 比较难但我觉得做 To be 的话 Tesla you know the Tesla 但是 Dynamo有一天可能也会做Home Robot?我觉得这个不好说,目前没有做Home Robot的大算,因为我觉得2B的opportunity still too big。对你来说,做机器的意义在哪里?做机器人的意义你是说对社会的意义还是对我个人的?对你个人的,也对社会的?我个人的话,我一直就很喜欢做research,做研究,然后我觉得这是一个很好,把我之前passion 的东西真正带到全世界的这种work 所以世界的话那我就觉得增加肌肉的食物,增加肌肉的食物多的有free time去做他们想做的事然后我觉得现在人工也挺缺的在很多国家像美国日本都是很全人工呀所以如果机器人能真正把整个workflow都做好我觉得商业价值会很大的Infinite abundance这个概念比较大动力是的是的OKOK对确实是那我觉得在想如果要讲未来的话不管是Dynast 3还是比如说别的一些model我可能自己有一个比较好奇的一个点就是说Tokenized 这个因为现在很本来从Transformer大家都是把很多东西去Tokenize嘛那这样子的一个Approach对于机器人来说真的work嘛 机器人动作不像词语它是可以这个就是它是有单个的它是可以不连贯的但机器人很多时候是continuous不是discrete这样的一个token就好奇可能从科研角度你对未来有什么展望包括也可以聊一聊之后的Dynan3的一些我觉得tokenization因为tokenization就是把一个continuous东西做discrete那你肯定会丢失一些信息所以如果就是很精准度要求很高的任务可能会做的没有就直接predict continuous 要好Dino 3 我觉得现在很难说我们会聚起发布什么但我觉得现在我觉得是 most exciting time就是做机器人最激动人线的时刻,所以就有很多东西可以做我们也在不同的方向有一些探索,对你希望Denna3能够证明什么scanning law 真的一千万小时那么长我觉得scanning law肯定是一个非常兴趣的东西但我们公司一直的看法就是模型技术只是整个stack的一部分NNS3或者我们可能会在乎很多把我们的半人型,我们刚发布的机器人和模型真正deploy到很多应用场景去收RI这样的技术上我觉得我也提到了比如说人的数据啊Post training RL simulation 我觉得这些还有就是Breakster的机会所以Dynal觉得最开始成立的时候它的RL的应急还挺强的但是慢慢的我觉得它已经pivot了对,我觉得RL最重要的问题就是做决定要不要做RL这件事是一个非常重要的决定因为我觉得从历史这个RL发展的角度来看你会发现RL最work的设定都是就是我一开始说必须要有一个模拟器然后这个奖励函数必须非常明确对,所以我觉得 Robotics 说实话没有这些 property所以一开始就用 RL 去做了,问题都没有看清楚,就直接用一个 solution但是我们是更追求从一个问题出发去想 solution 而不是我有一个 solution 不管啥问题我都尝试去要跑这样的这个还挺有意思的,因为 Daina 这个名字其实是一个很 RL 的名字对,因为我在一年半之前采访你们的时候,其实并不知道 Daina 跟 RL 的关系,然后采访完 [115:00] 点完之后有一天我正在做强化学习的一个稿子,然后看到是强化学习之父Richard Shatton,他写了一个Dyna,其实是他当时的一个框架的一个paper的名字,我说哦,原来这个是Dyna Robotics名字的来源,那是motivation之一,对,然后他那边 Richard 那篇 paper 其实不是只讲RL他那是讲一个 world model 去做RL所以其实跟我们现在技术路线也有一些相似这个大词又连起来了对我觉得RN要做robotics没有world model或者没有simulator我就觉得是很难做的事,所以从技术路线角度来说,你也可以看到我们首先把这个基础based model,world model先做好,然后再考虑要不要RL这种东西。对,我是很喜欢Jayson前面聊到,就是说,要先有问题再找解决方案,就可能你们现在的问题最核心的还是说怎么样帮客户创造更多的价值,或者我觉得预训链,或者Data还是最大的问题,而不是要不要做RL。先把Data的预行链的基础打起来,让模型的泛化能力先提上来。好的,以上就是我所有问题了,有没有什么问题,我没有cover到的,你还想补充的?我觉得都cover到了,我觉得我们聊了很多很多不同的问题,我觉得挺好的。谢谢Jason。不用谢,非常感谢你来做这个Podcast。好 期待期待 期待所以这是你们的新办公室对 这是我们的新的办公室然后这一层都是我们很多机器人和很多做研发的主板办公室我们就在这里跑很多Model Eval今天这个就是一个conveyor belt这种任务就是把不同的机器比如说手套啊这边都处理在不同的箱子里像这个任务就在餐厅里需要用不同的铲子把这些食物都放在这个餐盘里然后把这个箱子也关上它最后就会把这个关上我特别喜欢这个pressing action这里对 做得很精细这样然后往这边我们就有一些更工艳一点的任务在一个撤工厂的一些任务就要做一些精准度要求很高的这种组装像这里就是要把这些不同的东西一个一个放上去我觉得这其实是我们现在做Eval其中最难的任务之一像这个就是另外一种精准的任务这是一个冰箱然后冰箱后面其实有很多要这种把一些tube都要插进去这种任务也是惊人度很高然后这个模型他就会尝试好几次然后像现在他就成功把这个已经给insert进去了这个demo我上次见过是吗其实我们所有的demo都是从我们自己Dynet2一个base model里做一些post training去训练出来这个其实就是鲁邦性其实特别高我觉得它切的还比较均匀这个是减药品?对 这是减药品把这些pill一个一个拿起来其实对甲爪的精准度要就挺高它很滑对 比较滑或者就是你用力太大就会把这个药挤出去这里就是更多researcher、engineer做研发也是做一些更多的素材3D打印机的room现在什么东西是3D打印的?就是很多那种我们的甲爪或者就是一些不同的parts大家都在纽约的工作大家好忙你们现在一共有多少人了在美国这边应该有70到80人了我们office也是Pet Friendly这是上面吗我们家也有一只好可爱讲的有点像你们的新机器人能放机器人的地方我们都放了机器人我记得Sunday Robotics的Tony他就说现在机器人公司都是办公室越办越大对我觉得很make sense也需要更多的 space我们的厨房里也做一些我们今天有一个demo就是用这个robot可以在冰箱里拿不同的饮料做这个机器人也有一点就是想让这个机器人在我们的办公室里帮我们做一些事很好的feedback cycle in the office好 我选了这个sparkling water对 所以选了sparkling water这个robot就会开始它就有视觉的识别能力 也有语言的understanding开冰箱其实也比较难是 对他这种任务会不会灵巧手会更好一点?对,开冰箱就是很多这些东西都是给原用的所以我觉得用灵巧手的话其实会更容易一点哦,thank you!挺好玩的,对谢谢大家谢谢对 [120:00] 把这些经验教训分享给外界那我们也很期待DANA 2在接下来的几个月部署中会学到什么样的Bitter Speed Lesson以及DANA 3会是什么样子的接下来在模型和数据这两个硅谷最发力的方向会有什么样的新进展我们也会为大家持续的关注好了那感谢大家看到这里你们的点赞留言和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期再见了Bye请不吝点赞 订阅 转发 打赏支持明镜与点点栏目