科技巨头争相开源机器人大脑竞夺行业标准

科技巨头争相开源机器人大脑竞夺行业标准 开源模型凭借数据与工具链组合拳，在短短一两年的窗口期内与闭源巨头同步起跑，通过生态锁定争夺具身智能的定义权。 视频系统梳理了当前机器人开源模型的四大派系：以小博大的“学院派”（OpenVLA、Octo）、构建软硬件生态闭环的“巨头派”（英伟达 Groot、谷歌 Gemini）、快速崛起的“中国力量”（小米、蚂蚁、自变量等）以及追求极致连续控制的“技术派”（Physical Intelligence 的 π₀）。分析指出，开源阵营正通过“模型+数据（OpenX）+工具（LeRobot、Genesis）”的组合拳，与特斯拉等闭源巨头抗衡。尽管开源存在数据质量与物理安全等挑战，但行业专家预测具身智能将在 1 到 2 年内迎来其“GPT-3 时刻”。 当前机器人 VLA 模型已形成学院派（OpenVLA/Octo）、巨头生态派（英伟达/谷歌）、中国力量与技术极致派（π₀）四大阵营；其中 7B 参数的 OpenVLA 凭借双视觉编码器设计，操作成功率超越了 55B 的谷歌 RT-2-X。 (0:00) 前谷歌顶尖科学家团队创立的 Physical Intelligence 推出 π₀ 模型，放弃离散化 Token 方案并采用 Flow Matching 实现 50 Hz 高频连续轨迹控制，显著提升了叠衣与柔性抓取等精细任务表现。 (10:00) 商业开源背后存在不同博弈策略：π₀ 开放权重与代码以确立行业标准并驱动生态，但保留专有真机数据与训练管线；英伟达 Groot 则深度绑定自身 H100 与 Omniverse 等软硬件全家桶。 (15:00) 面对闭源巨头，开源社区打出“模型+数据+工具”组合拳，依托覆盖 22 种机器人、超 100 万条轨迹的 OpenX Embodiment 数据集，以及 LeRobot、Genesis 等开源工具降低开发与仿真门槛。 (20:00) 具身智能开闭源目前处于同步起跑的难得窗口期，业内预测行业将在 1 至 2 年内迎来“GPT-3 时刻”，但开源阵营仍面临算力成本高昂与物理世界安全挑战。 (30:00)

当前具身智能领域正经历开源与闭源的同步起跑，学院派、芯片巨头、技术初创与中国科技力量正通过开放模型、数据及仿真工具争夺机器人基础操作的行业事实标准。 四派格局与架构创新 (0:00) 具身智能领域的开源力量可划分为学院派、巨头生态派、中国力量及技术极致派四类。在学院派中，2024年6月发布的OpenVLA采用70亿（7B）参数，在29项操作任务中的成功率比谷歌550亿（55B）参数的闭源模型RT-2-X高出16.5%。其架构结合了DINOv2（感知空间关系）、SigLIP（语义理解）两个视觉编码器与LLaMA 2语言基座，证明了在具身场景中合理的跨模态协同可超越单一的暴力堆叠参数。此外，Octo聚焦数千万参数的扩散策略，追求零样本跨平台迁移；小米、蚂蚁集团LinkBot VLA以及清华AIR等中国机构也在低成本部署与多形态真机适配上推进开源落地。 高频连续控制与人才流转 (10:00) 以Physical Intelligence推出的数十亿参数级模型π0为代表，技术极致派放弃了离散Token化方案，改用Flow Matching（流匹配）技术直接输出连续关节轨迹。据该论文作者柯丽一鸣介绍，π0具备约50 Hz的控制频率，能单次规划约1秒（50步）的连续动作，使机器人能应对折纸、叠衣服等高精度柔性任务，后续推出的π0.5则结合强化学习提升家庭场景泛化能力。值得注意的是，该团队联合创始人包括Chelsea Finn、Sergey Levine，以及前Google Brain研究员Karol Hausman和Brian Ichter等，主导过RT-1、RT-2等闭源工作的核心学者集体转向推动开源项目OpenPi。 开源定义分化与商业策略 (15:00) 各方开放策略背后存在不同的商业诉求，导致了开源定义的实际分化。估值56亿美元的Physical Intelligence开放了π0的推理代码和权重以定义行业标准、吸纳开发者与反哺飞轮，但保留了训练流程与数万小时专有真机数据，属于以开源引流、凭闭源数据构建壁垒的模式。相较之下，英伟达的Groot N1虽然对外开放，但其22亿参数的双系统架构（VLM慢思考加Diffusion快思考）与Omniverse、Isaac Sim、Cosmos及Newton物理引擎高度绑定，被部分从业者评价为“开放而非开源”的硬件平台锁定。真正的无约束开源主要依靠OpenVLA等学院派实现跨通用GPU的运行。 数据公共池与仿真工具基建 (20:00) 面对特斯拉等全闭环厂商的壁垒，开源社区通过“模型、数据、工具”打出组合拳。在数据层，20余个顶尖实验室联手构建的OpenX Embodiment数据集汇集了22种机器人本体、100万条动作轨迹与527种技能，有效统一了跨硬件数据标准，微调后使RT-1-X在小数据域表现提升50%、RT-2-X空间语义理解提升至3倍。在工具层，Hugging Face主导的LeRobot定义了统一格式并推行100美元开源机械臂SO-100；CMU联合多机构研发的Genesis物理仿真平台则宣称在单张RTX 4090上达到真实世界43万倍的模拟速度，大幅降低仿真训练成本。 具身智能领域的开闭源竞赛窗口期被认为仅有1至2年，自变量机器人CTO王昊预测行业将在1至2年内迎来“GPT-3时刻”。然而，开源阵营仍面临算力成本高昂（如OpenVLA消耗64张A100训练15天）、公共数据标注质量参差不齐、工程化落地难以及物理安全与行为失控等多重挑战。

[15:00] 学术开源追求的是知识共享和科学可复现性；商业开源追求的是生态控制和市场标准；而战略开放追求的是平台锁定和硬件销售。 [30:00] Jan Liphardt: 你有两个孩子，我不想看到未来某个机器人走进来对他们说：‘你好，我是你的新人形机器人，我运行的代码是绝对保密的，你无权查看。’开源关乎安全，也关乎信任。我们应该拥有了解和掌控这些物理世界智能的权利。

[0:00] 为什么机器人行业有这么多开源模型这是做慈善还是钱太多烧的谎为什么机器人开源模型能够打败谷歌这背后是谁再下怎么样的一盘大棋呢2月前后小米 蚂蚁 阿丽达摩院与树纷纷发布机器人开源模型再往前 英伟达在CES上发布了Groot N1.6把自家号称世界首个开放人型机器人基础模型又再度升级这些个消费电子公司 互联网巨头 还有芯片帝国最近都一股脑的把机器人的大脑拿出来免费给全世界用机器人看源模型的生态当中有什么样的心机和万亿美元压住的博弈呢Hello大家好 欢迎来到硅谷101 我是陈倩那这个视频我们就来继续聊聊机器人系列之前我们机器人避原模型那期分析了如今聚神智能通用的VLA模型以及他们如何用硬件和数据优势构筑互成核。而这个视频我们与全球顶尖居身智能实验室的研究人员深聊之后,来扒一把开源算法路线中的核心玩家和关键的技术领军人物们。同时我们来试图回答这三个问题:第一,这些开源模型分别走了什么样的技术路线?为什么能够挑战巨头?第二,开源的动机是什么?什么是真开源?什么是假开源?是什么样子的面对特斯拉这样的竞争对手开议员社区拿什么来打那么接下来的视频我们就来试图回答这些问题在开源模型派别中,VLA模型依然是主流简单来说就是让机器人看到周围环境,听懂你的指令,然后做出正确的动作那目前啊,开源VLA模型大致可以分为四股力量第一是学院派,参数不大但能以小博大,代表模型是OpenVLA和Octo第二呢是巨头生态派,不只做模型,还布局整套工具链伟达的Groot NE和谷歌的Gemini Robotics第三是创业公司与中国力量包括自变量OpenMind 小米 蚂蚁等等第四是技术极致派追求极度精度和泛化能力代表模型是Physical Intelligence的Pi Zero这几个派别都非常的重要首先我们来说说学院派OpenVLA的一站成名发生在2024年的6月这个只有70亿参数的开源模型在29项机器人操作任务中全面击败了顶流谷歌DeepMind的RT2XRT2X有550亿的参数是OpenVLA的8倍大背后占着整个谷歌的算力和数据资源但结果是OpenVLA的成功率比RT2X高出16.5%那OpenVLA凭什么影响博大呢?凭的是一个很聪明的架构设计两个视觉编码器加大一元模型对于谷歌RT2X因为它只用了一个视觉编码器你可以想象成一个超聪明但什么都自己做的人效率更低,而OpenVLA用了两个视觉编码器相当于有了两双眼睛,第一双眼睛叫做Dyno V2,负责理解空间关系,第二双眼睛叫做Cyclid,专门理解语意和常识,然后再由当时的开源代元模型Lama 2充当大脑,把空间信息和语意信息融合起来,处理指令和推理。突然让我想到一句话,三个臭皮匠顶个诸葛梁,大家大概可以这么理解。这个架构证明了,在巨生智能领域单程的大并不代表聪明。OpenVLA还有一个数据级的优势,叫做OpenX Embodiment。这也是开源生态的一个非常厉害的优势,我们这里先留一个悬念一会儿详细来讲。另外OpenVLA还在动作表示方式和训练策略上是做了优化。加训练策略的一个综合结果而且OpenVLA在胜出之后是彻底开源代码模型权重训练脚本全部公开那这样的开放姿态让整个行业都非常兴奋开始各种后续的优化推理加速和微调那么这就是一个非常典型的开源故事能够用创新的方式去以小博大然后撬动整个技术领域的后续工作我们再来说说另外一个比较典型的开源路线Octo,如果说OpenVLA代表规模化开源,那么Octo就是普及型开源。这是啥意思呢?我们知道机器人算法的泛化性是个很大的挑战,之前的标准做法是需要针对特定的机器人用特定的数据集来训练策略。 [5:00] 但你换一个机器人换一个环境就要全部的去重新来训练而一些看源社区的大牛蒙就希望去实现通用机器人模型也就是说通过比如说ZeroShot这样的技术将模型扩散到广泛的机器人和场景当中去这样的路径被称为是通用机器人策略而Octo就是其中的代表Octo只有数千万参数比OpenVLA的规模更小它是一个基于Transformer的扩散策略模型支持多种机器人平台和传感器配置并能够通过微调快速适应新的观察和动作空间这使得Octo可以广泛应用于不同的机器人学习场景Octo的定位不是最强而是人人可用希望给开源社区去提供一个更新量可以快速适配的通用策略基础模型接下来我们再来说一下开源生态的巨头们特别是因为打和谷歌2025年3月的GTC大会上黄仁勋亲自站台发布了Groot N1号称世界首个开放人型机器人基础模型到2026年1月的CES上已经迭代到了N1.6版本Groot N1采用双系统架构,一个基于视觉语言模型的System 2负责慢思考,理解环境,解读指令,做出规划,一个基于扩散Transformer的System 1负责快思考,以高频率把规划转化为精确的关节动作。两个系统端到端联合训练,紧密偶合,22亿的参数,模型权重和代码都公开了,不少头部人型机器人公司都获得了早期使用权,而且英伟达不止给模型还给了整套生态,用Omniverse做数字孪生,用Isaac Sim生成合成训练数据,用Cosmos生成视频数据,用Newton物理引擎做仿真,整个一条龙斧屋。那谷歌在机器人通用策略上也在持续的布局,早期的RT1开源了代码和数据,但后续更强大的RT2以及之后的RT系列就变成避原模型了,并没有对外开放。DeepMind CEO Demis Hassibas把这个愿景称为是机器人界的安卓做通用的机器人操作系统让Gemini成为各种机器人的大脑在2026年的CES上,波士顿动力和谷歌DeepMind宣布了战略合作,将Gemini Robotics模型整合到Atlas的人形机器人中,联合研究即将在两家公司的实验室展开。谷歌从开源到B源再到想要打造机器人界的安卓,这个赛道转换有点快,野心有点大,但是它绝对是机器人行业的最重要玩家,我们也拭目以待它的下一步动态。讲解中国在开源聚生智能领域的参与正在加速而且态势正在从单纯的跟跑向参与定义规则转变小米在2月12号刚发布的小米Robotics Zero 47亿的参数用MOT混合架构把大脑和小脑分开改善了VLA模型普遍存在的推理延迟问题模型开源在消费级GPU上就能跑蚂蚁集团的LinkBot VLA走了另一条路强调跨形态泛化这个模型在9种不同的双臂机器人上预训练了2万多小时的真机数据目标是做到一个大脑控制所有类型的机器人有点像我们之前提到的通用机器人策略路线清华Air和上海AI实验室联合推出的XVLA是刷新了五大仿真基准,代码数据权重全部公开,可以说是学术界最彻底的开源范本之一了。星海图开源了真机数据集,以及旗下最新的G0 Plus VLA模型。支援机器人的GoOne已经部署到了真机上执行任务,心动机缘的LR42也在探索自己的路线。之前与硅谷101播客的采访中就谈到了开语言的初衷。采访了由斯坦福教授杨·Lippard创立的OpenMind他在接受我们采访的时候就说希望为不同厂商的人型机器人构建一个通用的软件层OpenMind推出的OM1平台强调开源与跨硬件兼容希望打破当前机器人系统各自封闭的局面让不同设备可以共享能力与生态他们也从一开始就以开源为核心理念来打造 [10:00] 聚生智能平台代表了一种纯粹的开源路线最后一个派系我们来说一下目前开源界最受瞩目的模型Pi Zero它来自Physical Intelligence这家公司这是一家2024年才成立但是来头极大的公司那Pi0呢是Physical Intelligence推出的VLA模型属于数十亿参数级别Pi0代表的是另一条思路把连续控制做到极致在动作生成部分啊Pi0使用了Flow Matching也就是流匹配思路直接生成连续的关节轨迹这意味着模型输出的是一段平滑的控制信号Physical Intelligence的研究员也是Pi0 Pi0.5的论文作者在接手贵物101播客采访的时候就告诉我们PiZero控制频率大约是50赫兹也就是每秒更新约50次的动作这种高频连续控制带来了一个质的飞跃PiZero能做折纸而扑克牌这种需要极高精度的任务而这些都是OpenVLA和Octo都很难胜任的当时是有一些内部的讨论说要不要再多一点和短一点可能对我们来说更重要的是想让模型一口气输出一个长度大概在一秒左右的计划这个一秒刚好是50不50贺词所以是这么一个选择从设计理念上来看PyZero更强调控制质量和动作连续性相比把动作当作语言token预测它更接近传统控制系统的形式只不过控制信号由大模型生成这一选择带来的好处是在折叠医护、抓取柔性物体、操作细小零件等任务当中,动作更加的流畅,减少了抖动和持致。同时,PiZero的代码与权重通过OpenPi项目对白开放,使研究社区可以在它的基础上复现与扩展。这种做法在商业公司中并不常见,也成为开源阵营的重要力量。那更令人关注的是PiZero的迭代节奏。出版论文发布后不久,Physical Intelligence通过OpenPi项目公开了模型权重与代码。随后数月内团队陆续发布更新版本持续改进泛化能力和控制稳定性随后引入了强化学习机制以进一步优化策略表现同时强调在开放环境中的适应能力在机器人领域这种跨速迭代以持续公开更新并不呈现这也成为Pi0受到关注的重要原因之一把Pi0.5这个模型放到一个移动机器人把移动机器人再放到不同的没有见过的别人的家里去看一看他在这个从来没有见过的就不在数据集里面模型都不知道会怎么反应的地方会怎么做也是有一些发现觉得还是比较有希望的因为他做的这个事不说是完美的但是呢他好像展现出了有一点像人类一般的拿一个东西其实你到别人家你还是能拿不同阵营背后的主导核心人物啊也并非对立关系他们的关系紧密且错综复杂而更有意思的是啊曾经主导碧原模型的多位顶级科学家后来呢却成为了机器人开源社区的领导者他们又被称为机器人界的复仇者联盟我们接下来就来带大家梳理一下。他MIT本科毕业又在伯克利拿到了博士学位是从机器人学习教育级人物Peter Abil和Serge Levin2019年他加入斯坦福任教随后是一路拿奖到手软他同时还是Physical Intelligence的联合创始人横跨学术和商业两个世界可以说Chelsea Finn一人就串起了开源和必源阵营的半壁江山在Finn教授以外我们可以看到OpenVLA的作者名单上除了斯坦福和伯克利的一众研究人员MIT 等等的科学家那这说明啊OpenVLA呢并不只是一个闭门造车的实验室产物Octo和OpenVLA可以说是同门师兄弟同样来自伯克利由Charlesey Finn和Sergey Lavigne的团队联合出品这里再说一下Sergey Lavigne啊他是机器人强化学习领域公认的开创者之一伯克利教授Google Brain前研究科学家后来也成为了Physical Intelligence的联合创始人和首席科学家他跟Fain是博导和博士生的关系有趣的是啊RT2这些币源项目离开之后又推动了Octo与OpenVLA这些开源工作这个领域中的同一批人可以说是既造了币源的堡垒也打开了开源的大门Pi的创始团队堪称是机器人AI领域的复仇者联盟联合创始人们各个都是来自学术界或者科技公司的大佬其中Cary Hossman是谷歌Deepmind的机器人方向 [15:00] 资深研究科学家也是RT1, RT2和Seekhan等标志性机器人大模型工作的核心作者之一Brian Ichter同样来自于Google Brain深度参与了这些项目的研发是那一代机器人基础模型的重要推动者而Sorge Levin长期与Google Brain合作在机器人学习和强化学习领域处于世界前沿是这条技术路线的关键思想源头之一我们前面提到好几次的Chelsea Fing也是Pi的联合创始人之一在机器人泛化与自监督学习方向做出了重要贡献。在2024年年初,这几位参与谷歌机器人基础模型路线的核心成员陆续离开了谷歌,并且共同创办了Physical Intelligence简称Pi。此外,团队成员还包括了前Stripe高管间,知名投资人Lashi Groom,以及前Android工程副总裁Anton Esmail。说白了,就是币源阵营里面最懂技术的这么一帮人决定跳出来换一种方式去做事。但是PayZero的身份很纠结它来自一家刚成立融资就超过了10亿美元估值56亿美元的商业公司那么这样的一家公司为什么要把最核心的模型给开源呢那这就要说到我们的第二个核心问题就是真开源和假开源刚才我们看了几类模型的技术路线和能力但是如果你想一想英伟达和谷歌实际上是在提前布局标准还有控制生态这也能够理解但是PyZero是一家融资超过10亿美元的商业公司做的它花了大量人力无力训练出来的模型为什么要免费的送给全世界那我们就从PyZero的母公司Physical Intelligence开始拆解Physical Intelligence2024年才成立投资人包括了Jeff BezosOpenAI Sequoia CapitalKosla Ventures等等2024年11月又融了4亿美元2025年11月又融了6亿美元估值是达到了56亿美元一家这么有钱的公司为什么要把核心模型免费给放出来呢?答案是,这可能是Physical Intelligence最有心机的商业策略。第一,开源建立标准。当全世界的机器人开发者,无论是学术实验室还是创业公司,或者是工业客户如果都在PyZero的框架上去建立应用,那么Py就成了事实标准的定义者,别人的每一次使用都是在巩固PyZero的生态地位。第二,开源吸引人才。研究者想去能够发论文想去影响行业的地方那么Pi开源PiZero之后呢他们的OpenPi GitHub仓库呢就成了机器人领域最热的项目之一了这比任何招聘广告都有效第三就是开源加速数据飞轮社区使用您的模型发现问题做出改进贡献数据这些都回流给派让下一代模型更强我觉得能和业界社区分享一下这个模型并且最好能够帮助到大家很快地上手可能也是在变相的降低机器人模型研究的一个入门门槛吧其实在公司内部开源它也是一种过程嘛就是从决定要开源啦然后抽掉大家刚刚做完发表就去乘购这个代码然后做测试在和社区的一些人沟通说能不能跑得起来呀他不比一般工作简单但是真的能够看到模型在一些我们自己都没想到的机器人上面跑起来了然后别人拿它做很多不同的实验还是很开心的我觉得现在这种开源的氛围大家都很乐意去开源是很好的但要注意PyZero不是100%的开源模型权重和推理代码公开了但是完整的训练Pipeline和Py内部采集的数万小时专有数据没有公开这是一种精心设计的开源引流避源变现的策略也就是用开源模型吸引开发者进入你的生态用避源的数据和训练能力保持竞争优势也就是说社区可以用它的模型想要最好的版本还得来找他优优独播剧场——YoYo Television Series Exclusive那我们前面提到英伟达呢不止给了模型GrootN1还给了整套的生态包括了生成合成训练数据的工具还有物理引擎等等听上去非常的开放对吧但是呢有人说GrootN1是未开源这是为什么呢因为模型虽然开放了但是你看啊训练深度绑定英伟达的硬件生态用H100集群训练在Ominiverse平台上做仿真用Isaac Sim生成合成数据你发现了啥问题吗整个流程都在英伟达的生态里面对比纯粹的社区开源比如说OpenVLA和Octo没有任何硬件绑定没有生态 [20:00] 在任何的GPU上面都能跑这也许是开放和开源之间的根本区别但行业如此早期也许根本就没有什么选择是正确或者错误的学术开源追求的是知识共享和科学可复现性商业开源追求的是生态控制和市场标准而战略开放追求的是平台锁定和硬件销售AI的研究我觉得跟大模型之前有很大不一样过去我们可以看到研究其实是非常非常礼散的就是在真正形成一个社区之前可能研究的就是两三个人大家疯狂的做一个算法可能就是以诺文发表作为第一要务要占据这个技术的主动权但有了这个社区有了整个开源体系之后大家更在乎的是说我们怎么在一个工程化的体系下把这个工程技术打好怎么能够把这个社区做得更加繁重我是通过什么方式能够给社区做贡献它的荣誉反而来自于这样的事情这样就会促使你的技术不停地往前发展所以我觉得开源是一个非常非常好的事情既可以从开源率学习到新的东西也可以看到你开源东西可能会对别人有些帮助那前面我们说了开源模型有多厉害谁在做为什么做但是还有一个根本问题没有回答我们看啊特斯拉有自己的工厂自己的机器人自己的数据闭环那英美达呢有全世界最强的算力那谷歌呢是汇聚了最顶尖的人才开源社区这一帮大学教授还有创业团队凭什么能够去跟这些巨头扳手办呢答案是生态对于模型都不如碧云巨头,但是模型、数据、工具、三层生态叠加,形成的组合权力量就让故事不一样了。确实的关系 between software and hardware.它需要非常 closely coordinated,但根据我听到不同的工程公司一方面的事情,他们在想做什么,如果他们建造技术的技术,他们的困难使用东西,你建造技术的技术在你的科目可以很难 Without naming names, one thing I just heard about is a very well-known company那些人造了自己的宝物物品那是一大好 idea,他们的全体甚至是标签的因为没有人用它是很不可疑的也就是说 碧源看似安全 但是没有社区帮你去测试和改进 反而有可能变成一个人闷头造车而目前开源生态形成了以下几个优势 那第一就是数据级我们前面提到,OpenVLA横空出世就是用了OpenX Embodiment的数据集。OpenX Embodiment是开源阵营最宝贵的优势,一个跨平台、跨实验室的机器人数据公共资源。它的规模和组织方式在机器人领域前所未有超过20个研究机构共同贡献包括斯坦福、伯克利、MIT、CMU、Google DeepMind等顶级研究室22种不同的机器人本体从单臂机械臂到双臂协作从桌面操作到移动导航载到人型机器人超过100万条真实轨迹覆盖527种技能这是一个什么概念呢?特斯拉的数据可能更大Figure的数据也只有Figure01和O2的操作而OpenX Embodiment是几是种不同形态的机器人在厨房、实验室、仓库、办公室等等完全不同的场景里采集的数据那为什么数据的多样性比数据量更重要呢?用训练RTX模型的实验结果来说明RT1X在小数据域的表现比单独训练的模型高了50%RT2X甚至涌现出了原模型没有的空间推理能力是RT2的三倍UN和Near这种细微的语言差异这意味着它开始理解语言中的空间语意知道UN意味着物体之间要建立接触和支撑关系而Near只是空间临近除此之外呢它还能够执行训练时从未见过的技能组合这直接证明了只要数据够多样就算模型不是最大的性能也能够大幅度提高在Pi0的时候我们当时做了一个比较简单的统计说Pi0使用的数据有个研究院他们收的加在一起还要多即使派林发表的时候派还是一个很年轻的刚刚初创的企业我觉得其实这是说明了两件事吧第一个就是那个时间点采取的数据量确实是非常大而且之后其实 [25:00] 也一直有在网里面增加数据而数据的成本以及数据的量我觉得是在实时变化的在最早的时候可能谷歌研究院的大家在最开始探索的时候要花很大的功夫才收到这么一些数据和后来渐渐的他们有了经验或者更多的人都有经验以后在派收啊其他公司收啊就会越来越简单成本应该也是能够得到控制和降低的更值得一提的是数据格式的标准化贡献以前最头疼的问题就是每个实验室的数据格式都不一样伯克利是一种格式斯坦福是另外一种格式MIT又是第三种想用多个数据集齐训练先花几个月写转换代码而OpenX Embodiment定义了统一的数据格式涵盖视觉观察文体感知动作序列和语言注视所以在产业中有了一个统一的标准这个就很重要对一句数据的问题因为这是目前机器人领域最大的挑战我们的嘉宾之间的分歧很大那一派就认为大语言模型已经包含了足够的物理常识只需要少量机器人数据微调而另外一派认为物理世界的细节必须用真实的机器人数据来学习互联网视频是远远不够的这里面的技术和门道可以挖得满身不同的任务不同的精度要求需要不同的数据策略所以关于数据我们之后还会单独去做一期大家别忘了关注我们硅谷101的频道不要错过我们的更新了好那我们就继续聊聊开源生态的优势接下来我们来看一下工具层而光有数据还不够喊还需要工具把数据变成刻意训练的模型这就是Lerobot和Genesis的角色Lerobot是Hugging Face从特斯拉挖来的工程师Rami Kadeen带队打造的开源项目Kadeen之前在特斯拉参与过AutoPilot和Optimus人型机器人项目他带着这些经验来到Hugging Face目标是让训练机器人像训练语言模型一样简单Lerobo是做了三件关键的事儿第一是定义了Lerobo Data Set统一数据格式第二是一键集成了多种主流测量模型,你不需要去读论文改代码,直接调用就可以第三是打通了数据采集、模型训练到真实机器人部署的整个流程以前这三部可能需要三套不同的工具链The Robot的GitHub已经超过了2万星成为了开源机器人训练的标准之一但是Hugging Face的野心不止于软件2025年他们收购了法国的Poland Robotics推出了7万美元的Richie 2开源人型机器人已经在康奈尔和CMU等顶尖时间时使用还推出了250美元的Rich Mini桌面机器人更早之前他们和The Robot Studio合作推出了SO100机械币成本只要100美元任何人都可以在家3D打印DIY一个由此可见,Hugging Face正在把硬件加软件加社区打包,构建一个完整的开源机器人生态。而2024年12月发布的Genesis则是尝试优化仿真训练的问题这是由CMU卡内基美龙大学主导联合MIT 斯坦福 英伟达等20多个研究实验时共同参与的开源项目只需要在仿真中运行数小时就能够生成相当于现实世界中多年训练的样本数据大幅度降低了训练时间和硬件成本比如说Genesis号称在一张RTX4090显卡上模拟一个Franca机械臂的速度是每秒4300万帧是速度的43万倍也就是说在Genesis里面训练一小时相当于在真实世界里面训练超过49年这带来的改变是以前只有大公司能够负担的大规模仿真训练现在呢一个研究生在家用一张消费级显卡就能做到值得注意的是因为大家也和Google DeepMind Disney Research联合开发了一个开源物理引擎Newton跟Genesis形成了直接的竞争充满竞争的领域但无论如何一部分勋章应该是要给的Hugging Face的Leruble管真实世界学界主导的Genesis管虚拟世界两个工具一起把训练机器人的门槛从百万美元降到了几百美元总结一下哈模型、数据、工具这三层叠加就是开源阵营的组合权你单看任何一层开源都不如必源巨头论人才密度和算力不如谷歌论数据量不如特斯拉论工具链的完整度你肯定不如英伟达但是这三层联动产生的化学效应是释放出了巨大的能量一个研究者可以用OpenX Embodiment数据在Larubo框架上训练OpenVLA用Genesis做仿真验证然后部署到100美元的SO100机械B上整个流程全部开源全部免费全部可以复现这里有一个很关键的关键 [30:00] 在大语言模型领域,开源是追赶者我们看B原的OpenAI,Android Big,还有谷歌,先行开源后追,晚一到两代但是在机器人领域,开源和B原几乎是同时起跑的OpenVLA在2024年6月就击败了RT2X这个时间差的原因也很简单机器人还在非常早期的阶段没有任何一家公司建立了丫头性的数据或者算法优势如果错过了这个窗口等币源公司积累了足够的数据飞轮那么开源可能就很难追上了而且开源和币源之间的边界远比想象中的更模糊RT2X是谷歌的币源模型但它的训练数据有一部分来自于OpenX Embodiment这个开源数据集Chelsea Finn同时是Octo这个开源项目的核心作者也是RT系列币源工作的推动者还是Pi的联合创始人而英伟达的GrooteN1介于开源和币源之间所以这场竞争不是两个阵营的对决,而是一个光谱上的多方博弈。而说到底,开源vs闭源表面上是技术路线之争,那本质是生态之争,真的是谁来定义机器人行业的基础设施层。- 电脑上是开源的销,Android是开源的销,所以有些公司想要控制所有的事情工程,工程,软件,像 Appleand Apple is amazing.但我们也知道有很多其他公司,像 Samsung或 Google,他们非常愉快使用了开放的手机,甚至他们使用开放的手机,这就会有关于每公司需要做一些事情的事情, 要把他们用了钱和钱的钱。但对于生态来说必须要直面一个现实开源面临的挑战依然很大首先是算力猛槛虽然有Octo这样的轻量模型但是训练一个顶级开源模型依然需要不小的投入OpenVLA用了64张A100跑了15天这跟特斯拉还有谷歌的算力相比简直就是小不见大夫了依然是一笔不小的开支那么其次是数据质量OpenX Embodiment虽然大但是不同来源的数据标注标准参差不齐有的实验室标注得非常的细致那有的就比较粗糙了那你看特斯拉它的数据可能就在多样性上不如开源但是在一致性上肯定是更强的毕竟都是同一套系统去采集的第三是工程化差距开源模型在录文里面表现出色但是从demo到产品之间是有一道巨大的鸿沟在的公司有完整的工程团队去做优化做测试做售后开源社区更加擅长创新探索但是把一个模型打磨成稳定可靠的商业产品往往是需要避免公司去完成的那么第四就是安全问题如果人人都能够训练机器人如何防止被用于危险用途呢物理世界的AI比虚拟世界的代言模型其实风险会更高一些聊天机器人他说错话最多就是尴尬做错动作可能就会造成伤害那OpenMind的Yang Lippard就提出了一个大胆的方案我们写了我们的计划进了Ethereum blockchain我们的原因是因为Ethereum是无缘的它不能被改变这意味着,当机器人变成了智能我们应该预期待一个未来,在机器上将尝试什么他们做的。或是想要改变的历史。或可能要有更多控制的那些人应该有的。在这种情况下,我们认为非常重要的要求,在公司的地方, 也不能改变, 只要是超市安保障的用区块链来约束机器人行为这个想法呢很是前卫但是确实在业界呢也是引发了一些争议但是它至少说明啊开源社区正在认真的思考安全问题那么开源能发展到什么样的程度四变量CTO王浩是给出了一个时间线的预测现在由于我们明确的知道而且我们看到了这种规模化带来的提升所以对于我们来讲我们的路径和我们的目标更加明确也更加唯一所以我的预测会在一到两年的时间那GPT3的水平意味着什么呢?意味着机器人会从能完成简单指令跳跃到能够理解复杂意图并且灵活执行,这将会是一个分水灵。在大远模型LLM的时代,我们见证了OpenAI从开放走向封闭。 [35:00] 一个以Open命名的公司变成了一家市值千亿的碧原商业帝国在机器人时代同样的故事可能重演,但有可能不会因为机器人领域有一个大原模型时代没有的东西那就是从一开始就足够强大的开源生态那最后Open Mind的创始人杨利博特从一个父亲的角色解释了为什么他会支持开源那这个回答呢也还蛮有人玩的'因为我一个父亲我有两个孩子, 如果我看着我看着我什么世界要看着我不要他们开门的前面, 然后一个人会出现, 说"Hello, I'm your new humanoid, I run a software that you're not allowed to see"我认为它很重要的, 非常重要的技术, 这样的技术, 非常重要的。我喜欢他们更安全的想法,我希望他们能够加功能够的东西和他们的物体,而能够与这个世界,不过要买到一个东西,那里面的箱子,然后它们的形容,说"Hello,我已经完成了"and the way I work is secret. So it really has to do with相信它有关安全而我们的一部分我们看到的就是我们没有预期这个的情况下那以上就是这期视频的全部内容了你们的留言点赞和转发是支持我们硅谷101做好深途科技和商业内容的最佳动力我是陈倩 那我们就下期视频再见了 拜by bwd6拜拜