智元与觅蜂拓展两千台机器人数采阵线 破解具身智能数据荒

智元与觅蜂拓展两千台机器人数采阵线 破解具身智能数据荒 具身智能缺乏通用数据且面临构型与物理鸿沟，各界需结合真机遥操、仿真与视频数据的黄金配方并推动开源生态，才能加速机器人大规模落地。 具身智能的关键瓶颈在于物理世界数据的极度稀缺与人机感受的不对齐，行业由此探索出了由真机遥操、仿真合成、动作捕捉与互联网视频构成的“四层数据金字塔”。中美两国在数据突破路线上展现出差异：中国侧重于建立高密度的数采工厂与真机采集，硅谷则倾向于利用强化学习与第一视角视频进行算法补偿。随着智元免费开源AGI BotWorld数据集以及具身机器人部署规模突破万台，数据飞轮正逐步加速，推动具身智能向现实落地迈进。 具身智能面临严峻的物理数据荒漠，行业由此形成“四层数据金字塔”：真机遥操、仿真合成、动作捕捉与互联网视频。 (0:00) 智元与觅蜂科技已部署近2000台真机并构建数采工厂，年产能达200万小时，但顶层真机遥操极度依赖人力且扩张昂贵。 (5:00) 仿真合成数据具备无限并发优势，如Sharpa乒乓球机器人经40小时纯仿真训练即达0.02秒级反应，但仍面临动力学层面的Sim-to-Real迁移鸿沟。 (10:00) 中美路线出现分化：中国主打工厂高密度真机数采，硅谷公司（如Physical Intelligence、Figure AI）则押注RL自我演进与第一视角人类视频训练等算法捷径。 (25:00) 智元开源百万条真机数据的AGI BotWorld并驱动英伟达GR00T N1模型，随着真机部署量破万，数据回流的飞轮效应正加速落地。 (30:00)

具身智能由于无法像大语言模型那样直接吸纳互联网被动数据，必须依托包含时间戳与多维传感对齐的物理交互轨迹；行业由此构建出从真机遥操到网络视频的“四层数据金字塔”，并在中美产业差异与技术路线上呈现出显著分化。 物理交互数据的稀缺性与四层金字塔体系 (0:00) 大语言模型依托海量互联网文本实现参数规模涌现，而具身智能长期面临物理世界的数据荒漠。机器人在物理空间作业需要视频、力触觉、关节位置与电机控制等多模态传感信号的严格时戳对齐，这类数据在自然状态下并不存在。早期行业数据积累极为缓慢，例如谷歌 DeepMind RT-1 耗时 17 个月、调动 13 台机器人仅获得 13 万条轨迹，联合 34 所机构的 OpenX Embodiment 汇聚 100 多万条轨迹，对现实复杂需求而言仍显不足。 为应对缺口，行业形成了四层数据供给金字塔：顶部为高精度的真机遥操数据，向下依次为可批量并发的仿真合成数据、动作捕捉（Mocap）数据，以及底层规模庞大但质量较低的互联网视频数据。不同层级在物理保真度与规模化成本之间形成交替互补。 合成仿真与廉价视频的跨模态弥合路径 金字塔次层与底层的核心优势在于规模效益。第二层的仿真数据具备近乎无限的生成能力且试错成本为零，例如 Sharpa 乒乓球机器人通过纯仿真训练 40 小时便达到 0.02 秒级反应速度；为解决触觉仿真难题，Sharpa 与英伟达研发了 TacMap，利用形变图结合翻译模型实现触觉技能的迁移。然而，虚拟环境在摩擦力变化、软性材质形变与液体流动等动力学层面极难完全拟合现实，仍需依赖域随机化与高精物理引擎缓解 Sim-to-Real 鸿沟。 第三层 Mocap 数据记录人体运动轨迹，但存在机械臂与人手的身体构型差异及功能性重定向困难；第四层的互联网视频虽成本极低，却缺乏力反馈与动作控制。为提升视频利用率，行业转向第一视角（Egocentric）采集，如苹果开源的 829 小时 EgoDex 数据集与英伟达超 2 万小时的 EgoScale 数据集；Sharpa 提出的 CraftNet 则依靠底层触觉反射层实时微调，使得模型能够利用低质粗糙的人类视频指导动作意图。 中美数据策略分化与差异化场景配比 在训练实践中，数据并未形成固定统一的配方，而是取决于任务容错率。极致工业环境要求 100% 成功率，必须重度依赖高质量遥操数据；而在允许微小接管概率的高泛化场景中，仿真与视频比例显著上升。Sharpa 提出的复杂任务参考轨迹比例约为“遥操: 动捕: 互联网视频 ≈ 1: 100: 10,000”，尽管真机遥操仅占 1%，却是最终落地的决定性要素。 面对高昂成本，中美具身智能呈现出不同解题思路。中国团队依托供应链与人力效率建立高密度“数采工厂”，如智元机器人与觅蜂科技布局了近 2000 台机器人，年真机数据产能达 200 万小时；一名遥操员需一个月培训才能成为专家，且 8 小时工作约产出 2 至 3 小时有效数据。硅谷公司受制于当地高昂人力（如特斯拉采集员时薪达 50 美元），更倾向通过算法与捷径补偿：Physical Intelligence（Pi）在工厂与办公区让机器人通过强化学习自我试错改进，Pi0.6 与 RLT 方法将精细操作速度提升 3 倍，但面临奖励函数难以量化及安全试错成本高的挑战；Figure AI 与 Sunday Robotics 则分别尝试在商业楼宇和普通家庭中通过佩戴式设备采集第一人称视频。 开源生态循环与 Scaling Law 的现实检验 公共基准的缺失推动了数据开源与软硬件飞轮的成型。智元机器人于 2024 年开源的 AGI BotWorld 百万条遥操数据集，构成了英伟达 2025 年具身基础模型 GR00T N1 约 80% 的训练数据，反向拉动了机器人本体的商业销售。在实际部署端，机器人仅需将约占总量 5% 以内的高价值失败场景数据回传微调，构筑数据飞轮。 对于具身智能领域 Scaling Law 的有效性，行业内部保持着理性审视：现有模型在已知类似的物体与环境层面已展现出泛化能力，但在全新、未见过的任务层面实现举一反三，目前尚未得到确定性验证。随着智元在 2026 年 3 月底实现万台产量突破，硬件部署规模正逐步逼近能力涌现所需的临界数据量。 具身智能的数据供给正逐步摆脱单一采集手段，转入多模态混合与工程化基础设施竞争；然而，如何在动力学层面克服仿真迁移鸿沟、安全量化试错奖励，并在任务层面验证真正的自主泛化规律，仍是该技术走向全面落地的核心挑战。

每一个抓取、行走、避障、协作动作，都必须在物理世界里被重新“教”一遍。 当AI大模型靠“吃遍互联网”完成进化，机器人却还困在现实世界的数据荒漠里。 [15:00] 姚卯青: 看再多乒乓球比赛视频，第一天拿起球拍也接不住球。

[0:00] 诶 问你个问题机器人领域最羡慕AI大约模型领域的什么答案是数据你猜对了吗当Skilling Law让大语言模型一路狂妖用万亿参数涌现一代又一代更强大的智能之际机器人领域却被数据荒漠所困让局勋智能的泛滑性和自主性进展迟缓为什么AI能用的数据机器人用不了机器人的四层数据金字塔是如何运作的以及我们如何才能解决掉机器人的数据难题呢哈喽小伙伴们欢迎回到硅谷101我是陈倩这期视频继续我们的机器人专辑之前我们已经讲过了灵巧手机器人避免模型还有开源模型那这一期我们来聊聊这个领域非常核心的部分数据为此我们飞到上海走进了机器人数彩工厂甚至我们亲自有机会尝试了一下摇操作采集园这份工作以及和Shirpa等机器人公司们聊了聊机器人数据的基础路线与未来发展它的难点就在于这些数据天然是不存在互联网上的操作员是感受不到机器人的感受面对数据荒漠我们算是种下第一棵树希望将来能变成一片森林很难对齐物理世界的环境和现实世界的环境的这种迁移目前还需要一些科学方法上的一些创新那大家就跟随我的脚步一起走进机器人的数彩工厂吧by bwd6拜拜首先我们来回答一个问题什么是机器人数据它跟AI代语言模型以及图片和视频模型的数据有什么不同呢代语言模型是靠吃掉互联网变聪明的GPT4的训练数据量以万亿Token计相当于把人类有记录的知识积累全部摄入简单来说AI身文 生图以及生声音生视频的模型参数都可以在互联网上找到模型用的是世界的文本语言包括文本代码以及标注过的结构化文本来帮助AI理解和生成语言序列类似的图像模型用的是世界的瞬间截图声音模型用的是世界的振动信号而视频模型用的是世界的连续变化而这些数据都大量存在在互联网上当然这是不考虑版权的前提下而机器人需要的数据需要的是聚身本体在真实物理世界里和具体物体发生具体交互时产生的多维度传感器信号视觉 立觉 关节位置 电机控制量全部要精确同步时间戳对齐才能够构成一条有用的训练轨迹这些信息从来没有被系统性的记录过也没有任何理由会被动的产生完整的数据这里面会包括各种传感器所带来的数据,有视频,还有一些其他的力触觉传感器等等的,它的输出是对身体上每一个垫肌关节的一些控制量,能够控制全身多达几十个自由度的关节是吧,能够协调到一起。去完成具体的一些事情那么它的难点就在于这些数据天然是不存在互联网上的它需要我们去以某种方式去采取它这里面无论是在真实的环境里面去采集,还是在一些虚拟的世界里去采集。他都需要去首先布设机器人搭建场景再次就是要引入向我们后面看到的这些工作人员我们叫做摇操人员控制机器人去采集这类数据我觉得数据最大的难点是在于我们没有办法采集到机器人去操作的数据我指的机器人去操作就是机器人自己在那里干活的数据而我们更能采集到是人在操作的数据比如一些Mocap Data比如一些YouTube Data所以要去做好Ted Operation 让机器人去操作其实比较困难的主要的原因是因为操作员是感受不到机器人的感受这就是整个行业数据困境的根源每一条高质量的数据都必须从零开始生产我们来用几个数字试图展示一下这个缺口有多大谷歌DeepMind在研发机器人模型RT系列第一代的时候调动了13台机器人在办公室厨房环境里面持续采集了整整17个月才累积了大约13万条的操作轨迹覆盖700多项技能RT2,谷歌是联合了全球34所的研究机构把60个已有数据集全部合并加上来自22种机器人平台的真机数据才凑出了OpenX Embodiment这样的一个包含超过100万条操作轨迹的开源数据集而这已经被认为是目前全球最大的跨机构真机数据集了但是即便如此它涵盖的527项技能和对应的场景和现实世界的需求之间依然是以数量集计的差距可能获得的基金 [5:00] 数据怎么办呢那如今行业摸索出了四条并行的路线它们的质量是由低到高排列构成了一个金字塔每一层都有自己的优势上限还有真实的代价那接下来我们就一层一层的给大家拆解金字塔的顶层就是摇操数据又被称为真机数据摇操员通过外骨骼或者摇操系统实时操控机器人在真实场景里完成操作机器人所有的传感器全程录制这层数据信息最完整真实的物理接触真实的不确定性真实的失败和恢复是今天让机器人真正能在现实场景落地的核心原材料我们也正好有机会来到上海走进志源机器人的数据采集工厂看看真机数据是怎么采集的我们这里有200台机器然后每个机器他至少有一个采集员有一些任务的话他还会配备一位同事来搭配他来布置场景那你以为姚操员是一个很简单的工作吗No no no但是并不是啊反正会在现场是试了一下发现这个工作还是挺有门槛的好这个真的比我想象中难很多我现在全身都很僵硬快了快了快了太不容易了我应该没有办法成为金牌的数据采集员了一个数据采集员他需要什么样的资质才能把这个数据采集好呢我觉得最重要的是天赋这个需要什么样的天赋好的数据采集员和差的数据采集员他可能是三倍的效率的差我认为一个有天赋的数据采集员首先是一个协调性非常好然后空间感特别好的一个人因为他在采集数据的过程中其实是隔空在控制另外一个身体它是没有直观的反馈的更多只能通过自己肉眼来比环机器人的手臂和人的手臂构型也不一样的人很多能达到的姿态机器未必的能够到所以他也要去预判机器人怎样才能更高效的去够到去设计自己的一些轨迹其次就是说你的空间的这种精度判断要很准不能是空间比较差的话明明你想要让他去抓那儿但你自己就抓过了或者够不到或者一夹滑了这种都是非常常见的还有体力好一天下来其实非常幸福的有些人是站着踩的有些人是坐着踩的两种感觉不一样刚入门的一个采集员到你这样的金牌采集员需要多长时间来的话就只需要有一个周的培训时间培训过后的话你先入门 入门过后任务的难度逐一递章即使是有天赋的采集员 从零基础到现在的九成公里吧一个月时间估计也是要的Zero to Hero要一个月吧对于一位专业的金牌数据采集员来说我刚才失败了N次的机器人摆放字母的任务他一次就搞定了而这样的数据采集为的就是机器人的精确控制能力专家水平专家水平金牌数据采集员的水平但就算是专家水平的摇草员也不一定是每一条都可以被算作是有效数据的人类摇操的这个数据它的成功率是多少当然你说可能根据任务的难易成功也不一样嘛然后我只是很好奇说这个效率是怎么去算的 效率对吧像一个专业的这种摇操员 8小时的工作大概能平均产出两到三小时的有效数据因为这中间呢它一定会涉及到一些两个采集之间一些场景的布置是吧有时候可能数据的一些上传操作界面再到操作总有一些失败的时候它可能要丢弃掉重新尝试所以就大概四分之一所以大家可以看出来真机数据的优势是准确更容易直接部署后期调参成本也更低但是它的代价也非常的直白贵并且慢不容易指数起扩张数彩工厂涉及到硬件成本 场地成本 人工标注和建筑成本以及时间成本 与互联网数据相比 规模完全不在一个量级我们今年的真机的产能有200万小时 它对应的话我们有已经有接近2000台机器人和背后的采集人的这样的规模来然后这个规模会越来越大吗增基我们今年差不多目前稳定在这个水平当然看市场的一个动态的需求吧我们也会去相应的做一些扩展这个我相信呃人力成本一定会是将来竞争力和效率里面非常重要的一环不可否认所以这也是为什么在中国发展起了大量的数据采集在美国相对来讲进展比较缓慢 因为在美国之前也看到过特斯拉的招聘它采集员的招聘50美金一小时 [10:00] 如果是100万小时,100万小时今天放在全球,就一定是绝对非常碾压式的这种存在了。但是问题是100万小时就能解决问题了吗?100万小时我觉得在一些特定领域应该是可以达到非常好的一个效果了因为今年我们也在接触了很多数据需求的客户作为密封的话我们也在看很多客户的需求提出100万小时的单个客户已经非常多了这只是第一步我觉得大家到了100万一定会去想1000万但即使是1亿小时对于每年这种大的人工智能公司的基础设施投入来讲也还是一个非常可控的一部分顺便说一句,密封科技正在将真机数据做成一站式的物理AI数据服务平台,想要解决的就是当前机器人行业面临的真机交互数据荒漠的问题。密封科技压筑的是构建物理AI数据基础设施,实现真机摇操,无本体采集,仿真数据,全范式覆盖,并且想要打通硬件软件平台运营的全链路。Centric数据背后呢是将近2000台机器人和对应规模的采集团队在中国国内以及东南亚多地同步运作我们可以看出来啊这就是机器人行业中的石油业务而数据生态正在迅速的崛起并且的需求量非常大好那么聊完了最顶层我们接着来看一下机器人数据金字塔的第二层就是仿真合成数据金字塔从上往下的第二层就是仿真合成数据这条规模效应最极致的路线了这也是黄仁勋的英伟达重点压住的路线顺便说一个小八卦哈听说黄仁勋的一儿一女都在英伟达的Physical AI仿真部门可见老黄对这一块是有多看重啊简单来说这不是从真实世界采集而是在虚拟环境里面生成出来的数据与一条一条迅出来的真机数据做个对比你机器人同时训练规模可以是无限的你想要多少数据就有多少数据比如说机器人公司Sherpa在2026年CES上面超火出圈的乒乓球机器人就是花了40个小时用纯仿真数据训练出了0.02秒亮极的机球反应速度那这就是这条路线的一个具体案例仿真还能做到一件真机采集做不到的事就是生成现实中极难遇到的边缘场景机器人在仿真里面可以反复的摔倒反复的失败所有的失败都会成为数据而不造成任何真实的损失此外呢 烧泡的研究科学家还告诉我们仿真技术让触觉让针基更难采集的数据有了新的突破我们最近跟英伟达合作了一个触觉仿真的一个工具叫TecMap他其实做了这样一个事情,就是对于传统的视初觉而言,你需要在Simulation里面去建模这样的一个视初觉的指尖,其实你可以考虑的事情是你不可能在Simulation里面去装一些摄像头去看这个Marker点的形变,所以我们提出了TechMap。他是用了物体和指尖穿搏的深度图作为一种介质然后在仿真里面我们可以高效的得到这样的一个deformation map并且它有很好的物理特性在现实环境之中我们也通过类似的方式得到这样的一个deformation map然后通过大量的数据采集然后训练了一个翻译模型叫translation model然后把row image翻译成了这个然后基于这样的一个deformation map,我们其实实现了一些技能的ThemeToRail,然后它能够做一些精细化的一些操作。当然这个路线有一个巨大的bug就是刚才我们嘉宾提到的seem to real gap这个字面的意思就是仿真到现实的鸿沟那问题的本质是机器人在虚拟环境里面练得再好放到真实世界里面往往会出现问题为什么这么说呢因为仿真环境是人用代码构建的物理世界的近似但是真实世界的物理要复杂的多举一个最简单的例子机器人在仿真里面学会了抓一个塑料杯子仿真里面这个杯子的重量摩擦系数形变方式都是固定的参数但是在真实世界里吃手拿杯子和干手拿杯子的摩擦系数是不一样的杯子里有没有水重量也不一样光滑桌面和粗糙桌面上的杯子滑动方式也不一样这些细节仿针里面要么没有建模要么建模不够精确那总的来说啊运动学层面的问题包括关节怎么弯手臂走什么样的轨迹相对容易在仿针里面做好放到针机效果上也还行但是真正难的是动力学的层面比如说物体之间接触的时候力怎么传递软性材料怎么形变液体怎么流动那这些现象对今天的物理引擎来说还很难完整的浮现结果就是啊机器人在仿针里面练了一万次点衣服但是放到 [15:00] 真实的毛衣面前因为布料的柔软程度和仿真里面的参数对不上那动作就会出错这不是模型不够聪明是他从来没有经历过真实的物理接触目前行业中的解决办法包括了预随计划也就是说不去做一个完美的仿真而是做很多不一样的仿真逼模型去学会忽略差异抓住本质那么第二呢还有把仿真做得更好更真那这也是因为大家主要在做的事情那第三呢是用少量的真机数据去做微调但是张凯峰就认为最终呢还需要一个更加创新的解决之道现在很难解决的一个动力学的一个Semitorial Gap是这个环境的Dynamics也就是说你很难对齐这个物理世界的环境和现实世界环境的这种迁移的这种我们所谓的tranjation model所以这个是我觉得是目前还需要一些科学方法上的一些创新除了Sim to Real,那么Real to Sim Gap也是目前行业中的核心挑战,这个词你看和Sim to Real是反过来的,意思就是说你没有办法把真实世界准确的搬进仿真里面。因为现实世界实在是太复杂了,SAM的真实环境里面有无限的细节,噪音和不规则的事件还有很多难以预测的参数,所以仿真世界其实没有那么好见。我们已经在采访当中记得先关注我们的账号不要错过我们的深度更新那现在我们继续往机器人的数据金字塔下面走来到第三层也就是动作捕捉数据动作捕捉数据集被称为mocap这个派系是用光学设备或者视觉算法追踪人手的运动轨迹以纯视觉多了怎么动的信息维度那动捕数据的本质是记录人是怎么动的然后再把这个动作映射到机器人上Pi0系列就大量的使用了这类数据而Pi0.5在大约400小时移动操作数据和大规模网络数据的基础上实现了在真实家庭环境里面完成长城任务的能力它的优点是数据质量高尤其在运动结构上能够大幅度减少无效数据对复杂动作特别有效大家看到的很多很fancy的机器人跳舞武术等等任务都是用到了动作捕捉的数据收集而这是纯强化学习很难达到的效果除了成本贵还有数据覆盖有限之外呢还有一个很关键的劣势就是人毕竟和机器人的结构不一样那么这就是Embodiment Gap一个方面是你看到的视觉上它是人的手而不是机器人的手所以它有视觉上的这种呃第二个问题是他有State上面的gap,比如说你通过动补或者其他的一些方式得到了这个state,它其实是不准确的,它会有一些遮挡的问题,它会有一些被物体遮挡的问题,所以你得到的动作也是不准确的。Embodiment Gap的意思是人的身体和机器人的身体之间有一道操作羽衣上的沟壑人手在操作的时候依赖皮肤上密布的触觉感受器每抓一个物体神经系统都在实时根据触觉反馈调整力度而机器人没有这套系统所以即使动作轨迹被精确复制完成任务的能力也不会自动跟上除了Embodiment Gap还有另外一个没有克服的难题叫做Functional Retargeting动作的形状而不是理解这个动作要完成什么也就是意味着你把人的动作映射到机器人动作上之后他只是做了一个运动学上的一个对应关系他没有真正的去实现这个操作本身的语意上的一个对应也就是说动补数据会出现比如说关节角度超线力举不够平衡失败等问题那这就让这个层级的数据在一定程度上和一会儿我们会讲到的第四层的视频数据一起被认为是低质量数据从YouTube到抖音人类完成各种任务的视频海量存在这是今天聚生智能训练里面唯一真正不缺的原材料但它能够教会机器人什么呢?更多是让我们的机器人的模型大脑去学习一种通用的表征就是说简单的认知以及说很多物理规律的一些粗浅的一些认知但是呢就是说他还只停留在一个认知的阶段杨宝钦用了一个有趣的比喻啊看再多别人打乒乓球的比赛视频你第一天拿起球拍也接不住球对吧那视频呢给机器人建立了关于物理世界的基础认知知道乒乓球是什么形状知道打球大概是什么动作但是从知道到会做之间隔着一道鸿沟视频里面根本就没有动作信号只有结果互联网上的海量视频数据也被Sherpa [20:00] 是最低质量的数据啊YouTube videos最大的劣势是它没有利益和触觉信息它的优势是它的量非常大然后他能够给我们一些信息这些信息包括世界是怎么变化的我们常常讲word models就是利用好了这种in the wild的数据来训练这样的一个word models第二个事情是他能够给我们一些操作的一些信息比如说这个affordance是什么这个信息对于我们操作来讲其实也非常关键在进一步聊视频作为机器人数据之前我们引入两个很关键的概念分别是ego-centric和human-centric这两个分类是视频数据中被认为对机器人最有用的数据Egocentric的意思是自我中心数据也就是以机器人的视角看出去看到桌子 杯子 自己的机械臂甚至还有遮挡接触和动态变化这样和行动绑定的第一视角视频并且能够直接用于决策的数据被称为Egocentric为什么这个视角很重要呢是因为机器人从他的摄像头特别是人型机器人他看到的视角就是这样的苹果在2025年5月发布了一个Egocentric的数据集名为Ego Dex用Apple Vision Pro采集了829小时第一人称视角视频每一帧都配有手部每个关节的精确3D追踪数据覆盖机械带,折叠硬物等194种桌面操作任务,数据集完全开源,希望能推动机器人灵巧操作研究。最近我们刚才提到的密封科技也是推出了M-EGO系列无本体数据采集设备M-EGO Gripper和M-EGO View,搭配M-Eagle Engine一站式数据治理服务平台试图去降低物理AI数据采集对实体机器人本体的依赖让高质量的第一视角数据走向轻量化、规模化和全场景化另外一个词,Human centric数据的意思就是围绕着人类行为和意图以及偏好或示范来构建,用来让机器人学习人类想要的行为方式。比如说人类抓杯子,人类开门,人类折叠衣服这类的,人直接做给机器人看的视频,能够让居生智能理解人想达到什么样的目标,以及人类标准中的正确做法。而Human centric的数据可以是第一视角,也可以是第三视角。以下,Ego-centric是第一人称视角视频,但是任务不一定和人相关,而Human-centric是人类意图的视频,那么这两者交集的那个区域就是Ego-centric加Human-centric,这个人类在第一视角下完成任务的数据,那么这是被视为视频数据当中最有价值的部分。比如说英伟达在今年3月推出的Eagle Scale,就使用超过2万小时的人类视频进行运训练,涵盖数千个独特的任务和环境,精确的骨骼首部追踪使模型能够提取并且重新定位21个人体运动关键点,从而构建统一的机器人运动空间。所以虽然YouTube data被机器人专家们各种嫌弃,但是你想想,因为它的海量存在和低成本效应,如果某家公司通过某种技术突破让这些互联网视频变得更可用能够大幅度提升机器人的表现那不就赚大法了?诶,这正是目前各大公司压住了重点啊特斯拉在2025年6月做了一次重要的策略调整,把此前依赖动作捕捉套装和VR头显的采集方式换成了摄像机头盔,让工人带着装有5个摄像头的装备录制日常操作视频,再用这些视频训练Optimus,公司内部表示这样能够更快规模化。顺便说一句,自动驾驶不就是Egocentric的数据吗?而且FSD不就是用视频数据驱动汽车这个物理本体的案例吗?所以Optimus会在视频数据路线上再次的压注,我也是一点都不意外,这也是非常符合马斯克的第一性原理了而同时初创公司们也在如何将低质量数据变得更可用这个路线上有着非常积极的尝试在今年年初 Sherpa 发布了 CraftNet他们用一套触觉反射层System 0做补偿机器人上层策略只需要给出粗糙的动作意图底层触觉感知系统根据实时力反馈自动完成精细调整这个设计从硬件层降低了对上层数据精度的要求使得低质量动作捕捉和视频数据也可以被利用起来因为有了这样一个System 0的话所以我们可以达到一个顶时沉浸的作用就是能够把大量的低质量数据用起来动作出他的手势以及他的操作意图就能够去实现一个find manipulation的能力好 我们说完了机器人数据的四层金字塔结构 各自的优劣势以及各层级正在发生的进展 你会发现那个真理 予以熊掌不可兼得 真的是有道理的 你看啊 最精确 最高质量的真机数据呢 是最少最难获得 [25:00] 而最容易获取的视频数据呢又是质量最低最不可用的数据所以呢行业现在的做法是我把它们混合起来用能不能又平衡数据质量又能平衡一下成本呢那么这个混合的配方又是如何实现的呢我们在业界跟很多机器人公司聊哈目前一个普遍的共识是这四层金字塔代表着数据的不同来源整体和模型没有一个统一的标准每个公司都会有自己的配方和天平它其实可能是一个整合的solution到最后对它会是一个整合的solution那分别就是他们中间的比例大概是什么样子现在来讲我觉得很难说我究竟什么样的一个比例是黄金配方啊因为它不是一个简单的呃配比然后达成一个单一目标的问题因为现在首先在技术路线上还有很多呃多路径的探索他并没有说皈依到一种确定的范式大家有一个确定的配方就能完成一个非常好的效果其次我们训练机器人模型目前的目标和目的也不是唯一的在有一些情况下可能我们训练一个机器人就是要让他在某一个特定的场景干到极致让他去达到比如说工业场景 人的这种节拍效率100%的成功率,但有一些场景他可能更考虑是一个泛滑性他能接受你成功率没有到100也许98 99他是可以接受的甚至是允许人去在过程中做一些干预,做一些接管兜底,是吧?但它对泛华性要求很高,面向于这种不同的目标,不同的要求大家用到的数据比例也会不一样而对商法来说呢答案也很类似哈对于不同的任务呢他们采取了不同的数据策略我们的乒乓球机器人其实是在仿真里面训练的然后他大概是训练了40小时左右然后我们的发牌机器人其实是用的是Imitation的这个方式来训练的他大概是用到了两三百小时的Teleoperation Data以及一些EgoSandTrack的数据张凯峰也给我们一个非常平均的估算在训练较为复杂的任务当中各层数据之间的轨迹数量比大约是摇操数据和东谱数据的比是1:100那东谱数据和互联网视频的数据是1:100换算下来摇操数据在整个数据池里面大约是1/100的存在但就是这1/100往往是最终决定模型能否在真实场景里落地的关键如果非要我选择一个更重要的点的话 我会选择数据质量因为只有有好高质量数据才能够训练出有用的模型然后但是如果我们的数量很难去规模化的话其实我们需要做一个折中这个折中的话可能就像我刚刚讲的这种数据金斯塔的方式然后把每一部分的数据都能够利用起来它能够去理解环境的一个变化也能够去理解这个操作的语意然后最终能够帮我们完成这样的一个操作任务那以上呢我们聊到了志源这样的中国机器人公司如何去处理数据问题太贵太慢就直接呢把它做成工厂利用人力成本和效率优势来打造过程盒但在人力成本高昂的硅谷却不得不走数据的捷径路线比如说Physical Intelligence的数据策略呢就是靠精度加迭代他们在究竟山Deathline Chocolate工厂部署了一台机器人整天打包巧克力盒子同时呢在办公室提供咖啡服务员工在Snack里面发我要一杯拿铁机器人呢就会去做那创始人Sergei Lavigne的哲学是就去看当机器人不得不在真实事件里面完成任务的时候会发生什么继续的改善系统在这个基础上Pi试图让机器人在真实部署里面通过强化学习RL去持续的自我改进2015年11月发布的Pi0.6用的一套叫做Recap的方法在折叠衣物装纸箱做浓缩咖啡的任务上把最难任务的吞吐量提升了一倍以上失败率降低了大约一半2026年3月发布的RLT方法引入了一个特殊的输出token紧凑接口只需要几小时真实操作练习机器人在精细操作任务上的速度就能提升三倍某些动作甚至超过人类摇草原那么这条强化学习路线的吸引力在于机器人自己产生自己的训练数据是绕过了人工采集但是它有三个今天还没有好答案的真实问题第一是奖励函数衣服叠得够好的标准很难量化第一不准机器人就会去找捷径比如说把衣服揉成一团塞进角落因为这样 [30:00] 占用空间最小是满足了某个错误的优化目标第二就是安全边界机器人在客户生产线上试错每次失败都有现实代价损坏产品影响节拍甚至伤到工人第三就是数据归属强化学习数据是机器人用客户的物理空间和物理资产试错产生的所有权比摇操数据更加模糊摇操好大又明确的人工生产主体但是强化学习没有最近Physical Intelligence在Pi0.6上面验证的场景是相对结构化的任务,在受控实验环境里运行了13小时,距离真实工厂大规模部署,在陌生场景里稳定运行还有相当的距离。除了强化学习RL路线Pi同时在探索用我们上面提到的一个Centric视频去补充训练数据Pi在2025年12月发布的研究显示一旦机器人基础模型积累了足够的真实操作经验加入第一人称人类视频之后各个泛化人物的平均成功率接近翻倍2025年9月,Figure AI与全球最大另类资产管理公司Brookfield签署战略合作那Brookfield管理着超过10万套住宅,5亿平方英尺的商业办公室和1.6亿平方英尺的物流空间那Figure的计划是在这些真实的家和写字楼里面,让人带着摄像头拍视频,再用这些视频训练Helix模型最多样化的人型机器人预训年数据集Brookfield同时跟投了Figure超11美元的C勒融资Figure随后是发布了初步结果,Helix模型在只用第一人称人类视频训练没有任何机器人数据的情况下,已经能够根据自然语言指令在杂乱的真实房间里面导航移动了。那还有一家更小的创业公司Sunday Robotics走的路是更极端的,他们直接付钱让普通人在家里面录自己做家务的视频,那如果我们看看不同机器人公司如何压住数据路线我们会发现不同的市场因为生态不同做出了不同的决策那整个硅谷是在往视频数据靠的减少对摇操的依赖压住可以被动规模化的采集方式那么这和中国公司的方向是形成了差异化但是这两种选择可能也无所谓对错因为我们还在行业的一个超级初期任何的尝试都是有意义的特别是对于数据来说它源更是一件广受欢迎和好听的事2014年志愿做了一些让行业困惑的决定把自己辛苦采集的百万条摇操数据打包成AGI BotWorld的数据机免费向全球开放但是这背后呢有一个被大多数报道忽略的行业困境2023年到2024年居称智能公司大量涌现但整个行业命令一个根本性的认知危机没有公共的数据基准就无法判断一个模型的训练方法对不对谷歌的RT系列和看月模型OpenVLA在学术界引发了广泛的关注是开创了VLA这个范式但是因为训练数据全是学术级的数据集在实际场景里面的效果依然很有限这导致这个范式的真实潜力长期得不到验证卖出第一步工业界的人有人得卖出第一步因为否则的话就是谁也无法去真正训练出高质量的模型且有一个公允的benchmark的数据集去做benchmark面对这个数据荒漠我们算是种下第一棵树希望将来能变成一片森林而这棵树发芽了2025年3月英伟达在GTC大会上发布了第一代巨生基础模型GrootN1而GrootN1训练所用的大约80%都来自AGI Botworld,而开源的连锁效应还不止于此,越来越多的学术团队在用了AGI Botworld之后,转而去采购支援的机器人本体做研发,因为在同一款本体上面采集的数据,在这款本体上训练出来的模型效果会更好。也就是说数据开源带来了生态,生态带来了硬件销量,而硬件销量能够产生更多的数据。说到这里,我们看到机器人的数据工厂在建,开源生态正在形成,下一个问题是居身智能能否形成真正的数据飞轮呢?这是绝对会存在的,居身智能跟大元模型其实它一样的,数据飞轮的核心要因就是说我在模型部署之后在用户的使用过程中他还能够持续的接收到反馈然后利用这些反馈去不断提升自己的能力最终变成用户体验的一个提升机器人现在其实更需要这样的 [35:00] 也更会催生这样的飞轮因为语言模型相对来讲的容错度是比较高的今天大鱼模型跟你续刀说一堆话是吧里面可能说说几个字似是而非一些我觉得还好那机器人他如果是作业进工厂打螺丝是吧你这个就是毫米级的东西你差一点点可能就不行了一定是需要在这个现实的部份过程中遇到了很多失败的这种场景 然后把这些数据采集回来不断的去提升才能达到我们刚刚说进攻场啊人类的节拍啊百小时千小时MTBF这样的一些级别这样的一个数据绯纹比如说你要类比代元模型的scaling law他们是一回事吗还是有区别的其实他们就基本上还是一回事数据飞轮就是一定要在使用的过程中在真正实地部署的这种形态下去持续收集数据这一套其实我们现在已经是在我们的所有的机器人产品上作为一个标配搭售的在用户许可的情况下我们会像现在自动驾驶的这种功能一样它去收集那些高优的数据屋鼠的机器人收集到数据当中大概有多少的比例就可以回流回来再给咱们进行一个训练大概的比例我估计就是可能在5%以内吧因为大部分时间它这个数据对我们来讲并没有提升的意义它因为都是成功的属于是已经会的东西所以你们只需要失败的我们只需要还不会的要不然天天这么多的车在路上跑全世界的存储都存不下这些实施的数据大家都是触发一些高价值的数据但飞轮能转不代表转速能够达到预期这里有一个比飞轮更基础的问题据称智能的scaling law是否成立呢在语言模型里面这个问题有着明确的答案数据翻倍模型变大能力就会涌现但是机器人行业目前还没有答案至少我们需要看到随着数据量的增加随着模型的规模的变大然后我们可以看到它能够有这种智能的涌现它能够实现任务级的泛化能力我认为现在还没有看到有任务级别的泛化 我们现在能够看到的泛化往往是一些比如物体的泛化 比如说我看到过很多的物体能够实现物体层面的泛化也能够实现环境层面的泛化 但是在任务层级的泛化我们还没有看到这里就是关键区别了物体泛化也就是见过类似物体就能够处理和任务泛化也就是从来没见过这类任务也能举一反三这是两个完全不同量级的能力前者在今天已经在一定程度上实现了但是后者还没有可信的证据而这个证据是整个机器人行业走向下一步进化的钥匙而在机器人大规模部署之前我们可能都不会有答案Pi的创始人Sagate Levine教授在他的Substack上面写道,在美国有大约1万家麦当劳,一旦每家麦当劳各放一台机器人,每天工作2小时,一年就能够产生1000万小时的聚身智能训练数据,比现有全球积累的总量还要多几个数量级。在今年3月底,智源率先在产量上突破了1万台聚身机器人,我们距离找到这把机器人的数据钥匙是否更近了呢,我们拭目以待。系列的最新一期内容了接下来呢我们将带大家走进机器人的本体测试工厂啊聊聊机器人的本体与硬件供应链之后呢我们也准备就仿真数据这条线再进行深度的挖掘大家不要忘记关注硅谷101哦之后的内容会更加的精彩那么以上就是这期视频的全部内容了你们的点赞留言和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见啦拜拜好拜拜请不吝点赞 订阅 转发 打赏支持明镜与点点栏目拜拜拜拜