蚂蚁灵波沈宇军弃用数字模型 重训具身原生大脑

147. 和蚂蚁灵波沈宇军聊:机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥 — 张小珺Jùn|商业访谈录

张小珺Jùn|商业访谈录

具身智能尚未迎来GPT-1时刻,行业主要矛盾是数据规模不足导致智能滞后于硬件本体,强行魔改数字世界大模型无法实现物理动作泛化。

AI-assisted summary of 147. 和蚂蚁灵波沈宇军聊:机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥 — original source. Check the original for full context.

Source published:

Key ideas

  • 蚂蚁灵波发布第二代具身基座模型,推翻数字世界视觉基座魔改路线,从几何边缘、原生 MoE 架构与单向因果流出发从零预训练,支持 20 多种硬件构型并拓展至底盘、灵巧手与躯干协同。 (20:00)
  • 沈宇军认为具身智能尚未迎来 GPT-1 时刻,最大卡点在于缺乏有效的数据 Scale-up 路径,真机原生数据需从现有的数万小时跨越到 100 万小时起步,才能与互联网数据达到平衡并触发自发 Scaling。 (67:29)
  • 灵波坚定执行“不做本体、专攻跨本体通用大脑”战略,认为家庭场景差异导致硬件构型无法统一,当前主要矛盾在于大脑智能严重滞后于本体硬件量产,未来两者将交替上升。 (16:03)
  • 沈宇军对双足人形机器人毫无执念,指出当前核心瓶颈是智能与数据不足,过早争论机械形态是轮式还是足式毫无意义,机器人在家庭中的首要价值是实用干活而非提供情绪价值。 (100:00)

Detailed notes

## Background 本期节目由科技商业访谈人张小珺于2026年7月22日发布在小宇宙平台播客《张小珺Jùn|商业访谈录》上。节目聚焦中国科技界“不碰本体、专攻原生机器人大脑”的新趋势,邀请蚂蚁集团旗下子公司蚂蚁灵波的首席科学家沈宇军展开深度对话,探讨其第二代具身基座模型的研发、从预训练重构物理世界视觉的决策,以及中美具身智能技术路径的异同。

## TL;DR 访谈围绕蚂蚁灵波为何放弃硬件本体、专注攻坚跨本体通用原生大脑展开。首席科学家沈宇军复盘了从计算机视觉转向具身智能的心路历程,阐述了团队为何在2026年彻底抛弃数字世界的视觉基座,转而基于真实物理传感器、单向因果流与原生 MoE 架构从头进行具身预训练。他指出具身智能尚未迎来“GPT-1 时刻”,当前最大的掣肘在于数据未能实现 Scale-up,并剖析了大脑开发滞后于本体硬件的螺旋迭代关系。最后,他分享了初次创业以有限资源下注技术路线的心态,以及导师汤晓鸥在看透问题本质上对自己的深远影响。

## Atmosphere & style 对谈呈现出浓厚的硬核技术工程师气质与理性务实的创业者思辨,节奏沉稳而信息密集。沈宇军谈吐坦率直白,既不避讳早期探索时的“天真”与技术妥协,也不掩饰面对技术路线未知时“创业就是赌出来”的果敢魄力。张小珺通过敏锐的行业坐标对比与连环追问,引导出底层架构取舍、数据困境乃至人生哲理的真诚吐露,整场对话兼具学术前沿的严肃厚重与产业实战的生动烟火气。

## Bulletin - `20:00` 蚂蚁灵波发布第二代具身基座模型,推翻数字世界视觉基座魔改路线,从几何边缘、原生 MoE 架构与单向因果流出发从零预训练,支持 20 多种硬件构型并拓展至底盘、灵巧手与躯干协同。 - `01:07:29` 沈宇军认为具身智能尚未迎来 GPT-1 时刻,最大卡点在于缺乏有效的数据 Scale-up 路径,真机原生数据需从现有的数万小时跨越到 100 万小时起步,才能与互联网数据达到平衡并触发自发 Scaling。 - `16:03` 灵波坚定执行“不做本体、专攻跨本体通用大脑”战略,认为家庭场景差异导致硬件构型无法统一,当前主要矛盾在于大脑智能严重滞后于本体硬件量产,未来两者将交替上升。 - `01:40:00` 沈宇军对双足人形机器人毫无执念,指出当前核心瓶颈是智能与数据不足,过早争论机械形态是轮式还是足式毫无意义,机器人在家庭中的首要价值是实用干活而非提供情绪价值。

## Key takeaways - `00:00` 从图像特效转向具身智能:沈宇军经历从 GAN、扩散模型到表征学习的演进,判断视觉在数字世界缺乏杀手级场景,但物理世界机器人对视觉存在强依赖。 - `10:00` 告别象牙塔研究:纯科研导向与工业实际需求存在巨大脱节,具身智能处于技术未收敛期,必须在真实物理场景中由落地痛点反向驱动算法迭代优先级。 - `16:03` 跨本体通用大脑定位:由于各家庭与场景需求各异,不存在单一万能本体,灵波将“通用”定义为跨场景、跨任务与跨本体三层叠加,从预训练之初即纳入多样化机械构型。 - `20:00` 彻底推倒数字基座从头预训练:数字世界生成模型追求画质与高分辨率,而物理控制需要空间拓扑与极低推理延迟,灵波在保留 LLM 语义能力的同时对视觉与动作从零预训练。 - `26:00` 一代到二代模型的构型跃迁:二代模型从固定桌面平铺操作跃升至三维全自由度作业,支持双臂、灵巧手、头部俯仰、腰部弯曲与底盘移动,适配构型由 9 种拓展至 20 多种。 - `35:00` 对仿真数据保持审慎:现有物理引擎在柔性物体等复杂交互上仍不成熟,仿真数据分布同质化严重,灵波依赖真机遥操作与第一人称视角的严苛清洗数据进行预训练。 - `40:00` 从 Dino V2 转向几何原生感知:摒弃数字世界的语义识别模型,自研基于点线面边缘与空间距离的 Limbo Vision 与 Limbo Depth,解决透明水流、玻璃门等物理障碍物测距难题。 - `50:00` 攻关三大底层工程:在视频与动作生成中自研具备意图对齐的压缩编码器、驯服原生 MoE 稀疏激活以压低算力延迟,并坚持从头训练单向因果注意力以符合物理因果律。 - `01:00:00` 大脑现阶段聚焦意图落地执行:灵波目前不做自主产生意愿的高阶决策,而是攻克物理世界的执行鲁棒性,模型在桌面击球与动态乱序收拾中展现出扎实的位置泛化能力。 - `01:07:29` 具身智能尚未到达 GPT-1 临界点:由于缺乏自动化且量级可匹敌互联网数据的具身数据采集渠道,行业目前数十万小时数据仍显不足,但依托成熟算力有望加速到来。 - `01:15:00` 硅谷两大路线的殊途同归:对比 Generalist 强调高效后训练与 UMI 数据、Physical Intelligence 追求极端 Zero-shot 与遥操作,沈宇军认为未来进家庭必须兼具基础家务免调与特殊任务现场教学能力。 - `01:17:00` 语言模型是入口而非核心:大语言模型仅解决人机交互与需求指令泛化,具身智能是独立学科,核心在于构建能够干好物理任务的世界动作模型系统。 - `01:20:00` 大脑与本体的螺旋式交替上升:当前本体量产领先而大脑智能落后;未来更强的大脑将倒逼出专为模型易控性设计的新一代本体与高刷新率触觉传感器。 - `01:30:00` 创业是有限资源下的敢赌:具身原生基础模型是一场耗资巨大且结果未知的豪赌,犹豫不决必将错失机会,蚂蚁集团给予了灵波高度自治的创业机制支持。 - `01:40:00` 终局格局贴近大语言模型:未来具身大脑可能由少数大厂与顶尖创业公司并存,形成场景、本体与数据生态壁垒,并借助国内强大硬件供应链加速落地。 - `01:50:00` 规模化数据必须依赖行业标准化:单靠单家公司无法填补百万小时数据缺口,建立跨本体、跨操作的标准规范并联合生态伙伴是实现数据 Scale-up 的关键。

## Detailed walkthrough ### `00:00` 蚂蚁灵波的缘起与从计算机视觉到具身智能的转变

进入2026年,中国科技产业在具身智能领域出现了一个反直觉的现象:以往行业普遍认为硅谷团队擅长做算法与机器人“大脑”,中国团队长于硬件与“本体”,但如今本土也涌现出了一批从原生大脑切入、现阶段不碰本体的团队。蚂蚁集团孵化的子公司蚂蚁灵波(Ant Lingbo)便处于这一探索的前沿,近期推出了其第二代具身基座模型。首席科学家沈宇军在清华大学取得博士学位,师从商汤科技联合创始人汤晓鸥教授,博士毕业后经历了一段从学术到业务再到创业的流转与思考。

沈宇军在2017年前后便开始探索生成模型,恰逢 StyleGAN 系列风靡学术界。但他逐渐发现,传统的图像编辑、人脸美化等研究“做得太下游了”。当尝试向上游的无监督生成与底层预训练探索时,他又发现模型效果难以受控,且当时参数量扩增(Scale-up)的规律尚未明确,这促使他进一步转向更前沿的底层表征学习。在被问及为何放弃曾经深耕的对抗生成网络(GAN)时,沈宇军解释道,虽然团队在2026年年初仍做过最后的放大尝试并开源了模型,但现实表明 Diffusion(扩散模型)和自回归模型能通过多次迭代处理高复杂度内容与视频,而“GAN 最大的问题还是计算量的利用效率太少了”。

从商汤到字节跳动,再到蚂蚁技术研究院,沈宇军经历了计算机视觉从风口到平台期的落差。他回顾视觉产业的发展历程:第一波是人脸识别的大规模落地,第二波是特斯拉纯视觉方案带火的自动驾驶,此后视觉在数字世界里几乎没有再找到极具产业价值的杀手级场景。在数字世界中,视觉并非不可或缺的核心,但在物理世界里,“离开视觉机器人肯定是没办法工作的,我觉得这是一个对视觉的强依赖”。2024年,带着对视觉技术用武之地的重新审视,沈宇军萌生了进军具身智能的想法,这一规划恰好与蚂蚁集团将数字生活服务能力向物理实体空间延伸的战略不谋而合。

- 沈宇军的研究演进路线:图像编辑/下游特效 $\to$ 底层生成模型与预训练 $\to$ 表征学习 $\to$ 物理世界具身智能视觉。 - 团队最终确认在图像/视频生成方向为 GAN 画上句号,但保留了其核心的“双模型对抗博弈与互相迭代”技术机制,未来或在其他架构场景中复用。 - 字节跳动时期:利用人脸转换技术打造趣味特效(如“预测20年/70年后样貌”、性别转换等爆款)。 - 沈宇军对视觉在数字与物理世界价值的断言:“离开视觉机器人肯定是没办法工作的,我觉得这是一个对视觉的强依赖。”

---

`10:00` 从大公司研究员到蚂蚁灵波:做真实业务而非象牙塔研究

2024年底,蚂蚁集团正式成立子公司蚂蚁灵波科技,沈宇军从蚂蚁技术研究院调动至灵波出任首席科学家。关于为何不以大公司研究院的课题组形式推进,而是独立成立商业化子公司,沈宇军有着深刻的组织体悟。在经历过字节跳动的业务驱动、蚂蚁研究院的前瞻科研、再到灵波的产业创业后,他意识到纯研究导向存在致命脱节:“如果是还是把它当做研究机构的形式去做的话,很有可能做一做就脱离了这个行业,或者换句话说,就是研究员认为的先进的技术跟行业需要的先进技术是会有 gap 的。”

面对大模型爆发期学术界“发论文冲引用是否就代表成功”的迷茫,沈宇军认为,具身智能眼下最大的魅力恰恰在于“技术尚未收敛”。在一条确定的轨道上把既有架构的桩子打深缺乏创新空间,而在技术路线大洗牌的具身领域,研究既能直面真实场景,探索出来的哪怕是失败经验也能对整个工业界产生价值。

灵波成立初期团队不足十人,沈宇军的第一感受是“自己还是太天真了”。原以为从视觉模型向机器人迁移顺理成章,实际动手才发现物理世界的落地门槛远超预期,底层通信、实时部署、软硬件耦合等工程技术栈完全刷新了他原本的认知。就在这摸着石头过河的过程中,团队在成立之初便做出了一个核心决策:坚决不做本体,全力以赴只做机器人的“通用原生大脑”。

```mermaid flowchart TD accTitle: 蚂蚁灵波原生大脑定位与组织演进 accDescr: 展现沈宇军从产品赋能、前瞻研究到成立灵波子公司专注做跨本体通用大脑的决策演进流程

subgraph OrgContext["组织演进与定位"] A["字节跳动 (产品业务赋能)"] --> B["蚂蚁技术研究院 (前沿技术探索)"] B --> C["蚂蚁灵波科技 (产业创业/通用大脑)"] end

subgraph Strategy["核心战略定力"] C --> D["不涉足通用本体制造"] C --> E["专注打造机器人底层原生大脑"] D --> F["判断:家庭/场景各异,不存在单一万能本体"] E --> G["愿景:各品牌本体底层均运行灵波模型"] end ```

沈宇军坦言:“我们最后就是希望每家最后都能有一个机器人,然后我们希望在这个机器人里面跑的最后都是灵波的这个模型,或者说用的是灵波的大脑,这是我们当时做的一个比较大的决定。”

---

`16:03` 战略抉择:为什么不做本体,只做跨本体的“通用大脑”?

团队目前维持着两手抓的研发架构:一头由研究驱动,负责拉升“智能的上限”,摸索更通用的算法结构;另一头紧抓落地,把模型推入严苛的物理场景,通过暴露出的失败点反向驱动模型的迭代优先级。因为早期需要迭代的方向有数十个,唯有来自真实场景的痛点才能决定资源倾斜的先后顺序。

关于“软硬一体化协同”与“彻底不做硬件、专攻大脑”两条路线的争论,蚂蚁灵波坚定选择了后者。沈宇军给出了底层逻辑:从商业现实推演,很难有一款机器人本体能够通吃所有任务;即使未来机器人走进千家万户,各家庭由于户型结构、功能诉求的差异,对硬件形态的需求也各不相同,如同现在的智能手机有苹果、华为等各种品牌一样。因此,机器人本体在物理上天然难以做到大一统。

基于此判断,灵波将“通用”定义为三层含义的叠加: 1. **跨场景通用**:适应不同的物理工作空间。 2. **跨任务通用**:完成抓取、搬运、装配等多元作业。 3. **跨本体通用**:在预训练阶段就引入多种不同机械构型的数据,使大脑原生理解不同本体的机械与运动特性。

沈宇军强调,本体与场景从产品定义之初就是深度绑定的,某些构型生来就无法胜任特定动作。因此,灵波的大脑从第一天起就将硬件多样性纳入预训练,致力于让下游各硬件厂商能够在引入灵波模型后快速适配。

沈宇军在阐述这一通用路线时断言:“大家现在可能讲的通用更多是会停留在任务和场景这个方面,但我们就是把这个硬件这个东西也考虑进去,我们觉得通用应该就是多一层,就是你本体上也要通用。”

---

`20:00` 2025至2026的技术主张:基于物理世界需求从头重训模型

从2024年底成立到2026年,团队在技术路线上经历了两次重大的“战略押注”:

1. **2025年的两大押注**: - **坚持从视频中学习连续时序动态**:早在2025年3月、业内尚未普遍形成“世界动作模型(WAM/VAM)”概念之前,团队就意识到机器人绝不仅是静态多模态所能解决的。机器人在物理世界中需要与环境交互,因此必须学习连续的时空动态,且这种学习不是把视频抽帧当成图像输入,而是真正端到端地建模时序变化。这一坚持在历时9个月后,于2026年初凝结为开源的视觉动作模型(Visual-Action Model, VA)。 - **坚决从真实传感器数据出发,解决噪声与空间智能**:学术界模型通常基于干净无噪的数据集,但物理部署中传感器的噪声完全不可忽略。因此灵波立足真实传感器(视觉与触觉),打造底层的空间距离与深度理解能力。

2. **2026年的关键转向:彻底抛弃数字世界视觉基座,基于物理需求从头预训练**: 在2025年的探索中,团队曾尝试使用数字世界现成的大模型直接嫁接为物理代理(Agent),仅在末端挂接动作头。但这迅速暴露出无法调和的矛盾:数字世界的视频/图像生成追求极高的画质与视觉分辨率,而机器人的物理动作并不敏感于画面颗粒度,而是极度依赖空间拓扑与运动连续性。团队无法推动数字世界的模型开发者修改架构,于是沈宇军在2026年上半年拍板决定:**保留大语言模型(LLM)的文本能力,但在视觉的理解与生成两个维度,完全抛弃数字世界的预训练权重,针对物理世界的需求彻底从头预训练(Pre-train from scratch)**。

沈宇军谈及推倒重来的决心时说道:“既然不能 push 他们去改,我们就全部基于物理世界的需求重做一遍……很多时候数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的,但你这个时候你又没办法 push 他们去改。”

- 2025年9月外滩大会炒菜 Demo 的教训:炒菜属于典型的超长程操作(Long-horizon Task),现场暴露了大量的软硬件协同问题。这使团队更深刻地意识到,若没有一个高通用度的大脑,换一个场景就要从头重写整套控制逻辑,场景迁移成本将高不可攀。 - 保留 LLM 的原因:沈宇军认为,文字与语音层面的语义在物理与数字世界并无本质割裂,且语言模型的重训成本过高,现阶段直接复用成熟的大语言模型并未显现出瓶颈。

---

`26:00` 从第一代到第二代具身基座模型:构型跃迁与自由度爆发

2026年初,灵波开源了第一代具身大脑模型组合,包含深度估计(Depth,空间距离感知)、视觉动作模型(VA,执行控制)、世界模型(World,动作仿真预测)以及主流落地的视觉-语言-动作模型(VLA)。然而,第一代系统主要聚焦于桌面抓取实验环境,支持9种构型,且自由度仅覆盖双臂与夹爪。

当灵波尝试将第一代 VLA 模型带出实验室、推向真实工业与生活场景时,实验室设定与真实环境的巨大断层迅速显现:真实的拿取动作绝非在固定高度的桌面上完成。例如“从货架高处取物”,机器人必须抬头;而一旦手部抬起,不仅视线角度突变,甚至可能导致头部相机出现视线盲区。如果模型在预训练时从未见过头部相机的俯仰视角变化,也未学会“在头部不可见时退化依赖腕部相机或本体触觉传感器”,系统就会瞬间崩溃。此外,当目标距离过远或位于地面低矮处时,机器人必须配合底盘平移与躯干弯腰。

针对这一落地痛点,灵波在第二代具身大脑升级中重构了数据配方与预训练自由度:

| 评估维度 | 第一代具身大脑(2026年初) | 第二代具身大脑(2026年中) | |:--- |:--- |:--- | | **开源模型数量** | 4个模型 | 6个模型 | | **适配机械构型** | 9种构型 | 20多种构型 | | **运动控制自由度** | 仅支持双臂 + 简单夹爪 | 拓展至双臂、灵巧手、头部俯仰、腰部弯曲、移动底盘 | | **作业场景范式** | 固定基座的桌面平铺操作 | 高度与距离非固定的三维立体全自由度作业 | | **预训练数据规模** | 约20,000小时(标准相对宽松) | 约60,000小时(经严苛管线洗净,清洗标准更高) | | **模型基础体量** | 初始参数实验探索 | 约 3B+ 参数基座 |

在数据层面,沈宇军透露,第二代模型的约6万小时数据并非在初代2万小时上的简单加总。由于团队建立了一套更加严密的清洗与质量标注管线,初代数据经重筛后仅留下一万多小时,这意味着当前的6万小时是经历了4倍以上的有效高纯度数据积累。这些数据主要来自于真机遥操作采集,以及通过头戴式相机记录的第一人称视角人类操作数据(Ego Data),而虚拟仿真数据则被更谨慎地限制在辅助或评测环节。

沈宇军总结这种被场景硬逼出来的技术迭代:“这就是落地的过程中告诉我们到底应该……模型迭代有那么多方向,到底应该什么是最重要的。”

`35:00` 仿真数据的局限与真机数据采集成熟

在机器人模型训练的数据来源上,沈宇军谈到了团队对仿真(Simulation)数据的谨慎态度。他指出,目前在策略册上,灵波并不太倾向于用仿真数据来训练模型。虽然仿真数据可以在数量上迅速放大,但数据的核心不仅在于量,更在于分布,而分布既涵盖了构型的多样性,也涵盖了任务维度的广度。

沈宇军坦言:“我觉得仿真数据它可能在它擅长的方面它可以就是瞬间就可以生成很大量的数据这个事情是毋庸置疑的但是从另一个角度说怎么说呢它可能分布会相对同质化会严重一点。”尤其是对于柔性物体的操作(例如撕开一个塑料袋),现有的物理引擎仍需时间进行迭代升级,在那之后仿真数据的价值才会真正显现。

相比之下,真实的抓取、挪动等任务,在过去两年中数据获取的成本正在剧烈下降。据沈宇军估算,过去两年间真机采集成本“至少得降了三倍不止”。这种降本来自于人员管理体系的逐步成熟、硬件设备的稳定量产,以及行业数据需求的规模化。

在数据准备的实战中,灵波蹚出了两个至关重要的 know-how: 1. **任务下发的覆盖度**:如何设计任务以均匀覆盖机器人的各个自由度。如果90%的数据只用手而不用头,或者头部与腰部的运动比例悬殊,模型就会产生严重的动作偏好,变得只习惯动头而不会转腰。 2. **跨本体数据清洗链路**:由于灵波主打跨本体(Cross-embodiment)模型,各家硬件厂商的相机安装角度、关节自由度连接方式(Configuration)各不相同,根本无法用同一套现成的数据管线通用处理,需要为不同硬件深度适配。

此外,数据的平滑度也是决定模型质量的隐形杀手。沈宇军提到,如果数据采集员操作不够熟练、动作卡顿,模型学完后在控制机器人时也会表现得“非常卡”,因为单条数据成本极高,后期根本无法人工修平滑。因此,灵波除了联合生态伙伴的数据与本体团队建体系外,自身始终保留着一支核心数采团队,先跑通 SOP、踩平所有坑,再向外推广标准。

---

`40:00` 几何原生预训练:从 Dino V2 转向 Limbo Vision 与 Limbo Depth

在落地环节,为了提高任务成功率,灵波内部已在落地流程中引入真机强化学习(RL),用于在机器人动作犯错时由人在旁介入纠偏打断、提供正确示范。而在开源技术报告中,灵波系统性推出了第二代具身模型矩阵。

```mermaid flowchart TD accTitle: Limbo Model Matrix Architecture accDescr: 展现从Limbo Vision和World模型演进至VA 2.0的架构关系

subgraph VisionTrack["视觉感知层"] LV["Limbo Vision<br/>(几何/边缘原生预训练)"] --> LD["Limbo Depth<br/>(空间与深度感知)"] end

subgraph GenerativeTrack["时序与动态建模层"] LVideo["Limbo Video<br/>(原生 MoE 稀疏架构)"] LWorld["Limbo World<br/>(单向因果 Causal Attention)"] end

subgraph Fusion["具身原生基模"] LV --> VA["Limbo VA 2.0<br/>(具备动作/语义对齐的压缩编码器)"] LVideo --> VA LWorld --> VA VLA["VLA 2.0<br/>(多构型真机数据)"] --> VA end ```

谈到此次发布的前两个模型——Limbo Vision 与 Limbo Depth 的升级,沈宇军复盘了 1.0 版本的核心缺陷: - **语义 vs 几何**:1.0 版本的 Depth 基于开源的 Dino V2 预训练模型开发。但 Dino 属于典型的数字世界模型,长于“语义理解”(例如辨识出画面里是一盆花还是一只狗)。然而,具身智能执行物理任务必须理解空间与距离,语义和空间并非天然吻合。 - **点线面与边缘建模**:团队彻底摒弃了 Dino,改为从纯几何与边缘(点、线、面)角度从头做了一整套视觉预训练(Limbo Vision)。依托新基模并结合半年内翻了几倍的数据量,Limbo Depth 实现了质的飞跃。

沈宇军列举了两个直观的落地对比案例: - **反光水龙头与水流**:在厨房接水任务中,透明反光水龙头流出的水流,之前的模型只能判断开关状态却无法准确测距,而基于 Limbo Vision 训练的 Depth 可以清晰定位水流的空间坐标。 - **阳台玻璃门外的猫**:在数字世界里,模型只需识别出画面中有猫即可;但在物理世界中,猫的前方挡着一层透明玻璃门。如果人走过去会先撞到玻璃门。新版 Depth 在拉开玻璃门之前完全看不到那只猫,只有拉开门的过程中,猫的深度轮廓才从门后逐步浮现。这正是物理世界对“障碍物与真实物理碰撞边界”的严苛要求。

沈宇军总结了团队对于机器人能力的认知主线:“我们一直讲这三件事情:‘看得更清楚’、‘想得更明白’、‘干得更利索’,机器人我们觉得就是这三件事情。第一件事情‘看得更清楚’,我们首先要解决这个问题。”

---

`50:00` 攻关物理世界三大工程:对齐压缩、原生 MoE 与单向因果流

在解释后续发布的 Limbo Video、Limbo World 以及核心的 VA 2.0(或称 WM)时,沈宇军深入剖析了数字世界生成模型与物理世界控制需求之间的三大本质脱节与团队的底层攻坚:

| 维度 | 数字世界视频模型 | 物理世界具身模型(灵波方案) | |:--- |:--- |:--- | | **视觉压缩** | 单纯做图像体积压缩(如 100MB 压缩至 30MB),对后续策略学习无内在关联 | 训练编码器时强制融入**语义与动作对齐**,使压缩特征原生包含交互意图 | | **推理时效与画质** | 重画质与高分辨率,对推理延迟容忍度高(用户可等待 10~30 秒双向渲染) | 对画质要求低(有实时摄像头感知补偿,可容忍低清晰度),但**必须极端实时** | | **网络结构** | 普遍采用稠密模型(Dense),如 14B 参数即满载激活,推理加速空间受限 | 自研**原生 MoE 架构(Limbo Video)**,保证稀疏激活的同时大幅削减推理算力 | | **时间流动性** | 采用双向注意力(Bidirectional Attention),可同时预知视频的起始与结局 | 遵循物理规律采用**单向注意力(Causal Attention)**,严守“历史看不到未来” |

在实现这两项技术突破的过程中,团队遭遇了长达数月的工程攻坚:

1. **从零驯服 MoE 的均匀稀疏激活**: 沈宇军强调,MoE 绝非简单的“30 个参数每次激活 10 个”,其核心壁垒在于训练过程中能否让专家网络被均衡、等概率地激活,防止某几个专家参数过载而其余 20 个参数闲置沦为摆设。团队足足花了两个月时间从零摸索损失函数设计、采样策略与正则项,期间历经几十次训练失败,“MOE 应该至少光训 MOE 想训明白可能就花了两个月的时间两个月……所以我说是 MOE 训、把 MOE 训好是一个能力问题它不是一个态度问题”。 2. **拒绝“双向转单向”,从头训练单向注意力**: 数字世界的多模态预训练知识高度内嵌在双向注意力中。如果先把一个成熟的双向模型强行魔改成单向,模型会出现剧烈的“知识灾难性遗忘”——原本能听懂 100 句话并生成对应视频,魔改后仅有 20%~30% 能转化,其余 70% 的语义知识全部损毁。团队果断舍弃这一妥协路线,历时三四个月,在 Limbo World 中从零实现单向因果预训练(Causal Pretrain)。

最终发布的 VA 2.0 正是所有底层突破的集大成者:它融合了语义/动作对齐的视觉压缩、原生 MoE 稀疏算力架构、单向因果时序建模,并注入了 VLA 沉淀的大量真机机器人多构型数据,“这个基模从每一个参数都是完全随机化开始去训的……这就是我们想说的具身原生本身”。

---

`01:00:00` 意图实现与大脑边界:从位置随机泛化迈向 GPT-1 临界点

针对外界关于大模型在机器人领域究竟扮演“大脑”还是“小脑”的争议,沈宇军给出了清晰的能力界定: - **高阶决策交互(灵波目前未涉足)**:涉及自主意图生成与深层推理。例如早晨感知到窗外下雨,主动拿一把雨伞递给用户。这属于数字世界多模态 LLM 的思考范畴。 - **意图落地执行(灵波当前核心定位)**:沈宇军明确表示:“他就只管意图的实现,就是你有个想法他帮你做了,但是他不会有、他不会产生自己的想法,他不会主动帮你去想你要做什么。”

在纯粹的物理执行层面上,抛弃数字模型魔改路线、坚持具身原生预训练的 VA 2.0,展现出了应对**物理随机性**的质变。沈宇军给出了两个代表性测试场景: - **实时击打桌面碰撞球**:机器人仅依靠自身搭载的双目摄像机,在完全不依赖外部动捕或多视角场外相机追踪的情况下,以极高频的实时响应击回对手快速打来的撞球,证明其在毫秒级时延内处理随机位置突发输入的能力。 - **非结构化桌面动态整理**:面对将一筐积木杂物随机泼洒在桌面的场景,机器人可以自主规划收拾。若测试者在中途故意拿走已抓取的物品,或将物品打乱重新摆放,甚至人类伸手协作帮收,机器人都能感知状态动态调整,不再机械重复死板动作。

沈宇军指出,这种突破代表模型已经实现了扎实的**“位置泛化”**,而不是单纯靠固定轨迹的强化学习(RL)硬背指令。

而在跨任务泛化(Zero-shot 迁移至完全未见过的任务)上,灵波也在加速迭代: - 在 1.0 时代,评估是“单模型单任务”,100 个任务需后训练(Post-training)微调出 100 个独立模型,每个任务需约 100 条高质量真机演示数据。 - 到了 2.0 时代,系统已能实现多任务合并,10 个任务可合并进一个模型统一求解;后训练所需的数据量大幅下降至约 20 条。

谈到具身智能当前的行业周期,张小珺询问行业是否已迎来具身智能的“GPT-1 时刻”。沈宇军冷静地给出否定判断:“今天我还是觉得也没有到这个阶段就是具身智能本身……因为现在还没有看到一个比较好的能够做数据 scale up 的方式。”

他分析指出,LLM 之所以能爆发,是因为海量的互联网文本天然现成;而具身智能虽然在架构上做到了原生,但底座预训练仍依赖海量互联网视频,真机采集的 6 万小时数据在量级上仍比互联网数据低了两个数量级。在他看来,唯有数采标准化、真机与自监督采集渠道彻底铺开,使具身原生数据达到能与互联网数据匹敌的量级并实现自发 Scaling 时,具身智能的 GPT-1 时刻才会真正降临。得益于目前十万卡集群等成熟算力基建,行业迭代效率远超以往,这一临界点可能不会让人等待太久。

`01:10:00` 机器人的 GPT-1 时刻与原生基模的“豪赌”

谈及具身智能究竟何时迎来属于自己的“GPT-1 时刻”,沈宇军认为,随着配套工具的成熟和团队基础设施(infra)水平的提升,具身模型从起步走到类似突破点所耗费的时间或许不会像当年语言模型那么漫长。但由于蚂蚁灵波下定决心要做“原生具身基础模型”,其所需要的算力与数据资源,远远超出把具身任务仅仅当成数字世界模型下游微调的做法。

回顾做原生模型的决心,沈宇军坦言团队当时并不纠结。在发布 1.0 版本时,团队就已清醒地意识到瓶颈所在:过去很多特性是强行在数字世界的大模型上“魔改”,但改得再精巧、再 fancy,底层的固有缺陷依然会彻底暴露出来。因此 1.0 一发完,他们便拍板必须具备从底层训练原生模型的能力。沈宇军直言这无疑是一次押注(bet):“我们也不确定这个东西是不是能成功,是不是能训出来,因为之前也没有人有过这样的经历;但我觉得值得一赌,因为在我们看来,如果数字世界的那条路走不了特别长远的话,那这是一条必经的路。如果走不通……或者说如果不是我们走通,也会有人走通的,因为我觉得这可能是正确的路。”

这次尝试带来了令人惊喜的“Aha moment”。沈宇军提到,最让他惊讶的是机器人与人配合打球(如桌面足球类对抗)的任务。该任务极度考验综合性能,不仅要求执行速度极快,还要求预判与应对随机性的能力极强。最出乎意料的是,在预训练完成之后,为了让模型学会该任务,他们实际只采集了大约 20 条数据就成功跑通;而在过去,无论采多少数据都极难将此类高动态随机性覆盖好。

对于硅谷前沿实验室的借鉴,沈宇军提到了 Generalist(Skild AI 旗下)和 Physical Intelligence (Pi)。公开数据显示 Generalist 拥有几十万甚至可能近百万小时的数据储备,数据管线更加成熟,也更早切入预训练。但蚂蚁灵波的路线与之不同,他们坚定相信必须从视频生成路线中汲取物理世界先验,将视频生成做成原生的具身预训练,这在业内尚无先例。对比硅谷两家标杆,沈宇军指出两者的底层理念截然不同:Generalist 更强调高效的后训练(post-training),而 Pi 则追求极端的 Zero-shot(零样本),希望模型无所不知、彻底免除后训练。沈宇军认为两者殊途同归,未来机器人进家庭必然兼备这两种能力:80%~90% 的基础家务进门就会做(Zero-shot),剩下 10%~20% 特殊任务由人现场教一遍就能学会(In-context learning)。此外在技术路线上,Generalist 对 UMI(通用操作接口)的数据理解更深,而 Pi 在真机遥操作(teleoperation)上积淀更为扎实。

```mermaid flowchart TD accTitle: 硅谷具身基模技术路线与未来家庭形态 accDescr: 对比 Generalist 和 Physical Intelligence 的技术路线及最终融合能力

subgraph Approaches["硅谷标杆路线"] G["Generalist<br/>强调高效后训练<br/>深耕 UMI 数据管线"] P["Physical Intelligence (Pi)<br/>强调 Zero-shot<br/>深耕真机遥操作数据"] end

subgraph FutureHome["未来家庭终局能力"] Z["80%~90% 基础技能<br/>Zero-shot 进门即用"] I["10%~20% 特殊任务<br/>In-context learning 教学即会"] end

G --> I P --> Z ```

---

`01:15:00` 语言模型是入口,数据 Scale Up 才是原生核心

随着 Egocentric(第一人称视角)数据采集与灵巧手技术的兴起,沈宇军预判夹爪终将无法满足复杂精细操作的需求,真机遥操作与 UMI 两条数据管线未来也会面临升级与合流。当前各流派分歧的本质,归根结底在于“如何获取数据”与“如何使用数据”。

针对去年外滩大会上关于“具身智能是语言模型的支线,还是独立学科”的激烈论战,沈宇军明确倾向于后者。他认为,语言模型的核心是让机器听懂人类指令,而具身智能要解决的根本问题是“怎么把一件事情干好”——干好事情的执行过程本身不需要时刻依赖语言。“换句话说,如果不是语言,你假如说一共就一万个任务,然后你只把这一万个任务编成固定的编码给它,可能也行,只是它没有办法在任务维度再泛化了;但语言模型本身可以在那个维度再泛化嘛,它解决的是需求泛化的问题,但这个明显不是现在这个阶段具身智能的核心落脚点。”具身模型未来会继续把大语言模型当作绝佳的人机交互入口,但底层必定会长出独立的物理世界模型系统。

回顾 2024 年底至 2026 年行业的发展,硬件与落地的演进速度大大超出了沈宇军的预期: - **硬件与量产**:宇树、智元等本土企业已将本体量产链路跑通,供应链迅速成熟。 - **末端执行器与传感器**:灵巧手公司层出不穷,触觉传感器加速涌现,行业已不再满足于简单的二指夹爪。 - **落地验证**:去年西湖论剑或世界人工智能大会(WAIC)期间行业还在排队“秀 demo”(例如“24年倒咖啡、25年叠衣服”),而今年 Figure 展示物流分拣、各大厂商深入工厂实测,大家已不再使用传统控制算法拼凑演示,而是全线尝试用端到端模型落地进真实场景。

---

`01:20:00` 数据规模百万小时起步,大脑与本体的交替上升

在全行业突飞猛进的背景下,沈宇军认为唯一不及预期的环节依然是“数据”。过去一年业内虽高呼需要数据,但由于缺乏真正的具身原生基座模型作为驱动引擎,大家对海量数据的渴求并未转化为紧迫行动。他给出了具身原生预训练的数据量级蓝图:

- **阶段目标(预训练起步)**:至少需要 10 万小时完全用于具身原生预训练的纯净数据。 - **理想稳态(通用与操作平衡)**:需要达到 100 万小时起步的数据量,使物理具身数据与互联网多模态数据达到相对平衡,兼顾通用物理常识与微观操作知识。

针对行业从“本体模型双修”转变为“只做大脑不做本体”的趋势,沈宇军剖析了底层逻辑。当前单一硬件本体几乎无法做到通用,若要落地就必须针对特定场景设计本体进行成本优化与功能剪裁,而过早做六边形战士本体必然导致硬件超配、成本失控;更关键的是,目前谁也无法断言哪个场景能最先爆发。

更深层的原因在于:“大脑的开发目前是落后于本体的,今年的主要矛盾应该是怎么让它先变得能把活干好。”正如业内所言具身干活目前仍是“一片荒漠”。沈宇军指出,大脑与本体的关系绝非割裂,而是“交替上升”的螺旋迭代: 1. **当前阶段**:本体硬件与量产跑在前面,大脑智能严重滞后,行业全力攻坚大脑算法; 2. **下一阶段**:随着做大脑的团队爆发,智能水平超越现有本体极限,算法会对本体提出前所未有的控制需求; 3. **重构阶段**:届时将诞生一批由“AI 智能重新定义”的新一代本体公司,硬件参数不再按照传统机械工程指标堆砌,而是完全为了“模型更易控制”而定制; 4. **循环驱动**:更强的本体又会倒逼智能再度暴露出不足,循环往复。

因此,上一代硬件无法直接平滑适配下一代模型,首当其冲需要重构的是触觉等传感器。传统传感器设计一味追求力控测量绝对精准,但在 AI 时代,神经网络可能更渴望极致的响应延迟与高刷新率而非绝对数值精准。这种取舍唯有从模型端出发才能重新定义。

---

`01:30:00` 创业是赌出来的:灵波的架构原生与数据原生

从 2.0 迈向未来的下一代基模,沈宇军表示蚂蚁灵波在物理特性与架构原生(时间流逝理解、推理效率)上已经突破,接下来的核心战役是推进到“数据原生”,攻克极度消耗数据的“任务泛化性”。

虽然业界普遍看好 Egocentric(第一人称视角)数据采集,但沈宇军保持着冷静:仅凭头部相机视角拍下来的数据是否足以支撑灵巧手复杂的微操动作,至今仍是未知数。采集理念必须真正打磨成高可用产品才能规模化推开。当下模型团队面临的核心两难,正是**数据质量(多模态、精细度)与规模化(量大、成本低)之间的拉锯平衡**,必须明确模型在预训练阶段到底可以舍弃哪些无用冗余,规模化才能真正爆发。

谈及从科学家转型为创业者,沈宇军感慨这是人生的两个“第一次”:第一次面向真实业务落地(“业”),第一次躬身创业(“创”)。在落地层面,他学会了不再盲目追求技术自嗨,而是死磕“有商业价值的领先”,优先确保模型支持任务的广度与泛化;在创业层面,他最大的体会是“创业一定是赌出来的”: > “创业一定是赌出来的……没有人知道哪一个路一定是成功的,然后资源又一定是有限的,所以在有限的资源下、路径不确定的情况下,就是要赌。敢做决定、敢赌,这是我觉得很关键很关键的一点。因为如果说一条……大家如果都知道哪条路是成功的,那为什么是你成功?如果那条路一定成功,大厂一定成功,这是百分之百的,有更有资源、更有人的地方一定会成功。但是在路径未知的时候,如果犹豫不决,很有可能最后就什么都做不出来。”

在灵波的发展历程中,不碰本体是第一场豪赌,而坚持做具身原生基模是另一场更大的豪赌——很可能投入海量算力与长达一年的时间,模型却最终不收敛。但沈宇军认为,既然数字世界的微调路线无法通向物理终局,这便是不可逃避的关口。

在与母公司蚂蚁集团的关系上,蚂蚁秉持“AI First”战略,将灵波定位为承载集团物理世界人工智能上限的先锋,以此补齐数字生活服务向物理世界真实交付服务的关键跳板。组织架构上,蚂蚁给予灵波类似独立创业公司的高自治空间,同时共享底层算力基础设施。在这几次路线选择上,集团与团队虽有讨论辩论,但最终给予了团队充分的信任与决断权。

---

`01:40:00` 终局格局、导师汤晓鸥与豁达的人生哲学

对于未来具身智能的终局格局,沈宇军预测它将与大语言模型十分相似:最终由一两家顶级大厂以及两三家顶尖创业公司鼎足而立。蚂蚁灵波的定位是一家“背靠大厂的创业公司”。未来各家会分化出各具特色的生态壁垒(场景生态+本体生态+数据生态),例如部分模型擅长精密微操,部分擅长超长程复杂规划,最终在迈向“机器人进家庭”的通用终局前各据一方。

当被问及对“双足人形机器人”是否有执念时,沈宇军斩钉截铁地表示“没有”:“毕竟是从一个创业公司的角度来讲,我觉得我们一个阶段解决一个最核心的问题就好了。现在当下最核心的问题就智能不够!我觉得还没有到……现在到底是轮式还是足式,或者说它构型应该长什么样,还不是现在的核心卡点。现在核心卡点是智能不够,然后智能不够的核心卡点是数据不够。”他笑称,若智能不足以把活干好,无论轮式还是双足,自己都不会允许它进入家庭,此时过早争论机械形态毫无意义。

谈到已故导师汤晓鸥,沈宇军回忆汤老师极度幽默风趣(同为东北人倍感亲切),更具备一种在混乱与混沌中一针见血揪出“主要矛盾”的超凡洞察力。在当年博士答辩时,面对沈宇军做的图像视频编辑研究,汤老师没有纠缠于技术细节,而是直接抛出一个直击灵魂的落地问题,直指当时上一代 AI 缺乏实际应用场景的最大痛点。

沈宇军坦言,目前的具身模型离普通大众生活依然遥远,主要面对开发者,行业沟通中被问及最多的依然是“如何复现、如何做好后训练”。但后训练需要极高的数据清洗与调参诊断能力,并非简单微调。若能做出类似桌面足球那样即时可玩的实体交互,公众的体感与参与度才会真正打开。他最大的愿望,是未来具身智能能像语言模型 App 一样飞入寻常百姓家,可以直接带一个机器人给父母使用,那时的成就感将无可比拟。

在访谈尾声的快问快答中,沈宇军流露出率真的一面: - **人生之书**:推荐金庸的《笑傲江湖》,坦言自己反复读过很多遍,尤其向往令狐冲身上那种豁达超脱、“什么都不太在乎”的心理境界。 - **机器人的性格偏好**:坚决希望机器人是一个利索干活的“J 人”(MBTI 计划型人格)。他毫不犹豫地表示:“在提供情绪价值和干活之间,我会果断地选择干活。情绪价值应该由人来提供,机器人核心还是要实用。” - **行业标杆**:高度评价了 Generalist 在数据规模化上的 blog 分享、Physical Intelligence 的扎实工作以及 Google DeepMind 的长期探索;并坚信中国无可替代的本土硬件与供应链优势,必将在全球具身智能演进的历史长河中留下不可磨灭的印记。

`01:50:00` 具身数据的规模化标准与行业协作

在访谈的尾声,话题重新落回制约具身智能发展的核心瓶颈——数据。针对如何打破高质量物理世界数据的获取瓶颈,沈宇军指出,除了团队自身在采集方法上的探索,与生态伙伴的深度合作也是必不可少的一环。具身智能所需的数据量极其庞大且对物理交互精度要求苛刻,单靠某一家团队闭门造车很难在短时间内建立起可扩展的数据飞轮。

沈宇军强调,要真正实现具身数据的规模化,关键前提在于建立统一的规范与采集标准。没有标准化定义的数据往往杂乱无章,不仅清洗和对齐成本极高,甚至会对原生多模态大脑的预训练产生负面干扰。因此,蚂蚁灵波正积极携手业内优秀的数据采集与处理合作伙伴,共同摸索更加高效、规范的工业化流程,推动物理世界交互数据从散兵游勇式的采录走向工程化的规模扩张。正如沈宇军所言:“就是我们会有一些比较好的数据的合作伙伴,对,然后可能也会跟他们一起说,看看怎么一起去把这个数据做得更好,因为数据你所有的规模化都一定要有标准,对,所以从这个方面我们是在积极的(推进)。”

- **数据标准化的战略意义**:具身智能数据的规模化(scale up)不能仅停留在体量堆砌上,核心在于建立严格统一的采集标注规范,这是保证模型跨场景、跨本体泛化能力的基础。 - **开放协作生态**:面对百万小时起步的数据缺口,通过联合专业数据伙伴共同攻坚,是推动机器人原生基础模型走向下一次质变跃迁的必经路径。

## Notable quotes > `01:40:00` 在提供情绪价值和干活之间,我会果断地选择干活。情绪价值应该由人来提供,机器人核心还是要实用。 — 沈宇军

> `01:40:00` 现在核心卡点是智能不够,然后智能不够的核心卡点是数据不够。 — 沈宇军

> `01:20:00` 大脑的开发目前是落后于本体的,今年的主要矛盾应该是怎么让它先变得能把活干好。 — 沈宇军

> `01:30:00` 在有限的资源下、路径不确定的情况下,就是要赌。敢做决定、敢赌,这是我觉得很关键很关键的一点。 — 沈宇军

> `10:00` 研究员认为的先进的技术跟行业需要的先进技术是会有 gap 的。 — 沈宇军

> `00:00` 离开视觉机器人肯定是没办法工作的,我觉得这是一个对视觉的强依赖。 — 沈宇军

## Mentioned 沈宇军, 张小珺, 汤晓鸥, 柯丽一鸣, 蚂蚁集团, 蚂蚁灵波, 商汤科技, 字节跳动, 蚂蚁技术研究院, Physical Intelligence, Generalist, Skild AI, Google DeepMind, Figure, 智元机器人, 宇树科技, 特斯拉, StyleGAN, Dino V2, Limbo Vision, Limbo Depth, Limbo Video, Limbo World, Limbo VA 2.0, VLA, UMI, 金庸, 《笑傲江湖》

## Video description 进入2026年,中国科技业萌生了一个新现象:出现一批从机器人大脑出发的公司,现阶段重心不在本体上。这个现象是反直觉的——过去,大家认为,硅谷机器人团队更专注大脑研究,中国机器人团队更专注硬件和本体。 在我们上集节目中,我访谈了Physical Intelligence(Pi)研究科学家柯丽一鸣。Pi是一家在硅谷做机器人大脑的备受瞩目的实验室。业内人士把它们比作机器人的OpenAI。 今天我邀请的是一位在本土探索原生具身基模的公司,是由蚂蚁集团孵化的子公司蚂蚁灵波,目前刚发布第二代具身基础模型。 我与首席科学家沈宇军聊了聊,如何从预训练开始训一个机器人模型?瓶颈是什么?机器人的GPT-1 moment在哪里?——大家也能从中感受一些中美思路的融合与差异。 接下来,就是我对沈宇军的访谈。 OUTLINE: 00:02:03 蚂蚁灵波的缘起 人工智能学生的一段迷茫与辗转 从字节跳动到蚂蚁研究院 蚂蚁成立子公司蚂蚁灵波做具身智能始末 00:16:03 做机器人的原生大脑 为什么决定从大脑开始? 通用意味着跨本体、跨场景、跨任务 24年底成立以后,25年、26年bet了什么? 25年:从真实传感器出发解决问题 26年:既然没办法push数字世界修改模型,基于物理世界的需求重做一遍 预训练准备数据核心是:1、你要下发什么样的任务,2、拿到数据以后怎么处理更干净 这次发布的6个模型和他们的关系(Depth、Vision、VLA、Video、World、VA 2.0) 但更本质的智能我们还没解决:把和人的交互考虑进去 做具身大脑之后,处理位置随机问题的能力强了很多 机器人泛化性的迹象到底出现了吗? 01:07:29 数据没有scale up是最大卡点 具身智能还没有到GPT-1时刻,因为没有看到比较好的做数据scale up的方式 当具身数据和互联网数据能达到相同量级,可能才到GPT-1时刻,我预计明年中 发完第一代模型我们就意识到,强行在数字模型上魔改不work 硅谷两家机器人大脑公司 :Physical Intelligence强调zero shot,Generalist强调后训练 随着灵巧手的成熟,真机遥操作和UMI(Universal Manipulation Interface,通用操作接口) 两条数据采集路线可能变化 细数2024-2026年具身智能全行业的发展与速度 行业发展不及预期的仍是数据,需要百万小时起步的数据量 01:23:10 机器人大脑与本体的关系 为什么不做本体?本体很难通用,如果场景选不准,本体设计有问题 现在大脑的开发落后于本体,未来大脑和本体一定交替上升 这一代的硬件不一定能够迭代去适应下一代的模型,尤其是传感器 接下来的几代机器人基座模型会如何迭代? 01:31:48 创业是赌出来的、与蚂蚁的关系、汤晓鸥 下过的“赌注”? 蚂蚁如何管理蚂蚁灵波? 最好的预期和最坏的预期? 最终的产业格局?也许贴近大语言模型的格局 你对人形机器人有执念吗? 没有! 当下的核心任务只有一个:智能不够! 我的老师汤晓鸥 LINKS: 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出; 我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出; 如果你想服用文字版,请搜索我们工作室的公众号:语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: xiaojunzhang@lisw.ai Jump into the new world-and explore with us!😉

[Source](https://www.xiaoyuzhoufm.com/episode/6a5f79b3a3fec224d5a128cd)

中文简报

蚂蚁灵波沈宇军弃用数字模型,重训具身原生大脑 具身智能尚未迎来GPT-1时刻,行业主要矛盾是数据规模不足导致智能滞后于硬件本体,强行魔改数字世界大模型无法实现物理动作泛化。 访谈围绕蚂蚁灵波为何放弃硬件本体、专注攻坚跨本体通用原生大脑展开。首席科学家沈宇军复盘了从计算机视觉转向具身智能的心路历程,阐述了团队为何在2026年彻底抛弃数字世界的视觉基座,转而基于真实物理传感器、单向因果流与原生 MoE 架构从头进行具身预训练。他指出具身智能尚未迎来“GPT-1 时刻”,当前最大的掣肘在于数据未能实现 Scale-up,并剖析了大脑开发滞后于本体硬件的螺旋迭代关系。最后,他分享了初次创业以有限资源下注技术路线的心态,以及导师汤晓鸥在看透问题本质上对自己的深远影响。 蚂蚁灵波发布第二代具身基座模型,推翻数字世界视觉基座魔改路线,从几何边缘、原生 MoE 架构与单向因果流出发从零预训练,支持 20 多种硬件构型并拓展至底盘、灵巧手与躯干协同。 (20:00) 沈宇军认为具身智能尚未迎来 GPT-1 时刻,最大卡点在于缺乏有效的数据 Scale-up 路径,真机原生数据需从现有的数万小时跨越到 100 万小时起步,才能与互联网数据达到平衡并触发自发 Scaling。 (67:29) 灵波坚定执行“不做本体、专攻跨本体通用大脑”战略,认为家庭场景差异导致硬件构型无法统一,当前主要矛盾在于大脑智能严重滞后于本体硬件量产,未来两者将交替上升。 (16:03) 沈宇军对双足人形机器人毫无执念,指出当前核心瓶颈是智能与数据不足,过早争论机械形态是轮式还是足式毫无意义,机器人在家庭中的首要价值是实用干活而非提供情绪价值。 (100:00)

Reading summary

蚂蚁灵波首席科学家沈宇军认为,具身智能当前的核心矛盾是“智能滞后于硬件本体”,其根本瓶颈在于物理世界数据不足;灵波因此放弃涉足通用本体制造,选择从底层重构跨本体、原生适应物理世界规律的具身基础模型。 战略定位:专注通用大脑与不做本体 (10:00) 蚂蚁灵波在成立之初便确立了“坚决不做硬件本体、专注通用原生大脑”的定位。沈宇军判断,物理世界中由于家庭户型与作业场景的差异,天然不存在能通吃所有任务的单一“万能本体”,且过早追求全能本体易导致硬件超配与成本失控。因此,团队将通用性定义为跨场景、跨任务与跨本体三层,目标是在预训练阶段纳入多种机械构型,使下游各品牌机器人底层皆可运行灵波模型。 在沈宇军看来,大脑与本体的关系并非割裂,而是呈“螺旋交替上升”态势。当前阶段本体供应链与量产成熟度跑在大脑算法前面,首要任务是攻克大脑智能;未来当算法超越现有硬件极限时,势必反向催生出由 AI 控制需求重新定义的新一代本体与传感器。 技术转向:彻底重训物理世界原生基模 (20:00) 在模型技术路线上,灵波经历了关键转折。早期团队曾尝试将数字世界的现成大模型嫁接至机器人末端,但发现数字模型追求高画质与静态语义,忽视了物理世界极度依赖的空间拓扑、动态连续性与单向因果流。2026年上半年,沈宇军决定保留大语言模型作为人机交互入口,但在视觉理解与生成维度彻底推倒重来,基于物理需求从零预训练。 灵波从初代模型升级至第二代具身基模矩阵时,摒弃了长于语义识别的 Dino V2,开发出专注于纯几何、边缘及深度定位的 Limbo Vision 与 Limbo Depth,解决了透明反光物体测距和障碍物穿透误判等痛点。同时,团队在 Limbo Video 和 Limbo World 中从零攻克了具备动作意图对齐的压缩编码器、原生 MoE 稀疏激活架构以及单向因果注意力,避免强行魔改导致的灾难性遗忘,最终集成为全随机初始化预训练的 VA 2.0 模型。 能力演进:从桌面平铺迈向全自由度作业 (26:00) 真实场景的严苛要求推动了灵波模型形态的代际跃迁。第一代模型主要聚焦于固定桌面环境的抓取,仅支持9种构型与双臂夹爪控制;第二代模型则拓展至20多种构型,运动控制覆盖双臂、灵巧手、头部俯仰、躯干弯曲与移动底盘,适应三维立体作业,有效避免了视角变动带来的视线盲区与系统崩溃。 在任务泛化方面,第二代模型实现了由“单模型单任务”向多任务统一求解的跨越,将原本100个任务需微调出100个模型且各需约100条演示数据,缩减至10个任务合并为一个模型、仅需约20条后训练数据。在执行层面,模型通过了应对位置随机性的突发测试(如双目视觉下的实时击打桌面碰撞球、抗干扰桌面动态整理),展示出扎实的位置泛化与动态纠偏能力。 核心瓶颈:数据规模化与GPT-1临界点 (35:00) 针对具身智能是否迎来“GPT-1时刻”的讨论,沈宇军给出了否定判断,指出行业尚未摸索出有效的数据规模化(Scale-up)路径。大语言模型的爆发得益于互联网现成海量文本,而灵波第二代模型清洗后的真机与第一人称操作数据仅约6万小时,整体具身原生数据仍比互联网多模态数据低两个数量级。 在数据策略上,灵波对仿真数据持谨慎态度,认为其对柔性物体和真实分布的模拟仍显同质化;而得益于工程体系与量产成熟,真机采集成本在两年内已降低三倍以上。沈宇军测算,原生具身预训练起步需要至少10万小时纯净数据,达到通用与微操平衡的理想稳态则需100万小时以上。唯有建立严格统一的采集与标注规范,并借助生态伙伴实现工业化扩张,具身原生基座才能迎来质变临界点。 沈宇军认为,未来具身智能的终局格局或类似大语言模型,由少数顶级大厂与顶尖创业公司鼎立,各家依据场景、本体与数据构建差异化壁垒。现阶段行业无需过早纠结于双足或轮式等机械外形,具身智能能否真正走进家庭,唯一的试金石是其能否通过数据原生突破,成长为能够切实把活干好的实用系统。

Source quotes

[100:00] 沈宇军: 在提供情绪价值和干活之间,我会果断地选择干活。情绪价值应该由人来提供,机器人核心还是要实用。 [100:00] 沈宇军: 现在核心卡点是智能不够,然后智能不够的核心卡点是数据不够。 [80:00] 沈宇军: 大脑的开发目前是落后于本体的,今年的主要矛盾应该是怎么让它先变得能把活干好。 [90:00] 沈宇军: 在有限的资源下、路径不确定的情况下,就是要赌。敢做决定、敢赌,这是我觉得很关键很关键的一点。 [10:00] 沈宇军: 研究员认为的先进的技术跟行业需要的先进技术是会有 gap 的。 [0:00] 沈宇军: 离开视觉机器人肯定是没办法工作的,我觉得这是一个对视觉的强依赖。

Original transcript

[0:00] . Hello, everyone. I'm Sio G. In 2016, the Chinese technology industry has become a new phenomenon. It has appeared from the computer brain from the computer brain, the company's current. This phenomenon is a false sense of, because in the past, everyone thought that the computer brain is more focused on the computer brain research. And the Chinese computer brain is more focused on the computer brain research. In our previous video, I talked to the physical intelligence PI research research team. 机器人大脑的备受瞩目的实验室 业内人士把他们比作机器人的open AI 那今天呢 我邀请的是一位在本土探索原生巨生机座模型的公司是由蚂蚁集团孵化的子公司蚂蚁林波 目前刚发布了第二代的巨生技术模型 我与他的首席科学家沈宇军聊了聊 到底在哪里,大家也能从中感受一些中美思路的融合与差异。 那接下来就是我对沈宇君的访谈,期待2026年,我们和AI。 共同进步 I'm still confident that the巨神 will have a unique character. This point if not change in the situation, the data must be supported by the way it can be done by the way it is a key to the way it is. - Not to expect the data to be done. - Not to expect the data to be done. I think from the current business, the brain is probably the most important thing. is a loss of the body. If a machine has a character, you can see what kind of character? I hope he's a J-人 He's a good guy Yeah I think the key is to use the first one Shout it loud So the next. Hello, Uyikin, the audience will be able to get a call. Hello, I'm Shem Uyikin. I'm in the Mali-Lin波科技. I'm a former former graduate student. I was in the清华, and then I was in the country. I was in the country. I was in the清华. And then I went to the AI-based field. I went to the business of the business. I went to the business of the business. I went to the business of the business. I was at the "Ton" to read a book. I was actually very surprised. AI was a bit hot, but I didn't know if I liked I was able to do some things. I tried to do many ways. I was able to do some things. I was able to do some things. 生成模型这个方向去做 对 然后当时做的也是比较早 从17年开始就就是做生成模型 然后 可能坐着坐着然后那个时候也是有一系列比较火的工作出现嘛 尤其是像style gun那个系列的时候 然后坐着坐着 因为我刚开始做生成 然后做做生成 那个时候比较火的可能就是一些图像编辑相关的东西 就是你怎么把它按照你想要的方式去调整一下呀 比如说把你变得更漂亮一点啊 之类的 然后那坐着坐着就会发现好像做的太下游了 再往前做呢就是呃现在可能大家会讲的更多就是叫预训练嘛对那个时候其实还没有这个概念说白了就是想训这个生存模型对然后但是再训一训就会发现好像这个东西完全有点不太好 不太能受自己的控制 就是你除了 因为那个时候还没有说什么对参数量 这些还没有这个相关的说法 然后就是感觉坐着坐着 也不知道怎么能让这个模型变得更好了 然后就开始想说 那我再往前一步 就是从生成之前的就是做表征 然后可能就是这么一步一步的 从最开始对数字不感兴趣 然后对生成内容感兴 [5:00] 然后再从编辑然后再做到底层的训练然后再从底层训练再往前做做到表征学习可能基本上一路就是这么过来的吧什么时候发现干不能scale这是一个挺有意思的故事就是我们甚至于在今年今年年初的时候还在尝试做最后一次尝试然后还没死刑对就是哪怕是在Defusion火了之后然后后面有大家又开始用自回归也去做一些生成然后哪怕是这样的时候我还是感觉我们团队还是坚持做了一段时间GAN的Scale Up然后怎么说呢其实是取得了一定的效果吧就是我们前一阵子做的一个GAN的模型QuiRelease出来啊然后那个时候会发现跟Diffusion比确实是在某一些方面没那么好但是也比之前的前几年的技术其实还是要进步不少的对就是说它还是有它的价值但是它最大的问题还是计算量的利用效率太少了就是因为Diffusion毕竟它可以不断的就是它可以迭代好多次然后我们就觉得那对于生成特别复杂内容尤其是你想要做这种视频的生成的时候因为它就是里面的内容实在是太多了然后可能干确实不一定是一个最好的选择了然后所以可能我们会把我们在干上积累的一些技术我感觉沉淀下来然后release给公众之后可能就也算是化成了一个句号吧对不敢说圆满但是应该也算是画上了一个句号然后可能接下来也不太会在GAN的ScaleUp上在做过多的尝试了但是往回说一点就是说我觉得GAN本身是就对抗生产网络嘛它其实里面核心的一个技术还是在对抗上就是在如果你同时想要去两个模型然后让他们两个都在互相迭代然后彼此博弈的这个过程中其实在这方面我们还是积累了一定的东西然后这个技术本身我觉得在抛开GAN本身不讲的话之后应该还是会有用处的对只是可能不是在现在这些场景上对对用在这个图像生成这个领域了对你当时从博士毕业的时候就在那个节点当时商汤处于什么状态多么太处于什么状态对于商汤当时发展到什么样我印象不是很深了然后可能像这种生成式的就是生成内容的这个东西当时还没有出现在商汤这个整个业务的大的范围里面其实我毕业的时候加入的是我先去了字节跳动当时字节跳动倒是跟我做的东西很匹配因为它是做抖音的抖音本来就做内容然后他当时需要做很多特效我记得当时就是用我读书期间做的一些工作当时还带火了一些比较有趣的应用因为我是做图像编辑的然后就是看能不能通过一些AI的技术比如说让你男生变成女生然后变老变年轻就看看有一些就是当时应该会有一些玩法说比如说看看你20年后应该长什么样子你70岁了应该长什么样子就类似的这种东西把一个人跟另一个人中间做一个完美的就是比较连贯的那种转换对当时就是有一些这样的玩法是用起来了在自己也可能待了当时大概一年多吧然后那个时候给我的感觉就是大家每天都在想各种各样的创意就是说比如说今天又有一个什么好玩的特效我们希望它变成一个爆款当时我就会感觉确实还有很多自己想做但是没做的东西嘛那个时候刚好是2022年的时候然后应该是蚂蚁的技术研究院在招人这一步还没有爆发XPTA对应该是在我来了蚂蚁之后的年底才那个时候也是震撼了一步那个时候应该处于像你们这种人工智能学生的一个迷茫期吗算吗因为你加入大公司他其实主业不是干这个的他都是在既有的产品上去用人工智能技术赋能一下对相当于是做这个计算机视觉这个领域嘛坦白讲计算机视觉过去十几年吧我感觉第一波可能是人脸识别这个确实是一个比较大的一个应用了然后第二波可能是特斯拉带火的这个自动驾驶对吧然后他推出了一个纯视觉方案除此之外好像还没有看到哪一个就是说视觉应用然后被大规模的用起来然后有一个比较强的产业价值好像还没有碰到这么一个具体的场景对然后这也是为什么说我本来从视觉现在想转到就是当时24年的时候我就开始想去做这个就是机器人这个事情对因为感觉视觉可能是在数字世界可能就是怎么说呢它不是一个主要的发挥作用的一个地方用武之地不够对我是这么感觉的对但是在物理世界 [10:00] 离开视觉机器人肯定是没办法工作的我觉得这是一个对视觉的强依赖然后所以说当时就开始想24年的时候在蚂蚁当时就在蚂蚁技术研究院然后本来是想在研究院说要不要做一个就是往距身方向开始做一些探索当时是有这么一个想法对然后刚好因为就是整个蚂蚁的大的就是有一个比较大的一个规划就是其实蚂蚁本身是做这个生活服务的嘛就是他做了很多这个数字世界的服务就是大家比较比较就是听的比较多的可能是金融相关但其实蚂蚁做了很多像这种医疗啊对吧然后说这个雏行啊等等这方面的服务就是蚂蚁做了非常多数字世界的这个生活服务相关的事情然后呢从整个集团的层面来讲说那数字世界的服务如果像再往进步延伸肯定是要往物理世界迁移嘛对然后刚好就是就是那个24年底的时候就是蚂蚁是正式宣布说要成立了一家子公司就是蚂蚁领波科技然后那个时候我在研究院也刚好跟就是当时的院长propose说我也想要去做巨神质量相关的事情然后就是铺谋而合然后就是当时也就是被怎么说呢就是相当于调动到这个林波来然后说一起去我们既然要做就不要说再当一个研究型的机构来做了而是说我们可能是更加的直面这个行业跟着行业一起成长对所以说可能就是这么一个契机吧然后就是来了林波这里蚂蚁研究院当时是个多大的规模的组织啊有不同一方向的研究员的探索是吧对对对就是人工智能是它的一方面嘛然后像它的这个隐私计算因为就是安全是一个很重要的点嘛我更多的理解是这个东西像是一个一些探索性的东西其实都会放在研究院来做当时对为什么决定成立一个子公司专门做巨生智能我其实觉得这是一个集团应该是做的一个比较大的一个决心我觉得我觉得如果是还是把它当做研究机构的形式去做的话很有可能做一做就脱离了这个行业或者换句话说就是研究员认为的先进的技术跟行业需要的先进技术是会有gap的对所以我觉得这其实是一个比较明智的一个选择就是说既然要干那我们就变成一个真实的业务来干而不是把它变成一个研究性质的就是试验试错的一个团队去做对所以说就成立了这么一个公司你看你经历了三个组织分别是自己蚂蚁的研究部门然后和现在的蚂蚁林波这三个部门分别是第一个是以前的一个产品公司然后你要用AI技术去复能它第二个是一个研究驱动第三个是跟产业结合的一个类似于创业公司是算创业公司吧对算是创业公司你的感受是什么样的在这三个组织中然后你觉得现在的AI不管是产品也好模型也好它应该用一个什么样的组织方式去驱动它从最开始就是在字节那边我其实也是做业务然后来了蚂蚁技术研究院之后又刚好赶上从没见过大模型然后到大模型爆发然后也受了一波冲击然后那个时候就有点不知道其实很迷茫就是研究到底是什么样的东西是好的研究就是你发了一篇论文或者说你能拿到比较多的引用量是不是就代表你很成功就是我们到底能给这个往小了说就是学术圈对吧往大了说就是这个行业到底是带来什么就是这个研究是不是有价值那个时候自己心里是不是很清楚的然后再到现在的蚂蚁林波这边我这一次的感觉其实是比较深的我觉得它刚好是两者的一个结合就是说我们既想要去做一些不一样的事情然后这个不一样的事情呢又能够直面真实的需求对然后为什么说现在可能这是一个比较好的机会因为在这个也是在做业务的过程中但是现在机器人不是因为技术还没有收敛我觉得作为技术人可能是在这个时候能为这个行业去或者说哪怕是探索一条不正确的路也是一种贡献对吧反正就是说在这里面技术不收敛的时候我觉得是有比较多可以做的事情所以在我看来如果现在既想要做一些比较大的事情然后又不想要说在一条完全没有创新的然后纯是那种怎么说一条确定的路上只是说把桩子打得更深我觉得从这个角度来讲我觉得巨深反而是一个比较好的机会大家在这里面既能有发挥的空间然后又能做一些对产业有价值的事情你们刚创立的时候刚过来是什么 [15:00] 两个点嘛第一个点是感觉自己还是太天真了天真的原因是因为24年的时候我不是当时在研究院就propose说想要做机器人嘛然后后面就发现想做跟真的开始做完全不一样就是这个机器人机器人这个赛道有太多我不了解的东西了就是可能当时对视觉啊对模型这边会懂一点但是真的说比如说把一个模型用到机器人上怎么去部署怎么去调里面的通信什么我太多的技术战士超出了我本来的认知这是第一个感受第二个感受呢就是也很怎么说呢 就是在这个过程中从最开始来了林波岗成立的时候 然后整个团队可能不到10个人然后一点点的看着这个团队就是不断的壮大起来然后这个过程中可能感觉一边在学习然后一边又跟着行业一起变化感觉这种感觉还比较奇妙对可能可能这两个这两点感悟可能会多一点吧创立之初你们当时想明白后面要怎么走了吗有些东西是很难判断的嘛但是我们创立之初其实就明确了一个事情就是我们希望能够做一个就是我们还是希望做机器人的大脑这一层这是我们当时就已经明确下来的一个为什么不做本体是这样我们最后是希望先说我们的初衷啊因为我们当时成立之初呃是沿着整个麻鸡团的这个就是普惠的这个想法然后再加上他这个生活服务的推广对我们最后还是希望说未来某一天每家都会有一个机器人对然后但是这个机器人是什么样子其实谁也不知道甚至于它是不是一定是同一个品牌也不一定对吧就像大家现在的手机也是五花八门的对但我们最后就是希望每家最后都能有一个机器人然后我们希望在这个机器人里面跑的最后都是凌波的这个模型或者说用的是凌波的大脑这是我们当时做的一个比较大的决定我们也会做一些像这种末端执行器啊什么这些因为现在整个的模型还没有完全的收敛掉未来本体的会发展成什么样可能我们也不清楚就像大家现在用手机手机也不是一个固定的品牌就是说大家比如说都用苹果或者说都用华为也没有这样的一个说法所以说嗯在这个还没有这个地方还没有明确答案的时候我们明确的想法就像刚刚说的是我们要希望这个本体都跑了一个灵波的大脑这个事情所以就是坚定的沿着这条路先把它拆就是汤出来先把它做得比较扎实对这是我们整体的想法你们团队现在是一个什么样的构成啊是一个更偏research驱动的一个团队吗你看美国就有physical intelligence这样的组织嗯其实它的好处就像我刚刚说因为行业技术还不收敛所以说它有一些一定是要有research的成分的就换句话说我们要不断的去探索说智能的上限在哪里但这个探索的本身其实就是一种research但同时我们既然说成立之初我们就以一个公司的形式去运作这个组织就是不想让这个research太天马行空就是我们还是希望这个东西能够跟产业有非常强的结合基本上是两手抓一手是想要去看智能的上限在哪里另一手就是抓落地就是说这个东西一定要把它放到真实的场景应用里面去试然后会发现就是比如说哪里不行反过来用这个不行的点去重新反向去驱动说我们下一步的模型迭代应该往哪些方向走因为模型还很早期它可能有十个八个这种需要迭代方向甚至可能更多但是精力是有限的你不可能说我全面开花所以说有哪一个就是或者说哪一个特点会先去开发这个事情可能是反而是由行业或者说由落地来决定的对你们从24年底成立然后每一年都分别做了那些事情对这个就是说24年底成立的时候其实那个时候第一步做的就是先把我们到底要做什么我们是谁然后要做什么这个事情先想清楚了这是一个很关键的点我其实25年整个一年呃我会觉得我们做了一个比较阿胆的一个决定当时是从25年3月份的时候嗯就开始会意识到说机器人可能不单纯是一个就是这么说多么太理解的一个东西了因为它毕竟要动嘛对吧它跟环境有交互那个时候其实就开始意识到嗯就是动态建模或者说对对这个 [20:00] 持续上的这种建模可能是对于机器人往后发展是一个至关重要的一个事情对那个时候其实还没有所谓的叫WAM这个技术路线就是这个世界动作模型那个时候还没有这个概念出来但那个时候我们就比较坚定的觉得说机器人的往前走一定要从视频里学习就是而且学是就从视频里学习不是说把视频抽针然后还是当成图像来看就是真的要让他学会失去的东西那个时候是二五年初就做了这么一个比较大胆的决定所以说经历了基本上九个月的时间然后在今年年二十六年初的时候其实我们也是当时比较早的应该是行业可能是基本上我感觉应该是最早发布了就是开完了一个现在就是大家叫世界动作模型我们叫视觉动作模型对就是VA对当时是我觉得这一波应该是25年做的一个比较大的一个决定然后26年今年又过了半年然后今年我觉得做的一个比较大的决定就是在25年整个探索的过程中我们发现了另外一个事情就是很多时候我们因为最开始机器人我们也没有特别多的数据然后所以很多的时候训练是依赖着数字世界的模型去做的然后就有点像把数字世界的模型在物理世界加结成了一个agent大概当时是这么做的加了一个动作对对对但是那个时候就意识到了一个比较重要的问题就是很多时候数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的但你这个时候你又没办法Push他们去改因为数字世界有自己的一套逻辑他们也有自己的应用场景对比如说可能从就是士兵生成这个角度来说就是他就会希望这个生成的画质特别高对吧这是数字世界的需求但是其实物理世界你落实到机器人动作来看其实这个东西没有那么重要对但是你不能反向去Push它改模型因为它们是有自己的迭代节奏的所以26年这一年就是或者说这半年吧我们做了一个我觉得是一个比较大的决定就是那既然不能push他们去改我们就全部基于物理世界的需求重做一遍对重做一遍对就是从头来训对从头来训一点都没有用大语言模型不语言模型是用的我说跟视觉相关的所有的东西我们就重做一遍对就是就是从头来训对从头来训一点都没有用大语言模型呃不语言模型是用的我说跟视觉相关的所有的东西我们就从头来了一遍但是语言模型还要用是吧呃对LLM是用的OK对对对因为那个那个的训练成本太高而且那个我觉得数字世界跟物理世界好像也没有什么就语言层面上其实区别不大只是说物理世界可能更多的是靠语音交流然后数字世界就打字对这个可能我个人感觉现在还没有到就是我们还没在这个地方看到明显的直接应用大圆模型的一个短板就是感觉用起来还比较OK对但是在视觉上不管是理解还是生成我们其实会感觉数字世界的开发的本来的就是motivation和物理事业的需求其实没有那么匹配的对这是可能26年做的一个比较大的决定25年可能还做了一件事情我觉得也是一个比较大的决定可能就第一大决定是我们就是觉得要做视频上的建模其实我觉得另一方面还有一个比较大的决定就是我们那个时候是非常坚定的要从传感器出发就真实的传感器出发去解决物理世界的问题的因为这个事情是跟我24年底刚来凌波的时候我不是说那个时候就太天真了觉得这个事情往机器人上迁移很简单然后那个时候其实我们尝试最开始来的时候就尝试着用很多数字世界的算法或者说之前开发过的计算机视觉领域的一些模型直接在机器人里用然后用的时候才发现落地跟之前的想象完全不一样因为在之前我做research做的比较多然后其实学术界有一个不太好的一个也不能叫不太好吧或者说大家有一个心照不宣的一个点就是数据集都是比较干净的就是相当于你很少能从数据集里面看到那种比较噪声比较大的一个东西但是在实际上应用起来的时候因为机器人毕竟要在现实这种跑就会发现传感器的噪声其实是完全没有办法忽略的对这个东西跟你能拿到很干净的数据是天然就是相悖的对所以说基于这个考虑我们二五年也是坚持要就是说我们可能就要从这个传感器的这个维度开始做起对传感器的维度就包括视觉可能也包括触觉对可能是这是整个零波现在整个呃 [25:00] 就是整个技术思路吧两个比较大的技术主张一个主张就是我们可能要从就是传感器开始做然后我们会更多的或者说大家现在更好理解就叫所谓的空间智能对然后另一个比较大的主张就是可能我们要坚持从视频里学而且要可能就是为这个数字世界就是为物理世界原生的这个方式重头学对可能是这两个是我觉得比较大的主张你们在25年9月是外谈大会还有过一个炒菜的Demo这个Demo跟你们当时的那条技术路线有关系吗那个其实炒菜是一个比较长城的任务了对然后当时是尝试着去做了一下发现了很多软硬件上的问题然后这也就促生了我们更加坚定了说我们一定要把大脑这个事情做事因为如果没有一个比较好用的大脑的话其实比如说这上一次是炒菜嘛对吧然后如果我们想再拓展一个场景复制成本实在是太高了对所以说可能有了那一次之后我们更加坚定的说我们要把大脑这个事情做好我觉得有两类公司有两类思路一个是我就要软硬一体化然后一起协同往前走一个是我就彻底不做硬件了我要把脑子做好你们选第二条为什么没有选第一条呢我们的初心就是做一个通用脑子所谓通用是因为我们有一个判断是说这个行业需要的机器人或者说他未来是可能进家庭但中间可能还有一些突避的阶段我们是觉得你很难说有一款机器人真的适合所有的任务就是或者说你哪怕到了进家庭然后你可能每个家对这个机器人也有不同的需求对吧可能从任务角度出发它就不是一个就是可能一个通用的本体就所有的事情全都解决的一个场景我觉得这个事情本身可能短期内是不太会实现的对所以说在这个方面我们就还是说既然我们的主业是做大脑那我们就从大脑出发开始做刚好我们其实也有一直讲了一个技术主张就是我们的大脑从最开始定义就是希望它跨本体就是说希望它通用这也是为什么我们在训练过程中可能就加入了不同的本体的数据我们希望我们的大脑在预训练的过程中就经历过这些本体了解他们的特性那么在后面可能说真的在某一个场景落地的时候就可以快速的适应那个本体对这也是我们就是我们就是选择这条技术路线也是跟当时可能跟公司整体的一个最大的战略规划就是说我们要做通用大脑这个事情是符合的吧通用就意味着是跨本体通用除了跨本体之外当然还可以就是他还有跨任务跨场景这些也是通用的一部分对但是有些时候我还是比较坚持说可能本体跟场景是没办法完全就是完全解偶的就是什么样的本体适合什么样的场景可能从这个本体从产品定义最开始就已经决定了有些事情适合他做有些事情不适合他做对大家现在可能讲的通用更多是会停留在任务和场景这个方面但我们就是把这个硬件这个东西也考虑进去我们觉得通用应该就是多一层就是你本体上也要通用嗯你们26年嗯因为之前已经开源过四个模型那是你们第一代大脑对然后现在又要开源嗯第二代的大脑对这次应该有六个模型呃对这次是有六个模型在这两代探索上你们发生了什么样的变化第一代做了哪些事情第二代做了那些事情其实从我刚刚说的就是25年跟26年两个比较大的决定是比较相关的25年的时候我们当时两个决定一个是一定要从视频开始学一个就是要做空间智能就是说从传感器开始学然后这也是为什么就是从25年我们那个25年做的或者说就是今年1月份开源那四个模型就是第一个就是深度深度其实就是从传感器开始就是希望机器人对空间有更好的认知对距离有更好的认知这是一个从视频开始学其实就催生了视频动作模型还有一个世界模型说白了就是一个能让它当防震器然后另一个是能让它当执行器你可以大概这么去理解然后这是三个模型然后再有一个就是VLAVLA就是行业最主流的然后能够真的说在场景里面去把把活干好的这么一个一条技术路线对所以说去年今年年初开源的四个模型就是这么个选择这个模型训练多久不同模型那个开发周期不一样像我说的可能时间就是开发的最长的可能就是视频动作模型那个基本上是经历了大半年的时间才最终把所有的事情都摸清楚 [30:00] 像深度这个因为我们之前做就是在视觉上其实本来就有一定的积累所以说可能在那个方面就是大概三个月三四个月的样子对就是每个模型其实周期不太一样吧嗯对这一代大脑能用到哪些场景本体还能做什么呀第一代大脑当时我们应该是支持了九种构型对然后那个时候应该是做一些简单的这个抓取任务吧对然后行业那个时候做的比较多的也都是这个方面的动作对然后一些抓取上可能解决的比较好我们在通过跟行业去交流去接触落地的过程中然后催生了这一代模型的一个比较比较根本的一个变化就是我们在真的想把VLA落地的这个过程中我们会发现有一个点其实大家之前都没有太关注过就是之前大家做的很多demo也好还是基本上都是实验室环境对吧实验室环境也就是说可能所有的操作是在桌面上做的但是我们这次试着想把它在这个实际场景上落地的时候会发现机器人做很多动作其实是不是在固定高度做的他可能需要比如说你去架子上拿个东西他需要抬手的抬手的时候这个时候就会就是明显的突出一个说实验室场景跟真实落地场景一个gap就是比如说头到底怎么应该看就是头到底要不要看得你手抬那个地方然后视角会不一样而且甚至有可能头即使抬了也看不到对吧然后抬起手来就是这里面就是说那就是你的模型到底能不能控制抬头以及说在头部相机失效的时候你能不能只用万部相机或者说用其他的一些传感器就把这个事情做了这个事情在就是说最开始的上第一版的模型预训练的时候我们只支持了手臂的自由度然后只支持了甲爪然后就是没有头没有其他的所有的东西对然后纠正构型就是做一些简单的桌面上的一些操作人物所以你要做抓取你不能只考虑手你还要考虑其他的部位对甚至于有些时候假如说因为你看最开始的很多BLA的这个demo是机器人是站在那不动的甚至有一些大家做的展示出来的东西可能跟可能都不一定是个人形就是他可能只有两条手臂就是实验室环境基本上大家都是这么打的它不好但实际上落地的时候我们不可能让机器人点位点得那么准假如说你需要够的时候手够不到那你是不是要移动一下对然后就是刚刚说头是不是要抬一下然后有些时候你视线到底在哪对然后你说抬就是你抓东西那够东西是要抬手吗对吧那我如果想要从下面拿东西呢你要弯腰对这些自由度是我们之前第一版模型完全没有考虑到然后在这一版模型就是说这次就是相当于2.0的一个发布中就会发现我们在这个机器人这个数据上其实做了就是比较大的一个升级从九种构型首先是升级到了20来的20多对然后自由度是从原来的只有双臂现在支持到带头带腰带地盘甚至带领教授对就是这个东西怎么说呢这就是我觉得我们刚才说抓两头一面是就是上线的牵引一面是抓落地我觉得这个就是落地的过程中告诉我们到底应该就是模型迭代有那么多方向到底应该什么是最重要的对你迅模型来说你最重要的要做的事情是要找到这样的数据放到预训练里对你们这是一个多大的预训练规模呀这个我们这个应该是一个3B基于三点几B的一个模型去做的对然后数据量大概是搞到了六万个小时六万个小时对第一代是两万个小时然后这一代是升级到六万小时但其实这一代升级到六万小时跟那个第一代的两万小时还不一样因为我们整个数据管线因为之前就是最开始做的时候感觉很多什么样的数据是好的还没有完全的探索明白然后经过了第一版模型的发布之后数据也重新清洗了一下所以相当于第一次发布那个两万小时数据落到这一次的可能就剩一万多了对然后我们是在这样的一个更严格的管线上把这个数据就是又做了一个量的一个累积对然后差不多四倍应该是有的对应该是上一版的四倍差不多吧数据来源包括哪些啊怎么收数据收数据其实你们是真机数据牌是吧对我们是以真机和可能还有一些EGO的数据EGO就是人带着头上带个相机去做的那种你们仿真数据要吗仿真我们可能会更多的把它留在屏幕里面 [35:00] 册上就是可能不太会用仿真的数据去做模型的训练仿真数据量是可以做的很大但是数据除了说数量之外其实数据有一个很关键的点就是分布分布就包括了说比如说构型可能是一种分布对吧任务纬度也是一个分布我觉得仿真数据它可能在它擅长的方面它可以就是瞬间就可以生成很大量的数据这个事情是毋庸置疑的但是从另一个角度说怎么说呢它可能分布会相对同质化会严重一点就是它可能做的是差不多类似的任务就是它的那种比如说尤其是一些这种柔性的仿真或者说就是比如说你撕开一个塑料袋这种其实对仿真来说我感觉物理引擎的还需要点时间再去做一些迭代迭代升级可能那个时候仿真的数据用处会更大一点好做的一些任务来说嗯比如说也是一些抓取挪这种任务来说其实从现在整个行业的发展来看增加数据的成本也在逐步的下降降了多少过去两年吧我觉得至少得降了三倍不止对我感觉是这样因为从整个管理的就是人员管理的逐渐成熟然后机器也逐渐成熟对吧然后可能数据的需求也逐渐变多就相当于数据也在量产量产一定会降本的对所以说从各个方面的一个成熟我感觉是让真机数据的获取的渠道以及渠道会变多然后成本会变低所以说可能这个我觉得也代表了整个行业的一个发展的一个趋势吧对有哪些类别的数据准备数据上有什么knowhow吗核心的是就是你到底要下发什么样的任务这是一个比较难的点就你怎么能让你的任务尽可能的覆盖我们刚刚说的所有的自由度它有一定的通用性对就你不能说我这个数据里面90%其实都没有用到头只有10%用到了头不是非常准确我觉得可能举个更好的例子就是说头部出现的就头部这个自由度出现的比例跟可能腰部出现的比例差距特别多那可能会导致我们的模型就更倾向于学投然后不太会动摇对大概是这么就是直观上讲可能是这么理解会好理解一点对然后另外一个knowhow可能就是数据真的拿到之后怎么样把它清洗好这个链路是怎么样的这个坑其实我们也蹚了比较久因为这里面有一个天然的困难点就是我们是做的是这种夸本体的模型每家本体的特性都是不一样的所以很多数据处理的方式可能是要跟本体有比较强的关系的就是不是说真的说每家本体都可以用一种数据电路就完全处理掉对你可以列成就是比如说它的那个相机摆放的位置可能就不一样对吧它的自由度的这个关节的呃比如说几个自由度的连接方式也不一样就是所谓的这种configuration嘛啊就是这种机器配置的不同其实对这个数据的处理上带来了很大的难度嗯对所以说可能我觉得核心的knowhow应该就是这两个吧一个是怎么下发任务怎么把它处理的更干净有观察到什么通用性好的任务吗通用性好的其实还是说操作越简单的它就通用性越好就是因为这个事情可能取决于操作员的能力了因为你越复杂的任务可能能够把这个任务完整或者说丝滑做下来的素材源就比较少对因为如果他的动作就是竖踩的过程中这个动作假如说不丝滑很有可能就导致因为你是没办法把它修丝滑的就一条数据嘛对因为那个成本就巨高了对如果你不能把它修的丝化的话可能会导致你学出来的模型就他就他以为这是一种正确的操作方式对就可能最后模型在控机器人的时候那个机器人也也也也也非常卡对就这个都是对怎么说呢就可能素材员这个行业也在也在成长对这是你们自己的素材员还是外包的公司都有对我们有因为我们是整个是一个比较就是我们有那么多种构型对我们可能有一些合作伙伴生态上的合作伙伴尤其是数据册的本体册的都有然后我们可能会拜托他们帮我们就是一起去把这个数据体系建立起来比较难的任务所以就是我们还保留了一定的自己的就是采集数据 [40:00] 这个能力让至少我们先把SOP先弄清楚我们的人先把这东西做一遍然后把它再去沟通给别人然后说这个事情能不能帮我补一些什么样的数据所以很多素材方面的坑其实也是我们自己在也是自己一点点的在趟我听过一个说法就是有一些错误数据错误了再纠正的数据也是好数据对那个可能跟真金强化可能会有点关系但是那种素材其实也一样就是你人要在旁边相对看着他然后你要知道他犯错了然后你要在合适的时期要打断他然后并给他一个正确的示范这个是这样的就是我们现在因为为了落地为了提高成功率其实我们也内部也就是在落地这个环节其实也加入了真机强化的这一部分就是说怎么能够让机器人从可能本来模型没有做的特别好然后去纠正它然后把这个模型变得更好这个是有的但是本来的模型但是这个东西可能就更偏落地一点可能我们没有在这个开源的这个技术报告里面去体现对你们这次六个模型他们之间的关系是什么样的这个其实是我觉得这是一个这一次我们做的一个比较好的地方就是呃我先大概讲一下关系然后再说一下为什么我觉得是做的比较好的地方首先第一天我们会搞了两个模型一个是Vision就是Limbal Vision然后另外就是一个Limbal Depth的升级这两个模型是因为我们上一版就是在1.0那个版本的时候做的Depth其实是基于Deno去做的当时我们是用的Deno V2当我们的Pretrain Model然后Deno V2其实也算是一种数字世界的模型然后它可能更多的任务就是那种语意的理解对但是其实我们发现语意的理解的这种预训练可能因为在数字世界语意就是你理解语意其实就够了很多时候对吧就是比如说知道这是一盆花然后知道这是一只狗这可能就够了对但是我们在发现呃这个事情就是这种语义极为的理解跟真的说想要去理解空间或者说理解距离好像并不是天然那么吻合所以说我们自己重新做了一遍预训练这次预训练就不再是跟Dino不一样的事我们是完全从几何的角度出发去做的预训练建模几何角度怎么理解呢我觉得你可以粗浅的立下成点线面就是说给你一张图然后你先看有哪些或者说就边缘对就是我们是从边缘出发去让这个模型更好的去理解几何这个概念然后因为几何其实距离也是就是它跟距离是比较相关的对然后所以基于这样的一个Viren就是我们这次更新了底下的基模然后会发现就比之前用Deno V2去做的这个Depth要好有一个比较大的一个提升然后同时经过了半年的积累其实我们的数据量又翻了几倍然后所以说从我们又把这个Depth基于我们自己的新的基模然后以及更多的数据又迭代了一百对所以说有了一个更好的dabs然后这次dabs我觉得有几个比较有意思的例子啊第一个是我当时看到的比较正经就是一个厨房里那种比较透明的那种水龙头不是透明就是反光的水龙头然后把水打开了然后可以看到我们是可以清晰的看到水流的清晰看到水流对就是因为这个事情对于一个机器人真的想执行一个任务来说是很关键的就是你必须要能看到水假如说就是接水你必须要先能看到水你说机器人看到水对就是你要看到水的位置不是说看到水打没打开你要知道水流在哪里他之前看不到吗之前应该是之前他知道那个水流是开的但是距离肯定是不准的基于我们的V量训出来的这个depth这是一个我觉得比较有意思的点然后第二个点我觉得更形象了我其实比较喜欢拿这个例子去做一个解释我来可以解释一下为什么语意理解跟数字世界的语意理解跟物理世界的距离是不一样的这是一个很有意思的例子就是一个假如说阳台然后有一个玻璃门然后外面有一只猫你会看到我们这次的Depth模型是完全看不到那只毛的因为它前面挡了一道玻璃就是相当于是如果我们人在往前行走的时候你会先撞到玻璃然后才有猫所以我们会试着把那个玻璃门拉开拉开的过程中你就会看到那个depth thread的那个猫就逐渐的从那个门后面出现 [45:00] Mm-hmm. because the ball is broken and then you can see the cat. But from the understanding of the cat, actually the cat is always in 就数字世界它只需要知道 那有个猫就好了 对 但是物理世界 就是你还需要知道 前面有一个门 对它对位置的感知 在数字世界里是很弱的 对 因为它不至于说 我走一走会撞到 它没有这样的问题 对对对 其实就是这 我觉得这是一个非常好的例子 就是你能看到 but you can't see it, you can't see it, you can't see it, you can't see it, you can't see it, you can't see it. Mm. 对所以说这是我们第一天发布的两个模型 就是Virium和Depth 对然后他们两个关系就是Virium是Depth的预训练 就是我们Depth之前用的预训练是Deno 现在我们没用Deno了 然后我们是自己搞了一套新的预训练 然后新的预训练就是你可以列成 它是对视觉本身的一个很好的理解 We always talk about this three things: "看得更清楚" "想得更明白" "干得更利索" "就是机器人" We think it's like this three things. The first thing is "看得更清楚" We first have to solve the problem. And "看得更清楚" This thing is not necessary for us. just a few seconds. 视觉原生的一个预训练 对然后这是第一天要做的 然后第二天我们其实发布了这个VLA嘛 然后VLA做了个升级 然后我刚刚说VLA是这次的升级可能主要是从落地的角度我们发现了一些问题 怎么把这个数据变得质量更高 然后怎么让构型变得更多 然后支持的 支持的任务可能变得更复杂 因为我们能支持头腰这些东西之后 他可能能做的事情就变多了 对吧 对 然后 And VRA this thing, I think it's the value of the entire 0波. It's the value of the data. And the data is from the business of the company. 把产业需要的数据或者说把落地需要的数据弄明白。 对 这是整个VRA之次的升级 然后刚才VRA讲的也比较多 所以像比如说有一些模型公司 就是以research为主导的公司 它的数据可能会倾向于 真机和仿人数据混合来用 Thank you. - In your opinion, is it possible to do the situation with the situation? - This is the strategy for different companies. Because if it's a situation, it's possible to do the situation with the situation. I think it's possible to do the situation with the situation with the situation. Yes, but we still have to do the same thing with the situation with the situation. And it's also to be able to do the situation with the situation with the situation. So we hope that the situation will be more complicated and more complicated. So we hope that the situation will be more complicated and more complicated. 其实接下来的 刚才说的三个模型 还有三个模型 这三个模型 其实我更想放在一起说 一个是video 一个是word,然后还有一个就是我们一直讲的va,或者说现在外面会讲wm,对,就是我们,但我还是会以va来说,因为我们的命名是va,对,我们这三个东西放在一起说,然后这个地方我记得callback一下我们刚才说的一个点,就是我们在上一版1.0的时候发现很多数字世界的模型的开发的。 呃动机跟物理事实的需求是不匹配的对然后其实有几个明显能感受到不匹配的点第一个数字世界的呃尤其是视频生成这一块或者说大家现在比较喜欢讲这个世界模型吗第一个点是数字世界在做这个视频生成之前会做一个这个语意的压缩呃会做一个这个视觉的压缩因为他要求最后生成的土相的质量要很高嗯对吧然后那那他没办法 它一定要先做一次压缩 但它这个压缩其实就是或者说大家现在比较常用的开源能拿到的这个压缩 它就是只做了一个单纯的压缩 这个压缩过程 没有就是这个压缩过程本身对后面的学习没有任何帮助或者说没有任何联系他就是单纯把一个假如说就把一个假如说是100兆大小的东西然后我先把它变成30兆让他更好学可以大概这么理解吧 And then we [50:00] 是为了让机器人在后面的学习就是理解就是学习的过程中能够更好的去理解语意和动作本身所以说我们在训练这个压缩的这个就是视觉压缩的这个模型的时候我们就加入了语意和动作的对齐就是说换句话说这个压缩这个压缩的或者我们叫编码器也好它在编码的过程中就可以感知到一些语义信息和动作信息有了这样的一个编码器之后他在后面基于这个编码器编出来的那些个东西再去学生成的时候他就更好的能够把语义跟动作这个东西理解就是理解的更好这是一个这是一个点然后第二个点也是就是数字世界跟物理世界不太一样的地方就是呃其实数字世界不是很关心效率因为就是举个例子就是大家说现在比较常见的就是文生视频我给他一段话然后他给我归给我一段视频然后其实中间可能比如说你生成一个30秒的视频用户可以等30秒或者说等10秒等个20秒那还是希望它能越来越快的对你肯定是希望快但是我的意思它肯定是可以等然后等你整个视频一起生上完但是机器人在执行的过程中是没办法等的它是及时的对它一定要实时一定是实时的对然后所以说基于这个它就会诞生两个点第一个你的模型效率是不是能做得更快这个其实从这个点上对就是因为现在大家可能用万象会用的比较多是一个dance的模型就是它没有用没有用moe这种形式就是比如说它是一个14B的模型它在推理的时候激活就是14B对然后但是这个事情我觉得对于后面的加速你哪怕是后面的加速工作做的再好你在模型本身激活上其实没有一个如果就是说从框架上不做加速的话可能对后面的就你能加速的比例其实是固定的你没办法真的做到非常非常快这是一个点然后另外一个点是就因为刚刚说的是实时的所以它必须要就是他必须要所谓的叫单向建模你的历史是看不到未来的未来可以看到历史但是历史看不到未来时间是单向流逝对但是因为数字世界你说生成模型的时候其实它可以是双向的对吧因为我就是你是给他一段话然后你等一会儿你等的过程中其实就相当于是你那段话的开始跟结局其实你都知道了然后他给你一段完整的视频就好了他不用说在这个过程中只能往前走这两个点是物理世界对提出的一个比较新的一个需求但同时呢也不是说提了新需求之后它就这个东西会变得更难但物理世界也有一些可以被做一些取舍的东西就是可以被舍弃一些东西最核心的就是画质因为数字世界肯定大家会要求高清嘛然后要求对吧帧率要高然后这个东西看起来欣赏起来才好嘛内容生成主要是这样对其实不同生物之间的那个视觉能看到多清晰是不一样对所以物理世界其实换句话说你可以生成这种有点马赛克没有关系的或者说画质不高没关系的然后因为什么因为我们还有摄像头啊就是你生成的不高但是你能看到所以这个没关系的对然后就是基于刚才我说的它有提出两个新的需求但是又可以舍弃掉画质本身所以说我们在这方面又做了两个工作一个就是我们说的video我们也是把它开源出来就是Limbau Video本身就是一个原生MOE架构的一个模型它有一个其实MOE这个事情就是大家可能听的会比较多好像说就是那就把一个Dance的变成一个不用每次都激活我就是比如说三个参数激活一个就类似这种不就好了吗但其实真的想把MOE训明白还是有难度的因为在训练过程中你要控制每一次的生成激活的比例是它要均衡就比如说你一共有30个参数然后你每次都激活那10个这有20个参数就基本上不被激活到这个事情是不可以接受的因为如果是这样的话其实跟10B的但是或者说10个参数的但是模型就没有区别了我们既然是想让它就是想让它就是稀疏化那你要让它稀疏的均匀如何能让一个模型就是MOE的训练就是均匀的把每个每个参数都就是就是怎么说呢以同样的概率被激活然后把它训好这个东西是其实是一个技术问题对它不是一个一元度问题不是说我想让它少激活点就激活点少激活点对 [55:00] 所以说我们在video上就是因为我们自己从头去嘛把这个MOE这个东西我觉得应该算是呃先先是唐通了吧这个中间失败过没有呃失败了很多次应该是呃把就是整个训因为我们也想说训一个能能有训练积模的能力吗然后其实把整个积模训起来整个infor打起来数据弄起来其实这些都是一些基本上可以理解成是确定性球技就是都知道可能是没那么多经验但你反正就是做就好了其中花的最大的一个部分就是MOEMOE应该至少光训MOE想训明白可能就花了两个月的时间两个月然后就是不然的话就你一直发现他想就是他虽然叫MOE但跟你最后期待的MOE是不一样的MOE对所以我说是MOE讯把MOE讯好是一个能力问题它不是一个态度问题对所以说后来提升了哪些能力你失败了几次中间失败因为两个月我估计失败个几十次应该是有的几十次对但失败它不是说你训到后面才失败你训一训就会发现跟你想要的不一样就是有些参数激活的不均匀不平衡对然后MOE这个事情我觉得其实最后最最大的核心就是怎么能够让你的这些个所谓的专家被等概率的激活然后这个里面可能就涉及到从你这个训练的时候这个loss function的一些选择然后从你这个sampling的一些策略就是对吧这些或者说给他加一些正责之类的就是加了各种各样的东西然后现在是我们可以保证MOE这个东西基本上这个技术本身可以稳定的训练吧就哪怕说换一个框架这个技术因为MOMOE本身是个技术西数化这个应该是在这方面应该是算是有了一个比较大的提升对然后这是说一个技术点然后另外一个技术点就是说时间不能倒流这个事情时间不能倒流就是我们要求这个整个的attention其实都是单向的因为attention就是或者说数字世界大家常用的模型基本上都是双向的因为它要求要求画质你双向肯定是就是它你中间的连接越多其实你的计算就越大计算越大肯定效果就越好这是一定的但是我们想把它变成单向的在这个地方应该是从1.0的时候就希望想把它变成单向的然后又花了可能在这个事情上应该也是花了三四个月的时间能够做到从头开始就单向训练就是他还有另一种选择其实可以说我先有一个双向的然后把这个双向的变成单向的这个过程中我们会发现会有一个很大的问题就是很多模型预训练模型里面学到了一些知识比如说就是对文字的一些理解它其实是隐含在它的双向的这个attention里面的就是一些knowledge是隐含在这里面的对然后你强行把它变成单向的时候单向这个事情是跑通了但是那些knowledge有些就遗忘了就相当于预训练作废了他作废的一个直观表现就是你之前可以跟他说100句话每一句话都给你转移成一个比较好的视频但是现在你可能再跟他说100句话可能只有20%30%的能转移成好的视频剩下的70句话他已经不理解说的是什么因为那个知识被破坏了所以说在把双向变单向这个事情上我们也算是做了一个比较大的决定果断的舍弃了双向变单向这个路线从最开始设计的时候就是单向的Video这个工作解决了MOE的问题就是从头训练MOE让我们就是我们具备了这种训练MOE的能力然后Word的那个工作其实证明了我们也可以把单向的attention这个训练这个事情也搞定了然后把这些技术最终我们全部应用到了巨神模型上也就是诞生了我们最后最后一天发布的那个模型就是VA2.0这个模型是最关键的对吧对它是整个所有的技术拼到一起的一个模型对一个集合它是对它就是因为就相当于那个video是我们证明了MOE这个事情就是我们先把这个路弄通了然后Word是把Causal Pretrain这个事情弄通了然后我们把这两个技术揉合在一起再加上我刚才说我们压缩的过程中也做了一些改进把这三个技术点放到一起有了一个面向机器人纯面向机器人控制的一个原生的基模这个基模从每一个参数都是完全随机化开始去呢然后再包括这个机器人本身踩到一些数据我刚才说VLA不是我们搞了很多真机的数据我们把这些数据都放到了这里面 [60:00] 然后去从头训练了一个为了聚身设计的一个基模这个是我觉得可能是这次发布里面我们一直讲巨神原生巨神原生一个概念可能这就是我觉得这个东西就是我们想说的巨神原生本身我不知道在这个这六个模型里面哪一部分会用到LLM有一种说法是说就是LLM如果是大脑的话其实机器人好多都在训练小脑那你觉得你们这个巨身原身的模型它到底是大脑还是小脑的部分外面每个人对大小脑的定义是不一样的在一些简单指令的执行上林波解决的更多是这个层面比如说就你给他说一句话然后他帮你把这个事做了这种这个层面应该是林波在做的但是还有其实在这个之上还有个更加智能的一个部分那一部分现在领悟还没有解那一部分就是真的把跟人的交互放在里面了就是那个东西是需要很多思考比如说假如说就是机器人今天就是一起床然后机器人帮你拉开窗帘他就知道把你拉开窗帘然后看到外面下雨了他就要知道给你拿把伞让你出门对这个层面的东西我觉得应该在更高的智能阶段是需要做的而那个阶段可能是跟语言模型跟多文态模型要解决的就是其实我觉得跟数字世界可能就更相关了对但是但如果单纯的你跟他说帮我拿一把伞这种动作我觉得林波现在解决的是这一层面的问题就他不解决意图的来源问题他只解决意图的实现他做一个动作对但是他的动作是简单的他可以是一段连续的动作但是他为什么要做这个动作他不知道对就是他只管意图的实现就是你有个想法他帮你做了但是他不会有他不会产生自己的想法他不会主动帮你去想你要做什么对那一层面的交互我觉得可能是更高级的智能林波现在还没有做这一层面的事情因为你刚刚说第一代能抓取对第二代能做哪些动作他有方法系吗对第二代其实就是因为我们有了这个刚刚说的我觉得为了就是相当于我们没有再重新用数字世界的模型基于数字的模型迭代然后我们可能是为了巨身单纯设计了这么一个模型吗就是因为有了这个我觉得有几个比较大的我觉得挺有意思的提升第一个是现在它能处理随机性处理随机问题的能力要强很多这个大概怎么理解呢比如说我们其实有一个demo是跟人去打那种撞球就是在那个例子里面你会发现它这个demo跟一般的就是大家做的demo就不太一样然后因为它里面会有很强的随机性你永远也不知道就是对面人打过来那个东西会在哪对就是他就相当于不是说我把位置都对好对我不是说把位置都打好就是摆好就可以了对他一定要是看到你打过来了我们才能打然后而且有一个很关键的点是我们在整个过程中其实是只依赖了机器人自己的相机就没有在那个场地周围再放一圈相机然后让那个相机去追踪那个东西的位置就是不是靠这种方式实现的完全是就是跟人一样就是我就一双眼睛我就看到那个东西然后去做对这个东西是处理随机性然后另外一个是那个回合非常快就是因为人打嘛就是他对实时性的要求就很高他不是一个说你如果机器人动得很慢或者说你动一下卡一下动一下卡一下其实你是打不回去的这是挺好玩的一个场景对所以我觉得这是一个点然后另外一个再举个例子比如说比如说就是我们还是说整理桌面这个东西就是大家看到的假如说就是一般都会说假如说收纳玩具或者什么基本上都是摆好了吗对吧然后我们现在是可以支持假如说你就是说把这个桌面上东西都拿掉都收拾起来然后我们现在是可以支持你先拿一框随便撒上去撒上去以后然后不就那个其实就就这本身就已经带了随机性对不对你中间还可以把一些东西再拿出来他不是说就把现在有的这些收拾完就好了你会发现你可以把它捡进去那个东西再拿出来随便摆一个地方他还是会把它收进去甚至于你可以跟它一起收拾就是有一些东西可能他还没收到然后你先帮他收了那对他来说他就不收了其实我觉得这一点也是一个比较大的一个进步对这个东西就是我们现在能够处理的随机性应该比1.0版本那个模型要在这方面要强很多对这是因为加了更多的数据不是这个东西就是因为整个的模型的预训链不一样你看到了模型具有放话性的这种迹象了吗对就是我觉得在这个刚刚 [65:00] 说的这种例子里面就是任务的泛化这不是说任务吧就是位置上的泛化这一点我觉得现在应该是有比较大的突破他能够接受这种随机性对这意味着他不是只是通过一个RL来做的反馈对他不是一个固定的任务了他是一个中间可能会有很多突发情况的一个任务对这是一个我觉得这是一个在这个方面就是随机性就是泛化性分很多很多维度对我觉得在位置泛化上应该现在可以说是解的会好一些了然后但是我觉得现在我们这一版模型可能对于这种任务上的犯话任务上犯话怎么说呢我觉得就是就你能不能够直接就是什么也不做就直接给你个新的任务从来没见过你就能做了我觉得这个是一个比较难的一个事情然后这个我觉得这个纬度可能现在还没太做好因为它我觉得一个比较大的原因是因为机器人的数据还是不够多就你见过的任务还是不够多你没办法通过你见过的任务组排列组合变成一个你没见过的任务对我觉得这个可能还是一个即将要就接下来可能要去重点突破的一个点那你需要他建这个任务看几次他能学会呢就是他的学习成本有降低吗这一版应该是比上一版有也就是我们的2.0会比1.0有我觉得是在这方面也是有提升的然后体现在两个方面第一个方面是我们1.0的时候当时其实是做了这种评测当时的评测是每一个任务要单独训一个模型就相当于假如你有100个任务你就要训100个模型出来就每个任务都要单独训一个后训练然后再去测但这一把我们是可以把假如说10个任务我把这10个任务训到一起测相当于这10个任务只用一个模型解决这是一个方面的提升然后另一个是其实从这个数据量上来讲后群联系统需要的数据量变少了我们上一版应该基本上都在100条左右然后现在应该是20条左右就可以了对然后当然你还是没办法做到说一条甚至更少对我觉得那个可能要随着你积膜的能力再进一步提升可能我们再试图把这个事情再做下去对但整体来说这一点上应该是比1.0也是有一个比较大的提升对聚神智能今天到什么阶段了你之前说还没有到GPT1的时刻今天呢今天我还是觉得也没有到这个阶段就是聚神智能本身对因为为什么这么说因为现在还没有看到一个比较好的能够做数据scale up的方式嗯就哪怕是我们这次说的比如说我们用了6万小时对吧现在有6万小时数据但其实坦白讲跟上一次比还没有数量级的提升而且这些数据应该是远远不够的我相信随着现在这个行业数彩的方式的这种就是大家在做各种依购相关的数据我觉得应该是等数彩方式真的确定下来然后可以大规模铺开的时候可能那个时候会看到GPT1的时刻所以瓶颈还在数据对我觉得现在就是因为跟GPT相比的话我觉得应该还是在数据的我们这次虽然也在讲就是我们是我们是模型的设计上是巨神原生就是我们的模型设计都是特性是为了巨神设计的没错但是为了做预训练就是预生原生的预训练其实我们还是用了大量的互联网数据在做的然后互联网数据量级应该跟就是机器人的比就是远大于大于多少几倍于机器人之中真机采集数据应该差两个数量级吧OK大约模型能够skill up是因为互联网数据已经ready了对所以说在这里面虽然说我们架构上已经做到巨神原生了但我觉得数据上还没有所以可能当巨神的数据本身可以做skill up的时候或者说能至少跟互联网达到相同量级的时候可能是我心目中的GPT1的时刻吧你估计还有多久具体的时间可能就不好预估了但是现在比之前的好处是因为基建上来了模型的开发周期跟GPT之前的那个时候不一样了那个时候大家能有个万卡集群就觉得很了不起了至少从语言模型那一块但现在美国的很多公司在做语言模型的时候基本上都是10万卡甚至可能到更多对所以我说我觉得整个的这个基建上来了之后模型的开发效率也会比之前要快所以说可能不一定说原来的GPT1到GPT3.5或者说要拆GPT可能用了一段时间然后可能现在从机器人的 [70:00] GPT1出来到机器人的GPT1出来可能又不一定需要那么长时间了对因为配套的工具在成熟你们的infra水平也跟着提升了是吗对因为我们开始要做预训练了嘛就是既然我们想去动到原生基模这个东西它需要的资源肯定比之前说我只把它当做数字世界的一个下游去做需要的资源要多得多你们要做原生巨生的模型这个VAT是什么时候下的当时纠结吗谢谢大家其实不纠结因为在发完1.0的时候我们当时就意识到这个问题了就是很多特性我们当时是强行在数字世界数字的模型上魔改强行魔改然后发现很多东西就是不work就是你改了再fancy它有一些缺点还是会暴露出来所以在1.0发布完之后我们当时就做了决定就是我们必须要具备做底层更底层模型训练的能力算不算是一次bet肯定算是一次bet因为我们也不确定这个东西是不是能成功是不是能训出来因为之前也没有人有过这样的经历但我觉得值得一睹因为这个在我们看来如果数字世界的那条路就是走不了特别长远的话那这是一条必经的路如果走不通就是或者说如果不是我们走通也会有人走通的因为我觉得这可能是正确的路嗯有什么之前怎么做都做不成的任务到这次让你觉得有一点惊讶的吗你有什么啊哈moment吗其实我对于刚刚说的那种跟人一起打球这个事情就比较惊讶因为它真的是综合体现了好多能力就是你的执行也要快然后你的这个随机性或者说你的预判要好对然后再加上其实那个东西我们可能一共也就采了20条数据我就说为了执行这个任务在预训练之后为了做这个任务可能就采了20条数据哦这个比较出乎你的意料以前需要踩多少数卷以前可能采多少数据都不一定能做成对因为就是真的是不是能够让模型把这个随机性就是cover的比较好我感觉之前我是没看到过有类似的东西出来在做原生机器人脑子这件事情上有什么其他人的工作可以借鉴吗比如说硅谷的一些frontier lab他的工作有可借鉴性吗我记得应该是generist他们就说因为他们的数据量比我们要大得多他们官方就是能或者说能查到的消息公开消息然后可能应该就是几十万小时而现在可能都不知道是不是可能有百万了我不清楚然后他们的数据管线什么的这方面应该还是比我们要成熟的他们更早的去动到了Pretrain这个方面吧对但是跟他们不一样的或者说可能只是出发说要用巨神数据做Pretrain这个事情是一样的本身的借鉴其实并没有因为我们相信一定要从视频生成这个路线里面去学到一些知识对所以说能够把视频生成这个做到原生的目前还没有看到你怎么看generalist和physical intelligence他们的路线的区别我觉得他们两个更多的是可能有一些最后的理念的一些不一样因为generalist更多他是能接受有后训练的他强调的是高效后训练然后但是Pi好像更多强调的是ZeroShot他更希望不要后训练就是我什么都会对所以从这个角度来讲我觉得可能天然选择的路可能就不一样听起来詹诺雷斯更实用一些从我的感觉上可能是可以但是但其实殊途同归因为我觉得是这样这两个能力都必须具备就如果我们设想未来有一天机器人真的能够进家庭你可能希望他有两个点第一个点是他进到一个家庭之后百分之八九十的活他自己就能干了百分之十到百分之二十他干不了的可能是你教他一下他就会了这两个我觉得都都是都是需要的能力嗯对其实就因in context learning吧对然后呃感觉这两个其实其实不那么冲突对但是呃这是这是一个点然后另外一个可能呃他们两个技术理念 我个人会感觉有点不一样的是 呃 generis 可能还是在 他对yumi 那条 那个那个数据可能会比较 他理解的比较深入 玩的也比较好 然后那个physical intelligence 可能还是在真机摇操上 他们应该是在这方面做的比较扎实 对 从这个 [75:00] 再往后看啊就是因为现在大家开始去讲那个ego centric了嘛就是而且再往后可能说我觉得灵巧手这个东西可能也会逐步的被提上日程就是大家可能会越来越关注说需要的更复杂的一些操作任务那个时候可能甲爪就不能满足需求可能一定要用灵巧手了对可能在Ego的兴起再加上灵巧手的不断的发展很有可能真机摇操和5米两条数据的路线可能都会发生一些变化对就是可能他们也要去迭代升级但有可能最后再往后发展发展可能就合酒必分分酒必合可能他们也会慢慢走向同一条路这个谁知道呢所以现在不同的路线的核心是我怎么使用数据或者我怎么获取数据这是一个很关键的点对这肯定是一个很关键的点对我现在是比较坚信的一点尤其是我们这次我觉得算是做了一个比较比较好的一个开始我还是很坚信巨神一定会有自己的模型就是它为巨身设计的模型但是就是在这个观点如果不变的情况下那它的数据必须要支撑它可以做自己的模型所以数据是如何把数据很好的scale up是一个至关重要的点我去年去上海外滩大会他们为一个事情真的不可开交就是说到底聚生智能是一个独立于语言模型之外的一个独立的学科一个独立的发展方向还是它是基于大语言模型的一个方向有两派观点一派认为我们是基于LM训练的所以我们是成长在LM这个上面的一个支线然后另一派就觉得我们一定是独立的哪一派我不能完全说是哪一派如果硬要选一个我可能会选择后者巨身智能要解决的问题跟语言模型它其实是不冲突的就是原模型更多的是让人听懂这个指令到底是什么让机身听懂指令是什么但我觉得巨神智能更多需要解决的是怎么把这个一件事情做好做好本身是不需要再理解语言的嗯但是他的前一步就是怎么把语言转译成就是他的后面的一系列动作就是第一步可能是需要依赖原模型我会认为巨神会继续拿大原模型当一个比较好的入口然后它会成长出自己的模型它们两个中间可能只是一个就是交互的层面更好的当然是说我们把语言系统也内嵌到这个巨神里面嘛但我感觉短期内聚生要聚焦解决的问题不是那个他还是要先解决怎么把一个事情干明白这个这个点但干明白这个事情我个人会觉得对语言的依赖没有那么高嗯谢谢大家语言是第一个交互工具对换句话说如果不是语言你假如说一共就一万个任务然后你只把这一万个任务就把编成固定的编码给他可能也行只是它没有办法在任务维度再放话了但语言模型本身可以在那个维度再放话嘛它解决的是需求泛化的问题我感觉对但是这个明显不是现在现在这个阶段聚身智能的核心脚点嗯你觉得从24年底就是你们开始做支架公司然后到现在为止整个行业的突破是什么在哪些方面它的进步快吗其实我觉得进步是比我想象的要快得多嗯因为首先从硬件上然后现在至少像语术 智源已经把这个量产已经跑通了应该是已经可以进入到量产阶段了然后这相当于供应链也随着这个行业发展也在成熟这是一个点然后从去年开始大家是假爪到今年开始领小手公司已经层出不去然后已经有非常多的领小手公司出来然后领小手的发展也是就是我觉得可能也用不了太久可能会变成渐渐变成标配渐渐只能说可能再给他一段时间因为硬件毕竟有自己的发展周期只是说大家已经不满足于甲爪了然后再加上传感器层面现在有越来越多的触觉相关的传感器然后这些其实都是为了就是林小手啊触觉其实就是为了让机器人做更复杂更精细的任务嘛嗯对吧这是这是从就本身硬件或者说对这个行业里面硬件的发展来讲我觉得是一个比较让我惊叹的一个速度他们是不是也都是一种数据获取方式对他们一定会考虑说跟数据的关系他更多的还是为了模型的升级我觉得还是 [80:00] 或者说你能够提供更多的执行更多的任务其实也是为了让模型能学到更多的知识对然后这是硬件这个层面然后另外还有一个层面就是从落地的层面因为现在已经可以看到很多家都在去展示说模型比如说可以进工厂干活像Figer还去展示了物流分解对吧然后已经有越来越多的开始去提机器人的落地而且现在的落地已经不再是通过比如说一些传统的控制方式落地大家都在尝试用模型去落地我觉得这个也是一个比我想象的要更快的一个一个节奏因为去年的时候去年WIC的时候7月份的时候我感觉更多的还是在收demo那个时候我记得之前我有一个说法说什么24年再倒咖啡25年再叠衣服反正一年有一个新的动作但我感觉今年反而是大家demo提的少了都在提进场景了对我觉得就是短短一年的时间然后模型的就是说软件侧的发展也是突飞猛进所以从这两个角度来讲我是觉得这个行业确实是在加速的不急预期的有吗不急预期数据我会这么理解在大家尝试着真的开始步入巨神原生之前对数据的虽然大家都在喊学数据需要数据但是数据真实的情况是如果你真的不需要做一个基础模型可能不需要那么多数据量你到底需要多大的数据量我觉得一向的状态我觉得应该是百万小时起步吧就是能开始说我这个整个模型里面巨深的数据跟互联网数据可能说大家相对平衡一点然后我让他既能学到一些通用的知识又能学到一些操作相关的知识对这是我觉得一个比较理想的状态应该是在百万小时起步对但是呃在百万小时之前我觉得应该会先有一个十万小时的规模而这十万个小时呃是可以就是就怎么说他是完全拿来做预训练的预训练不是说基于数字模型的训练是巨神原神的预训练对所以我觉得不及预期的就是在没有可能就是过去一年没有看到巨神原生的东西真的出来然后就是因为没有这个东西出来所以大家对数据量需求其实没有想象中那么迫切就是大家会讲说我们都大家都知道行业的公认就是说可能数据是一个很关键的东西而且需要很大量但是没有一个具体的比如说你不逊机模式没有一个推动力说让你马上一定要拿到这么这么些数据的所以我感觉数据的这个发展其实还有一点我觉得不及预期啊对这是我自己的看法今年好像有一个现象去年之前的这一波机器人公司很多都是本体和模型一起做的但是今年大家明显更看中大脑了而且很多公司开始只做大脑不做本体你又为什么会发生这样的一个变化感觉是两代机器人公司这种感觉其实我感觉我感觉一个比较关键的点就是就是一个本体很难目前来讲一个本体很难通用然后但如果你不通用的话你要一定要选准场景这样做本体才有意义就是你这个本体相当于是是为了那个场景专门设计的因为专门设计他可以有一些东西做强化有一些东西做减配因为最后落地的话要讲的是成本我们不可能拿一个就是各方面就是六边形战士然后去做某一个具体的任务这样的话它可能很多东西是超配的成本一定是上升的所以我觉得可能大家不讲本体的一个原因是第一本体其实也有自己的门槛你到底能不能有量产的能力这肯定是一个点第二个就是本体的这个就是你如果常宁选不准本体设计的一定是有问题的对但是场景现在呃现在我看来比较难就是大家也不太敢说哪个场景一定会跑得非常好大家都在做尝试但是可能确实比较难决定说哪个场景最后就是先跑最好的所以我感觉可能有这方面的一个原因然后再加上另一个点是这是刚才我觉得对从硬件的需求的角度出发但另外一个点是我觉得 [85:00] 从现在行业来看大脑可能是目前是落后于本体的大脑的开发是落后于本体的很多时候呃换句话说现在就今年的主要矛盾应该是怎么让他先变得能把活干好然后去年王兴典还说干活是一片荒漠对所以所以我觉得应该是还还不能把活干好所以说会有更多的人想要去试图解决这个问题然后但我觉得这个行业在就尤其大脑跟虽然说大脑跟本体现在还是不能完全接我啊但是我觉得就从这个发展来看他们两个一定是交替上升的就可能现在大脑是落后于本体的但是因为随着进来做大脑的人越来越多可能这条路或者说智能层它会跑得会更快一点然后可能某一天它就超过了本体那那个时候可能会对本体提出新的需求本体就会再去可能在那个时候会有一批新的游就是智能重新定义的本体公司就是可能再往那个方向去发展就是他可能呃可能不再从我们大家之前理解的一些参数再去看这个本体了可能很多东西就是为了就是更好了方便模型控制去设计的对 我觉得可能那个时候本体又会再发展一段时间然后可能那个时候就本体又更强之后又会催生说智能又不足了我觉得一定是这么一个过程所以上一代硬件不一定能够迭代适应下一代的模型我觉得是至少我的判断应该是这样的然后硬件本身可能还好但我觉得传感器应该是现在的传感器应该是还要再做进一步的升级尤其是触觉相关的其实我举个例子比如说触觉或者说之前大家对传染机是有指标的我必须要做比如说我的精度达到多少然后我的频率达到多少它有很多指标但是会发现很多时候做传染器如果只做传染器本身他肯定会希望这些指标都好但是有些时候又不能决定可能你没办法真的满足说所有的东西都很好他一定要有取舍取什么舍什么其实我觉得这也是个问题但是之前的取舍可能大家会凭着使用的过程中比如说利益必须要准既然你是触觉传染器你利益必须要准可能会先取这个对吧这可能是大家的一个或者说不能叫共识但反正就下意识都会这么想但是有可能这个东西在AI这个时代模型可能最需要的不一定是你利益要准有可能是需要你反应够快就是我可能对实时性要求可能比那个更高这都是有可能的所以说可能如果说这个传感器再迭代升级可能要从模型的需求出发看我们要强化哪些指标弱化哪些指标就是还没有到说模型可以定义它的时候他们肯定会按照传感器的发展肯定会按照就是传统的理解说我们去怎么去尽可能的优化嘛对我觉得这肯定是一个未来的趋势有的是从硬件出发有的是从软件出发但是大家都想进入家庭这个最好的场景里可能现在其他的一些场景还不够那么性感呃对是这样就是可能还是2C更新感一点了所以他现在需要做一个选择我从软件出发还是从硬件出发对有的人从硬件出发你们是从软件出发对我们是从软件出发沿着脑子往后坐你觉得接下来几代会怎么迭代我觉得是这样就是刚才我说的我们这一把是做了就是怎么说呢从这个物理特性上做了一些原生的设计然后接下来我觉得最大的就是怎么能够从架构原生再往前再走一步做到数据原生数据原生解决了刚刚我们说的泛化性有很多种嘛比如说那个本体构型的泛化性然后我们现在能够做到位置的泛化性然后但是接下来我们还要做任务的泛化性任务的泛化性就严重的吃数据了对然后呢一个更优雅的数彩方式能拿到更多的好的数据然后以及把这个数据真的比较好的送给模型我觉得可能是下一版本我们最重要的一个核心意味着你们要自己去做数据才数据可能会投入更多的资源来做这个事情对或者说把数据的数彩的这个整个的标准需要再做的更扎实一点就是到底怎么样采什么样的数据怎么采然后这个东西到底是不是可以规模化复制 [90:00] 这个是我们接下来要关注的一个比较大的现在有什么可能性规模化复制吗其实就是大家现在讲的比较多就是Ego然后其实Ego的数据我个人的看法是它提出了一个比较好sig up的一个方式这一点是毋庸置疑的但是现在的问题是只从Ego假如说就只有头部的相机拍下来的这个数据到底能不能用它对于之后假如说零小手真的发展起来然后我们想要做手部的一些精细化动作有没有帮助这些东西还是未知的我觉得EGO应该是提出了一个采集理念但这个采集理念是要被打磨成一个具体的一个产品才能够就是开始说部署下去然后开始做起来输采这个事情对我觉得这个理念和从理念诞生到一个理念的真正的实施可能还是要点时间所以说聚生智能现在接下来要解决的最重要的一件事情还得是数据对应该是数据的就是可规模化的然后可以被模型使用的数据就是这个可以被模型使用我觉得可以被模型使用和可规模化这两点本身就是一个平衡因为模型肯定希望数据越好越好就是质量越高越好还有的模态越多越好这是模型的需求但是规模化就是你的需求越高我越不能规模化就变成定值了就是我很难真的上量那在质量和数量之间怎么取一个平衡就是说我模型哪些东西是可以舍弃的这个东西可能现在还没有太定义清楚这个事情一旦定义清楚我觉得后面的事情就会加速你这是第一次创业对创业有什么新的感受吗对我来说两个第一次吧第一次创业对第一次创业含了两个部分然后第一个部分是我觉得第一次面向落地这是第一次然后第二次就是创业就是换句话说第一个第一次是业第二个第一次是创对我觉得从落地的角度来讲可能确实让我感悟比较深的就是以前会更关注技术的领先性现在会更关注技术的哪一方面的领先性就是技术还是要领先但是是不是有价值的领先还是说只是技术人就是拍脑的觉得大家其实有很多东西都可以领先你现在需要哪里领先我现在肯定希望能支持的任务越多越好对就是我会优先选择场景的就是就或者说场景在任何任务的这个泛化性这一方面对然后这是这是第一个第一个第一次就是业的部分然后再说一下创的部分我觉得可能第一次教会我的更多的就是人要学会或者说创业要学会赌创业一定是赌出来的就怎么说呢没有人知道哪一个路一定是成功的然后资源又一定是有限的所以在有限的资源下路径不确定的情况下就是要赌对我觉得敢做决定敢赌这是我觉得很关键很关键的一点因为如果说一条就是大家如果都知道哪条路是成功的那为什么是你成功就是如果那条路一定成功大厂一定成功对这是百分之百的就是有更有资源更有人的地方一定会成功对然后但是在路径未知的时候如果犹豫不决很有可能最后就什么都做不出来这里面你们的大毒有哪些不做本体是一个大毒吗对我觉得做第一个是传感器是一个大毒对然后第二个就是原生是一个大毒因为原生这个事情很有可能做到最后就发现没做出来就是你训了半天训了一年花了好多资源然后结果这模型就是不收敛这是其实我觉得这是一场豪赌就是做他没做出来有很多种可能比如说就是思路错了也有可能是技术还不成熟可能再过个两年三年重新再做这个事可能就成了就是说你太早的进入也不行然后就是可能资源不够也是一方面就是说你本来只能做100块钱的事但你非要做一个200块钱的事你没有那么多资源这些都是堵的一个怎么说的风险点所在然后但是我觉得一旦是做成了那种时候的成就感还是比较高的蚂蚁对你们的期待要求是什么因为现在蚂蚁集团整个也是AI first就是从这个大的战略上讲其实我们也是想要突破智能的上限对然后只不过是AI first它就包含两部分物理世界的 [95:00] 和巨神智能就是数字世界的AI我们可能就是承载了集团在物理世界人工智能上线的这个使命这是以脉相承的然后另外一个我觉得还是说麻烈集团还是一个以这个生活服务数字世界的生活服务为就是怎么为核心的一个公司然后我觉得这一点我们也是在整个集团的延长线上我们就是想弥补或者说也不能叫弥补吧应该说是补齐从数字世界往物理世界迁移这条中间的这一部分就是怎么把一个服务真的执行起来对可能是这两点是我们跟集团最大的怎么说呢我觉得是理念上的契合吧对蚂蚁对你们的管理是什么样的其实整体来讲还是比较还是比较按照创业公司的方式让我们去管的只是说我们的管理体制上可能会更独立一点就是可能跟一般就是集团下边的一些BG相比我们的就是因为业务会相对独立一些嘛对所以说管理起来可能也会独立一些但整体的基建什么的都是共享了对于你们的这几次豪赌他们是什么反馈我觉得还是比较支持的吧集团这几从上一次发布和这一次发布集团都还比较支持对他们有说为什么我们不做本体啊有说这种吗其实也会就是大家会有一些debate对但是嗯我觉得集团这一点是对林波有充分的信任和尊重因为我们可能更贴近行业本身对所以说这方面我们做的一些决定就是集团肯定会就是从他的视角他肯定会给出他的一些建议但最后可能双方还是会在经过几轮交流之后应该还是会达成一致的你对于这次创业的最好的预期和最坏的预期是什么呃最好的预期就是我真的看到机器人进家庭了然后金家庭的机器人跑的是领波的模型这是我最好的预期然后最坏的预期就是没做出来呗我觉得也没有什么更坏的预期了对可能就是就是可能某一次某一次赌的过程中可能赌错了你是个赌心强的人吗我还可以还可以对这里面有哪个角色是你力排中意必须要这么做的嗯好我觉得巨神原生这个事情可能是我做了其实是比较坚持要做我觉得这一点我还是从上一次的发布的过程中感受到就是我们数字世界的条路就是沿着数字世界往后走就是行不通不想在他们的延长线上对 所以我就非常坚持说一定我们要做一个用物理世界的东西就是成物理世界土生土长出来的模型对这是我觉得可能也是我这次觉得比较有成就感的一件事情对好在就是我不敢说它是一定被百分之百验证但我觉得至少我们迈出了一步这次模型的进展是符合你预期低于预期而高于预期其实是有点高于一起因为你想嘛我们讲原生这件事情我们从就是两大块一个是视觉就是刚才说看得更清楚那块我觉得我们已经就这一部分就是由原生推动它往前走了一步然后想的更明白就是也是有我刚刚说的我们也是有原生往前又退了一步就是架构的原生刚才说的不管是时间的流逝也好还是说推理效率也好等等然后接下来还有个干的更利索我觉得干的更利索可能就是下一个原生就是数据原生因为我觉得数据做的数据的能够更好的规模化之后肯定是在任务的方案性上有更好的突破对所以我觉得就是从我们看得更清楚想得更明白干得更利索这一点上我们正好在经过了半年的时间之后把前两点都有原生这个概念往前推了一步我觉得这个是我没想到会来的这么快然后希望数据原生的部分也能比我预期的来的要早那我可能会更开心这样的话我觉得真的就是完全是物理世界有自己的一套从模型到架构到数据,闭环那一套原生体系。现在各个不同领域的玩家都很想抢夺。 [100:00] 机器人大脑这个事情嗯有你们然后也有之前的那些机器人公司他们也会着重的来做AI然后又包括大厂或者说说模型公司如果他们有精力的话他们也会来做机器人的模型你觉得你们的优势是什么呀你觉得这个产业竞争到最后的格局会是什么样格局可能我觉得可能跟大员模型的格局差不多可能会有大厂做的比较好然后也会有两三家创业公司做的比较好你们属于大厂还是创业公司我觉得我们现在可能跟创业公司会更近一点对 然后我们确实位置比较特殊我们可以属于一家背靠大厂的创业公司对 然后呃这是一个就是我觉得从智能层应该大概就是这么一个格局应该会有大厂会有那么一两个玩家然后创业公司会有两三个玩家然后可能大家各自跑出各自的生态这个生态就包括了数据的生态本体的生态长江的生态就可能每家的模型因为你有了生态之后你场景加本体可能就会给你那个生态里面的数据可能你的模型就会慢慢分化的更适合那个生态对当然是可能最后大家都会走到一个通用的生态就是进家庭但是在那个之前可能每家模型会有不一样的特性比如说可能有一些有一些模型就适合做精巧的任务有一些模型可能就适合做长城的任务这个就不好说了对但我觉得应该是会是一个各有特色的就是几家鼎立的这种这种一个格局你对人型机器人这个构型有执念吗你觉得未来进家庭的机器人会一定是人型机器人吗我还是觉得就是毕竟是从一个创业公司的角度来讲我觉得我们一个阶段解决一个最核心的问题就好了现在当下最核心的问题就智能不够对我觉得还没有到就是就是或者说现在到底是轮式还是足式或者说他构型应该长什么样还不是现在的核心卡点啊啊现在核心卡点是智能不够然后智能不够的核心卡点是数据不够对对所以怎么让数据能够scale up是重点对然后当你智能有了以后你才开始能做落地的尝试你只有做落地的尝试之后就是产品才会迭代产品迭代应接才会迭代就现在就大家在争就比如说到底是族式还是轮式他不管是族式还是轮式他进家庭我都不会让他进家庭的那这个时候你都没办法做这种user studyOK我感觉是这样你现在工作状态是什么样的这两天好一点前一阵子就在模型都处于要出来没出来那个阶段的时候其实比较紧张的但是现在尤其是最近在发布完了之后然后整个人状态会相对我觉得会轻松一些然后接下来我应该会怎么说呢可能再想一想下一步要就是到底应该怎么去去做吧就是再再复盘一下然后想一想比如说数据到底怎么去跟模型更好的结合这可能是这些方面会考虑的多一点受到市场反馈怎么样目前看应该还可以对然后尤其是基础社区里面应该对我们做的这一套还是比较白印的对我感觉是这样然后如果是那个行业的话我觉得需要再给行业一点时间因为毕竟是刚发布嘛对我觉得行业要试用过之后可能才会拿到更多的反馈你们现在驱动的核心指标是什么呀是一些落地上的数据还是模型智能上的一些数据我就是刚刚其实有提到我们还是两头抓就是我们一边要探索上线然后一边要抓落地这两个点可能我们都会关注一些我们一开始聊到了你的学习经历因为你是汤晓欧老师的学生你对汤老师有什么印象吗汤老师是个比较幽默的人这是我对他最大的一个印象因为他讲话他跟我一样他也是东北人然后我觉得反正听他讲话比较亲切这是一个点然后另外一个点就是我觉得比较能快速的从一个比较一个乱续的一个混沌当中快速的抓到一个主要矛盾有例子吗就是毕业答辩的时候因为他要他要参与因为答辩很多时候大家会问比如你怎么做的之类但是他当时他问了我一个可能跟行业用相关的问题这就是啥就是我当时做的那套那个做图像编辑视频编辑那套东西而且上一代AI最大的痛苦 [105:00] 就是它不好落地就没有一个很好的场景对现在有人问你们这个模型怎么用吗肯定啊大家都就是其实我觉得现在巨神智能它不像大元模型或者多么太模型那么好那么好传播因为离大家生活实在是太远了就是我必须要有个机械币我才能知道你这东西好不好用就是他现在更多他是土开发者的我是这么理解的对 离售中最近的都是娱乐场景对这是最快可以感知的对嘛 所以我说它不是那么好传播然后如果是开发者呢他肯定会希望你告诉他这个东西怎么用好因为毕竟我们这次我们在发布所有的东西基本上都是预训练就是预训练要落地还是要经过后训练的后训练本身是一个很难的事情就是或者换句话说他不是说就把数据踩完然后扔进去简单调整一下参数就结束了就是那如果效果不好到底是没训好还是数据没踩好还是模型就不好怎么诊断问题有了诊断之后怎么解它是一个我觉得是一个很难很难的事情换句话说我刚刚说它离那个离这个大众比较远也是其实是一样的点就是因为它离大众比较远所以或者换句话说就是因为它不是一个直接能用的模型怎么把它让别人感知到你这个模型真的好是需要是需要能力体现的所以大家都会问就这个东西比如说怎么复现然后我想让他做一个什么事应该做哪些步骤之类的还是会有很多这样的问题我觉得你们那个玩桌式足球那个如果能够在现实场景里面能够做一个给大家互动的机器人的话应该会挺多人愿意玩的嗯对就是说换句话说你做的越能直接被应用它肯定是就是大家的问题会越少然后互动性会越强你对于机器人的未来发展还有什么其他的展望没有其实我就是希望他能够理达众更近一点就是我希望他也能够变成一个像像那个语言一样就是他出一个app然后每个人能体验那如果说之后真的说就是机器人更普及了家里都有能够或者说一个比较简单的渠道就能搞到一个机器人去玩起来的话我觉得那个时候可能成就感会更多因为现在就是比如说我跟我爸妈去讲说我做了一个什么东西他们也听不懂然后也没有体感然后那如果有一天能带一个东西直接给他然后告诉他这是我做的我觉得那个时候可能成就感会会跟现在完全不是一个量级我还有最后几个快问快答一个全球范围内喜欢的食物一个全球范围内你喜欢的地点家我们的嘉宾都会给我们的观众朋友推荐一本人生之书你会推荐哪一本人生之书笑傲江湖我特别喜欢武侠我从小就比较迷金庸的小说然后我特别喜欢但是每次因为金庸小说我都其实每部都看过很多遍然后但我每次推荐都会推荐《笑遥江湖》因为我觉得我特别喜欢令狐虫里面那种比较豁达的样子对就什么都不太在乎那种心理状态我非常非常喜欢你是这样的人吗我希望成为这样的人如果机器人有性格的话你希望他是什么性格我希望他是个J人好看活对我觉得它核心还是要使用对我希望它是个这人就换句话说如果在提供情绪价值和干活之间我会果断的选择干活为啥不是提供情绪价值我可能觉得情绪价值应该由人来提供对你心目中影响机器人进程的几篇论文其实可能也不一定算是论文吧我觉得我觉得像像像那个Generes他们现在已经不写论文他们写blog我觉得这种可能也算对我觉得那个Generes的那个站一应该对我们是一个比较大的一个影响就是他的数据的规模化确实做得非常好然后像派的工作应该也是非常好再就是像那个Google DeepMiner他们那边的一些工作我觉得做的也是比较好我有时候在想就是如果我们在中国没有应用到中国的本土的这个硬件优势的话会比较可惜对我觉得会比较可惜的但是硬件优势可能在这一次的机器人的发展中我觉得是会有不可磨灭的 [110:00] de. G-senre还是说 你不管是怎么样的素材方式 一定依赖 inge et puis on va avoir un trait de l'écritage Je pense que c'est de la valeur de la valeur. Je pense que c'est un peu de l'on. Je pense que c'est un peu de l'on. Je pense que c'est un peu de l'on. Je pense que c'est un peu de l'on. C'est un grand grand. C'est une bonne chose. C'est de fait, on a plus de... on a une une sorte de... 就是我们会有一些 比较好的数据的合作伙伴 对 然后可能也会跟他们一起说 看看怎么一起去 把这个数据做得更好 因为数据 你所有的规模化 都一定要有标准 对 所以从这个方面 我们是在积极的 C'est un peu de l'utilisation. Générique du temps de connaître, une importante importante de Bout est ce que vous avez ? Je pense que c'est... Générique. Step-by-step, journey ... C'est parti ! ... C'est un programme de l'écriture de l'écriture. Je vous invite à vous de voir dans le détail de la vidéo, avec nous de plus de réunir. Sous-titrage ST' 501 Sous-titrage Société Radio-Canada