【十字路口】于是转身向具身走去｜对话王家伟：少年班、 DeepSeek、Seed 之后，24 岁，他选择创业【视频播客】

Koji杨远骋at十字路口

AI-assisted summary of 【十字路口】于是转身向具身走去｜对话王家伟：少年班、 DeepSeek、Seed 之后，24 岁，他选择创业【视频播客】 — original source. Check the original for full context.

Source published: 2026-09-16

Detailed notes

## Background 本期内容由 Bilibili 频道「Koji杨远骋at十字路口」于 2026 年 9 月 16 日发布。节目简介显示，本期播客专访了 24 岁的深朴智能（Simple AI）首席科学家王家伟，围绕他从中科大少年班、MSRA、DeepSeek 到字节 Seed 之后转身投身具身智能创业的选择，深度探讨了 GPT-6 Astra 对具身领域的冲击、深朴智能的 HiFi-UMI 全栈技术路线，以及对海外具身同行最新进展的审视。

## TL;DR 王家伟分享了他告别大厂既定大模型轨道、选择在尚未收敛的具身智能赛道开拓拓荒的心路历程，提出具身基础模型应具备适应性、可操控性与原生上下文理解三大核心指标。针对 GPT-6 Astra 等通用基模的冲击，他指出现实物理世界的动态扰动必须依靠毫秒级动作策略响应，因此认知大脑与动作小脑的分层架构依然是确定性路线。深朴智能坚持走贯通本体、基模与 Agentic OS 的全栈闭环路线，基于自研 HiFi-UMI 积累数万小时高精度数据并观察到无须后训练的纯 Zero-shot 泛化能力。在客观辨析 GEN-1.5、π0.7 及业内对 In-Context Learning 和 Ego 数据的包装炒作之余，他以 80% 的笃定置信度预言，三年内机器人将真正走进家庭替人类搞定收拾餐桌并摆放洗碗机。

## Atmosphere & style 整场对话洋溢着前沿极客的务实纯粹与拓荒者的锐意进取，兼具底层系统架构推演的硬核理性与年轻学者直面人生抉择时的真诚坦率。主持人杨远骋与王家伟的交流兼顾了温和包容与抽丝剥茧的思辨深度，嘉宾在拆解行业概念泡沫时言辞清醒、直击痛点，展现出超越年龄的笃定与第一性原理思维。整期播客听感紧凑而充满智识碰撞的爽快感，尾声处关于“让机器人进家洗碗”的朴素愿景更是为宏大的 AI 叙事落下了充满生活温度的注脚。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=0s) 王家伟 24 岁从合肥一中高二考入中科大少年班并完成中科大与 MSRA 联培博士，在历经 DeepSeek 多模态组与字节 Seed Agent 团队后，毕业选择以首席科学家身份加入深朴智能（Simple AI）投身具身赛道。 - [04:45](https://www.bilibili.com/video/BV1CteP6uE3h?t=285s) 面对 GPT-6 Astra 的强大端到端规划表现，王家伟认为通用大模型高延迟推理无法替代毫秒级闭环的小脑动作模型（Action Policy），未来的具身架构仍是大脑收敛于 GPT 路线而小脑分立。 - [09:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=570s) 王家伟定义“真正聪明”的两个维度：第一是会提出好问题，第二是清晰自知短板且敢于坦然直面并攻克。 - [14:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=880s) 在大模型分工高度收敛的背景下，王家伟信奉“风浪越大鱼越贵”，为了亲手定义未收敛的技术形态而转向具身，并将具身基础模型核心能力锚定为适应能力（Adaptability）、可操控性（Steerability）和原生上下文理解（Context Understanding）。 - [24:15](https://www.bilibili.com/video/BV1CteP6uE3h?t=1455s) 深朴智能定位为面向家庭的终端产品公司而非纯数据供应商，采用全栈闭环路线以确保在算法突变时迅速打通硬件并在真实家庭场景收集闭环反馈。 - [24:15](https://www.bilibili.com/video/BV1CteP6uE3h?t=1455s) 深朴智能开源了 2,000 小时 HiFi-UMI 数据集并积累数万小时私有数据，基于 UMI 范式重构出双目 SLAM 毫米级定位、微秒级时间硬同步及防遮挡 6 目相机的低成本高精度方案。 - [33:32](https://www.bilibili.com/video/BV1CteP6uE3h?t=2012s) 深朴智能基础模型在跳过任务级后训练（Post-training）的情况下直接上真机评估，已自然展现出强大的 Zero-shot 零样本跨任务组合泛化能力。 - [36:19](https://www.bilibili.com/video/BV1CteP6uE3h?t=2179s) 具身系统的 Context 包含一秒内的短时物理接触因果闭环、任务同批次的工作记忆复用，以及跨时段空间长期记忆，需在数据端和稀疏建模端协同解决 Token 爆炸导致的推理延迟。 - [38:58](https://www.bilibili.com/video/BV1CteP6uE3h?t=2338s) 出于双指夹爪双视角视觉补偿能力与市面触觉传感器规格极度割裂易致数据作废的工程风险，深朴智能在现阶段大规模数采中克制地暂缓引入触觉信号。 - [43:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=2620s) 深朴自研 Agentic OS 架构将 System 2（大模型认知规划）与 System 1（高频动作小脑）解耦，核心工程壁垒在于通过具身 Harness 控制动态上下文并实现高可控性调度。 - [46:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=2800s) 行业现存如 LIBERO 等仿真 Benchmark 易被暴力后训练刷榜而缺乏实操泛化参考，真机评测又受限于各家硬件异构，深朴年底发布将采用拒绝剪辑、标明样本梯度的透明自测标准。 - [53:14](https://www.bilibili.com/video/BV1CteP6uE3h?t=3194s) 评析全球前沿工作时，王家伟认可 GEN 系列的暴力预训练涌现与 π0.7 强调的 Steerability，但质疑部分团队为了展示 In-Context Learning 效果而在数据上专门成对过拟合的做法。 - [01:00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=3600s) 深朴智能没有盲目跟风百万小时 Ego-centric 数据外采路线，因为其清洗损耗大且性价比存疑，相比之下自研 UMI 数据可用率超 90%，更利于受控验证 Scaling Law 与参数配比。 - [01:07:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=4050s) 王家伟将“三年内机器人能否在普通家庭中自主完成收拾餐桌、倒掉残渣并将碗盘码入洗碗机”视作检验具身创业成败的试金石，并给出了 80% 的实现置信度。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=0s) 快问快答与奥卡姆剃刀：从少年班、DeepSeek 到创办 Simple AI

播客在轻松的快问快答中拉开序幕。深朴智能（Simple AI）的首席科学家王家伟年仅 24 周岁（下个月满 25 岁）。他的求学之路极其精简且高效：中小学就读于普通县城，高中进入合肥一中，并在高二时直接参加高考考入中国科学技术大学少年班；2020 年，他获得了中科大与微软亚洲研究院（MSRA）的联培博士机会，师从霍强老师，并于 2026 年博士毕业。谈及性格与星座，这位 50% 外向度的天秤座研究者，用一句话阐释了深朴智能的愿景：“Keep the world simple”（让世界变得简单），这也是公司英文名 Simple AI 的由来。

主持人和王家伟由此探讨了科研中崇尚“简单”的哲学内核。主持人提及上一期播客嘉宾清华交叉信息研究院的徐孟迪助理教授在李飞飞团队做博士后时的见闻——李飞飞常引述爱因斯坦的名言：“凡事应力求简单，但不能过于简单。”这与 AI 领域的“奥卡姆剃刀原理”不谋而合。王家伟深有感触地指出，无论是早期的 NLP 还是 CV 领域，研究人员常常过度设计复杂的模型结构，但最后却往往被结构极其简单的 GPT 一统天下。主持人补充了一个极具戏剧性的行业见闻：在 OpenAI o1 发布后，某团队耗费数月设计了一套极其庞大复杂的训练 Infra 架构，结果 DeepSeek-R1 一发布，他们发现根本不需要那么繁复的设计，连着两周删掉了 90% 的代码。

回顾加入深朴智能前的履历，王家伟的学术与工业界积累十分纯粹：博士期间大部分时间在 MSRA 从事文档智能研究；2024 年，察觉到多模态大语言模型正在打破传统小模型的上限，他前往 DeepSeek 多模态组实习，深度参与了 DeepSeek-VL2 以及 DeepSeek-V3 的部分预训练数据工作；2025 年，意识到大模型正从“难以产生直接商业价值的对话（Chat）”转向“能切实提高生产力的智能体（Agent）”，他又转战字节跳动 Seed 旗下最早的 Agent 团队实习。当被问及童年梦想时，王家伟笑着承认自己小时候过生日确实许愿要“当科学家”，不过当时想象的还是在实验室做生物、化学实验或推导数学猜想，而非今天的计算机科学家。如今，他将绝大部分精力投入到全行业尚未收敛的核心命题——**具身基础模型的预训练（Pre-training）**。

- **年龄与求学**：24 岁（即将 25 岁），合肥一中高二考入中科大少年班，中科大与 MSRA 联培博士（师从霍强老师）。 - **过往经历**：MSRA（文档智能）、DeepSeek（多模态组、DeepSeek-V3 预训练数据）、字节跳动 Seed（Agent 组）。 - **公司定位**：深朴智能（Simple AI），面向家庭的通用具身智能公司，核心信条为奥卡姆剃刀与“Keep the world simple”。

---

[04:45](https://www.bilibili.com/video/BV1CteP6uE3h?t=285s) GPT-6 Astra 的震撼与反思：大模型会降维打击具身智能吗？

对谈录制前几天，OpenAI 刚发布了新一代多模态旗舰模型 GPT-6 Astra，各种用 Astra 直接驱动机械臂完成高精度任务的视频在社交网络疯狂刷屏。看到通用大模型在抓积木等任务上展现出惊人的零样本成功率，王家伟直言其能力超乎业界预期。虽然利用语言模型做机器人的思路并不新鲜——从几年前的 Code as Policies 到近期李飞飞团队与 Jim Fan 团队提出的 CAPX 工作，学术界早有探索，但过去的方案严重依赖前置的小模型做感知定位与物体识别。GPT-6 Astra 的颠覆性在于，它将原本割裂的 3D 空间理解、场景语义识别、高阶任务规划以及试错总结能力，全部端到端地融入了单个模型中。

王家伟分享了 Astra 演示中一个让他印象极为深刻的细节：机械爪绑上一支笔，模型自主控制它去画一幅金门大桥。最终成画虽然惊艳，但模型并非一蹴而就，而是反复画了三四遍。在第一遍时，可以明显看到模型在试探如何握笔、如何发力；第二遍逐渐画出桥梁轮廓；直到第三、第四遍，线条才变得极其清晰精准。每画完一张，人类将废纸拿走、铺上新白纸，而机械臂头部的摄像头始终在读取实时视频流。关键在于，**模型的上下文窗口一直保持开启**，它清晰记得自己前几次画了什么、为什么画得不好，并根据历史经验实时调整末端执行器的控制策略。

这引发了行业对“大模型巨头（如 OpenAI、Anthropic）是否会降维打击具身智能公司”的普遍焦虑。王家伟对此给出了清晰的解构：具身系统必须像人体一样，分为负责认知的大脑与负责肌肉快速反射的小脑。GPT-6 Astra 固然强大，但仔细观察会发现其推理速度极慢，官方展示的视频往往加速到了 16 倍速甚至 32 倍速。在静态环境下慢速规划固然有效，但在动态复杂的物理世界中却存在致命缺陷。例如端起一杯装满咖啡的水杯，一旦动作发生倾斜、咖啡开始洒出，大模型根本来不及进行数十秒的深思熟虑来挽回局面，必须依赖毫秒级反应的动作策略（Action Policy）来瞬间修正。因此，未来的大脑会继续收敛于 GPT 路线，但底层的动作模型绝非纯靠高延迟的大脑推理所能替代。

```mermaid flowchart TD accTitle: 具身智能的分层控制架构 accDescr: 展示以高延迟大语言模型为主的大脑认知层与低延迟高频动作模型为主的小脑执行层之间的协同交互。

subgraph Brain["大脑认知层 (High-level Cognition / Slow)"] A["多模态大模型 (如 GPT-6 Astra / VLM)"] A1["3D空间与场景语义理解"] A2["长程任务规划与反思总结 (Context)"] A --> A1 A --> A2 end

subgraph Interface["意图转换与指令流"] B["高层任务目标与多模态引导 (Language / Video)"] end

subgraph Cerebellum["小脑控制层 (Low-level Action Policy / Fast)"] C["具身动作基础模型 (Action Foundation Model)"] C1["毫秒级肌肉反射与姿态微调"] C2["动态物理扰动恢复 (如防咖啡倾洒)"] C --> C1 C --> C2 end

subgraph Hardware["物理世界执行 (Physics & Hardware)"] D["机械臂 / 灵巧手末端操作"] E["板载实时传感器 / 视频流 (Real-time Video / Tactile)"] end

Brain --> B B --> Cerebellum Cerebellum --> D D --> E E -->|"高频动态反馈 (毫秒级)"| Cerebellum E -.->|"低频视觉回传与状态更新"| Brain ```

---

[09:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=570s) 中科大少年班岁月：逃离题海、AI4Science 与对“聪明”的重新定义

话题转向王家伟的成长轨迹。外界常给中科大少年班贴上“神童集聚地”的标签，王家伟当年那一届全班仅有 30 多人。在他眼中，少年班同学最显著的共性并非玄乎的绝对智商，而是极强的“自驱力”和迅速吸收未知知识的思维敏捷度。他详细拆解了少年班独特的选拔机制：通常要求考生年龄在 15 周岁以下（高一或初三即可报考），高考成绩达到中科大当地录取线下浮 20 分以内即可获得面试资格。而真正的淘汰考核在面试当天：考生需要现场连续听一节大学水准的数学课和一节物理课，听完立即发卷开考，旨在极限测试学生在未受系统训练时的专注力、吸收转化率与即时输出能力。最后，由院长亲自进行一对一开放式深访，考察学生的抗挫力与专业志趣，最终从百人复试中筛选出三四十人。

对王家伟而言，少年班最大的幸运是让他彻底“摆脱了高三”。他联想到上海交大 ACM 班俞勇老师的理念——进班第一件事就是帮学生洗刷掉高三应试刷题带来的毒害。没有经历题海战术的束缚，他在大一时广泛接触数学、物理、化学等通识课程，顺从内心兴趣选择了计算机系。科大浓厚的学术氛围让他很早便接触到尖端科研，本科阶段就跟随导师开展生物物理方向的 AI for Science 研究，利用计算机模拟分子马达的相变过程。此外，他在少年班长期担任班长，性格中带着鲜明的 ENTJ 特质，不仅没有陷在象牙塔里，反而磨砺出了擅长协调沟通、包容合作的人际能力。

经历多年科研打磨后，王家伟对“聪明”一词的理解发生了蜕变。过去他认为聪明就是反应快、学得迅速，如今他认为思维敏捷者比比皆是，真正的聪明包含两个更深层次的维度：**第一是“会提好问题”**，在混沌中找到最本质的关键切口；**第二是“清晰认知自己的不足，并敢于坦然直面它”**。他直言不讳自己的短板：由于父亲是计算机老师，自己从小对软件了如指掌，却对焊电路板、搭硬件毫无兴趣。然而创业做具身智能必须打通硬件本体与机械执行，他没有选择逃避，而是放下身段频繁请教公司的硬件专家，在直面短板中补齐知识盲区。

- **选拔流程**：15 岁以下高二/初三生报名 $\to$ 高考超常发挥（科大线上浮动 20 分入围） $\to$ 现场上大学数理课并即时闭卷考试 $\to$ 院长一对一开放式面试（选拔比约 100 进 35）。 - **本科科研**：很早涉足 AI4Science，利用计算模拟研究生物分子马达（Molecular Motors）的物理相变。 - **关于“聪明”的新定义**： 1. 具备提出好问题的洞察力。 2. 深刻自知局限所在，且具备直面并攻克劣势的执行力。

---

[14:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=880s) “风浪越大鱼越贵”：告别既定的大模型轨道，定义具身智能的三大能力

在大模型如日中天、多模态技术不断突破的黄金期，手握 DeepSeek 与字节 Seed 亮眼背书的应届博士王家伟，却出人意料地转身跨入充满不确定性的具身智能赛道。谈及这一选择，王家伟袒露了内心的野心：“我想做一个能自己定义事情的角色。”在大语言模型领域，头部大厂的研发逻辑与分工链路高度收敛，一个 New Grad 哪怕再优秀，进入体系后往往只能沿着既定的战略路线充当螺丝钉，难以主导开创性的方向。相比之下，具身智能处于完全未收敛的战国时代，技术路线、评测标准和产品形态皆无共识。“风浪越大，鱼越贵”，在别人视不确定性为巨大的风险时，他却看到了年轻研究者亲手绘制行业蓝图的历史机遇。

做出这个抉择离不开导师霍强老师的开明支持。当王家伟坦白自己放弃大厂稳定高薪、决定创业时，导师鼓励他：“年轻人就应该去闯一闯，失败了无所谓，只要积累了足够的认知经验，随时能开启下一段事业。”在王家伟看来，创业唯一的真正风险不是失败，而是“时间”——如果在一条被证伪的错误路径上空耗数年，那才是不可逆的打击。

为了在迷雾中导航，王家伟和深朴智能团队在内部反复叩问：机械臂把水杯抓起来就算智能吗？什么才是具身系统真正的“智能”？他们最终提炼并锚定了**具身基础模型的三个核心能力指标**：

1. **适应能力（Adaptability）**：在完全超出分布（OOD, Out-of-Distribution）的全新物理场景下，模型展现出的 Zero-shot 零样本泛化能力以及极低样本（Few-shot）下的快速适配迁移能力。 2. **可操控性（Steerability）**：具备高度灵活的多模态交互响应。不仅能听懂复杂的语言指令，还要能以图像为参照，甚至给它一段人类演示视频，机械臂就能丝滑稳定地复刻视频中的动态意图。 3. **原生上下文理解（Context Understanding）**：打破以往机械臂仅凭单帧即时观察（Observation）做动作预测的狭隘范式，深入理解动作发生前后的历史环境动态变化（Dynamics），真正从上下文序列中涌现出对物理世界的直觉理解。

---

[18:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=1110s) 历练 MSRA、DeepSeek 与字节 Seed：在大厂机器与自进化探索之间

回顾博士后期的工业界探索，王家伟的学术轨迹清晰地折射出大模型技术浪潮的演进历程。他将这几年划分为两大阶段：前半段沉浸在 MSRA，跟随霍强老师深耕文档智能。霍老师的培养理念给他的烙印极深——拒绝做为了发论文而发论文的“纯研究”（Pure Research），而是必须直面落地价值。当年他们在文档布局分析、表格理解及 OCR 领域产出的算法，无一例外地被集成到了微软 Azure 云服务 API 及底层产品矩阵中。后半段为了在大模型主战场成为弄潮儿，他先后投身 DeepSeek 与字节 Seed。

王家伟生动还原了发布 R1 之前的 DeepSeek 内部氛围。在 V2 发布之后、R1 爆发之前的窗口期，DeepSeek 团队规模极小，内部保持着纯粹的研究员文化。大家不急于计算商业变现，一心只想推高模型能力的绝对边界。给他最深震撼的是，**“DeepSeek 的工作强度其实并不大，但依然能量产世界级工作”**，这有力击碎了“唯有极限加班才能出顶级科研”的行业迷信。此外，小而精的团队赋予个体极高的自由度与信任，年轻实习生也能直接接触并修改包括推理引擎（Infer）在内的底层核心代码。王家伟后来离开 DeepSeek 的原因非常务实：DeepSeek-VL2 交付后，管理层判断算力资源必须向核心的推理大语言模型（即后来的 DeepSeek-R1）绝对倾斜，多模态组所获算力被大幅压缩。不愿仅在文档多模态的老经验上“炒冷饭”的他，将目光投向了下一个爆发点——智能体（Agent）。

2025 年底，王家伟转去字节跳动 Seed 旗下最早探索 Agent 的先锋团队。与 DeepSeek 的灵动极客范不同，Seed 如同一台极其精密复杂的工业母机：研发基建与算力工程（Data/Training Infra）极其强悍完备，几乎所有前置支持都已被周到准备好。但这种超大组织的精细化分工也成了双刃剑——每颗螺丝钉只能聚焦于极其受限的局部环节。在 2025 年 11 至 12 月，王家伟敏锐觉察到“模型自进化”（Self-Evolution）的巨大前景，极力主张将模型以 API 形式直接推给真实用户，通过在线捕获用户反馈来闭环驱动模型迭代。然而在巨头内部，推进一个跨部门的原型概念验证（POC）需要经历繁琐的部门博弈与合规拉锯，高度探索性的项目极难撬动边缘资源。在大模型路线日趋程式化、个人难以自主定义技术方向的现实面前，王家伟最终下定决心跳出舒适圈，投身充满荒原拓荒感的具身智能创业。

---

[24:15](https://www.bilibili.com/video/BV1CteP6uE3h?t=1455s) 深朴智能的全栈野心与 HiFi-UMI：做终端产品而非纯数据公司

在具身赛道的技术路线分野中，深朴智能选择了一条极具挑战性的“全栈路线”（Full-Stack）：涵盖高精度数据采集、具身基础模型、端侧 Agentic OS 直至机器人本体制造。王家伟阐明，深朴智能对自己的定位是一家最终面向家庭交付体验的**“终端产品公司”**，而非单卖数据的供应商或做技术授权的模型公司。具身智能从算法到机械末端执行的链条过长，任何一个环节的割裂都会导致体验崩塌，唯有打通全栈闭环，在整个行业发生算法突变或新模型架构涌现时，团队才能在最短时间内将前沿技术落地至自有硬件终端，以最高的时效收集真实家庭场景中的用户反馈，形成坚固的技术壁垒。

这种全栈闭环的第一个标志性成果便是他们开源的具身数据集 **HiFi-UMI**。该数据集在 Hugging Face 与 ModelScope 上的下载总量已突破 50 万次。王家伟透露，深朴智能向社区开源了 2,000 小时的高质量数据，而公司内部积累的私有数据量已达到数万小时规模，而这整套高吞吐采集链路仅用了半年时间便搭建完成。

起初，深朴智能曾尝试采购外部成熟的数据采集设备，但实测发现现有方案在物理精度与时间对齐上完全无法满足基础模型的训练需求。于是，他们基于哥伦比亚大学宋舒然团队提出的 UMI（Universal Manipulation Interface，通用操作手套）范式进行了深度的工程与算法重构：

``` [HiFi-UMI 高精度手套采集方案架构]

┌─────────────── 头部双目相机 (2个) ───────────────┐ │ - 提供宽广的第一视角 (Egocentric) │ │ - 运行视觉 SLAM 算法替代外部基站，实现【毫米级】定位 │ └─────────────────────────────────────────────────┘ │ ┌───────────────┴───────────────┐ ▼ ▼ ┌─ 左腕部上下相机 (2个) ─┐ ┌─ 右腕部上下相机 (2个) ─┐ │ - 上下对置视野，彻底防遮挡 │ │ - 上下对置视野，彻底防遮挡 │ │ - 贴近灵巧夹爪，捕捉微操细节│ │ - 贴近灵巧夹爪，捕捉微操细节│ └────────────────────────┘ └────────────────────────┘ │ ┌─────────────────────────┴────────────────────────┐ │ 统一微秒级硬件时间戳同步 (Microsecond Timestamp Sync) │ └──────────────────────────────────────────────────┘ ```

- **抛弃外部基站**：行业传统方案往往需在作业桌周围架设多个昂贵的定位基站以捕捉轨迹，深朴智能通过头部双目相机结合先进的视觉 SLAM 算法，在完全摆脱外部基站束缚的同时，实现了**毫米级（Millimeter-level）**的高精度轨迹重构。 - **微秒级时间同步**：针对行业做 UMI 普遍遭遇的各路传感器时间戳漂移、采样异步的痛点，深朴智能在硬件源头底层实现了**微秒级（Microsecond-level）**的全局时间戳硬同步，消除了动作与感知的时间抖动。 - **6 目相机视野配置**：头部部署双目相机（兼顾第一人称全身感知与 SLAM 定位），左右手腕则各装配一对上下对置的相机（共 4 目）。腕部上下双摄的精巧设计，彻底解决了灵巧夹爪在进行精细操作时自身结构产生的视觉遮挡（Occlusion）问题。 - **真实上机验证**：采集系统并非纸上谈兵。团队在极小规模数据跑通后便立即进行模型微调，并在真机上进行轨迹复现（Replay）测试，发现仿真与实机动作执行的一致性成功率达到 **95% 以上**，坚定了团队大规模扩充具身数据采集与预训练基础模型的底气。

[30:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=1800s) 数据采集、清洗与用 GPT-6 Astra 探索自动化标注

深朴智能在数据工程上的策略经历了从单纯“堆量”到重度投入“清洗与标准化”的转变。最初团队为了提升数据的多样性，除了在自建的固定数采场地采集，还进行了大量的外部采集，深入到家庭、酒店、民宿等真实生活场景。但随着原始数据规模扩大，他们发现直接拿未经精细处理的原始数据去训练，虽然因为采集精度本身极高也能跑通（work），但中间依然暴露出动作与视觉不对齐（mismatch）等隐性问题。因此，团队近期的核心重心转向了数据清洗，希望将其沉淀为一套完全标准化、自动化的流水线，尽可能摆脱对繁重人工标注的依赖。

在自动化标注的探索中，深朴智能近期接入了 GPT-6 Astra 尝试做清洗和标注，发现其表现甚至优于人工标注员，不仅能 24 小时不知疲倦地作业，在综合成本上也与人工相差无几。不过由于目前调用是直接消耗 Codex 额度，API 的吞吐效率与并发仍受到一定限制。深朴智能的解法是把大模型当做“标注导师”：先用 GPT-6 Astra 标注出一批高质量样本，再用这批小规模数据训练自己专用的标注模型，通过持续的轻量迭代，就能以极高性价比达到相当出色的自动标注水准。

- **开源 2,000 小时 HiFi-UMI 数据集**：深朴智能近期向社区开源了 2,000 小时的 HiFi-UMI 数据，主要出于研究者情怀与推进社区发展的初衷，同时也希望通过学术界和工业界的反馈来反向迭代数采硬件。 - **开源后的市场与社区反馈**：开源后团队收到了大量国内外企业想要采购完整商业数据的邮件；技术反馈方面，有开发者指出手部定位用的二维码 Marker 尺寸偏大，可能会在狭小空间操作时带来干扰；另外真机验证中也暴露出了相机传感器选型带来的发热问题。

---

[33:32](https://www.bilibili.com/video/BV1CteP6uE3h?t=2012s) 无需后训练的 Zero-shot 泛化能力

关于年底即将发布的基础模型，王家伟透露了一个令团队自己都感到惊喜的进展：模型已经展现出了强大的 Zero-shot 泛化能力。行业普遍的做法是让基础模型在经过预训练后，必须在特定任务的仿真环境或真机 Benchmark 上进行大量后训练（Post-training）微调才能打出高分。深朴智能内部为了摸清预训练后模型到底沉淀了哪些真正能力、哪里还需要改进，刻意跳过了后训练环节，直接把完成数千个任务预训练的模型拉上真机做细致评估，结果发现它已经能零样本直接执行从未在训练集中一模一样出现过的新任务。

针对近期 GEN-1.5 宣传的“看 3 秒参考视频即可执行任务”的能力，王家伟明确区分：GEN-1.5 的本质是 One-shot（单样本）模仿，而深朴智能当前追求的是完全不给参考视频的纯 Zero-shot。他认为这背后的核心根基在于 HiFi-UMI 的数据质量与精度。回顾行业进展，GEN-1 早期在单任务上往往需要 1 个小时的真机后训练数据才能保证高成功率，直接拿预训练 UMI 数据就能自然涌现出泛化能力的案例在业界依然非常罕见。在架构设计上，团队并不盲目跟风“世界模型”（World Model）或“动作世界模型”（World Action Model / VLA）的概念，而是坚持以效率为先，借用各流派最适合动作生成的精华机制，打造最贴合具身操作本质的自研架构。

---

[36:19](https://www.bilibili.com/video/BV1CteP6uE3h?t=2179s) 具身系统中的 Context：短时因果、工作记忆与长期记忆

具身模型的核心能力往往被拆解为感知、控制与上下文理解，王家伟格外强调了 Context（上下文）在具身智能中的决定性地位。作为大语言模型背景出身的研究员，他观察到当前很多具身工作存在严重缺陷：过度假设模型仅凭“当前一帧的观察（Current Observation）”就能完成决策，完全忽略了上下文中蕴含的丰富物理因果。

```mermaid flowchart TD accTitle: 具身智能中三个层级的 Context 建模 accDescr: 展示从一秒内的物理接触短时因果，到单次任务的工作记忆，再到跨时间长期记忆的三层上下文结构及其对模型行动的指导。

subgraph L1["短时因果 Context（< 1秒）"] A["夹爪接触物体"] --> B["抓力不足导致物体滑落"] B --> C["视觉感知到位移滑脱"] C --> D["动作闭环：立刻收紧夹爪提纯成功"] end

subgraph L2["中期工作记忆 Context（同批任务）"] E["首次操作试错出杯子抓取宽度"] --> F["抓取第二、第三个杯子时直接复用参数"] F --> G["消除重复试错，提升连续作业成功率"] end

subgraph L3["长程全局记忆 Context（跨时段家务）"] H["初始阶段：人类将物品收纳至特定抽屉"] --> I["跨时段交互：人类下达寻物指令"] I --> J["检索环境记忆定位抽屉并取出"] end ```

在具体的物理操作中，Context 至少包含三个维度的递进信息： 1. **短时因果 Context（一秒内的微观动态）**：在接触密集型（Contact-rich）任务中，比如抓取光滑水杯，夹爪第一次抓握未紧导致杯子下坠，视觉捕捉到滑动后夹爪瞬间加大抓握力将其稳定提起。这短短一秒内发生的一连串“观察-动作-滑落-补偿”数据，构成了极致密集的因果闭环，模型能从中自然学会“错在哪里、如何实时纠偏”。 2. **中期操作记忆 Context**：面对桌上一排规格相同的咖啡杯，机器人在操作第一个杯子时经历微调找到了最佳开合宽度与受力，在抓取第二、第三个杯子时就应当直接复用该先验参数，无需在相同物理属性上反复试错。 3. **长期时空记忆 Context**：在复杂的长期家务场景中，例如早前人类曾将某件物品放入特定的抽屉，当稍后被要求“把那个东西找出来”时，缺乏长期记忆机制的具身系统就会盲目抓瞎，必须依赖人类重新提示。

建模长 Context 的最大技术挑战在于 Token 爆炸所引发的推理延迟。对延迟极度敏感的机械臂控制系统而言，过多的上下文会直接拖垮控制频率。深朴智能在数据与模型两端同时动刀：在数据端专门筛选和构造能够激发模型因果推理能力的样本；在模型架构端则引入针对具身序列的高效稀疏建模，在保留因果线索的同时压缩推理时延。

---

[38:58](https://www.bilibili.com/video/BV1CteP6uE3h?t=2338s) 触觉传感器的工程取舍：视觉补偿与跨硬件泛化难题

关于开源的 HiFi-UMI 数据集为何未包含触觉信号，王家伟剖析了当前具身硬件生态中触觉传感器的真实困境。尽管人类的大量灵巧操作依赖触觉，且学术界尝试通过视频预测伪触觉（这类预测对于预训练或许有些微辅助，但对高精度后训练几乎不可用），但在工程落地中强推触觉依然面临严重的投入产出失衡：

- **二指夹爪的双视角视觉补偿**：与结构复杂、自遮挡严重的五指多关节灵巧手不同，双指平动夹爪（Parallel-jaw Gripper）本身的自遮挡较少。配合深朴智能在数采设备上精心设计的上下双视角相机排布，机械臂在绝大多数场景下仅靠高清视觉流就能准确判断物体是否被抓牢、是否出现微小滑移。 - **触觉硬件标准极度割裂**：目前市面上的触觉传感器处于缺乏统一标准的“战国时代”。不同厂家的传感器在阵列分辨率、灵敏度响应曲线以及空间位点分布上大相径庭。“如果你今天花费重金铺设了 100 套搭载 A 传感器的采集设备，几个月后市场上出现了一款性能全面碾压的 B 传感器，你替换进去后，之前耗费海量算力和人力采集的数据该如何复用？”这种传感器规格迭代导致的数据作废风险，是团队未在大规模量产数据中盲目铺开触觉的核心原因。

---

[41:09](https://www.bilibili.com/video/BV1CteP6uE3h?t=2469s) 具身智能的 Scaling Law 争议与涌现特征

具身智能领域目前频繁出现各家宣称验证了 Scaling Law 的声音，王家伟对此表达了克制与严谨的态度。他指出真正的 Scaling Law 是极其严肃的科学定律，必须通过严格可复现的实验，精确标定模型参数量、高质量数据量与计算开销之间的解析比例关系，从而让训练收益具备完全的数学可预测性。现阶段深朴智能更倾向于用“Power Law（幂律特征）”来描述观察到的性能提升，而非轻率地宣称已经“掌握了具身 Scaling Law”。

团队在扩展任务多样性与数据量级时，观察到了显著的“跨任务组合泛化（Combinatorial Generalization）”趋势： 1. **低频任务的零样本激活**：当同时将一两千个任务混合训练时，原先在训练集中样本占比极小（仅占 0.5% 至 1%）的低频任务，在没有单独精调的情况下也能被顺利完成。 2. **动作与物体的组合跃迁**：即使某个特定任务从未在数据中整体出现过，只要模型在任务 A 中学过“将遥控器放入收纳盒”，在任务 B 中学过“将零食扔进垃圾桶”，在面对完全未见过的“将零食整齐放入蓝色盘子”的复合指令时，模型无需任何后训练，就能自发完成语义解构与动作迁移，准确将零食安放到指定颜色的托盘内。

---

[43:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=2620s) Agentic OS 架构：System 1 与 System 2 的解耦与 Harness 协同

深朴智能早在创业初期就确立了具身智能绝非单一端到端模型、而必须是一个完整智能体系统（Agentic System）的顶层认知。机器人要与人类自然语言交互、对多变环境做长程规划，必须构建一套清晰的分层架构——即深朴智能自主研发的 Agentic OS。

```mermaid flowchart LR accTitle: Agentic OS 的分层架构与协同流水线 accDescr: 展示上层 System 2 负责意图理解与任务规划，底层 System 1 负责精准动作执行，通过中间层具身 Harness 实现低延迟协同。

subgraph S2["System 2：大脑规划层 (VLM / LLM)"] A["语音交互与意图理解"] --> B["长程任务分解"] B --> C["工具调用与环境状态推理"] end

subgraph Harness["具身专用 Harness 层"] D["动态上下文管理 (防止视觉流导致 Token 爆炸)"] E["跨层通信与高频调度协议"] end

subgraph S1["System 1：小脑执行层 (Action Model)"] F["高频高可控性 (Steerable) 小脑模型"] G["闭环控制输出 (本体与夹爪物理动作)"] end

S2 --> Harness Harness --> S1 ```

- **System 2（大脑认知层）**：承担高层语义理解与宏观长程规划。集成语音识别、语义分解与外部工具调用，将人类口语化指令（例如在世界机器人大会 WRC 演示的“帮我把衣服拿去洗衣机洗一下”）拆解为细粒度的物理操作子目标序列。 - **System 1（小脑动作层）**：承担底层高频的连续动作输出（Action Model），要求具备极强的抗扰动能力与高响应速度。 - **具身 Harness 的核心价值**：通用大模型直接套用到具身场景必然遭遇严重水土不服，因此 Agentic OS 的核心工程壁垒在于包裹在大脑外侧的具身 Harness： - **动态上下文窗口管理**：大脑需要源源不断接收来自相机的实时视频帧，如果缺乏针对性的上下文管理，Token 数量会瞬间爆炸并导致推理延迟不可控，系统必须动态剪枝与提纯关键视觉状态。 - **高度可控（Steerable）的指令交互**：小脑模型必须训练出极高的可控性（Steerability），使得上层大脑发出的语义意图能被小脑精准、平滑地接管并转化为机械臂末端执行器的轨迹控制。

当前深朴智能的 System 2 阶段性使用了字节跳动的 Seed 系列多模态模型（王家伟此前曾参与相关研发），未来也在探索自研定制。考虑到通用前沿大模型能力迭代极其迅猛（从 GPT-5 到 GPT-6 跨度巨大）且算力开销天文数字，创业团队的策略是集中珍贵的计算资源把 System 1 的物理动作预训练做深做透，上层认知大脑则最大化利用成熟的基础大模型并依靠具身 Harness 进行调教反哺。

---

[46:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=2800s) 具身评测标准的反思与年底发布策略

针对业内现存的具身评测体系，王家伟坦言目前缺乏公认有效的 Benchmark。以被各家团队刷榜至近乎饱和的 LIBERO 仿真 Benchmark 为例，其最大弊端在于参赛模型甚至不需要任何预训练底座，单纯依靠暴力后训练（Pure Post-training）就能跑出极高的分数，对验证模型的真实通用泛化能力没有实质参考价值。即便像 RobotDojo 这种结合仿真与实体的评测集，也受限于仿真环境与真实物理交互之间的天然鸿沟（Sim-to-Real Gap）；而若寄希望于第三方搭建完全中立的真机评测基准，由于各家机器人的机械臂本体、末端执行器自由度、相机视角与安装工差千差万别，要求初创公司交出未开源模型并在他人设备上零成本复现几乎是不切实际的。

面对行业内“各说各话、靠剪辑 Demo 争夺话语权”的浮躁风气，深朴智能为年底的模型发布制定了全透明的自测与公布标准： - **拒绝概念包装与水分**：承诺展示最真实的物理结果，绝不使用剪辑或精挑细选的单次成功案例。 - **梯度式能力矩阵**：建立覆盖简单、中等、困难等不同梯度的评测场景，系统化呈现场景泛化（跨房间、光照变化）与物体泛化（未见过的目标物）下的真实成功率。 - **严谨的 Few-shot 与 Zero-shot 边界定义**：标明每次测试的数据消耗量，是零样本（0-shot）测试就绝不夹带一帧后训练样本，用扎实的实验链路证明基础模型的通用稳定性。

---

[49:33](https://www.bilibili.com/video/BV1CteP6uE3h?t=2973s) 端到端与分层架构演进：初创团队的战略定力与研发文化

对于 GPT-6 级通用多模态大模型未来是否会完全吃掉具身小脑、收敛为单一端到端（End-to-End）模型的争论，王家伟给出了清醒的判断：通用大模型向下蚕食上层规划与局部控制（System 2 吸收一部分 System 1）是确定的技术方向，但物理执行的实时闭环底座绝非短期内可以被大模型全盘抹去。更关键的是演进周期的不确定性：“即便我们能看清遥远终局的形态，也绝不能在当下跳过中间阶段必须攻克的物理工程。”深朴智能的策略是立足当下，将底层的 Action 执行与 Steerable 控制做到极致稳定，一旦上层开源基模的规划能力突飞猛进，团队凭借成熟的 Harness 即可瞬间完成两端的咬合，迅速切入商业场景完成交付变现。

在组织管理与研发节奏上，深朴智能展现出了浓厚的极客氛围： - **扁平透明的人才结构**：团队目前规模维持在 70 多人，沿袭了高效的自驱文化，不推崇强制加班，规定工时为早 9:30 到晚 6:30，核心研究人员更注重思维的灵活性而非堆砌在线时长。 - **全员无限量 AI 生产力支持**：公司为每位研究员提供无上限的 AI 工具额度，全员深度集成 Codex 等 Agent 工具，员工的工作范式转变为“清晰定义工程问题，指挥并管理个人 Agent 矩阵高效推进”。 - **充分透明的 Context 共享**：不同于大厂内部信息层层封锁、只有极少数高层掌握全局战略的弊端，深朴智能在 CEO、CTO 与核心骨干之间推行高频的全局 Context 同步，自顶向下明确对“具身智能”的本质定义、算力调配与数据规划，使团队在敏捷航行中始终保持力出一孔。

---

[53:14](https://www.bilibili.com/video/BV1CteP6uE3h?t=3194s) 全球前沿具身突破盘点：GEN 系列、π0.7 与 In-Context Learning 的真伪

放眼全球具身智能的最前沿进展，王家伟重点剖析了几个代表性团队的技术路径与得失：

- **对 Generalist（GEN 系列）的工程敬意**：团队最推崇的工作来自该系列展现的大规模暴力预训练实验。从初期将数采规模轰到 20 万小时，到 GEN-1 阶段用 50 万小时数据、针对 9,000 种不同构型的机械夹爪验证泛化能力，再到 GEN-1.5 实现原生 30 秒上下文支持，这种纯粹靠海量异构数据灌顶促成预训练能力涌现的路线令人肃然起敬。 - **π0.7 与 Sergey Levine 的 Steerability 理念**：π0.7 的核心启示在于极致打磨小脑模型的可控性（Steerability）。Sergey Levine 团队早在具身思维链（Embodied Chain-of-Thought）等工作中就探索了将 Reasoning 注入动作系统的可能性，可控小脑正是让高层认知与底层执行顺畅协同的基石，这也坚定了深朴智能将 Steerability 列为第一梯队特性的决心。 - **对 Skild AI 等团队 In-Context Learning Demo 的质疑**：近期业内涌现出大量宣扬“机械臂具备上下文学习（In-Context Learning）”的工作，王家伟认为必须辨别其中是否存在概念包装。在 GEN-1.5 中，机械臂看一段极短的第三人称人类示范视频（例如把杯子套叠）就能直接模仿跟做，其上下文理解是无监督自然涌现的；而业内部分团队（包括 Skild AI）在发布 Demo 时，明确承认为了达到演示效果而在模型中专门喂入了大量成对匹配数据（Pair Data）进行强行过拟合微调。这种缺乏泛化因果的妥协方案更偏向于公关层面的“刷 Demo”，并未触及具身 In-Context Learning 的底层本质。

谈及具身与语言模型领域的生态差异，王家伟深感具身智能当下存在严重的“噪音过载与浮躁之风”。在 LLM 领域，开源社区（如 DeepSeek 等）倾向于公开详尽的论文与可复现的代码权重，行业透明度高；而在具身智能赛道，由于硬件本体不统一、真机数据与测试集严重割裂，外界无法客观复现各家声称的战果。今年上半年行业内对“World Action Model”等概念的过度鼓吹便是典型例证——技术落地寥寥无几，实际效果相比经典 VLA 是否有质的飞跃也缺乏严密定论。在充斥着噱头与商业包装的舆论场中，他更倾向于屏蔽杂音，回归到底层真实任务的成功率与最终用户的物理买单意愿。

[01:00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=3600s) 具身的第一性原理：为什么深朴没有盲目投入 Ego-centric 数据？

面对行业内林林总总的模型发布与 Demo，王家伟表示自己最看重两件事：一是对方声称的技术论点与最终呈现出的 Demo 结果是否真正契合；二是从第一性原理出发，这个逻辑路径在技术底座上是否站得住脚。由于具身智能目前仍处于高度未收敛的探索期，不同于大语言模型已经有了牢固的奠基性范式、后来者只能亦步亦趋地沿既定轨道狂奔，具身领域的年轻创业团队完全能够凭借自己推导的第一性原理去走认为正确的路。王家伟打趣道，如果做数据也人云亦云，深朴智能大可直接找数据外包公司采买市面上的 UMI 数据和 Ego 数据，但深朴选择自研 HiFi-UMI 硬件并深度自采，反而走出了一条弯道超车的路径。

关于深朴智能的第一性原理，核心始终是追问“到底什么是具身智能的‘智能’”。在被问及行业内是否有他人推崇但深朴主动放弃的路线时，王家伟澄清他们并未彻底放弃第一人称视角（Ego-centric）数据，而是采取了极其克制的步调。Ego 数据固然具备更强的多样性（diversity）和更宽广的现实分布，想要实现强泛化必然需要广泛的真实世界分布，行业内诸如部分头部团队动辄宣称训练了 100 万小时的 Ego 数据。然而，深朴在现阶段没有贸然跟进，原因在于其性价比与投入产出斜率仍然存疑：

```mermaid flowchart TD accTitle: 数据路线的性价比权衡 accDescr: 对比外采 Ego 数据与自研 UMI 数据在成本、清洗与 Scaling Law 验证上的差异

subgraph Ego["Ego-centric 外采路线"] E1["采买单价看似低廉 (~30元/小时)"] --> E2["数据噪声大 & 标注清洗极贵 可用比例往往仅 10%"] E2 --> E3["训练计算开销巨大 产出斜率与泛化收益存疑"] end

subgraph UMI["深朴自研 HiFi-UMI 路线"] U1["自主硬件采集 硬件与流程成本可控"] --> U2["高质量操作轨迹 90% 以上数据可直接入模"] U2 --> U3["数据量适中且受控 高效验证 Scaling Law 与配比"] end ```

从经济账与算法验证来看，Ego 数据看似采购单价很低（市面售价约 30 元/小时），但后续繁复的标注和训练成本极为高昂，付出的代价与最终带来的泛化效果究竟成不成正比，在业内尚未得到充分证明。相反，深朴自采的 UMI 数据不仅成本完全自主可控，且回流质量极高，可用率超过 90%，无需承受“采 10 万小时只能挑出 1 万小时可用”的清洗损耗。更重要的是，在算力资源有限的阶段，适度且高质量的数据规模让团队能够充分验证基础模型的 Scaling Law，精细测试不同模型参数与不同数据混合配比下的表现。如果过早引入庞杂的 Ego 数据作为新变量，反而会严重扰动系统迭代的节奏。

- **Ego 数据成本陷阱**：表面采购价约为 30 元/小时，但后续的精细标注与高算力训练成本极其昂贵，泛化收益的 ROI 尚无定论。 - **高质量自采利用率**：深朴自研自采的 UMI 规避了外部脏数据问题，整体数据可用率保持在 90% 以上。 - **Scaling Law 验证闭环**：在算力未无限扩张前，用高质量数据排查干扰变量，从而精准摸清不同参数体量与数据配比的性能拐点。

---

[01:03:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=3780s) 播客与投资的异同：舒适区的提问 vs 刺痛真相的追问

讨论完聪明人的特质在于“提出好问题”，杨远骋半开玩笑地自嘲，每次录播客都诚惶诚恐，生怕自己抛出的问题不够尖锐，导致眼前有料的嘉宾无法“涌现”出真正的智能。他顺势邀请王家伟向自己提一个问题。王家伟坦言，自己私下也曾想过做播客，因为能借此与各行各业的人深入交流，因而他十分好奇杨远骋如何看待“做播客”与“做早期投资”之间的异同。

杨远骋给出了极具实操感的鼓励，直言王家伟完全可以先用一台 iPhone 录音试水，平时约朋友在咖啡馆或饭局聊天时把手机往桌上一放，录出来的音质就已经足够做一档音频播客。在他看来，做播客与做投资最大的共同点在于：两者都是用一到两个小时的高密度对话，去抽丝剥茧地理解一个人。两者的底色都是对“人”的探寻，连招牌问题都很相似，例如都会追问：“你人生走到某个十字路口时，做过的最艰难抉择是什么？”在播客里，这个提问能带出扣人心弦的人生故事；而在投资尽调中，它则是检验创始人坚韧度与人格特质（personality）的试金石。

两者的本质分歧则在于沟通的“张力”与“温度”： - **做播客的心态（Nice & 包容）**：主持人的诉求是让对话流动起来，极力避免抛出让嘉宾难堪或不适的话题，必须维护嘉宾的情绪安全感，引导其在一个放松、受鼓励的状态下毫无保留地表达。 - **做投资的心态（Sharp & 挑战）**：提问往往带有审问甚至对抗性质。投资人有时必须打破对方的心理防御，哪怕让创始人感到尖锐不适，也要逼出最真实的底色。例如面对王家伟所说的“要敢于直面自身短板并据此选择具身”，若在投资谈判桌上，投资人会反复追问并施压：“主流认知都强调创业必须做自己最擅长的事，你为什么偏要反其道而行？”只有将对方推到逻辑死角，才能真正看透其底层认知和抗压能力。

---

[01:05:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=3930s) 人生的十字路口：离开字节 Seed 的算力温床，与少年班同窗的去向

顺着杨远骋的追问，王家伟分享了自己年轻履历中最艰难的一个十字路口——毕业时究竟是留在早已驾轻就熟的语言模型（LLM）赛道，还是转身跳进充满未知的具身智能。做出这个抉择伴随着巨大的心理博弈：如果留在字节 Seed，不仅薪资待遇优渥，而且能拥有近乎无限的算力卡群支持，那是无数研究员梦寐以求的研究舒适区；而选择离开大厂、加入初创公司深朴智能担任首席科学家，则意味着算力资源会面临极大的现实约束。从零到一的模型架构设计、自研硬件方案推进，乃至团队从无到有的组建，所有非研究性质的复杂工程与管理琐事都需要自己亲自躬身入局。放弃大模型的平坦大道去趟具身的浑水，是他迄今为止最纠结的决定。

谈及昔日中国科学技术大学少年班同学的现状，王家伟透露，许多同窗最初选择赴美攻读数学、物理等基础学科，但近几年几乎全员卷入了人工智能的时代浪潮： - **基础学科转码与 AI 交叉**：原本做理论物理或纯数学的同学，纷纷转向 AI 算法、AI 量化金融、AI+医疗以及 AI+制药等交叉领域。 - **顶尖机构研究员**：甚至有做理论基础研究的同窗直接入职了 OpenAI，成为其理论科学家团队的一员。 - **缺乏“非共识”选择**：当杨远骋问及是否有同学选择不做 AI、不做具身、也不碰金融等风口，而是投身完全冷门的领域时，王家伟坦言身边几乎没有看到过这样的案例。在汹涌澎湃的通用人工智能浪潮之下，这个时代最聪明的大脑几乎被全部吸纳到了 AI 及其衍生领域中。

---

[01:07:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=4050s) 三年后的洗碗机时刻：具身走向家庭的确定性终局

播客尾声，杨远骋借用行业名言“人们总是高估两年内的变化，而低估十年后的变化”，将时间尺度定在三年后——一个既足以沉淀短期泡沫、又能初步验证技术路线的节点。他问王家伟：“三年后的今天，如果发生了一件什么事，会让你彻底坚信自己当初奔赴具身是完全正确的？”

王家伟分享了一段与自己博士生导师闲聊的生活细节：博导曾抱怨，家里虽然买了洗碗机，但每次吃完饭后依然觉得无比繁琐，因为一家人必须站在水槽前，把盘子里的剩菜残渣一点点倒掉、冲掉，再弯腰一个个把油腻的餐具摆放进洗碗机的隔架里，这套前置流程往往要消耗整整 20 分钟。“如果三年之后，我们研发的机器人能够在普通家庭里，真正替人完成这套收拾餐桌、倒掉残渣、把碗盘码进洗碗机的任务，我就会感到无比兴奋与自豪。”王家伟说道。

当杨远骋进一步追问这个愿景在三年内落地的置信度时，王家伟没有给出模糊的公关辞令，而是给出了极高且笃定的概率判断——“80%”。在掌声与笑声中，杨远骋为整场对话收尾：“非常期待三年之后，在我们家帮我们洗碗的机器人，是来自深朴智能。”

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=0s) Keep the world simple — 王家伟

> [00:00](https://www.bilibili.com/video/BV1CteP6uE3h?t=0s) 凡事应力求简单，但不能过于简单。 — 爱因斯坦（徐孟迪引述李飞飞）

> [14:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=880s) 风浪越大，鱼越贵 — 王家伟

> [14:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=880s) 我想做一个能自己定义事情的角色。 — 王家伟

> [14:40](https://www.bilibili.com/video/BV1CteP6uE3h?t=880s) 年轻人就应该去闯一闯，失败了无所谓，只要积累了足够的认知经验，随时能开启下一段事业。 — 霍强

> [18:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=1110s) DeepSeek 的工作强度其实并不大，但依然能量产世界级工作 — 王家伟

> [38:58](https://www.bilibili.com/video/BV1CteP6uE3h?t=2338s) 如果你今天花费重金铺设了 100 套搭载 A 传感器的采集设备，几个月后市场上出现了一款性能全面碾压的 B 传感器，你替换进去后，之前耗费海量算力和人力采集的数据该如何复用？ — 王家伟

> [49:33](https://www.bilibili.com/video/BV1CteP6uE3h?t=2973s) 即便我们能看清遥远终局的形态，也绝不能在当下跳过中间阶段必须攻克的物理工程。 — 王家伟

> [01:07:30](https://www.bilibili.com/video/BV1CteP6uE3h?t=4050s) 如果三年之后，我们研发的机器人能够在普通家庭里，真正替人完成这套收拾餐桌、倒掉残渣、把碗盘码进洗碗机的任务，我就会感到无比兴奋与自豪。 — 王家伟

## Mentioned 王家伟, 杨远骋, 深朴智能 (Simple AI), 中科大少年班, MSRA (微软亚洲研究院), 霍强, DeepSeek, DeepSeek-VL2, DeepSeek-V3, DeepSeek-R1, 字节跳动 Seed, GPT-6 Astra, OpenAI, 李飞飞, 徐孟迪, Jim Fan, CAPX, Code as Policies, HiFi-UMI, UMI (Universal Manipulation Interface), 宋舒然, GEN-1, GEN-1.5, π0.7, Skild AI, Sergey Levine, Hugging Face, ModelScope, Codex, LIBERO, RobotDojo, Agentic OS

## Video description ➤ 本周「十字路口」的嘉宾王家伟是 24 岁的深朴智能（Simple AI）首席科学家。中科大少年班、MSRA、DeepSeek、字节 Seed——这条路直通大模型的最前沿，但毕业时，他却转身向具身走去。为什么呢？

他想离开的不是大模型，而是只能跟随既定计划的状态。他说：「风浪越大，鱼越贵」 ——具身的路线、评估和产品都还没有共识，风险更高，却也给了年轻研究者定义问题的空间。

本期播客中，我们从 GPT-6 Astra 出发，讨论了「OpenAI 会不会降维打击具身模型」的问题。王家伟认为，通用大模型会承担越来越多理解与规划，但当杯子开始滑落，机器人仍需要能快速反应的动作模型。

深朴智能因此从 HiFi-UMI 数据、具身基础模型、Agentic OS 一直做到本体：开源 2,000 小时数据，内部积累数万小时；模型已观察到一定的 Zero-shot 泛化；Agentic OS 则把上层意图与底层动作连接起来。

最后，我们讨论了在美国的具身同行们最新发布的各种工作：GEN-1.5 对预训练与自然涌现的验证、π0.7 对 steerability 的强化、以及 Skild AI 为 Demo 专门训练的 In-Context Learning 是否被高估。

[Source](https://www.bilibili.com/video/BV1CteP6uE3h)

中文简报

对话王家伟：少年班、DeepSeek、Seed之后，24岁投身具身智能创业王家伟分享了他告别大厂既定大模型轨道、选择在尚未收敛的具身智能赛道开拓拓荒的心路历程，提出具身基础模型应具备适应性、可操控性与原生上下文理解三大核心指标。针对 GPT-6 Astra 等通用基模的冲击，他指出现实物理世界的动态扰动必须依靠毫秒级动作策略响应，因此认知大脑与动作小脑的分层架构依然是确定性路线。深朴智能坚持走贯通本体、基模与 Agentic OS 的全栈闭环路线，基于自研 HiFi-UMI 积累数万小时高精度数据并观察到无须后训练的纯 Zero-shot 泛化能力。在客观辨析 GEN-1.5、π0.7 及业内对 In-Context Learning 和 Ego 数据的包装炒作之余，他以 80% 的笃定置信度预言，三年内机器人将真正走进家庭替人类搞定收拾餐桌并摆放洗碗机。王家伟 24 岁从合肥一中高二考入中科大少年班并完成中科大与 MSRA 联培博士，在历经 DeepSeek 多模态组与字节 Seed Agent 团队后，毕业选择以首席科学家身份加入深朴智能（Simple AI）投身具身赛道。 (0:00) 面对 GPT-6 Astra 的强大端到端规划表现，王家伟认为通用大模型高延迟推理无法替代毫秒级闭环的小脑动作模型（Action Policy），未来的具身架构仍是大脑收敛于 GPT 路线而小脑分立。 (4:45) 王家伟定义“真正聪明”的两个维度：第一是会提出好问题，第二是清晰自知短板且敢于坦然直面并攻克。 (9:30) 在大模型分工高度收敛的背景下，王家伟信奉“风浪越大鱼越贵”，为了亲手定义未收敛的技术形态而转向具身，并将具身基础模型核心能力锚定为适应能力（Adaptability）、可操控性（Steerability）和原生上下文理解（Context Understanding）。 (14:40) 深朴智能定位为面向家庭的终端产品公司而非纯数据供应商，采用全栈闭环路线以确保在算法突变时迅速打通硬件并在真实家庭场景收集闭环反馈。 (24:15)

Reading summary

深朴智能首席科学家王家伟指出，具身智能无法仅靠端到端通用多模态大模型实现降维打击，必须依赖“大脑认知”与“小脑动作”分层的系统工程，结合高精度物理数采与物理上下文因果建模，才能打通面向家庭场景的商业闭环。分层控制与 Agentic OS：破解大模型高延迟缺陷 (4:45) 尽管 GPT-6 Astra 等前沿多模态大模型在端到端空间感知与长程规划上表现惊艳，但王家伟指出其演示视频多经 16 至 32 倍速加速。在物理世界中，如端咖啡杯发生倾斜滑移等毫秒级扰动，依赖数十秒推理延迟的大脑模型根本无法即时挽回，必须依靠高频动作策略（Action Policy）快速修正。深朴智能提出具身智能应是完整的 Agentic OS 分层体系：上层 System 2 承担语义理解与宏观任务拆解，下层 System 1 承担抗扰动、高可控（Steerable）的物理动作输出。系统核心壁垒在于中间的具身 Harness，通过动态管理视觉帧流上下文以防止 Token 爆炸，同时确保认知意图精准下发至机械末端。数据工程第一性原理：自研 HiFi-UMI 与克制路线 (24:15) 深朴智能定位为交付家庭终端产品的全栈公司，因市售设备在精度与时钟对齐上无法达标，团队基于 UMI 范式自研了 HiFi-UMI 采集方案。该方案放弃昂贵的外部基站，采用头部双目相机配合视觉 SLAM 达成毫米级轨迹重构，并在底层实现微秒级时间戳硬同步；针对灵巧夹爪自遮挡痛点，在左右手腕各布置对置双摄，实机轨迹复现成功率达 95% 以上。针对业内流行的 Ego-centric（第一人称）海量外采与触觉传感器热潮，王家伟从投入产出比出发保持审慎克制：外采 Ego 数据单价看似低廉，但标注清洗昂贵且可用率往往仅约 10%，而自研 UMI 数据入模可用率超 90%；同时市面触觉传感器缺乏统一规格易造成数据报废，二指平动夹爪结合多重视角已足以实现视觉滑移补偿。物理因果建模：Context 递进与零样本泛化 (36:19) 王家伟批评了行业过度假设“仅凭当前单帧观察做动作决策”的缺陷，强调具身模型必须建模三层递进的上下文：一秒内接触滑落并即时纠偏的短时因果数据、单次连续操作中复用参数的中期工作记忆，以及跨时段物品收纳检索的长程记忆。为应对长序列带来的推理时延，团队在数据端提纯因果样本，并在架构端引入针对具身序列的高效稀疏建模。在完成数千任务的预训练后，深朴智能刻意跳过特定任务的后训练（Post-training），真机评估显示模型已展现出显著的跨任务组合泛化能力。王家伟同时质疑部分团队关于“上下文学习（In-Context Learning）”的过度包装，指出若依靠成对微调数据强行拟合 Demo，并未真正触及物理因果理解的本质。逃离算力舒适区：以三年为期的家庭落地验证 (67:30) 从少年班、MSRA 到 DeepSeek 与字节 Seed，手握大厂丰厚算力与既定研发路径的王家伟最终选择具身创业，意在摆脱“大厂螺丝钉”的收敛分工，在未定型的战国时代亲手定义技术标准。深朴智能目前维持 70 余人扁平团队，全员配备无上限 AI 工具额度，推行透明的战略上下文同步与自驱研发模式。关于商业化落地的时间节点，王家伟给出了具体的“洗碗机时刻”指标：三年内使机器人能自主完成收拾餐桌、清理残渣并将油腻碗盘摆入洗碗机。他对这一场景在三年内实现给出了高达 80% 的置信度预测，主张初创团队应屏蔽行业刷榜与包装杂音，以物理场景中的真实成功率与用户买单意愿作为终极衡量尺度。当前具身智能仍受制于仿真基准（如 LIBERO）偏向暴力后训练、真机评测缺乏统一软硬件标准等现实阻碍。通用大模型对具身小脑的蚕食趋势与专用物理控制底座之间的演进节奏仍未收敛，软硬件一体的全栈闭环与高信噪比数据工程成为初创公司构筑防御的关键路径。

Source quotes

[0:00] 王家伟: Keep the world simple [0:00] 爱因斯坦（徐孟迪引述李飞飞）: 凡事应力求简单，但不能过于简单。 [14:40] 王家伟: 风浪越大，鱼越贵 [14:40] 王家伟: 我想做一个能自己定义事情的角色。 [14:40] 霍强: 年轻人就应该去闯一闯，失败了无所谓，只要积累了足够的认知经验，随时能开启下一段事业。 [18:30] 王家伟: DeepSeek 的工作强度其实并不大，但依然能量产世界级工作 [38:58] 王家伟: 如果你今天花费重金铺设了 100 套搭载 A 传感器的采集设备，几个月后市场上出现了一款性能全面碾压的 B 传感器，你替换进去后，之前耗费海量算力和人力采集的数据该如何复用？ [49:33] 王家伟: 即便我们能看清遥远终局的形态，也绝不能在当下跳过中间阶段必须攻克的物理工程。 [67:30] 王家伟: 如果三年之后，我们研发的机器人能够在普通家庭里，真正替人完成这套收拾餐桌、倒掉残渣、把碗盘码进洗碗机的任务，我就会感到无比兴奋与自豪。

Original transcript

[0:00] 嗨,我是Cody本周十字路口的嘉宾是王家伟来自深谱智能的首席科学家你好家伟,欢迎来到十字路口大家好那我们还是先快问快答请问加勿你的年龄我是24周岁下个月就要过25的生日了你的求学的经历呢我其实小学和初中是在小县城读的然后高中就去了合肥中然后也是在高二的时候像高考加入了中科大双连班2020年的时候得了和中科大和微软亚洲研究院的一个非常phd的机会然后就一直到现在2016年我刚刚才phd毕业你的mbti和星座但是我的E可能是50%的E,星座是天秤座。一句话介绍一下生普智能。生普智能是一家面向家庭的通用聚生智能公司,然后我们的这个slogan其实是"Keep the world simple"就是让世界变得简单,所以其实为什么我们要取名叫英文名叫Simple AI的一个原因。因为上一场我们录的播客是和徐孟迪是和清华插院的一位助理教授,然后他在李飞飞组织合伙的时候我问他飞飞最喜欢问哪些问题啊他飞飞特别喜欢问一个问题是爱因斯坦曾经说过的一句话就是要让事情保持简单但是又不要让这个事情太过于简单嗯嗯嗯我觉得这个话挺有道理AI领域其实有一个很著名的定律是奥塔姆剃刀原理如果做了过度的设计其实很多事是不work的你要保持在简单的情况下做好你的各种的实验验证才能证明你这个事情是真正有效的之前很多学生研究比如说NLP包括以前CV都去过度设计模型结构一做事但后来大家发现非常simple的一个GPT就把所有的事情就干掉了昨天见到一个研究员他们之前在OpenAI O1出来之后也开始做类似的训练然后他做infra设计了一套他觉得非常综合的infra然后结果过了四五个月之后Deepseek R1发布然后发了之后他们团队就开始删了两个礼拜的代码删掉90%发现不需要那么复杂的设计是的好你当下在生普智能之前你的工作经历可以介绍一下可以因为我也是刚刚PageB业其实我主要的经历就是博士期间做的一些事情了然后我在MSRA待的时间是最长的是一开始跟着我的博士生导师霍强老师在做文档智能的研究我在24年的时候就去DeepSeek实习因为当时是觉得多么太大语言模型已经可以做到很多之前小模型做不了的事情了然后就去那边实习在他们的DeepSeek多么太组去做一些事情包括也参与了他们DeepSeekv3的一些预训练数据的一些工作后来我是觉得之前的语言模型已经从Chat往Agent的方向趋势变一个转换了因为Chat其实很难产生一个很大的商业价值但是Agent是真正能够工作效率的这样一个能力所以我当时在25年的时候就去选择了在SEED的一个做Agent的一个组实习当时那个组是SEED内部很早很早做Agent的一个团队因为你现在这个在深谱市叫首席科学家然后你小时候有一个梦想是要长大做科学家吗这个还真是有想过就是生日的时候还真有许过愿哇塞愿望实现了但那个时候你想象中的科学家做的这个科学家的工作有哪些相同哪些不同的这个当时因为因为当时很很想吧当时可能想的是说你要在实验室里面做什么生物实验化学实验或者是你是在数学学科这种技术领域提出什么样的一个猜想我在外面一些这些事情当时其实对于计算机科学家这个事情没有太大的概念是所以这是一个很大的一个不同的一个地方但是其实相似的地方可能在于说我确实有机会去一直探索大家都不知道是什么的一个事情所以你当下花时间最多的探索工作研究工作是什么我现在花时间最多其实就focus在说巨升基础模型的预训练到底应该怎么做因为这个事情它的各种路线都没有收敛对我们在走自己的一条路说到我们录播客的前两天就GPT6 ASTRA发布然后发了之后媒体上就各种刷屏就用ASTRA去直接驱动机械B去做各种各样的任务你看到那些视频的时候有一些什么样的感受这个其实蛮有意思的就是我一开始确实很难想象到说一个通用的一个语言模型既然能在聚生的task上比如说即使不是这些很难的任务比如说像抓寂寞成功率非常的高当时却看完之后其实是觉得这个model的能力确实是已经超乎大家的想象了因为之前其实用AM去做robotics这件事情其实这个概念已经不新了因为在几年前或者更早的时候其实大家就已经开始做Codex Policy这套思路最近其实前几个月就李飞飞老师团队和Jim Fan团队也是提出了一个叫CAPX的一个工作所以说Codex Policy已经很早但是Codex Policy当时还是需要依赖于一些比较小的model去做感知做识别相当于是已经把 [5:00] 这些小模型所承担的能力全部融合到了他自己的里面去了所以使得说他能够充分利用他的3D的空间理解能力他的场景理解能力他的任务规划能力包括一些试错总结的能力来去做这种复杂的事情就是我当时看到有一个地方把一个笔绑在机器爪上面然后让Model去画一个金门大桥你如果直接看那个成品的话你会觉得非常震撼Model今天能控制机械笔控制这么精准但其实它中间也经历了好几个过程它是画了一遍两遍三遍四遍才变成了我们最终看到的样子第一遍的时候可以明显的看到那个model在尝试怎么去使用这个笔然后第二遍的时候逐渐有轮廓然后第三遍第四遍的时候逐渐变得很清晰就是这个画的确实非常好了所以说对于现在的一个就GP6它能做一些事情其实我觉得非常大的这个能力是来源于它的一个对于任务的一个试错和理解就经验总结再包括刚刚就说的把一些小模型的这种定位能力这些空间理解能力给融合起来了画完之后他都有摄像头去再传回去对吧他自己再去做每次画的时候都会去实时的去读他那个视频流然后等画完一张图之后你就会把那个没画好的给他丢掉然后换一个新的白纸上去但是那个上下文一直存在他的脑海里所以他可以一直知道说我之前经历了什么怎么画的为什么画的不好然后逐渐调整他使用这个笔的或以及控制他这个末端的一个操作能力所以其实也开始有一些说法就是说这个OpenAI和Anthorpec这样的计划公司最后才有可能是做出巨声大脑的那样的公司所以对今天做这个巨声模型的公司好像三炮有可能会将为打击大家我不知道你怎么看其实挺好的问题就是最近和很多同行也在聊这样的一个事情我是觉得巨声的一个系统就跟人一样它其实除了上层的大脑的理解的模式之外其实还是需要有控制肌肉的这一部分的小脑的存在的对GPT6来说它确实能够去直接操纵机器的末端去做一些事情仔细会看它的执行的速度是非常慢的因为它一次推理时间其实需要很久的比如像成天主的视频可能都是16倍速或者32倍速给你去看的而且在这种情况下其实在一个静态的环境里面你去让model去做这件事情是能walk的但是你在一个环境比较动态的一个情况里面真实环境里面其实很难去做这件事情比如说我尝试拿桌子上咖啡杯在咖啡杯里面有水有咖啡你如果第一次没拿好就把它打翻了翻掉之后它其实很难recover很难去恢复了对但是就是因为它这个model没有一个实时的一个控制能力所以导致说发生倾斜它很难直接非常快速的去调整回来但是对于一个我们真的想做的一个action的foundation model来说它其实是需要有这样一个肌肉反应的而不是说纯靠一个大脑的一个推理来去做好这件事情所以我觉得这中间肯定是有overlap的地方但是也一定程度上有区分的点大脑那部分肯定是非常重要的而且我觉得它一定是一个很大的model去做各种复杂的场景理解任务理解但是下面一定要给它配上比较好的这种action policy使得它能够做到刚刚说的快速调整快速反应的这样的一个能力所以你觉得大脑之后会是在transformer语言模型这里加进去更多的比如说巨声的数据涌现出来还是有另外一套不一样的模型架构出来我觉得大脑这一侧已经比较收敛到GPT这种类型了因为首先是它有很强推理能力我们其实非常难的说从头去做一个跟它完全不一样的范式把现在那么强的一个推理能力Agentic的能力给融合进来其实我们反而是沿着这个路线继续往前推比如把这种第一人真视角的视频第三人真视角的视频转换成莫洛可训练的一些任务类型给它训练去补充它增强它这部分能力我也相信就是GPT或者其他机模厂应该在做的事情沿着现在这个路线往前走是没有什么太大问题的我们待会会展开讲一讲就是咱们在生谱智能的模型的工作我们今天播客会分成三个部分第一部分是聊一下家伟的成长经历少年班到科学家的这个故事然后第二是在生谱智能的工作然后第三部分是我们会聊一聊就最近半年聚生领域的各种突破除了前面提到的这个Astra还有包括歼1.5派0.7等等好那我们说一下少年班因为大家说到少年班都会想到天才少年所以少年班同学一届大概多少人当时那一届是三十几个人你觉得大家就是有什么共同点吗都是比如说智商很高还是有什么别的共同点我觉得大家的共同点是自趋力还是比较强然后大家的思维还是很敏捷的就是接收新知识的能力是比较强的我觉得知识比较大的共性给我们讲一讲少年班是怎么考怎么选拔的或者高一的时候甚至有初三的同学你年龄是 [10:00] 在当时是在15周岁以内然后你就可以去参加高考参加高考之后你的分数线大概要达到当时当地的科大的录取分数线大概是浮动20分就是你可以稍微的去降低20分的要求来去看要不要让你进面试然后如果你达到他的学校的要求之后你进了面试你就需要去经历一个比较特别的一个考验就是你需要去当天同时上一节数学课同时上一节物理课上完课之后立马给你发试卷去考试然后看你对吸收知识的一样一个能力他考的都是他给你教的都是一些大学的一些课程但是又没有那么的说就是脱离了完全没有基础的这样一个情况所以说只是为了让你考验说你注意力是否足够专注然后你的知识摄取转化成输出是不是足够的快大家考验这种能力然后这个之后就会去有院长来亲自跟你去一对一的去聊比如说你假设你进来之后你如果没有跟上教学或者说你对这个事情没有那么大兴趣了然后你想说宽专业什么的你可能会有什么样的调整的方式就会有一些很open的这些问题OK 等于是一场面试了等于是一场面试了和最后这三四十个同学这个中间的选拔的比例是多少基本上就是大概100个人进来然后可以大概选个三四十个人这样嗯少女班的经历有给你留下一些什么吗我觉得这个还挺special的就是因为首先是他让我摆脱了高三然后我没有摆脱到我也就是可能没有太经历过这种刷题的提海战术的这样一个新潮我想到交代ACM班余庸老师有一次就是分享说他在ACM班的第一年做的事情就是帮大家洗刷高三带来的毒害然后大家才开始进入可能真正的培养大概这个意思所以你没有被高三图毒是是是是所以说进来之后我们大一的时候就会上一些非常基础的通史课就是数学的基础物理的基础甚至是有一部分化学的基础你都去上一下让你了解就包括计算机了就是你上完之后你了解你自己的兴趣点在哪然后你再去选专业所以这个是我当时觉得挺好的一个地方然后我而且我当时对于计算机这块特别感兴趣所以我当时大一下学期的时候我就选择了计算机专业然后其实科大另外一点其实对我影响比较深的是多的科研资源所以我本科的时候就已经跟着一些老师做A4Science了就那时候很早很早到A4Science做的是生物里面分子马达的一些工作用计算机模拟的方式去研究分子马达里面的一些相变过程之类的所以当时还是很交叉的学科去做也是做了一些科研然后有些产出然后另外一点可能有点影响的就是我当了少年班挺长时间的班长所以我做学生工作也做的比较多我其实还是比较会和别人沟通然后人员也还不错的这样一个状态就很ENTJ所以进到少年班应该同学们都非常聪明所以你现在会怎么理解聪明这个词其实最早我可能对聪明的理解可能就有粗浅的在思维敏捷这一点上或者一些学习能力很强的这一点上但其实过了这么多年回头去看的话我是觉得聪明这个包含的点其实蛮多的而且我现在认为可能因为思维敏捷的人其实很多它可能不是最重要的一点而我觉得可能最重要的一点是会提好问题我觉得这一点是我对于聪明的一个比较重要的定义然后第二个点我个人认为是他就是聪明的人是知道自己的不足是什么的并且愿意直面它我觉得这个点就蛮重要的所以你觉得自己不足是什么我说实话我其实对于硬件的理解没有那么的深我其实对于软件这一侧我很小的时候就很感兴趣因为我父亲是计程机老师所以我一直很感兴趣这件事情但是我对于比如说汉板子比如说搭电路这个东西我就一直没有太起得起兴趣但是当比如说我现在来神普做robotic extension我不得不去面对这些事情所以我也知道我的部署所以我会经常跟我们的硬件团队的人要的这些问题尽量的去寻求他们的帮助因为我知道我自己这一块的经验是不足的其实很多人会和你做非常不一样的选择有些人会觉得我就发挥自己的优势然后尤其是之前在DeepSeek在Seed都是做多摩泰就是做大模型的比较软的实习和工作然后现在转到巨生你好像在直面自己的过去经验的缺失这个选择的原因是什么为什么要去做巨生这其实是一个好问题我选择做巨生一个new grade去选择从大模型这个方向转向做距禅这个方向其实是因为我比较想做一个能自己定义事情的角色就是在大语言模型这领域包括说我在C的时期 [15:00] 其实大家的工作方式还是已经比较稳定了作为一个New Grad进去之后你更多是在去重复一些已经定好的一些计划你很难去尝试突破一个自己特别感兴趣的方向然后在巨升其实是整个行业都是一个非常没有收敛的一个这样的情况你在里面其实有非常多做研究的一个机会所以说对于没有那么强认知的东西我就特别想搞清楚这个事情应该怎么做而且对很多人来说哪都没收敛是一种风险但你感觉是一个机会这个我比较相信就是风浪越大鱼越贵了就是你在这里面你就能做出一些很多有突破性的东西啊就是你更有机会去做这些事吧而且就像我觉得我导师对我影响也比较深了就是我当时跟他聊过说我可能不去大厂了然后要去创业这件事情我导师会觉得说年轻人就应该去闯一闯失败了无所谓你只要获取到足够多的经验你完全可以开启你下一段的事业所以说我对于风险这件事情的承受程度是比较高的我觉得它是个机会吧就是风险和机会一定是并存的最大的风险是什么?我觉得是时间吧,如果你方向真的踏错了你探索了几年的时间发现完全是在一个错误的路上走这个我觉得对于个人的打击是会比较大的,但其他的我觉得还好所以你觉得今天大家在做的巨森的各种探索里面哪条路或者哪些路的风险是有可能会涌现的?这个确实是一个我现在没有特别好答案的这样一个问题我自己个人的一个思路其实是找到巨生的智能它这个智能到底体现在哪其实这个是我们内部一直在讨论的问题就是你很难说一个机械臂它把一个水杯提起来它就是智能我们其实定义了一些什么是智能我们现在很关注模型的三个能力就第一个能力是它的适应能力这个适应能力可其实表达就是说刚刚说的ZeroShot能力以及FueShot的这个适应到一些完全OOD的场景的能力这是适应能力第二个能力是有非常好的Stirability的能力Stirability指的就是可操控性就是它这个可操控性除了语言的这种操控性之外可能还有图像的操控性视频的操控性就给它一段视频它能很快的follow住你的视频所以说这第二个我们定义出来一个很重要的能力一定得有一个很好的上下文理解的能力就是之前巨森的我看很多巨森的工作其实对于上下文的特别是原生上下文的理解其实是不足的大家更focus在说我希望我根据我当前的observation就要把这个事情给做了但其实很多事情它都是需要有context的理解才能涌现出对于整个世界dynamics的理解的所以这是我们定义的三个最重要的能力对我们也是沿着这个去做我们的基础模型嗯对OK我们待会会再介绍一下基础模型哈然后在此之前我们还是回到这个经历里面读phd的这一段然后这是中科大和MSRA的一个联培的博士然后你觉得你读phd的这几年因为恰好又是巨星AI飞速发展的几年吗你觉得这几年你会把它切成几个阶段吗有没有这样的阶段感我觉得可能就分两个大的阶段吧就一个阶段就是在之前的文档智能上面的就特别是我博士课题也是这个就在这一块做的一些非常重要的工作就是另一块就是说在大学院模型时代我对社区的一些贡献吧前者的话是也特别感谢我博导就是霍翔老师他提供这样一个平台去做一些真正让你的研究可落地化的这样的一个机会然后我们当时在微软其实做了很多的关于文档理解的事包括OCR包括版面分析所表单理解的一些事儿这些算法基本上都被应用到了一些微软语言上的API包括说对类的一些基础设施所以说从这一点我们其实是不是一个纯研究的片区利research而是说我在做research的同时去思考这些research到底能不能对落地产生一个实际的价值到底能不能赋能更多下游的各种商业的应用场景然后在后半段的时候其实主要原因还是想去在大语言模型这个时代里面去成为弄察儿之一吧所以就选择了去外面实习也去DeepSeek、DeepSeek实习其实当时就已经在做一些包括多么泰大语言模型的一工作包括Agentic REL的工作包括商业用管理的一些工作然后所以说大概可以分为这两个阶段你去DeepSick的时候是发了V2之后但是你R1发布还有一段时间那段时间的DeepSick内部是一个什么样的文化当时其实其实整体的就是跟我去我去了之后和我去之前其实得到的印象其实是接近的就是去了之后大家还是以一个比较偏研究者的心态去推进语言模型这件事情包括不管是多么太语言模型还是LM这个模拢就是大家还是不会太挤热去考虑落地这个事情而是更多是推 [20:00] 智能边界在那所以做这件事情的时候印象让我特别深刻的一点就是DLC的工作强度确实不大但是仍然能做出很好的工作出来这说明对于research来说工作强度不是一个必备的一个产出就是产出一个好的东西工作强度不是一个必备的一个点然后另外就是说在那边的一个感受是大家还是有比较清晰的一个项目规划的一个方式吧就大家的工作因为人都比较少嘛然后会分出来一大块让你去handle你也可以去就是接触到底层的一些代码比如说infer的代码你也能接触到这是后来我在seed其实很难去做的一个事情了那去的不正确当时其实一方面是Deepseek有很多MSRA的师兄然后也获得了一些信息另一部分是就是HR又联系到我这边因为当时在做文档智能然后Deepseek VL2当时多么太多模型一个很大的应用方向就是做文档所以当时就觉得说他们那边觉得说需要一个做文档的人来支撑一下Deepseek VL2这个文档的能力所以当时我就去就是问我愿意去做这个事情的时候我当时就觉得还挺match的然后就回去了这个听起来很好但为什么后来跑去了Seed这点其实主要原因是DeepSeed当时对于多么泰的投入其实很少了就是当时DeepSeed VL2做完之后大家会从上层的领导的眼里面来看可能资源更重要应该要倾斜在语言模型上面比如说要去推R1这件事情所以对于多么泰组来说能获得资源就会很少而且当时我做的很多事情都是把文档智能之前的经验迁移到大语言模型这边来即使继续做下去其实也更多是在附用我之前的经验去做些事儿我想去做一些更不一样的东西当时有个点就是我当时已经看到了agent的一个潜力了所以当时就聊到了seed当时有个组很早去做agent 然后当时加入进来去做在seed做实习了所以在seed和在deep-sick做实习的感受有因为两边文化的不同你自己有所不同吗感受上会有一些吧对就像刚刚说的一样在Deep Seek的话我们能接触到的代码或者你可以做的事情其实会稍微的scope更大一点点但是在Seek的话因为它是一个精密可以理解成是一个比较庞大的一个组织这个组织里面人很多然后大家是一个相当于是一个非常精密的运行的一个仪器然后所以我每个人他有自己很重要的点要去做之外的一些事情所以在这边在C的做事情的话可能就会一方面是Fox在自己所关心的这个点上面去另一部分是有很多事情别人已经把你准备好了这也是个双刃键了就准备好之后你就不需要管了但是这个东西可能就是很重要的一部分就是比如说一些Data Infra或者一些Training Infra其实也是对于research来说很重要的点其实会有些不同所以刚才提到就是你觉得这个巨生的领域更没有收敛大的机会有没有一个具体的事件让你有了这样的想法离开这个大语言模型多么太模型的领域然后去聚生的领域这个可能跟我实习的一些感触有关就我当时在SEED实习的时候其实特别想推自精化这个事情就自精化其实大家现在很火但我当时是25年的11月12月份就想去推一个自精化的一个工作当时想的是说可以把model通过API形式对外提供服务然后通过服务去收集用户反馈然后自我迭代这个model因为在大公司里面去做这个事你需要和很多部门一起合作包括说比如说你的API怎么对外暴露你就得去找一些对应的一些部门去协商这个事而且你可能需要前期做好非常充分的POC可能才愿意让你去然后另外每个部门有自己的工作你这个事情是一个很探索性的事所以你可能能拿到资源其实不多当时就觉得说在这样的一个就是语言模型已经比较收敛的这样一个领域里面作为一个new grade新的毕业生你好像很难自己去定义一些事情去做可能更多的是跟好大部队去把这个事情往前推就行了所以当时就觉得说正好就是有这样的一个加入巨生创业公司这样一个机会然后就去做了更深入的了解居生确实是一方面是公司愿意就是给我表达自由度去做事另一方面是这个领域确实有很多可做的点可演绎的点对OK好那我们聊一下这个深谱智能因为深谱智能应该是一个这个从数据模型到本体你们还做了一个Agentic OS就感觉全链路都在做这个背后的考虑是什么为什么要做全链路我们对于公司的一个定位其实是一家终端公司是一个纯数据公司也不是一个纯模型公司而是想对外提供一个真正产品的一个公司因为基本上整个电路其实 [25:00] 非常的长然后它中间包括从数据到模型到部署到增机这样的各个环节然后最终真正产生价值的还是最终那一part就你把这些东西都放在了一个产品里面对外提供一个价值所以从这个角度考虑我们才把公司做成这种全站公司我们不是为了做全站而做全站而是我们有这样的一个目标所以我们不得不去做全年度的事这样的一个全站其实是我们会觉得说它是一个比较大的一个壁垒的一个过程中比如说模型这一侧如果在整个行业突然爆发了有一个特别好的点出来了一个特别好的模型出来了然后我们可以快速的follow住快速的去迭代然后并且放到我们自己的这样的一个产品里面去我们就能更快的去拿到场景里的反馈用户的反馈然后来把我们整个事情给做成我看其实已经发了一些工作了决定的时候是发了一个我们自己的数据集这个数据集也是支撑我们做pre-training的这样的一个基石这个工作叫Hifi5米在Hugging Face和Motoscope上累计下载量已经50多万了所以是一个影响力还算比较大的这样一个数据集这多长时间的我们这次是开源了2000个小时实际内部已经到几万小时量级了然后我们做这件事情其实大概也就做了半年的时间然后我们最早的一个考虑是我们一开始没想过要真正自己做这么精细的一个素材设备的一个事当时想的是如果有特别好的一个素材设备的供应商或者是一些好的合作伙伴那么我们就可以拿来用但是当时测了很多这种出彩的设备发现精度或者时间同步根本就达不到我们自己要求所以你们自己做的是什么样的我们自己做的是一个超高精度的这样一个乌密的手套乌密指的是当时是宋淑然老师他们组做的一个通用的操作接口也就是相当于是可以让蔬菜员戴着一个夹爪手套然后戴着夹爪手套然后去做一些事情然后去把它做事的轨迹给记录下来作为模型的训练的语料在这个过程中其实我们做了比较关键的事情是一方面是我们抛弃了基站的定位在一个桌子上面摆好几个基站然后去做定位使得我的轨迹恢复要很精确到毫米级但是我们是用一些比较special的方法去使得说我们抛弃了基站我们只用相机就能做到毫米级的定位另一部分是我们把时间同步这个事就相机的时间戳的时间同步做的特别的好到微秒级的这样时间同步因为最近也看到很多工作做污密这件事情但他们会是觉得做污密的过程中会遇到这种时间戳不同的问题所以我们要有一些special方法解决但其实我们的数据源头上就已经是很准的了所以你这样的话你就可以控制变量在你的模型侧可以做一些更多的事情所以这个摄像头是在哪里的摄像头我们整套设备其实是6度相机我们头部有双目的相机然后我们的腕部两个腕部分别有上下上下的相机所以一共6个然后上下的考虑其实是为了去防止遮挡所以做这样的一个设计OK 为什么要踩那么多的视角呢就或者说因为理论上你可以踩更多的视角首先是为什么有腕部腕部它是必须的因为对于甲爪的精巧操作来说它必须得保证它视野是无遮挡的如果你只有头部的话它其实是很容易遮挡住使得它无法去做视觉层面的预测所以腕部是必须得有的然后头部为什么这样头部最主要的原因是我们要做定位就是刚刚说的为什么我们可以抛弃基站就是因为我们有了头部相机之后我们可以通过Slam的一些方式去使得我们的定位精度做得很高并且头部也可以迁移到Ecosentric的数据采集上面去我们也没有overdesign对对你们怎么验证就是采了这个数据它真的有训练价值的呀就是一开始你们应该是做了一小批数据对吧验证了之后然后才放大到2000小时更多小时最早的时候其实就是把乌米做做通这件事情其实不是一个容易的事就是特别是在国内了就是没有之前其实没有几家真正把乌米给做通了然后我们当时在做这个事情也是采了很多的坑了然后从第一批把乌米数据采回来之后我们就会在自己的一些小规模的实验上面做验证模型上面做反听令反听令完之后我们直接去做evaluation就登机实验去看这样的数据是否能做到比如说成功率到百分之多少然后或者说它确实能做一些我们希望它去年级里面的一些事情对当时我们在一些相对比较容易的一些任务上面其实就已经验通了这个事验通之后我们是相信的只要我们数据采集这个事情做对了我们大概率是能够扩展到更多的任务上面去的另外就是我们肯定在中间对我们设备做了很多的测试和迭代比如说我们的设备的轨迹的replay就相当于是我们在仿真里面把我们的采过来的轨迹做一个回放看能不能在我们的本体上做出来这些动作我们发现95%以上的都是能做的这也是坚定了说我们确实可以大规模采集的一个原因对然后所以说基于这些考虑包括说我们的 [30:00] 频度时间同步 replay的比例所以我们就对我们的这个素材的设备做了一定的扩展然后也是自己做了一些素材场地的租资租资然后去采集这样的事你们采数据和标数据现在就是比如说分别在投入上是一个几倍的量级这是挺好的问题就是我们之前采数据的这个投入比例还是更高的因为首先你得量得上来所以我们其实除了在数彩场景里面采之外我们会做一些外采外部采集就在家庭场景酒店场景民宿场景做各种样子采集使得我们的分布的多样性要好然后其实最近一段时间我们在标注上面的投入是更大的就是因为我们发现采回来的数据它其实需要非常精细的清洗才能用的特别好的其实我们也试过说的原始数据直接训练也是能比较work也能比较work这说明我们数据精度确实很高但是其实是也发现了中间一些mismatch的一些问题了所以我们最近一段时间其实更多是focus在数据清洗的这样我们希望把它变成一个真正标准化的一个自动化的这样一个标注流程而不希望太多的引入人工就是astra就是让自动标注变的可能其实这是一个很好的point就是我们最近试用gpd6astra也试着帮我们标注清洗做了一批我们发现做的比人还好而且他能够24小时在那里做而且成本上跟人其实成本差不多当然GP6它的效率还是有点低因为我们是当时用就直接充值了Codex耳度去做这件事其实它还是有一定限制的所以我们是在自己去training我们自己的标注modal相当于是用类似于GPG6可以给我们标数据标完之后我们可以自己训自己的模型而且这个其实不需要训的特别多就是一小批量的然后持续迭代基本上就能做到一个还不错的效果了对然后咱们刚才提到我们的HiFiWuMi的数据库开源了2000个小时你们是出于什么考虑要开源这个其实之前做research的嘛所以对于开源这件事情大家还是抱有一个就是挺自豪的吧就是希望自己做的工作能更多的被别人看到更多的被community所使用来推进整个community往前发展所以这是为什么我们开源两千因为两千小时也不少了对于做基本的research就是一些研究的学校里面的研究lab也是可以用的了所以说我们开源的脸钱这样一个小时数据另一方面是我们也希望说让从社区里面收集一些反馈吧去看我们现在的数据可能会存在哪些问题然后来去持续的就迭代我们这样的一个素材设备大概是这样的一个考虑明白所以开源后收到那些反馈了吗开源之后其实是收到挺多公司的邮件就是希望要买我们的数据就包括海外的公司国内的公司了这些是比较多的然后另外就是说可能收到一些反馈觉得说有两个问题第一个问题是marker就是我们手上面会有一个专门为了定位去设计的二维码Marker太大了有些影响所以说他会觉得是不是可以把它做小一点更好然后另外一个事情是觉得我们那个手套就是这个在真机上面发热有点严重因为我们当时把真机的一些实验结果也放过来给大家看了其实我能感觉到是有一点那个发热的一些问题的这其实是一些其他的问题比如相机的供应商的一些问题或者一些其他相关的问题但是也是收集到一些还不错的反馈吧那我们刚才这个在聊数据然后现在还是想回来再聊一下模型就目前我们模型是年底会发大概透露一下我们现在有哪些可以提前透露的东西吗有一些可以透露的吧就是其实我们现在的model已经能ZeroShot做很多事情了OK这个是我当时测了一下就是当时其实没有抱特别大的希望说ZeroShot因为之前确实没有特别多的公司说自己的model能够ZeroShot就更多是需要后训练然后在一些仿真啊真机的benchmark上做测试然后去打分但是我们当时为什么要做ZeroShot这个验证这件事情呢自己的就是你如果不做这些shout的其实或者你不做预训练的一个评估你很难去直接的去判断出来你模型的能力到底在哪你有什么需要改进的点所以我们当时就做了比较细致的这样一个评估的事情然后其实现在来看其实是已经能做到不少完全没有就是不需要后训练直接几千个任务的模型直接上去就训练训练完之后我们就直接可以做一些task了而这些task还不是跟原来的训练机里面完全一模一样的是通过一定的泛化能力泛化出来的比如说最近建1.5发的时候他是讲说给模型看一个三秒的视频模型就可以取然后所以你指的是类似的能力吗我们不需要给他视频就他那个还是one shot对他那是one shotZeroShots的能力这主要原因我们内部讨论主要原因还是因为我们的数据质量确实很高对于ZeroList来说我记得他们之前Gin1的时候他们说是他们需要一个小时这个任务上的增积后期的数据然后 [35:00] 他们表现成功率非常的高但是他们没有说过说他们5米的数据直接去询完之后直接就有一定的RailShot的能力这好像是没有太看到的那是非常期待这个模型发布的你们也在做世界模型吗这得看世界模型怎么定义了我们没有特别的去往这个概念上面去做我们就是沿着我们刚刚说的几个比较重要的能力反推出来什么模型最适合学习效率最高在这个能力上面需要什么数据是从这个角度去考虑的所以对于不管是what action model还是BOA我们其实都会去borrow最精华的最适合我们这个能力的一些点去设计我们的model所以我们不是一个follow型的这样一个工作而是一个我们自己在设计一个最适合我们的模型的模型定义的智能的这样的一个model但当然我们肯定也会利用一些之前已经预训好的一些知识了就不会完全从头去做这件事情一开始的时候你也提到就是模型有三个技术能力然后其中一个是也是最后一个是说这个关于context的能力为什么在强调这一点呢因为我之前是做语言模型的从语言模型的角度来说特别agent context是里面最重要的点你只有有了非常充分的context他才能去更好地做决策但是对于聚深的领域来说我过来之后去读很多文章其实发现大家对于contact这件事情的关注度没有那么的充足就是大家可能会去假设这个model是通过当前的observation就能够做很多事情了而没有考虑过说我的context里面蕴含的那些因果的信息所以我context其实我们定义上可能会分为几种类型一种类型是说在短时的context它其实蕴含了非常丰富的因果特别是接触丰富的这些任务上面比如说我拿一个水杯我第一次拿的时候夹爪可能没有夹得特别紧导致它松了它松了之后你下次就拿紧抓紧了把它提起来了一个是从他观察到的那个图像到我做了这样一个动作是松的松了之后我的图像往下滑了我的杯子往下滑了再到我给它夹紧然后又稳定的可以做了这一套一个过程里面其实是一个非常丰富的一个context虽然说他们可能是在短时间内可能一秒钟之内发生的但是他的这个context对于模型的作用是非常非常重要他从里面很自然就能学到说哦原来我是这样做错了我下一次应该怎么做对所以这个context从短时间上面来说它蕴含了非常丰富的因果信息可能就跟memory更相关一点了就是我们比如说我这桌子上面有好几个一模一样的咖啡杯我去拿第一个咖啡杯的时候可能要经历我刚刚的那样一个过程先把它夹起来但是他做第二个咖啡杯第三个咖啡杯的时候他已经非常清楚的知道我咖啡杯的宽度是什么刚刚输出的宽度是什么了那么就很自然的迁移过来不需要做重复的试错了所以这个context稍微长一点context也有它所发挥的作用另外就可能就是更长一点了就是比如说我做一个家务的时候我可能一开始是把一个东西放在了某个抽屉里面然后我的人类的伙伴让他要去把这个东西找出来拿给我那么你如果没有context的理解能力记忆能力的话他其实是找不到的他每次都得重新去学人必须得重新告诉他在哪所以说从更长期的记忆来看其实context也是里面最重要的一个点所以你们针对这个是从模型架构还从数据还从什么角度去做了特别的工作吗其实是从数据和模型都要做事情的从数据层面来说就是什么数据能够激发模型对于context的利用从模型角度来说怎么能高效的去建模context因为context自然而然带来的问题就是你的token特别多token多了之后你推理效率一定下降对于机器人这种又执行很敏感的这样的一个系统来说你这个推理延迟的问题你怎么解决你训练的效率怎么解决其实我们在这块做了一些很spatial的设计OK然后咱们刚才提到HiFiWumi这个数据集它应该也是咱们用来训我们的模型的数据集这里面好像没有触觉是就是触觉这件事情我们最近也是非常多的在思考这个问题人是不需要看就能做很多事的但是因为它是靠充分的触觉大家采Eagle其实采过来很多数据其实也是不带触觉的只有视觉信息但是现在很多有一个研究方向就是说我能不能从视频里面直接预测触觉出来是触觉相当于这种对直接预测触觉但是预测这种方式它的精度是不够高的对于model来说可能做预训练可能稍微有点用处但可能对后训练说就完全不可用了我们其实也是装了触觉了但其实我们新开源这一批数据是没有触觉的为什么没有呢是因为对于二指甲爪来说它很多情况下通过视觉是能够去判断出来我有没有夹紧的因为二指甲爪它不像零交手零交手是有很多遮挡的但是二指甲爪是比较少的遮挡因为我们做的上下相机的设计这种遮挡就很少了另外就是现在的触节传感器其实是没有太 [40:00] 中年的承认一个很大的问题就是不同的数据传感器它的分辨率是不一样的它的位点也不一样的你今天你投了100套设备用了这个数据传感器你踩回来之后发现这个效果没那么好或者说你这样训练一个model等到这个过几个月又出现一个说更新的这个更好的一个传感器你又替换进去之后那之前的数据怎么利用起来其实也是个问题所以我们也没有放弃触觉这个事儿,我们也一直在试试触觉这个事儿,但是没有太大规模的去把它谱开。蛮有意思的,最近我应该也会录一期播客是和一个做量子点的一个科学家,然后他的博导也拿了诺贝尔化学奖就因为这个技术量子点然后他们做的事情就是发射出量子点来感受触觉大概是这样大家之后可以听听我们播客听他来讲其实咱们刚才提到我们已经看到了一些ZeroShot的能力你觉得这个是Scaling Law的一些信号吗就你们觉得有这样的信号吗Scaling Law其实是一个很严肃的事情就是我们现在是看到了Scaling的一些趋势就是比如说把我们的数据对方性扩展起来把我们数据量扩展我们确实能看到性能的一个比较明显的一个提升scaling这件事情在任何领域应该都是存在的只是说看你一开始做的对不对它取决于说你一开始数据做的对不对你的整个模型设计做的对不对所以但是scaling law毕竟它是个law为什么它是个law是因为它有非常科学的依据在里面的它所探索的是你的数据量你的模型规模你的计算之间存在某种比例关系使得你的训练可预测就是科学的scaling law所以说其实对于现在具体来说可能很多公司发blog说自己验证了什么什么scaling law我们会避免讲scaling law我们可能会讲说我们存在一定的power law就是指数的指数秘率的这样一个现象但是我们不会太说我们找到了scaling law因为scaling law是需要你做充分的实验验证定义清楚我多少的数据配多少多大的模型配多少的计算这是很严肃的问题所以我们是在持续做实验验证这个事情这个一个事对但是我们已经看到了一些Skinning的趋势了我觉得还是蛮promising的对这可以具体讲一讲这个趋势是什么这个趋势其实就是说我们训出来这样的一个model我们原本可能期望的是他能够在训练级内做一定的任务比如说我完全见过这个任务比如说我们现在训练可能一两千个任务一起同时训练训练完之后我们可能会针对说一些头部的比如说数据量比较大的Task确实能够可能我这些少的能做但是我们后来发现数据量没那么大的可能占比只有可能1%或者0.5%这种数据也能做另外就是说我即使没有完全见过这个task我稍微组合一下比如说我要去我的数据里面可能没有把遥控器放到盘子里面但是可能会有把遥控器放到遥控器的盒子里面这样的一个任务可能也没有说把零食放到某一个架子上这样一个任务可能只有说把零食放到垃圾桶这样一个任务组合繁化我让他把临时放到盘子上他能比如说放到蓝色的盘子上他也可以直接就放过去了他不需要任何的后续念这是我当时是觉得说其实你只要你的数据对象性起来了你的模型的能力应该是会有很明显的超乎我们想象的一些结果对我看到深谱其实发了一个Agentic OS可以讲一讲这是什么吗Agent的这件事情因为我其实在去年的10月份就跟我们的CEO和CTO做很深入的交流我当时觉得对巨生它肯定是一个agent的system它肯定不是一个单点模型的事情毕竟它是一个很大的系统它需要与人交互它需要与环境交互所以它肯定是个agent然后我们当时在做一件事情其实就是我们公司也是国内很早很早讲agent一个system做巨生的这样一个公司了然后我们自己在前期的时候也做了挺多探索其实主要就是说怎么把harness这件事情给做好就是对于巨生来说他所需要的harness和做digital的agent来说所以我们在这个过程中其实构建了一套与人交互包括说语音识别包括说任务分解任务拆分工具调用然后再到下面的一些更底层的一些设计然后我们做了这样的一个system这个system大概可以分为是两层就是system1和system2然后只不过说我们围绕上层的大脑的模型做了更多HUNS上的设计使得它能够去比较好的去完成我们给它定义的一些任务比如像WRC上可以用一些语音对话的方式去跟他交流让他去帮你拿个衣服或者帮你把衣服送洗到送到那个洗衣机里面去然后洗一下所以他整体构建了一个这样一个System所以这个System 2指的是理解意图和做规划System 1应该是指的这个快速去执行或 [45:00] 对对对咱们System II背后用的模型是什么其实我们前段时间用的还是Seed的model就是字节Seed的model毕竟我参与了那个工作之后会换成Seed的model吗我们正在尝试做因为这个其实挺好支援的因为我们认为大脑是一个参数量一定得大的model能做对于我们这样一个创业公司来说其实算力是很珍贵的我们会优先级可能会放在做Action的Protraining上面去因为现在大脑模型一直在快速发展你还没有看到这个头在哪儿所以你从GPT5.6到GPT6其实有很大的一个跨越那么已经有这样很多公司在做这样一个事情了我们其实可能更倾向于说一方面是看能不能定义出来我们所关心的一些大家没有太看到的这个聚身方面的大脑的能力另一方面是希望尽可能的利用别人这个已经做好的一些东西来反补我们整个系统这个整个系统的这样一个稳定吧嗯Distant 2这个最后还是是这个比如说Frontier Lab他们的延长线吗因为Gemnite其实也发了他的ER是是是然后比如说你们也用Seed嘛嗯然后Astral其实也有这样的能力你会觉得这个最后还是是基模我觉得可能对于演模型来说除了积模的能力之外还有很关键的就是刚刚一直在讲的harness你得给它配适合聚身场景的harness才能最大程度发挥这个作用所以你们做了哪些harness?比如说我们做了非常好的上下纹管理因为大脑它需要实时的去接收这些视觉的反馈那么你接收多了之后你整个延迟就会有问题你整个的上下纹可能就会爆炸掉这时候你要做很细致的上下纹管理这比如说你的大脑怎么和你的小脑做好的交互这个交互这一层也是做一些比较好的设计为什么我们很强调我们要把小脑做成一个stareable的就是可控性非常强的modal就是为了让大脑能够更自然的去调度下面的modal所以这一侧都是需要有很多协同设计在里面的不只是modal能力这一点吧我认为我们再来聊一下巨星模型的评估我感觉现在是没有一个非常好的一个benchmark是这样吗之前其实benchmark做的确实都不太好大家还更在仿真的上面吗比如被大家刷爆了那个Libro这种benchmark这种benchmark就是你不需要预训练你靠存后训练也是能够做到非常高的分数的所以这种benchmark其实没有太大的参考价值了但是最近也有看到一些比如说就是叫robotdojo也是一个它既有仿真又有真机实验的这种benchmark但是像这种benchmark它其实存在的一些问题就是仿真它毕竟和真实世界还是有一定的gap可能不是你们团队所关心能力明白然后另外一个就是真接的benchmark你很难保证完全的复现你可能要把你的model给到他们他们帮你去测那其实对于公司来说其实很难做这个事情我们会认为巨深的评估和大元模型评估有很大的差别它评估的是整个链路的稳定性整个链路的成功率所以最好的方式应该是自己把评估这个事情给做的足够的扎实因为这里有一个问题就是然后大家百家争名发的模型其实互相都不知道到底水深水浅可以各说各话所以你们因为年底要发那时候你准备用什么样的方式来证明你们的模型能力呢是挺好的问题就是我们一直在思考这件事情首先是你要看最真实的东西我们到时候会把最真实的结果也给外部去看我们会搭非常扎实了评估的benchmark来从关心的几个能力的角度从简单到中等到困难到各种场景的变化这个场景繁化物体繁化来去呈现我们的成功率我们也做了Fuseout的实验我们会明确的说我们用多少数据我们如果是0shot实验就一定是0shot实验所以说在这一侧我们肯定是要做的足够的公平对然后另外神代的问题就是说我们对于据生上来说其实很难和其他模型做对比这是一个很关键的问题就是因为别人训出来的model你也不知道他用什么数据首先是他也没有在你的本体上训过所以你直接拿过来大概率是不可用的那么这个评估其实就很难做所以从这个点上来说我们更多是坚持初心吧就是把我们自己的模型做好就好了就模型开源这件事情其实还是需要商讨的但如果说我们能开源的话我们肯定希望的是我们就开源一个大家后期一年能够做的效果非常好的这样一个model但我觉得最重要的是保持真实其实前面刚才提到咱们做了一个Agentic OS也发了然后里面的System 1和System 2是两个独立的东西你觉得未来他们会收敛到一个端道端模型吗还是长期会分层这也是一个最近大家讨论比较多的因为看到GPT6出来之后大家好像会觉得说已经搞定这件事情了我说实话我是觉得不太可能下面把上面吃掉但是确实有可能上面把System 1里吃 [50:00] 是有可能的事情但是这件事情发生的时间在什么节点我现在其实很难判断得出来因为我觉得这个应该还是一个有一定周期的就是我个人认为一个点是即使我们能看到终局我们也不能放弃中间的阶段所必须做的事情就我来说它可以去直接描着最终的点去做我们就做成一个统一的model我们做成一个可能一个实体的巨身的模型这是可以做的但对于希望的是把action的能力做得足够的扎实然后等到比如说一个最典型的情况是上面的model有非常好的规划能力了我们的model有很好的sterable的能力了那么我们很自然的构建ehanes把它结合起来我们就能做落地了我们可以落结很多场景就已经可以产生我们自己场景的一些这个我觉得对于创业公司来说我觉得是个蛮好的一个策略其实还是一个很重要的选择对很重要的一个选择深谱智能现在大概是多大一个团队规模我们现在差不多是70多位同事这里deep sick时期的时候发现大家下班很早就说做好的研究成果和工作时间不是一个线性相关的你们现在加班多吗我们现在没有一个强硬的加班都是自趋的大家今天有事想早点走无所谓我们工作时间其实是规定的工作时间只是从9点半到6点半所以只是很正常的一个时间大家愿意自趋的同事要做的事情比较重要的可能就会稍微晚点下班如果觉得今天有事了然后又想休息了无所谓就是可以早点下班了我自己也是这样的我也没有每天都工作到深夜我觉得还是保持一个思维的灵活性这个事情是比较重要的特别是现在在agent的一个加持下每个人其实更多需要的是你要管理好你的agent你要筹备好你的就相当于是你对你的项目有个很清晰的一个认知然后去push agent去做事就好了我们公司对于AI工具的额度基本是无限制的所以你们现在主要用什么A键工具我们主要用Codex内部比如说是怎样开会比如说我们和CEO CTO你们之间就是这样开会的文化或者整个大团队开会的文化有什么特别的地方吗我觉得我们现在做比较好的一件事情是会做事先的规划从CEO的角度就是他就会去拉我们基础团队的一些主要的负责人去聊像刚刚我们一直在聊智能到底是什么怎么定义它以及我们的数据为了这个事情我们数据做怎么样的准备我们要多少的算力它可以去自顶向下就会去形成一套比较清晰的一套沟通的体系我理解是整个团队我们都会做比较充分的一个context交换就context这件事情其实蛮重要就对于大厂来说可能context只聚焦在那几个人的手里但是对于创业公司来说我们尽量把组织变成一个非常扁平化的信息共享的这样一个组织形态我们最后一part就第三part我们再聊一下各种前沿的突破然后带来的一些启示Asia其实我们前面聊到好多了如果再用几句简单的话来说一说你觉得它带给你最大的启示是什么或者带给行业最大的启示是什么我觉得带给行业最大的其实是通用的智能真的有可能外溢到各行各业里面去对各个领域里面去吧System 1和System 2间的边界可能会越来越模糊这是一个值得我们大家就去思考的问题就是因为前几天也听到听了一些大家对于可能国内的同行队员Astrad的看法可能会比较乐观一点会觉得说可能GP6速度太慢了它做不到那种实时的反馈我们刚刚说的目前一些缺陷嘛但是其实从大约模型的人来看它是有机会做到真正可用的它是有机会的但是我觉得一定程度上它应该还是需要有action能力反哺进去的但是不知道是通过某种方式给融入进去但是我觉得是需要这个能力融入进去的而且这个时间有多长暂时还不太可知吧如果国内最有可能做出类似Astra的这样能力的语言模型的这些团队可能是谁看好两个吧一个是seed的多么泰因为seed多么泰冷逆一直在国内都是比较领先的我可能会白银签问一点因为我之前有跟签问的一些朋友聊过巨声这个事情就是他们正在做类似的事情最近就是放眼全球有哪些比较重要的发布就你感觉到这个对你很有启发的我觉得让我最respect肯定是JeroList就是把数据量轰到20万小时来看它的效果以及它的一些很综合的评估然后到今晚的话是把数据量做到了50万夹爪的这样一个实验就是9000种构型的夹爪做泛化然后另外到1.5 [55:00] 就是做in contact learning的一个实验我觉得都是能证明他们模型的一个泛化能力或者他们的预训验能力确实是蛮强的对这一点我是蛮respect的我觉得很少有公司真的做到他们这个量级吧那Pi0.7呢Pi0.7其实对我们来说也是有一定启示的Pi0.7它的里面很重要一个点就是sterible就是我们刚刚一直讲的sterible就是Levin教授就Stereoble这个事情他最早还做过类似于Embodied的COT就是把Rainting融合到巨生的模型里面去其他都是Stereoble的一种所以Stereoble这个事情也是把它列为我们头部要做的能力之一吧可以非常好的去和上面的大网做好配合去完成非常多难以想象的事情你觉得有没有什么最近发出来的东西然后刷屏了但你觉得其实被大家高估了我觉得可能就是其他家做的一些contact learning的事吧就是最早的话是genreleast他们发了Incarned Learning他们当时是有两个点一个点是他们说他们的model是原生能够支持30秒的context的这也跟我们之前讲的两个context是一致的然后他们在做这个事情的时候他说他们的incontact learning是自然涌现出来的没有单独训练过的只要把视频放在里面他就能follow出特别是让我比较震撼的是他们的参考的视频其实都很短这也是为什么我比较相信他们是自然涌现出来的比如说他们还有个点是他们能通过第三人程视角去做参考比如说我这是个相机然后你站在这里然后去把杯子一个杯子叠到另外一个杯子上面去这个机器人机械臂就能直接follow住也做这样一个事情但是其他最近有一些其他做Incontent Learning的一些工作包括美国可能Skilled他们发的一些结果都有明确说到说他们是专门训了Pair的数据的所以说其实对于这种Pair的数据的引入我觉得只是暂时的一种妥协它自然涌现出来的这种Context的能力的话我个人理解是Incontent Learning它对应两个能力一个是Context的深刻理解的能力第二个是StereoWall的可控性能力强行去把Incarned Learning 迅上去了然后并且做了一些demo 我觉得不是很本质确实在居身领域也有一个一直大家发了模型之后其他人失不了,因为你要去复现他的工作,因为你没他本体,你也没他数据啊,这其实也是一个很有意思的问题。是的,是的,是的。所以你觉得会出现一个中立的第三方来去帮大家做这样的 benchmark吗?之前其实有一些尝试过但是后来就也是有点不了了之了吧就是因为巨生公司之前有些巨生公司做了类似事情做了一个benchmark 真机的benchmark但是他既当裁判又当运动员了这可能不行其他都不服他所以说搞这个事情确实挺难的这我觉得也是巨星很大的一个问题吧就是它的评估的公平性其实特别难保证我只有觉得可能还是看产品说话吧看用户买不买账了其实你在巨生工作了快一年了然后你之前在这个模型领域就工作的时间可能更久觉得在这两个领域就有什么样的相同不同比较大的不同是对于语言模型来说大家整体还是一个比较open的一个方式去进行这样的一个research的就是大家的结果相对来说是可复现的因为他们有API可以提供给你所以说对于AM来说它是更透明的而且另外就是有很多开源的包括比如GipSeek很典型的例子他们愿意把自己的技术突破给开源给大家去了解所以说从这一点上来说我觉得语言模型的技术的壁垒它可能更多的比如说researcher来说或者对于学生来说还是很容易去follow住一些最前沿的一些技术突破的可能没有那么多数据但是他至少可以了解到很细的一些细节信息但是对于巨星来说其实就像刚刚聊到了很多问题大家甚至可能噱头更大于真实吧我过来之后一个很直观的感受就是就特别是今年的上半年大家都特别吹捧VLXModel这件事嘛但其实真正把VLXModel做到落地的就没有几家而且它的效果比VLA到底有好多少其实也没有很明确的一个结论所以说从这点上来说大家都是为了可能是一些商业上的考虑然后需要对外发一些东西然后去做了这样一个事情其实就对于做research的人来说就会觉得有点太浮躁了噪音太多了这个时候你的选择是什么你怎么去在这些噪音里面寻找信号对我来说 [60:00] 我更关注的是他们所讲的那个点以及他们呈现出来的demo的结果是不是符合的另外就是他们那个点给我们自己的从第一性原理上来说是不是正确的所以我们在做这件事情就是因为首先是因为这个领域它不收敛所以我们完全可以从自己的第一性原理出发去做我们自己认为正确的事情这个我觉得是相对比较OK的不像原模型已经有很重要的一些奠基性的工作在前面必须得沿着那个往前走你才能走得比人快但对巨星来说我觉得还好就是你完全比如说我们数据这个事情人云亦云的话我们就直接去买数据公司的5米数据Ego数据来做就好了我们就没必要做这个事了但是我们做这个事发现我们这样做完之后好像可以弯到超车所以你刚才提到第一性原理你们的第一性原理是什么我们第一性原理就是像最早说的我们在思考到底什么是聚生智能的智能我们都是从智能这个角度去触发你刚才说了一个答案嘛对吧你觉得有什么别人的答案吗你有看到过吗就让你印象深刻的和你们有所不同但你们最后放弃那个答案的也谈不上放弃吧就是可能就是对于ego的一个态度上我们没有放弃Ego-centric但是我们是还没有特别玩明白污密数据所以我们一定要把这个事情先弄清楚了再去花更多的精力去看Ego这个数据应该怎么用因为Ego它肯定是一个是一个多样性更强的这样一个数据分布你要学习一番话的话一定要在一个分布足够广的数据里面去做训练嘛就是这个这不只是说量大了量只是多样性的一个体现它更多是diversity所以说从这一点来说像Denit2他们做了100万小时的ego然后以及一些其他公司也说自己做了100万小时的ego的训练所以说我们没有太贸然的去做这样一件事情因为我们考虑两个点首先也是从第一线原理考虑这个数据的性价比到底怎么样看起来Ego的数据它的成本是很低的现在去买可能30块钱一个小时你能买到还不错的数据但是你后续的投入不管是标注还是你的训练其实是非常非常鬼的另外就是它达到的效果到底有没有就是它的付出的代价和你获得的效果到底成不成这么比它的写率是怎么样它现象比到底怎么样这其实是一个非常值得去验证的问题乌米从现在来看因为我们是原始我们自己采的我们不是买的所以我们的成本是相对可控的然后采回来的数据质量又很高我们对于清洗的要求没有那么的重了就不会说你采回来10万小时我们只能用1万小时90%以上很多人用然后另外就是训练上因为数据量没有那么大使得我们可以非常充分的去验证里面的包括刚刚讲scanning law你可以充分验证不同的模型参数下不同的数据量配比下你的这样一个模型表现是什么所以从这个角度来考虑我们在资源还没有扩到那么多的时候我们没有太贸然的去把ego直接引入进来引入进来之后就产生新的变量对于你整个的推进就会有很大的一个影响说到这里我突然想到你一开始我问你说怎么理解聪明啊你说聪明其中两个点中的一个点是会提好的问题我就想说对这个确实每次我录播客的时候都特别担心自己这个问题问的不够好所以一个这个很有料的嘉宾来了之后他都不够好对吧所以他其实智能没有被涌现出来所以听我们这期播客的朋友如果你们有觉得在我们前面的对话当中有什么地方可以提出更好的问题就是可以在评论区给我们留言然后家伟也可以到时候我再发给你继续回复哎呀你可以问我一个问题你有没有这样想问的问题我有个非常好奇就是挺有意思就是可能是跟这个聚生行业没什么关系的问题了就是做播客和做投资之间一同点是什么吧我之前也比较有这些比较出钱的例子其实我也想过做播客我觉得蛮有意思的就是他可以和很多人去做这种各行各样的人做交流所以我觉得说比较好奇当时怎么考虑说同时又做投资我觉得你完全可以做呀至少可以先从音频做起,其实iPhone录音就效果很好,比如说你和朋友出去喝咖啡或吃饭就放在那儿录出来的音质其实都是基本可以用的,鼓励你做,然后我觉得做播客和做投资都很像是你有两个小时的时间去向一个人提问然后尽可能的了解他这个是特别相同的所以这里面的问题呢比如说我特别喜欢问比如说我接下来要问你的一个问题就是你人生中有没有一个十字路口是做过最艰难的抉择这是我肯定都会问的我觉得就是做播客我可能觉得我特别喜欢听故事然后在投资的时候你特别希望通过他面对这种困难时候的决定来去看看他有没有做一个创始人的这种personality这是相同的问题 [65:00] 然后也有很多不同做播客的时候我觉得我会非常nice然后我特别担心或者我特别不愿意去问一些可能会让对方感到不适的问题我希望他一直处在一个比较好的情绪来表达但做投资的时候这个提问有时候就是我觉得这个问题必须要问因为你可能让对方不舒服你才能得到可能更真实的答案就举个例子比如说刚才你说这个你要直面自己的不足然后所以你去选巨生也有这方面的考虑但如果我们在投资场景我肯定就会一直往下问我就会说那这个很显然就是有一个很大的这个思潮或者价值观是人要做自己擅长的事情创业更要做自己擅长的事情你怎么看这样的观点我可能就会反复问反复问其实是要就是把对方就是搞到一个这个就是让对方进到一个状态去那个可能对于我们做投资判斗会更有价值就是因为看上去你非常顺利路上就是感觉就是别人家的孩子的那个典型代表所以你有没有就一个非常艰难的时候或者对不一定艰难吧就是可能在某个十字路口的一个时候其实我觉得啊最tough的十字路口还就是选择做语言模型还是做矩身吧这个决定其实还是蛮艰难的因为毕竟是一方面你要放弃掉比较优渥的一个不管是薪资条件或者你的资源比如你在SEED可以用很多卡但是你出来的时候创业公司可能就很难有这样的一个资源然后另外就是说你在创业公司的时候你很多事情你要从零到一的去做你的整个模型的设计你的整个团队的搭建都需要你自己亲自去花很多时间去考虑这是跟之前很不一样的一个体验所以说在做这样一个决定就是到底是要放弃自己之前舒适区做原模型的舒适区还是要去挑战一个除了研究之外还要考虑更多额外的一些问题的这样一个机会的时候还是蛮纠结的当时少年班的同学们现在都在做什么就是还挺多人去美国读书去了然后就是因为学一些基础学科像数学物理啥的但是我也有听说之前做数学物理的也转行来做AI 要不然就是AI的交叉要不然就去做AI的量化或者是一些其他一些工作比如说做一些AI加医疗的或者是AI加制药这些其实做的都蛮多的我甚至有一个同学是去了OpenAI然后因为他是做比较偏理论一点的就是OpenAI不是找了很多科学家吗是有没有谁做非主流的选择或非共识的选择就不做AI 不做居生不做金融去做别的这个确实我基本没有太了解到我觉得在AI这样一个大的环趋势下面就是大家还是会拥抱他吧所以吸光了所有的优秀人才这个领域我们最后一个问题吧就是如果比如说过了三年为什么是三年呢是因为我最近觉得比如说我们经常说一句话就是我们经常高估两年内的变化但低估十年后的变化所以我觉得三年是一个有趣的时间点就在那个时候我们高估也好低估也好好像他三号都已经被验证了一点点了就在三年后今天你觉得哪件事情发生了会让你特别觉得就当时去到巨山行业是正确的这个其实有一个点啊就是我之前跟就是当时跟我那个博导聊天的时候他就说他有一个很强的需求什么需求呢就是大家每次吃完饭之后不要洗碗嘛他们有洗碗机但他还是需要去把这些盘子里面的东西倒掉然后再塞到那个洗碗机里面去还花挺长的时间可能20分钟时间去做这个事所以我其实觉得如果三年之后我们做的robotics已经能在比如说在一些家庭里面去完成类似的这种帮帮洗碗的事情我觉得就已经非常的让我exciting了对我觉得实现这个的概率有多高我现在看我觉得概率还挺高的是80%那么高还是60%那么高我觉得三年的话实现是巴士OK好那谢谢家伟非常期待三年之后这个在我们家帮我们洗碗的机器人是来自深谱智能谢谢谢谢OK好拜拜拜拜