深朴王家伟押注全栈具身路线称通用基模难通吃毫秒级物理控制

十字路口Crossing

通用大模型因推理延迟高且缺乏动态闭环无法直接胜任物理交互，具身智能的真正壁垒在于高精度真机数据驱动的底层可控动作模型，而非虚高的概念包装与通用脑力下放。

AI-assisted summary of 于是转身向具身走去｜对话王家伟：24 岁的具身智能首席科学家 — original source. Check the original for full context.

Source published: 2026-09-16

Detailed notes

## Background 本期内容由科技播客「十字路口Crossing」（主播 Koji 杨远骋）于 2026 年 9 月 16 日发布在小宇宙平台。节目聚焦年仅 24 岁的深朴智能（Simple AI）首席科学家王家伟，探讨他从中科大少年班、MSRA、DeepSeek 到字节 Seed 之后，为何选择走出大模型舒适区并投身充满不确定性的具身智能领域，同时深入解析了深朴智能的技术路径与前沿行业观察。

## TL;DR 王家伟分享了他从中科大少年班到顶级大模型实验室的成长轨迹，并阐述了放弃大厂优渥条件投身具身智能的“风浪越大，鱼越贵”底层逻辑。对话从 GPT-6 Astra 驱动机械臂切入，拆解了通用大脑模型与高频小脑动作策略的分工，并详细介绍了深朴智能在 HiFi-UMI 高精数据采集、长因果上下文（Context）、无须后训练的 Zero-shot 泛化以及 Agentic OS 分层架构上的全栈探索。最后，嘉宾客观点评了海外前沿工作（如 GEN-1.5、π0.7 与 Skild AI），直面具身领域评测缺失与营销浮躁现状，并立下三年内让家庭机器人稳定完成洗碗预处理的务实目标。

## Atmosphere & style 整期对话在理性克制的技术推演与坦诚通透的人生思辨间自如切换，散发出一种青年顶尖科学家的清醒与自驱力。主播 Koji 兼具投资人视角的犀利追问与播客主持人的温和包容，嘉宾王家伟则回答得干脆利落、毫无学术包装的矫揉造作。听感上既有穿透具身行业泡沫、直击第一性原理的极客张力，又有探讨走出舒适圈、直面短板时的真诚心流，充满了一种扎根真实物理世界的务实理想主义。

## Key takeaways - `04:02` 大语言模型公司难以轻易击穿具身智能：以 GPT-6 Astra 为例，通用基模擅长高层语义规划和空间理解（大脑），但物理世界充满突发扰动，必须依赖毫秒级实时闭环的动作小脑（Action Foundation Model）维持稳定控制。 - `09:28` 中科大少年班的选拔核心不是单纯测智商，而是考核新知识的极端吸收转化率（现学大学数理课程后立刻闭卷考试）与抗压自驱力。 - `13:14` 王家伟认为“聪明”的本质是能够提出好问题，以及有勇气直面并补齐自己的知识短板。 - `14:54` “风浪越大，鱼越贵”：相比大模型已高度工业化和分工收敛的现状，具身智能的技术路线、评测体系与商业模式皆未定型，赋予了年轻研究者从第一性原理定义问题的历史机遇。 - `14:54` 深朴智能评估具身基模的三大核心判准为：分布外快速适应能力（Adaptability）、多模态条件可操控性（Steerability）以及原生上下文因果理解（In-Context Understanding）。 - `25:24` 深朴智能选择全栈闭环路线（数据采集-基础模型-Agentic OS-硬件本体），认为具身初创公司的最终护城河必须靠端到端产品体验沉淀，单点方案无法跑通商业闭环。 - `26:40` 开源 HiFi-UMI 双臂数据集（开源 2,000 小时，内部数万小时），通过纯视觉毫米级 SLAM 与微秒级硬件时间戳同步，使真实本体动作回放复现率超过 95%。 - `30:00` 利用 GPT-6 Astra 探索自动化数据清洗与标注，将其标注的高质量黄金数据作为种子蒸馏专有标注模型，有效规避纯人工标注瓶颈与 API 调用成本。 - `34:15` 深朴模型在完全不做真机后训练（Post-training）的情况下涌现出 Zero-shot 跨任务泛化能力，验证了高精度、高因果密度预训练基座的有效性。 - `36:10` 不追逐“世界模型”虚名，将具身智能的 Context 严密划分为：瞬时因果 Context（<1秒自纠错）、中期工作记忆 Context（技能即时复用）与长期记忆 Context（长程家务协同）。 - `41:52` 审慎看待具身 Scaling Law：行业目前仅观察到幂律提升与跨任务组合泛化趋势，远未达到大语言模型那样定量精准可预测的“定律”高度。 - `44:34` 打造专为具身设计的 Agentic OS：通过专属 Harness 连接层协调 System 2（大脑高层规划与语音交互）与 System 1（小脑高可控动作生成），解决视觉反馈导致的上下文爆炸与延迟失衡。 - `54:14` 海外前沿点评：GEN-1.5 验证了纯预训练在海量数据下的泛化涌现，π0.7 突出了动作可控性；而部分海外团队依赖成对微调数据拼凑的 In-Context Learning 存在被舆论高估的成分。 - `57:34` 当前具身领域缺乏公信力基准，存在大量靠后训练刷榜和资本概念炒作；深朴智能拒绝盲目跟风采买百万小时低效 Ego 视频，坚持高良品率的自研 UMI 路径。 - `01:08:10` 三年落地预测（2029年）：王家伟认为具身机器人有 80% 的概率能在真实普通家庭中自主完成“清理餐盘残渣并整齐码进洗碗机”的 20 分钟家务活。

## Detailed walkthrough ### `00:00` 24岁具身首席科学家：从少年班到大模型前沿

深朴智能（Simple AI）的首席科学家王家伟年仅24周岁（下个月满25岁）。他从小县城读完小学和初中，高中进入合肥一中，并在高二时直接通过高考考入中国科学技术大学少年班。2020年本科毕业后，他进入中科大与微软亚洲研究院（MSRA）的联合培养博士项目，师从霍翔老师，主攻文档智能领域，并在2026年正式博士毕业。他介绍自己是50%倾向的外向型（E人），天秤座。深朴智能定位为一家面向家庭的通用具身智能公司，其Slogan是“Keep the world simple”（让世界变得简单），这也是英文名Simple AI的由来。

主播 Koji 提到上一期采访斯坦福李飞飞组的徐梦迪时，谈到李飞飞最常问的一个爱因斯坦名言——“让事情保持简单，但不要过于简单”。王家伟深表赞同，指出人工智能领域著名的“奥卡姆剃刀原理”说明了过度设计的脆弱：以前自然语言处理（NLP）和计算机视觉（CV）总是在模型架构上做极其复杂的专门设计，结果一个非常简单的GPT架构就把所有任务统一了。Koji 也分享了一个行业趣事：在 OpenAI o1 推出后，有国内团队设计了一套极其繁琐复杂的 Infra 架构，四五个月后 DeepSeek-R1 发布，该团队立刻删掉了90%的代码，发现此前两周写的庞大设计根本没有必要。

回顾王家伟的学术与工业界履历，他在 MSRA 待的时间最长，主要聚焦于文档智能；2024年，他敏锐地察觉到多模态大语言模型正在突破以往小模型的上限，于是前往 DeepSeek 多模态组实习，参与了 DeepSeek-V3 的预训练数据工作及 DeepSeek-VL2 研发；到了2025年，他认为大模型单纯做聊天（Chat）很难产生真正的商业价值，而代表生产力跃迁的智能体（Agent）才是未来，便转去字节跳动 Seed 内部最早探索 Agent 的团队实习。

谈到成为首席科学家，王家伟笑言小时候过生日确实许过“当科学家”的愿望。儿时概念里的科学家是在实验室里倒腾生物化学试剂、或者推导前沿数学猜想，对“计算机科学家”毫无认知；而两者的共性在于“永远有机会去探索全人类都未知的领域”。如今，他倾注最多精力的核心命题，正是“具身基础模型的预训练到底该怎么做”——因为当前全行业的技术路线都尚未收敛，深朴正在蹚一条属于自己的路。

---

`04:02` GPT-6 Astra 操控机械臂：大脑与小脑的边界

就在播客录制前两天，GPT-6 Astra 正式发布并在社交媒体刷屏，展示了直接驱动机械臂完成抓积木等任务的能力。王家伟坦言，看到一个纯粹的通用大模型能在物理操作上达到极高的成功率，其能力确实超乎想象。事实上，用大语言模型做机器人控制并不新鲜，早几年学术界就提出了 Code as Policies 的思路，近期李飞飞团队与 Jim Fan 团队也合作推出了 CAPX。过去这种方法必须挂载各种专门的感知、检测小模型，而 Astra 则是将这些能力全部内化融合到了模型内部，充分展现了其3D空间理解、场景理解、任务规划以及试错总结的能力。

Astra 演示中最令人震撼的一幕是将画笔绑在机器爪上画金门大桥。王家伟分析指出，如果只看成品会觉得不可思议，但回看全过程，模型其实经历了反复迭代： 1. 第一遍明显在试探如何握笔、落笔； 2. 第二遍开始勾勒出基础轮廓； 3. 第三遍和第四遍细节才彻底清晰。

在整个过程中，摄像头实时读取视频流，画坏的纸扔掉后换上白纸，但长上下文（Context）始终保留在模型的记忆里，使其能够反思“之前怎么画的、为什么画不好”，从而逐步校准末端执行器的控制。

面对“OpenAI 和 Anthropic 这类基模大厂最终是否会降维打击、通吃具身模型公司”的行业普遍焦虑，王家伟给出了清晰的技术判断。他认为具身系统和人脑结构类似： - **大脑（Upper Brain）**：负责高层意图理解、复杂场景认知与任务规划，这一层未来必定会收敛到大语言模型和 Transformer 范式上，利用第一人称、第三人称海量视频训练，具备强大的推理和 Agentic 能力。 - **小脑（Cerebellum / Action Policy）**：负责底层肌肉控制与高频动作反应。

```mermaid flowchart TD accTitle: 具身智能双层控制架构图 accDescr: 展示上层通用大模型大脑与底层动作策略小脑的分工与交互流程

subgraph Brain["上层大脑 (GPT-6 Astra / 通用大模型)"] A["复杂场景与意图理解"] --> B["3D 空间与任务规划"] B --> C["试错与上下文反思"] end

subgraph DynamicEnv["物理世界与动态环境"] D["传感器 / 摄像头数据流"] E["突发扰动 (如杯子滑落、液体倾斜)"] end

subgraph Cerebellum["底层小脑 (Action Foundation Model)"] F["高频肌肉级控制 (毫秒级响应)"] G["闭环自恢复 (Action Policy)"] end

Astra 虽然能操控机械臂，但推理耗时极长，网上传播的视频往往是16倍速甚至32倍速播放的。在静态环境下慢速执行可行，但在真实的动态物理世界中寸步难行——例如伸手端一杯盛满水的咖啡，如果抓取不稳导致杯子倾斜，缺乏实时闭环控制的系统根本无法在毫秒级内自适应修正，水一旦打翻便无法恢复（Fail to recover）。动作基础模型必须具备像肌肉反射一样的实时反应能力，绝非单靠上层大脑缓慢的思考就能胜任。

---

`09:28` 中科大少年班的选拔机制与“不被高三荼毒”

王家伟分享了中科大少年班鲜为人知的招生与选拔机制。他那一届少年班仅招收了三十几人。谈及同学们的共同特质，他认为并不是单纯的“智商高”，而是极强的**自驱力**、敏捷的思维以及惊人的**新知识吸收转化速度**。

少年班的硬性门槛与考核流程非常严苛： - **年龄与高考门槛**：考生年龄严格限制在15周岁以内（高一、高二甚至初三学生）。通过高考初筛，高考成绩一般要求达到科大在当地录取线下浮20分以内的区间，合格者进入复试。 - **现学现考（考核知识转化率）**：复试环节中，考生必须在同一天现场上两门全英文或高难度的大学基础课程——一节大学数学课、一节大学物理课。听完课后不给复习时间，立刻发试卷进行闭卷考试。考题脱胎于大学知识但又依托基础，目的就是剥离以往的死记硬背，极限测试考生的专注度以及将“新输入知识”转化为“有效输出”的吞吐速率。 - **院长一对一面试**：通过笔试后约100人参加面试，由少年班学院院长亲自进行一对一面谈。交流内容极其开放，例如探讨“如果入学后跟不上高难度教学节奏怎么办”、“失去兴趣如何转专业”等心智抗压和自我规划问题，最终淘汰三分之二，仅录取三四十人。

王家伟感慨，少年班最大的馈赠是他“没有上过高三”，跳过了漫长刷题的题海战术阶段，“没有被高三荼毒过”。这契合了上海交通大学 ACM 班俞勇老师的观点：大学第一年最核心的任务就是帮拔尖学生洗刷应试教育带来的思维定式。进入少年班后，大一全部修读数学、物理、化学、计算机等基础通识课，在广泛接触后按兴趣自主选方向。王家伟在大一下学期笃定选择了计算机专业。不仅如此，科大提供了海量的科研机会，他在本科阶段就投身 AI for Science，用计算机模拟生物体内的分子马达及其相变过程。此外，他在少年班长期担任班长，锻炼出了极佳的沟通协调能力与极高的情商，是个典型的 ENTJ。

---

`13:14` 何为聪明：“会提好问题”与直面短板

在天才云集的少年班历练多年后，王家伟对“聪明”的定义发生了彻底的转变。早期他认为聪明只是思维敏捷或学东西飞快，但如今他认为聪明最核心的特质包含两点： 1. **会提出好问题**：比起解答既定试题，在未知领域定义真正有价值的边界问题更加罕见且重要； 2. **知晓自己的短板并勇于直面它**。

王家伟坦承，由于父亲是计算机老师，自己从小对软件系统和算法得心应手，但对底层硬件一直提不起兴趣，既不爱焊电路板也不爱搭硬件系统。然而在深朴智能主导机器人系统研发时，硬件与本体是绕不过去的物理载体。他没有回避这一薄弱环节，而是主动直面，每天频繁与内部硬件团队深入交流、寻求支持，补齐软硬件结合的认知缺口。

---

`14:54` “风浪越大，鱼越贵”：从大模型转向具身的底层逻辑

谈及为何在博士毕业后放弃深耕已久的大语言模型/多模态赛道，毅然跳入充满未知的具身智能领域，王家伟直言：“我比较想做一个能自己定义事情的角色。”

在目前的大语言模型行业，工作范式已经高度工业化和收敛。作为一名应届毕业生（New Grad）进入大厂体系，往往只能充当执行既定项目规划的一颗螺丝钉，很难自上而下开辟一条属于自己的全新方向。而具身智能全行业的技术路线、评价体系与商业模式皆未定型，“整个行业都处于非常没有收敛的状态”。

尽管对很多人来说“没有收敛”意味着巨大的试错风险，王家伟却笃信电视剧《狂飙》里的名言——**“风浪越大，鱼越贵”**。在他看来，风险与机遇完全等价，越是未定型的赛道，越能赋予年轻研究者定义行业标准的空间。他的博士导师霍翔老师也非常开明，全力支持他去创业：“年轻人就应该去闯一闯，失败了无所谓，你可以从头再来，只要在这个过程中积累了足够的认知，随时可以开启下一段事业。”对他而言，最大的风险唯有“时间成本”——害怕在错误的技术路线上白白空耗几年，除此以外无所畏惧。

为了不在黑暗中盲目摸索，深朴智能在内部严密定义了具身智能的核心判准，聚焦于衡量模型的三大维度： - **适应能力（Adaptability）**：具备强大的 Zero-shot（零样本）能力，以及仅需极少样本（Few-shot）就能快速迁移适应到完全分布外（OOD, Out-of-Distribution）全新物理场景的能力； - **可操控性（Steerability）**：不仅指语言指令遵循，更包含对图像、参考视频等多模态条件的高保真跟随。例如输入一段人类操作视频，机械臂能迅速模仿 Follow 住； - **原生上下文理解能力（In-Context Understanding）**：王家伟尖锐指出，当前绝大多数具身模型仅依赖“当前单帧观察（Observation）”预测动作，缺乏对长程原生 Context 的建模。唯有深度理解历史上下文，模型才能真正涌现出对复杂物理世界动态规律（World Dynamics）的因果推断能力。

---

`19:44` DeepSeek 与 Seed 经历：组织文化与范式变迁

王家伟将五年的博士科研划分为两个阶段：前半段跟随霍翔老师深耕文档智能（OCR、版面分析、表单理解），所有算法均直接部署于微软云 API 与底层基础设施，追求科研与落地价值的高效转化；后半段则深入大模型主战场，先后进入 DeepSeek 和字节跳动 Seed 实验室。

在 DeepSeek 实习期间（介于 DeepSeek-V2 发布之后、DeepSeek-R1 问世之前），内部纯粹的科研文化给他留下了深刻烙印： - **不靠时长拼成果**：团队工作强度并不大，绝不推崇消耗性的加班文化，却能持续输出业界顶级成果。这印证了优秀的产出取决于选题思考的深度而非纯粹的代码堆砌； - **研究边界感极强**：全团队以纯粹 Research 的心态推进智能极限，不过早背负商业化包袱； - **扁平且权限开放**：由于团队极度精炼，实习生分配到的 Scope 极大，王家伟不仅主导文档多模态算法，甚至能直接接触并修改底层的推理引擎（Infra）源码。

随后离开 DeepSeek 转向字节 Seed，核心原因在于当时 DeepSeek 内部在 VL2 完成后，将绝大部分战略计算资源全力向纯语言模型倾斜以攻坚 R1，多模态组资源受限；同时王家伟不想停留在单纯复用文档经验的舒适区，而是看到了 Agent（智能体）的长期价值。

然而字节 Seed 呈现出完全不同的超大型组织生态： - **精密运行的庞大机器**：内部体系庞大、分工极其细致，周围拥有准备极其完善的 Data Infra 和 Training Infra。这虽是一柄双刃剑——研究员无需为工程基建分心，但也丧失了深度介入底层架构全局的自由度； - **跨部门协同阻力**：2025年底王家伟曾极力推动“大模型自进化（Self-Evolution）”项目，试图将模型以 API 形式暴露给终端用户，收集反馈数据实现自闭环迭代。但在大型企业体系内，对外开放 API 需要与安全、产品、工程等多部门繁复沟通并提供严苛的 POC（概念验证），对于不确定性极高的前沿探索，能争取的支持极为有限。这使他彻底下定决心，加入具备极高自由度的具身智能初创团队。

---

`25:24` 深朴智能的破局点：全栈自研与 HiFi-UMI 数据采集

深朴智能选择了一条涵盖“数据采集 - 基础模型 - 软件系统（Agentic OS） - 硬件本体”的全栈闭环路线。王家伟解释，深朴的定位是一家面向终端消费者的产品公司，而非孤立的模型或数据方案商。具身智能的产业链条极长，任何单一环节都无法直接兑现商业价值，最终的护城河必须靠整机终端体验来沉淀。全栈掌控意味着一旦模型层出现重大的范式突破，团队能在第一时间将其推入真实硬件产品，以最快速度获取真实用户和物理场景的闭环反馈。

作为这一战略的技术基石，深朴智能近期开源了代号为 **HiFi-UMI** 的超高精度手持双臂操作数据集，并公布了核心技术突破： - **开源规模与行业反响**：正式开源 2,000 小时真机轨迹数据，内部已积累数万小时量级，在 Hugging Face 与 ModelScope 上线不久累计下载量便突破 50 万次。 - **自研超高精度采集硬件**：该套方案基于哥伦比亚大学宋舒然团队提出的 UMI（Universal Manipulation Interface）手持夹爪理念演进。此前测试市面现成供应商方案时，发现动作定位精度与时钟同步性能极差，深朴遂历时半年实现了全套硬件自研。 - **摆脱基站约束的纯视觉毫米级 SLAM**：传统高精度 UMI 必须在操作台四周布置多个定位基站，极大地限制了采集场景。深朴研发了一套专属视觉算法，仅依赖机载相机便达成了**毫米级**的位姿恢复精度。 - **微秒级硬件时间戳同步**：针对多传感器融合最棘手的时间戳漂移与失配问题，深朴在底层硬件固件上实现了**微秒级**硬同步，彻底消除传感器源头的变量误差。 - **6目多视角防遮挡构型**： - **腕部（上下各 2 目，共 4 目）**：左右机械臂腕部各配置朝上、朝下的广角相机，在手爪执行高精微操时提供毫无盲区的零距离视线； - **头部（双目，共 2 目）**：负责全局立体感知，支撑毫米级视觉 SLAM 定位，并具备直接向未来第一人称佩戴式（Egocentric）数据无缝迁移的能力。

在数据大规模扩展前，深朴团队利用小批量数据进行了严密的闭环有效性验证：首先利用小模型做微调（Fine-tuning），随后在仿真环境中对采集到的操作轨迹进行 100% 动作回放验证本体可行性，发现 **95% 以上的动作都能在真实本体上完美复现**，并在真机评测中达成了预期的高成功率，证实了该数据工程架构大规模 Scaling 的可行性。

`30:00` 数据标注的质变：从外部真实场景采集到 GPT-6 Astra 自动化清洗

在数据采集的工程实践中，深朴智能对自研数据采集设备的精度、时间同步以及回放（replay）比例进行了针对性扩展，不仅租赁了专用场地搭建数采环境，更将大量精力投入到外部真实场景的采集上。为了让数据分布具备更充分的多样性，数采人员带着设备深入真实的家庭、酒店以及民宿等物理空间。王家伟回顾道，早期团队在“采数据”上的资金与人力投入占比更高，因为模型训练的首要前提是把基础数据量轰上去；但随着工程深入，团队发现从真实场景拿回来的原始数据虽然精度极高、直接训练也能跑通，却暗藏着各种细微的数据不匹配（mismatch）。因此，近期的研发重心明显向精细化的数据清洗与标注倾斜，致力于打造一套全自动的标准标注流水线，避免过多的人工介入。

这一自动标注流程的突破很大程度上得益于基模能力的进化。团队接入 GPT-6 Astra 进行小规模测试，结果令人震惊：GPT-6 Astra 在数据清洗和动作标注上的细腻程度不仅超越了人工标注员，而且能 24 小时无休运转，折算下来的单次成本甚至与人工相差无几。尽管目前 GPT-6 受到接口调用速率与额度的限制，无法直接支撑海量工业化生产，但深朴智能探索出了一条极其高效的蒸馏路径——借助 GPT-6 Astra 标注的一小批黄金数据作为种子，训练自己的专属标注模型，通过少量数据持续迭代，就能在保证推理效率的同时达到极高的数据标注水准。

- **外部场景多样性**：数采不仅覆盖固定实验室，还拓展至家庭、酒店、民宿等真实生活场景，强化物理交互分布的泛化能力。 - **标注自动化路径**：摆脱纯人工标注依赖，利用 GPT-6 Astra 生产高质量种子标注数据，再反哺训练专有的小型标注模型进行自举迭代。

---

`32:45` HiFi-UMI 开源 2,000 小时：从学术回馈到硬件反馈

谈及深朴智能开源 2,000 小时 HiFi-UMI 数据的初衷，王家伟表现出浓厚的学术理想主义。作为研究员出身的他坦言，团队对开源抱有一种发自内心的自豪感，希望所做的工作能被开源社区与高校实验室看到并真正用起来，共同推进整个具身智能生态的成熟。2,000 小时的高质量数据对于学校的研究型实验室而言是一笔扎实的资源。与此同时，深朴智能也渴望借此获取来自真实世界的外部反馈，用以倒逼自家数采设备的升级。

数据集公开发布后，社区的反响极为热烈，团队收到了大量国内外科技公司寻求购买后续商业化数据的商务邮件。但对技术团队而言，更有价值的是具体的硬件与技术反馈： - **定位 Marker 尺寸**：手部用于位姿定位的二维码标记（Marker）偏大，在某些狭窄空间或特定抓取任务中对操作产生了一定干涉，社区建议将其尺寸进一步缩小。 - **真机手套发热**：真机验证环节中手套发热较为明显，暴露出相机传感器选型或局部电路散热的供应链工程问题。

---

`34:15` 纯预训练的 Zero-Shot 涌现：不做后训练也能泛化新任务

在剧透深朴智能计划于年底发布的模型进展时，王家伟透露了一个令他们内部都感到惊喜的突破：模型在完全不做任何真机后训练（Post-training）的情况下，已经展现出了可观的 Zero-shot（零样本）任务泛化能力。此前几乎没有具身公司敢宣称自己的基模具备零样本操作能力，行业通用做法是在仿真环境或真机特定任务上采集大量后训练数据，再刷榜打分。王家伟强调，深朴之所以极力验证预训练的零样本能力，是因为如果跳过这一步直接上后训练，研究者将根本无法摸清基座模型本身的底座能力边界在哪里，也无从定位预训练架构的致命缺陷。

经过细致的预训练评测，深朴的模型在同时混合训练数千个任务后，无需微调便可直接上手执行从未见过的物理任务，并且这种能力并非单纯死记训练集，而是展现出了真正的泛化机制。对比海外同行的最新工作，GEN-1.5 主打的是看一段 3 秒视频后执行动作的 One-shot 能力，而早期 GEN-1 在单一新任务上甚至需要长达 1 小时的真机后训练数据喂养才能达到高成功率。王家伟认为，深朴智能之所以能在零样本上跑通，核心壁垒在于 HiFi-UMI 数据沉淀下来的极高精度与因果密度。

---

`36:10` 拒绝虚名“世界模型”：从因果到长记忆的三层 Context 体系

行业内外热炒的“世界模型”（World Model）、“世界动作模型”（World Action Model）概念，在王家伟看来更多是标签化的术语包装。深朴智能并不愿意为了迎合资本市场的概念去亦步亦趋，而是从具身系统所需的核心智能指标出发，倒推学习效率最高、数据配比最合理的模型结构，有选择地汲取业界最精华的见解。王家伟结合自己此前在语言大模型与 Agent 领域的积累指出，语言 Agent 的核心命脉是上下文（Context），但具身智能学术界目前对 Context 的重视程度严重不足，多数学者仍默认“机器人仅凭当前这一帧观察（Observation）就能做出决策”，这完全忽视了时间流中蕴含的物理因果律。

王家伟将具身智能所需的上下文系统严密地划分为三个层级：

1. **瞬时因果 Context（<1 秒）**：在接触丰富的精细操作中至关重要。例如机械臂抓取水杯，第一下夹爪偏松导致杯子向下滑落，视觉捕捉到滑动后夹爪瞬间加大力度握紧，这一连串在 1 秒内发生的微小“试错-反馈-纠偏”过程构成了因果信息极高的上下文，能让模型本能地学会如何自我纠错。 2. **中期工作记忆 Context（数秒至数分钟）**：与动作技能的即时迁移相关。当桌面上摆放着数个相同的咖啡杯时，机械臂在成功抓起第一个杯子后，应当已经清晰记住了杯沿宽度与最佳输出力道，抓取第二、第三个杯子时可以直接复用这一上下文，无需从头试错。 3. **长期记忆 Context（长程任务与人机协同）**：支撑复杂家务工作流。例如机器人先前遵从指令将某个物品收纳进了特定抽屉，当下人类同伴要求“把它找出来给我”时，若没有长时记忆能力，机器人便只能盲目搜寻或依赖人类重新指示。

为了让具身模型兼顾因果记忆与物理控制，深朴智能在数据构造与模型架构上均做了特殊设计。因为长上下文不可避免地会导致视觉与动作 Token 数量激增，直接拖垮机器人对延迟极度敏感的实时推理闭环，团队必须在模型架构层面解决训练效率与推理低延迟之间的天然矛盾。

---

`39:00` 触觉传感器的产业痛点：视觉反馈与硬件收敛的博弈

针对开源数据集未包含触觉信号的疑问，王家伟进行了深入的工程复盘。尽管人类闭着眼睛仅凭触觉就能完成很多高精细任务，但目前的机器人技术在触觉软硬件上都面临巨大困境。学术界近期流行“通过视频直接预测触觉”，但这种预测精度很粗糙，用于基模预训练尚有微弱助益，到了要求绝对精度的控制和后训练阶段则几乎完全失效。

深朴智能暂未大规模推开触觉数据采集，主要出于两个层面的务实考量： - **视觉互补与遮挡控制**：深朴采用的是二指夹爪搭配自研的“上下双相机”构型，其物理遮挡远少于多指灵巧手，绝大多数“抓取是否滑落、是否握紧”的状态都能直接通过无死角的视觉观测准确推断。 - **硬件标准尚未收敛**：市面上的触觉传感器标准千差万别，分辨率、感应位点各不相同。如果冒然铺设 100 套设备采集数据，一旦几个月后供应链出现性能更强、点位不同或成本更低的新传感器，前面积累的海量触觉数据将面临难以兼容重用的巨大技术负债。

---

`41:52` 严谨看待 Scaling Law：数据组合泛化与幂律现象

面对行业内层出不穷“宣称验证了具身 Scaling Law”的技术公关，王家伟持极为审慎和克制的态度。他明确区分了“Scaling 趋势”与“Scaling Law”的科学界限：深朴在扩展数据多样性、计算资源和数据规模时，确实观察到了操作成功率的显著提升，但这只能说明具身模型符合某种幂律（Power Law）趋势；而严格意义上的“定律”（Law），必须经过极其严谨完备的科学实验，定量刻画出模型参数、计算量与数据规模之间确定性的最优分配比例曲线，确保训练效果精准可预测。

深朴智能所捕捉到的 Scaling 强信号，集中体现为跨任务的“组合泛化能力”： - **长尾任务零样本覆盖**：过去认为只有在训练集中占比很高的数据大类才能做好，但如今即便在训练数据中占比仅有 0.5% 至 1% 的低频任务，模型也能展现出良好的零样本执行能力。 - **动作与物体的跨界拼装**：模型训练集中可能只有“把遥控器收纳进遥控器盒子”和“把零食扔进垃圾桶”，从未见过“把零食放到特定盘子里”的示范。但在没有任何后训练微调的情况下，直接对模型下达指令“把零食放到蓝色盘子里”，模型成功自行组合出视觉定位盘子与抓取放置零食的轨迹，准确完成任务。

---

`44:34` 具身 Agentic OS：分层架构、Harness 设计与端到端演进

早于 2024 年秋季，王家伟在加入深朴智能前与 CEO、CTO 深度推演时便达成共识：具身智能绝不应该是一个孤立的单点模型，而是一个必须与物理环境、人类进行多维交互的复杂 Agent 系统。为此，深朴智能在业内率先打造了专为具身设计的 Agentic OS，将整个运行体系清晰划分为 System 1 与 System 2。

```mermaid flowchart TD accTitle: 深朴智能 Agentic OS 分层架构 accDescr: 展示 System 2 大脑规划与 System 1 小脑可控动作模型的协同交互体系

subgraph S2["System 2：意图理解与规划（大脑）"] S2_A["人机语音交互与识别"] --> S2_B["任务分解与工具调用"] S2_B --> S2_C["细致上下文管理 (Context Management)"] end

subgraph Harness["具身专属 Harness 连接层"] H_A["实时视觉与状态反馈控制"] H_B["大脑向小脑的调度与意图下发"] end

subgraph S1["System 1：快速动作执行（小脑）"] S1_A["高可控动作模型 (Steerable Action Model)"] S1_B["底层机械臂与夹爪实时闭环控制"] end

S2_C --> H_B H_B --> S1_A S1_A --> S1_B S1_B -.-> H_A H_A -.-> S2_C ```

王家伟详细拆解了具身系统与纯数字 Agent（Digital Agent）在 Harness（脚手架系统）设计上的本质区别： - **认知与执行的分工**：System 2 扮演大脑，负责高层语义理解、语音对话、长程规划与子任务拆解（早期曾采用字节 Seed 模型支持）；System 1 充当小脑，负责毫秒级高频动作生成。例如在 WRC（世界机器人大会）现场，用户用自然语言说“帮我把衣服送去洗衣机洗一下”，System 2 负责拆解步骤，而小脑负责平稳抓取与放置。 - **具身 Harness 的核心挑战**：大脑必须持续摄入实时的视觉流反馈，如果不做极其严密精细的上下文截断与管理，Token 很快会发生上下文爆炸并导致网络延迟崩盘。因此 Harness 必须负责小脑状态与大脑上下文的高效同步。 - **小脑必须具备极强的可控性（Steerability）**：只有把小脑训练成极度遵从指令（Steerable）的模型，上层大脑才能如臂使指地通过 Harness 调度机械臂执行复杂行为。

针对行业关于“未来是否会被单一端到端巨型基模吞并”的争论，王家伟判断：长期看，拥有极强通用推理能力的大脑模型确实有可能自顶向下吞噬小脑，但这种终局演进需要较长周期。对于初创公司而言，战略重心必须放在把底层 Action 预训练和 Steerability 做到极致，借助成熟大厂的大脑基模反哺自身 Harness，快速切入实体场景落地，而非盲目押注遥远的端到端巨型模型。

---

`50:40` 深朴智能的团队机制：70人扁平团队与不靠加班的自驱文化

谈及深朴智能当前约 70 人的研发团队状态时，王家伟沿袭了他在 DeepSeek 时期形成的核心价值观——顶尖的技术突破绝不与工作时长成线性关系。公司规定的作息是早 9:30 到晚 6:30，实行弹性自驱制，严禁形式主义加班，工作节奏完全由研发人员根据自身技术节点的攻关需要自主掌控。

王家伟认为，在现代 AI 工具爆发的时代，研究员的核心素质是思维的敏捷性以及规划、驾驭 Agent 的能力。在深朴内部，团队对内部使用的开发工具额度（如 Codex 等）提供无上限支持，鼓励人人借助 AI 工具倍增生产力。在团队沟通上，CEO 会自顶向下与技术核心负责人共同打磨“具身智能的定义究竟是什么”、“数据采集与算力盘子如何配比”，并通过极致扁平的信息流确保 Context 在全员范围内透明共享，避免大厂常见的信息孤岛。

---

`54:14` 国际前沿点评：通用智能外溢、π0.7 的 Steerability 与被高估的 In-Context Learning

在点评全球具身智能的前沿演进时，王家伟分享了一针见血的洞见：

- **GPT-6 Astra 的深远影响**：Astra 最震撼之处在于证实了通用大语言模型的能力正在向实体物理世界外溢，System 1 与 System 2 之间的绝对边界在逐步模糊。尽管当前存在响应速度慢、机械臂控制实时性差的问题，但从大模型进化速度看，只要动作闭环反馈能有效融入，通用基模下场掌控物理控制在未来完全可行。国内基模团队中，他最看好字节跳动的 Seed 多模态团队与阿里巴巴的千问（Qwen）团队做出类似突破。 - **GEN-1.5 与大规模工程**：王家伟对 GEN-1 到 GEN-1.5 的研发团队（Generalist）表达了极高的敬意。该团队通过把数据规模硬生生堆到 20 万乃至 50 万小时，在涵盖 9,000 种夹爪构型的海量物理泛化实验中，有力证明了纯预训练涌现的威力。 - **π0.7 与 Sergey Levine 的可控性技术栈**：Physical Intelligence 发布的 π0.7 重点强调了模型的 Steerability（可控性），这一路径承袭了 Sergey Levine 教授此前在具身思维链（Embodied CoT）方向的探索。高可控性正是打通底层执行与上层认知规划的关键钥匙，深朴同样将其列为核心技术指标。 - **Skild AI 路线的争议点**：王家伟直言，部分海外团队（如 Skild AI）在演示中被广泛赞誉的 In-Context Learning（上下文学习）存在被舆论高估的成分。真正的上下文泛化应当像 Generalist 那样原生支持 30 秒 Context，仅凭单视角甚至第三人称视角几秒钟的人类动作演示，机械臂便能无缝自然涌现出模仿能力。而一些团队为了制造华丽的 Demo，专门搜集并微调训练了成对的（Paired）参考轨迹数据。这种缺乏底层因果理解和高可控性、仅靠数据过拟合强行拼凑出的 In-Context Learning，“只是一种暂时的工程妥协，并不本质”。

---

`57:34` 行业噪音与基准评测缺失：大模型与具身智能的文化反差

深入具身智能领域近一年，王家伟深切体会到了具身与纯语言模型研究在社区文化上的巨大落差。语言大模型领域高度开放透明，从开源权重到 API 均可被全球学者复现与检验，研究壁垒清晰明确；而当前的具身智能领域却处于“噪音极大、噱头远大于真实”的浮躁期：

- **评测基准公信力破产**：学术界广泛刷分的 LIBERO 纯靠后训练微调即可刷出超高分，无法衡量预训练真实泛化；真机评测基准（如 RoboDojo）又受限于硬件本体差异而极难跨团队复现。部分创业公司自建真机评测甚至陷入“既当裁判又当运动员”的公信力陷阱。 - **概念炒作掩盖工程真相**：以 2024 年上半年风靡资本圈的 World Action Model 为例，业内真正能将其部署落地的公司寥寥无几，其实际控制表现相较传统的视觉-语言-动作（VLA）模型也没有确定性提升，许多宣发纯粹是出于商业融资的考量。

面对漫天充斥的学术营销公关，王家伟表示，深朴智能在年底发布模型时将回归最扎实、最公正的自建基准，把从简单到复杂、不同物体与场景泛化维度的零样本与少样本真机成功率真实呈现。在具身评测标准尚未统一的当下，不被外部噪音裹挟、把底层动作模型的可控性做到极致，最终让产品和用户的真实体验说话，才是具身研究者穿透迷雾的唯一路径。

`01:00:04` 从第一性原理审视具身数据：为什么暂不盲目跟风百万小时 Ego 数据

在面对外界铺天盖地的学术宣称与 Demo 时，王家伟始终关注两点：一是对方提出的观点与其最终展示的 Demo 表现是否真正匹配；二是该路径从第一性原理出发到底是否正确。王家伟指出，与大语言模型已有坚实奠基性工作、只能踩着前人路线狂奔不同，具身智能领域目前还远未收敛，这反而赋予了创业团队从第一性原理定义问题、做自己认为正确事情的探索空间。

这种坚持清晰体现在深朴智能对数据的战略选择上。如果人云亦云，最轻松的路径就是直接采买数据服务商现成的无标注第一人称（EgoCentric）日常视频。尽管市场上不少团队或同行高调宣布使用了多达 100 万小时的 Ego 数据做训练，深朴智能目前并未贸然跟风大规模引入。王家伟解释，他们并不是全盘否定第一人称视角数据的价值，Ego 数据分布极广，确实具备极强的数据多样性（Diversity），而学习泛化必须依赖宽广的分布；但核心在于团队尚未彻底“玩明白”Ego 数据的转化机理，必须从第一性原理算清投入产出比：

```mermaid flowchart TD accTitle: 具身数据采集与训练路径对比 accDescr: 对比低性价比的采买百万小时Ego数据路径与深朴高性价比的自主HiFi-UMI数据路径

subgraph EgoPath ["高通量 Ego 数据路径"] E1["采买/搜集 100 万小时原始 Ego 视频"] --> E2["数据清洗成本高昂<br>有效利用率往往极低"] E2 --> E3["复杂的动作推断与标注开销"] E3 --> E4["极高训练算力消耗<br>产出与泛化斜率尚待验证"] end

subgraph UMIPath ["深朴 HiFi-UMI 路径"] U1["自主搭建硬件与高质量采集方案"] --> U2["极高良品率<br>>90% 数据可直接用于训练"] U2 --> U3["可控的数据规模与采集成本"] U3 --> U4["清晰验证 Scaling 趋势<br>精细调配模型参数与数据配比"] end ```

深朴智能权衡后选择将现阶段重心放在自研的 UMI 数据上，其背后的核心考量包括： - **后续隐藏成本高昂**：Ego 数据表面上买入成本低廉（甚至 30 元一小时就能买到），但后续面临着极其昂贵且复杂的标注处理与训练算力开销。 - **效果斜率尚不明确**：付出巨额代价值得与否，最终取决于它换来的模型泛化提升斜率和实际性价比，这一机制在学术界仍待严格验证。 - **自研 UMI 高质量且可控**：深朴依靠自研硬件与团队采集，成本完全可控，且采集回来的数据良品率极高，超过 90% 的数据均可直接入模，无需在采集十万小时后痛苦地丢掉九万小时。 - **避免引入不可控变量**：在中等规模的高质量数据上，团队能更从容、更严谨地验证不同模型参数、不同数据配比下的性能规律与 Scaling 趋势；若过早引入嘈杂的海量 Ego 数据，只会引入不可控的新变量，扰乱研发节奏。

---

`01:03:15` 互换提问：做播客与做投资的「异」与「同」

在前文谈及中科大少年班的选拔标准时，王家伟曾提到聪明人的一大特质是“擅长提出好问题”。Koji 顺着这个话题打趣道，做播客最怕的就是给嘉宾的 Prompt 提得不够好，浪费了好内容，并热烈邀请听众在评论区支招。借此机会，Koji 将提问权交给王家伟，让他向自己抛出一个问题。

王家伟十分好奇 Koji 身上双重角色的内在联系：“你当时是怎么考虑同时做投资又做播客的？做播客和做投资之间，最大的异同点是什么？”

Koji 毫无保留地分享了自己的心得。在他看来，做播客和做投资在底层有着惊人的**相同点**： - **深度提问的时间机制**：两件事情的本质都是给你大约两个小时的时间，让你向一个人全力提问，并在有限时间内尽可能完整、透彻地读懂一个人。 - **追溯关键决策的内核**：无论面对创业者还是播客嘉宾，Koji 都特别热衷于探寻对方在人生十字路口面对最艰难抉择时的真实反应。做播客是在挖掘动人的生命故事，而在投资场景下，这种提问则是为了穿透表象，探查对方是否具备一名创始人所必需的个性韧性（Personality）。

两者的**不同点**则主要体现在沟通状态与目标预期上： - **播客追求安全感与良好心流**：做播客时主播往往非常温和友善（Nice），极力避免让受访者感到不适，希望对方始终处于情绪饱满、乐于倾诉的状态。 - **投资需要施加压力以探求本质**：做投资决策时，投资人有时必须问出让对方感到极其不适的问题，甚至要反复追问到底。例如针对王家伟之前提到的“直面自己短板而选择具身”，若在投资尽调场景，Koji 就会反复施压质问：“商业主流价值观一直强调‘人要做自己最擅长的事，创业更要做自己擅长的事’，你为什么反其道而行之？”通过将对方逼入极限思考的状态，往往才能揭示出最真实的想法与底层质地。

---

`01:05:25` 人生最艰难的十字路口：走出大模型舒适区

顺着投资人考察创始人的经典视角，Koji 追问王家伟：“在外人看来，你一路少年班、MSRA、DeepSeek、字节 Seed，是典型的‘别人家孩子’，一帆风顺。在你迄今为止的人生中，是否也曾经历过最艰难或最挣扎的十字路口？”

王家伟坦言，自己人生中经历过最艰难（Tough）的十字路口，正是毕业时**“究竟是继续留在纯语言模型领域，还是转身跳入具身智能”**的那一刻。这绝不是一个能轻易做出的决定，因为留在成熟的大模型体系里意味着拥有极度优渥的环境： - **资源与待遇的断崖式落差**：在大厂或顶尖实验室作为核心研究员（IC），不仅薪资待遇非常优厚，而且可以调动难以想象的海量算力集群（“可以用很多很多的卡”）；但投身初创公司，算力资源将瞬间变得极其受限。 - **从纯粹研究到全栈拓荒的心理挑战**：在原有的舒适区内，研究员只需要专注于模型本身的优化与算法创新；而进入具身创业公司，一切都必须从零到一亲手搭建——底层的训练基础设施（Infra）、具身模型架构的重构、工程流程的设计以及全新团队的搭建，全都必须亲自操刀并处理海量杂务。

要主动放弃已经积累深厚的语言模型舒适圈，选择去承担一个除学术研究之外充满无数未知与琐碎难题的新领域，王家伟承认当时内心经历了相当长一段时间的纠结与心理拉扯。

---

`01:06:55` 少年班同学的走向：AI 浪潮吸尽顶尖人才

Koji 关心中科大少年班这批中国最聪明的年轻人如今身在何处。王家伟介绍，当年少年班的许多同学毕业后都选择前往美国继续深造，攻读数学、物理等基础学科的博士学位。但伴随过去几年人工智能的爆发，学科边界被迅速击穿：

- 许多原本深耕理论数学和物理学的同窗，纷纷中途转行投身人工智能领域，或从事 AI 交叉学科研究； - 另一大部分同学流向了 AI 与量化金融（AI Quant）、AI 驱动的医疗诊断及 AI 辅助制药（AI for Science / Drug Discovery）等吸金且具备高应用价值的前沿方向； - 他甚至有一位理论功底极强的少年班同学，直接入职了 OpenAI 担任理论科学家。

当被问及少年班里是否有人做出“非主流”、“非共识”的冷门选择（比如完全不沾 AI、不做具身、不做金融，而是去从事纯粹冷门的人文或传统行当）时，王家伟直言在他的社交圈内几乎没有听说过。面对轰轰烈烈的时代技术范式转移，最顶尖的天才群体几乎毫无悬念地被卷入了 AI 这一巨大的引力场之中。

---

`01:08:10` 三年之约：机器人能帮人把碗放进洗碗机吗？

播客的尾声落在一个充满远期想象的问题上。借用科技界“人们往往高估两年内的变化，却低估十年后的变化”的常理，Koji 设立了一个恰到好处的三年观察节点（2029年），询问王家伟：“三年之后，物理世界发生一件什么样的事情，会让你坚定地确信自己当年转身投向具身智能是无比正确的决定？”

王家伟没有给出宏大抽象的通用具身宏愿，而是分享了他与自己的博士生导师之间一段非常真实的生活闲聊：

> “我博导当时就说他有一个很强的现实需求。大家每次吃完饭之后都不想洗碗。虽然家里买了洗碗机，但每次还是得人肉去把各个盘子里吃剩的残渣倒进垃圾桶，然后再把碗碟一个个规整地摆塞进洗碗机里。这个琐碎的预处理过程每次可能都要花上整整 20 分钟。”

在王家伟看来，具身智能不需要一上来就拯救世界。如果三年之后，他们打造的机器人能够在真实的普通家庭环境中，稳定、自主地帮人类把餐后的碗盘残渣倒掉，并一件件整齐码进洗碗机，完成这繁琐的 20 分钟家务活，就足以令他心潮澎湃、热血沸腾。

当 Koji 进一步追问这个家庭洗碗场景在三年内落地的置信度时，王家伟给出了相当笃定的判断：**“我觉得概率挺高的，三年的话，实现概率大概有 80%。”**

Koji 笑着总结道，非常期待在三年之后，那个走进千万家庭、真正帮大家解决洗碗痛苦的家庭机器人，正是出自深朴智能之手。对话在双方对未来物理智能落地的期许与道别声中圆满收官。

## Notable quotes > `14:54` 风浪越大，鱼越贵 — 王家伟

> `14:54` 我比较想做一个能自己定义事情的角色。 — 王家伟

> `14:54` 年轻人就应该去闯一闯，失败了无所谓，你可以从头再来，只要在这个过程中积累了足够的认知，随时可以开启下一段事业。 — 霍翔

> `09:28` 没有上过高三，没有被高三荼毒过。 — 王家伟

> `00:00` 让事情保持简单，但不要过于简单 — 李飞飞

> `00:00` Keep the world simple — 王家伟

> `54:14` 只是一种暂时的工程妥协，并不本质 — 王家伟

> `01:08:10` 我觉得概率挺高的，三年的话，实现概率大概有 80%。 — 王家伟

> `01:03:15` 商业主流价值观一直强调‘人要做自己最擅长的事，创业更要做自己擅长的事’，你为什么反其道而行之？ — Koji

## Mentioned 王家伟, Koji（杨远骋）, 深朴智能（Simple AI）, 中科大少年班, 中国科学技术大学, 微软亚洲研究院（MSRA）, 霍翔, DeepSeek, DeepSeek-V2, DeepSeek-V3, DeepSeek-VL2, DeepSeek-R1, 字节跳动, Seed 实验室, OpenAI, OpenAI o1, GPT-6 Astra, Anthropic, 李飞飞, 徐梦迪, Jim Fan, CAPX, Code as Policies, 俞勇, HiFi-UMI, UMI, 宋舒然, Hugging Face, ModelScope, GEN-1, GEN-1.5, π0.7, Physical Intelligence, Sergey Levine, Skild AI, Generalist, LIBERO, RoboDojo, 阿里巴巴千问（Qwen）, 世界机器人大会（WRC）

## Video description ➤ 本周「十字路口」的嘉宾王家伟是 24 岁的深朴智能（Simple AI）首席科学家。中科大少年班、MSRA、DeepSeek、字节 Seed——**这条路直通大模型的最前沿，但毕业时，他却转身向具身走去。**为什么呢？他想离开的不是大模型，而是只能跟随既定计划的状态。他说：「风浪越大，鱼越贵」 ——具身的路线、评估和产品都还没有共识，风险更高，却也给了年轻研究者定义问题的空间。本期播客中，我们从 GPT-6 Astra 出发，讨论了「OpenAI 会不会降维打击具身模型」的问题。王家伟认为，通用大模型会承担越来越多理解与规划，但当杯子开始滑落，机器人仍需要能快速反应的动作模型。深朴智能因此从 HiFi-UMI 数据、具身基础模型、Agentic OS 一直做到本体：开源 2,000 小时数据，内部积累数万小时；模型已观察到一定的 Zero-shot 泛化；Agentic OS 则把上层意图与底层动作连接起来。最后，我们讨论了在美国的具身同行们最新发布的各种工作：GEN-1.5 对预训练与自然涌现的验证、π0.7 对 steerability 的强化、以及 Skild AI 为 Demo 专门训练的 In-Context Learning 是否被高估。 🎬 我们的视频播客将同步上线于 @Koji杨远骋的视频号、抖音、小红书、哔哩哔哩、Youtube 等平台。 📒 文字版将发布于 @十字路口Crossing 公众号。 🟢 于是转身向具身走去00:00 快问快答：年龄、毕业院校、MBTI、星座、一句话介绍 04:02 GPT-6 Astra 操控机械臂 06:27 OpenAI 等基模公司会击穿具身模型吗？ 09:28 中科大少年班怎么选人？ 13:14 聪明，是会提好问题 14:54 “风浪越大鱼越贵” 19:44 DeepSeek：不靠工作强度换成果 21:32 从 DeepSeek 多模态到 Seed Agent 🟢 深朴的选择25:24 深朴为什么必须做全栈？ 26:40 HiFi-UMI：开源 2,000 小时 32:01 GPT-6 比人更会标数据 34:15 Zero-Shot：不靠后训练的新任务 🟢 什么才是具身智能的「智能」？36:10 不追逐“世界模型”概念 36:55 Context：从一秒因果到长期记忆 41:52 Scaling 趋势，不等于 Scaling Law 44:34 Agentic OS：具身不只是一个模型 48:09 没有公认 Benchmark，如何证明模型？ 🟢 前沿点评54:14 Astra：通用智能外溢到物理世界 55:53 GEN-1.5 与 π0.7 57:34 被高估的 In-Context Learning 01:00:04 具身领域：噱头可能大于真实 01:07:47 离开大模型舒适区 01:09:57 三年后，机器人能帮人洗碗吗？欢迎订阅「十字路口」：🚦 我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。 🚦 十字路口是乔布斯对苹果公司的一个比喻，形容它站在科技与人文的十字路口，伟大的产品往往诞生在这里。AI 正在给各行各业带来改变，我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者，和他们一起，探索和拥抱新变化，新的可能性。 👦🏻 主播 Koji：我创办了十字路口，发起了 AI Hacker House 这个新一代 AI 创业者的社群空间，在真格基金担任 Venture Partner 投资合伙人。我相信科技尤其是 AI 是我们这一代人最大的价值创造机遇。Koji 的即刻，Koji 的网站

[Source](https://www.xiaoyuzhoufm.com/episode/6aaa9f039d326477816a3488)

中文简报

深朴王家伟押注全栈具身路线称通用基模难通吃毫秒级物理控制通用大模型因推理延迟高且缺乏动态闭环无法直接胜任物理交互，具身智能的真正壁垒在于高精度真机数据驱动的底层可控动作模型，而非虚高的概念包装与通用脑力下放。王家伟分享了他从中科大少年班到顶级大模型实验室的成长轨迹，并阐述了放弃大厂优渥条件投身具身智能的“风浪越大，鱼越贵”底层逻辑。对话从 GPT-6 Astra 驱动机械臂切入，拆解了通用大脑模型与高频小脑动作策略的分工，并详细介绍了深朴智能在 HiFi-UMI 高精数据采集、长因果上下文（Context）、无须后训练的 Zero-shot 泛化以及 Agentic OS 分层架构上的全栈探索。最后，嘉宾客观点评了海外前沿工作（如 GEN-1.5、π0.7 与 Skild AI），直面具身领域评测缺失与营销浮躁现状，并立下三年内让家庭机器人稳定完成洗碗预处理的务实目标。大语言模型公司难以轻易击穿具身智能：以 GPT-6 Astra 为例，通用基模擅长高层语义规划和空间理解（大脑），但物理世界充满突发扰动，必须依赖毫秒级实时闭环的动作小脑（Action Foundation Model）维持稳定控制。 (4:02) 中科大少年班的选拔核心不是单纯测智商，而是考核新知识的极端吸收转化率（现学大学数理课程后立刻闭卷考试）与抗压自驱力。 (9:28) 王家伟认为“聪明”的本质是能够提出好问题，以及有勇气直面并补齐自己的知识短板。 (13:14) “风浪越大，鱼越贵”：相比大模型已高度工业化和分工收敛的现状，具身智能的技术路线、评测体系与商业模式皆未定型，赋予了年轻研究者从第一性原理定义问题的历史机遇。 (14:54) 深朴智能评估具身基模的三大核心判准为：分布外快速适应能力（Adaptability）、多模态条件可操控性（Steerability）以及原生上下文因果理解（In-Context Understanding）。 (14:54)

Reading summary

深朴智能（Simple AI）首席科学家王家伟认为，当前大语言模型范式已高度工业化收敛，而具身智能技术路线尚未定型，其研发核心在于通过端到端自研高精度数据和兼顾因果记忆的架构，打造高可控性的动作基础模型。大脑与小脑的分工与边界 (4:02) 针对 GPT-6 Astra 操控机械臂展示出的端到端能力，王家伟分析指出，通用大模型（大脑）已内化 3D 空间理解、规划与长上下文反思能力，但其高延迟推理在动态物理世界中难以应对突发扰动。端咖啡杯若发生滑落，缺乏高频响应的系统无法在毫秒级内自适应修正。具身智能必须采用分层结构，由通用大模型负责低频的高层语义与任务规划，底层动作模型（小脑）负责毫秒级高频控制与闭环自恢复。尽管端到端单一大模型是长期潜在演进方向，但现阶段初创公司的务实策略是将底层动作模型的可控性做到极致，而非盲目押注巨型单一架构。数据工程：自研 HiFi-UMI 与标注自动化 (25:24) 深朴智能选择覆盖“数据采集-基模-系统-本体”的全栈闭环路线，并开源了 2,000 小时真机轨迹数据 HiFi-UMI。该方案采用自研纯视觉毫米级 SLAM 与微秒级硬件时间戳同步，配合腕部与头部共 6 目的防遮挡构型，在仿真回放中达成 95% 以上的真机复现率。王家伟解释，团队暂不采买百万小时第一人称（Ego）日常视频，主因在于 Ego 视频虽然单价低但后续清洗标注极其昂贵、有效利用率低且泛化机制尚不明确；自主采集的高质量数据入模率超过 90%，更便于严谨验证模型参数与数据配比。在标注端，团队通过 GPT-6 Astra 生产高质量种子标注数据，再蒸馏训练专有小型标注模型，以替代纯人工标注流程并解决真实场景中的细微匹配误差。从因果时序到长程任务的三层 Context (36:10) 王家伟批评行业内热炒“世界模型”为概念包装，并指出具身学术界普遍依赖单帧观察决策、严重忽视时间因果律的缺陷。深朴智能将具身系统的上下文（Context）严密划分为三层：一是一秒内的瞬时因果 Context，用于在抓取滑落瞬间加大夹爪握力，完成微小的试错纠偏；二是数秒至数分钟的中期工作记忆，用于将刚掌握的杯沿宽度与最佳力道直接复用至抓取同类物体；三是长期记忆 Context，用于支撑物品收纳后重新寻回等复杂长程家务协作。针对触觉传感器的应用，深朴目前主要依靠上下双相机的无死角视觉观测推断滑动，暂不大规模铺设触觉硬件，以避免市面传感器接口未收敛带来的供应链兼容与技术负债风险。预训练零样本涌现与严谨看待 Scaling (34:15) 深朴智能的模型在不做真机后训练的情况下，已展现出跨任务的零样本泛化能力。王家伟指出，跳过预训练直接用后训练刷榜将无法定位模型底座的缺陷。依托高因果密度的数据，模型在混合训练数千个任务后，不仅对仅占数据量 0.5% 至 1% 的低频任务展现出零样本执行能力，还能将从未共同示范过的动作与物体自主拼装，完成如“把零食放到蓝色盘子里”的跨任务组合。对于业内频繁宣传的“具身 Scaling Law”，他持克制态度，强调目前捕捉到的只是操作成功率随数据与算力增加的幂律（Power Law）趋势，严格的定量“定律”仍需更完备的实验来刻画最优分配曲线。具身 Agentic OS 与破局破噪的研发文化 (44:34) 为了让大模型平稳驱动硬件，深朴智能设计了具身 Agentic OS，利用中间连接层 Harness 连接负责语义规划的 System 2 与高可控动作执行的 System 1，重点解决高频视觉流导致大脑 Context 爆炸和网络延迟的难题。王家伟认为具身领域当前存在评测基准失真、数据过拟合包装等严重行业噪音，团队将依托真实真机基准展开验证。在研发管理上，深朴保持约 70 人的扁平架构，延续了他在 DeepSeek 期间形成的“不靠加班拼成果、靠深度思考选题”的自驱文化，向研发人员提供无上限的 AI 工具额度支持。王家伟将三年内的具身落地检验标准聚焦于具体现实需求：若机器人能在真实家庭环境中自主完成倒掉残渣并将碗盘整齐码入洗碗机的整套琐碎家务，就足以确信技术路线的正确性，并估计该场景在三年内实现的概率约为 80%。

Source quotes

[14:54] 王家伟: 风浪越大，鱼越贵 [14:54] 王家伟: 我比较想做一个能自己定义事情的角色。 [14:54] 霍翔: 年轻人就应该去闯一闯，失败了无所谓，你可以从头再来，只要在这个过程中积累了足够的认知，随时可以开启下一段事业。 [9:28] 王家伟: 没有上过高三，没有被高三荼毒过。 [0:00] 李飞飞: 让事情保持简单，但不要过于简单 [0:00] 王家伟: Keep the world simple [54:14] 王家伟: 只是一种暂时的工程妥协，并不本质 [68:10] 王家伟: 我觉得概率挺高的，三年的话，实现概率大概有 80%。 [63:15] Koji: 商业主流价值观一直强调‘人要做自己最擅长的事，创业更要做自己擅长的事’，你为什么反其道而行之？

Original transcript

[0:00] 嗨我是Koji那本周十字路口的嘉宾是王家伟来自深谱智能的首席科学家你好家伟欢迎来到十字路口大家好那我们还是先快问快答请问嫁为你的年龄我是24周岁下个月就要过25的生日了你的求学的经历呢我其实小学和初中是在小县城读的然后高中就去了和非中然后也是在高二的时候现在高考加入了中科大双连班2020年的时候得了和中科大和微软亚洲研究院的年合奔养PhD的机会然后就一直到现在2006年我刚刚才PhD毕业你的MBTI和星座但是我的E可能是50%的E星座是天秤座一句话介绍一下生普智能SIMPLE智能是一家面向家庭的通用聚生智能公司然后我们的这个slogan其实是keep the world simple就是让世界变得简单所以就是为什么我们要取名叫英文名叫SIMPLE AI的一个原因因为上一场我们录的播客是和徐梦迪是和清华差变的一位助理教授然后他在李飞飞组作过的时候我问他飞飞最喜欢问哪些问题他说飞飞特别喜欢问一个问题是爱因斯坦曾经说过的一句话就是要让事情保持简单但是又不要让这个事情太过于简单嗯嗯嗯我觉得这个话挺有道理AI领域其实有一个很著名的定律是奥塔姆剃刀原理如果做了过度的设计其实很多事是不work的你要保持在简单的情况下做好你的各种的实验验证才能证明你这个事情是真正有效的之前很多学生研究比如说NLP包括以前CV都去过度设计模型结构一做事但后来大家发现非常simple的一个GPT就把所有的事情就干掉了昨天见到一个研究员他们之前在OpenAI O1出来之后也开始做类似的训练所以设计了一套他觉得非常综合的infra然后结果过了四五个月之后Deepseek R1发布然后发了之后他们团队就开始删掉两个礼拜的代码删掉90%发现不需要那么复杂的设计是的好你当下在生普智能之前你的工作经历可以介绍一下可以因为我也是刚刚PageB业其实我主要的经历就是博士期间做的一些事情了然后我在MSRA待的时间是最长的是一开始跟着我的博士生导师关于文档智能的研究我在24年的时候就去DeepSeek实习因为当时是觉得多么太大语言模型已经可以做到很多之前小模型做不了的事情了然后就去那边实习在他们的DeepSeek多么太组去做一些事情包括也参与了他们DeepSeek V3的一些预训练数据的一些工作后来我是觉得之前的语言模型已经从Chat往Agent的方向趋势变一个转换了因为Chat其实很难产生一个很大的商业价值但是Agent是真正能够工作效率的这样一个能力所以我当时在25年的时候就去选择了在SEED的一个做Agent的一个组实习当时那个组是SEED内部很早很早做Agent的一个团队因为你现在这个在生普市叫首席科学家嘛然后你小时候有一个梦想是要长大做科学家吗这个还真是有想过就是生日的时候还真有许国愿哇塞愿望实现了但那个时候你想象中的科学家在做的科学家的工作有哪些相同哪些不同这个当时因为当时很想当时可能想的是说你要在实验室里面做什么生物实验化学实验或者是你是在数学学科这种技术领域提出了什么样的一个猜想我在外面一些这些事情当时其实对于计算机科学家这个事情没有太大的概念所以这是一个很大的一个不同的一个地方但是其实相似的地方可能在于说我确实有机会去一直探索大家都不知道是什么的一个事情所以你当下花时间最多的探索工作研究工作是什么我现在花时间最多其实就focus在说巨升基础模型的预训练到底应该怎么做因为这个事情它的各种路线都没有收敛我们在走自己的一条路说到我们录播客的前两天就GPT6 Astra发布然后发了之后交媒体上就各种刷屏就用Astra去直接驱动这些B去做各种各样的任务你看到那些视频的时候有一些什么样的感受这个其实蛮有意思的就是我一开始确实很难想象到说一个通用的一个语言模型既然能在聚生的task上比如说即使不是这些很难的任务比如说像抓积木成功率非常的高当时却看完之后其实是觉得这个model的能力确实是已经超乎大家的想象了因为之前其实用AM去做robotics这件事情其实这个概念已经不新了因为在几年前或者更早的时候其实大家就已经开始做Codex Policy这套思路最近其实前几个月就李飞飞老师团队和Jim Fenn团队也是提出了一个叫CAPX的一个工作所以说Codex Policy已经很早但是Codex Policy当时还是需要依赖于一些比较小的model去做感知做识别相当于是已经把 [5:00] 这些小模型所承担的能力全部融合到了他自己的里面去了所以使得说他能够充分利用他的3D的空间理解能力他的场景理解能力他的任务规划能力包括一些试错总结的能力来去做这种复杂的事情就是我当时看到有一个地方把一个笔绑在机器爪上面然后让Model去画一个金门大桥你如果直接看那个成品的话你会觉得非常震撼Model今天能控制机械笔控制这么精准但其实它中间也经了好几个过程它是画了一遍两遍三遍四遍才变成了我们最终看到的样子第一遍的时候可以明显的看到那个model在尝试怎么去使用这个笔然后第二遍的时候逐渐有轮廓然后第三遍第四遍的时候逐渐变得很清晰就是这个画的确实非常好了所以说对于现在的一个就是GP6它能做一些事情其实我觉得非常大的能力是来源于它的一个对于任务的一个试错和理解就经验总结再包括刚刚就说的把一些小模型的这种定位能力这些空间理解能力给融合进来了画完之后他都有摄像头去再传回去对吧他自己再去做每次画的时候都会去实时的去读他那个视频流然后等画完一张图之后就会把那个没画好的给他丢掉然后换一个新的白纸上去但那个上下文一直存在他的脑海里所以他可以一直知道说我之前经历了什么怎么画的为什么画的不好然后逐渐调整他使用这个笔的或以及控制他这个末端的一个操作能力所以其实也开始有一些说法就是说这个OpenAI和Anthorpic这样的计划公司最后才有可能是做出巨声大脑的那样的公司所以对今天做这个巨声模型的公司好像三炮有可能会将会打击大家我不知道你怎么看这是一个其实挺好的问题就是最近和很多同行也在聊这样的一个事情我是觉得巨声的一个系统就跟人一样它其实除了上层的大脑的理解的梦子之外其实还是需要有控制肌肉的这一部分的小脑的存在的对GPT6来说它确实能够去直接操纵机器的末端去做一些事情但是你如果仔细会看它的执行的速度是非常慢的因为它一次推理时间其实需要很久的比如像呈现出来视频可能都是16倍速或者32倍速给你去看的而且在这种情况下其实在一个静态的环境里面model去做这件事情是能walk的但是你在一个环境比较动态的一个情况里面真实的环境里面其实很难去做这件事情比如说我尝试拿桌子上咖啡杯咖啡杯里面有水有咖啡你如果第一次没拿好很容易就把它打翻了翻掉之后它其实很难recover很难去恢复了对但是就是因为它这个model没有一个实时的一个控制能力所以导致说你发生倾斜它很难直接非常快速的去调整回来但是对于一个我们真正想做的一个action的foundation model来说它其实是需要有这样一个肌肉反应的而不是说纯靠一个大脑的一个推理来去做好这件事情所以我觉得这中间肯定是有overlap的地方但是也一定程度上有区分的点我觉得最终大脑那部分肯定是非常重要的而且我觉得它一定是一个很大的model去做各种复杂的场景理解任务理解但是下面一定要给它配上比较好的这种action policy使得它能够做到刚刚说的这种快速调整所以你觉得大脑之后会是在Transformer语言模型这里就加进去更多的这个比如说聚生的数据涌现出来还是有另外一套不一样的模型架构出来我觉得大脑这一侧已经比较收敛到GPT这种类型了因为首先是它有很强的推理能力我们其实非常难的说从头去做一个跟它完全不一样的范式把现在那么强的一个推理能力Agentic的能力给融合进来其实我们反而是沿着这个路线继续往前推比如把这种第一人真视角的视频第三人真视角的视频转换成莫洛克训练的一些任务类型给它训进去补充它增强它这部分能力我也相信就是GPT或者其他计划厂应该在做的事情沿着现在这个路线往前走是没有什么太大问题的我们待会会展开讲一讲就是咱们在生谱智能的模型的工作我们今天播客会分成三个部分第一部分是聊一下家伟的成长经历少年班到科学家的这个故事然后第二是在生谱智能的工作然后第三部分是我们会聊一聊就最近半年巨生领域的各种突破除了前面提到的这个Astra还有包括歼1.5派0.7等等好那我们说一下少年班因为大家说到少年班都会讲到天才少年所以少年班同学一届大概多少人当时那一届是三十几个人你觉得大家就是有什么共同点吗都是比如说智商很高还是有什么别的共同点我觉得大家的共同点是自趋力还是比较强然后大家的思维还是很敏捷的就是接收新知识的能力是比较强的我觉得这是比较大的共性给我们讲一讲少年班是怎么考怎么选拔的或者高一的时候甚至有初三的同学了就是你年龄 [10:00] 在当时是在15周岁以内然后你就可以去参加高考成功构好之后你的分数线大概要达到当时当地的科大的录取分数线大概是浮动20分就是你可以稍微的去降低20分的要求来去看要不要让你进面试然后如果你达到他的学校的要求之后你进了面试你就需要去经历一个比较特别的一个考验就是你需要去当天同时上一节数学课同时上一节物理课上完课之后立马给你发试卷去考试然后看你对吸收知识的一样一个能力他考的都是他给你教的都是一些大学的一些课程但是又没有那么的说就是脱离了你完全没有基础的这样一个情况所以说只是为了让你考验说你注意力是否足够专注然后你的这个知识社区转化成输出是不是足够的快大家考验这种能力然后这个之后就会去有院长来亲自跟你去一对一的去聊比如说你假设你进来之后你如果没有跟上这个教学或者说你对这个事情没有那么大兴趣了然后你想说宽专业什么的你可能会有什么样的调整的方式会有一些很open的这些问题这一场面试了等于上是要面试了所以进到面试和最后这三四十个同学这个中间的选拔的比例是多少基本上大概100个人进来然后可以大概选个三四十个人这样少女班的经历有给你留下一些什么吗我觉得这个还挺special的就是因为首先是他让我摆脱了高三然后我没有上高三我也就是可能没有太经历过这种刷题的题海战术的这样一个学校没有被高三荼毒过我想到交代ACM班于庸老师有一次就是分享说他在ACM班的第一年做的事情就是帮大家洗刷高三带来的毒害然后大家也才开始进入可能真正的培养大概这个意思所以你没有被高三荼毒是是是是所以说进来之后我们大一的时候就会上一些非常基础的同史课就是数学的基础物理的基础甚至是有一部分化学的基础你都去上一下让你了解就包括计算机了你上完之后你了解你自己的兴趣点在哪然后你再去选专业所以这个是我当时觉得挺好的一个地方而且我当时对于计算机这块特别感兴趣所以我当时大一下学期的时候我就选择了计算机专业然后其实科大另外一点其实对我影响比较深的是多的科研资源所以我本科的时候就已经跟着一些老师做AIRScience了就那时候很早很早到AIRScience做的是生物里面分子马达的一些工作用计算机模拟的方式去研究分子马达里面的一些相变过程之类的所以当时还是很交叉的一个学科去做也是做了一些科研然后有些产出然后另外一点可能有点影响的就是我当了少年班挺长时间的班长所以我做学生工作也做的比较多我知道我其实还是比较会和别人沟通然后人员也还不错的这样一个状态就很ENTJ所以进到少年班应该同学们都非常聪明所以你现在会怎么理解聪明这个词其实最早我可能对聪明的理解可能就有粗浅的在思维敏捷这一点上或者是学性能力很强的这一点上但其实过了这么多年回头去看的话我是觉得聪明这个包含的点其实蛮多的而且我现在认为可能因为思维敏捷的人他可能不是最重要的一点而我觉得可能最重要的一点是会提好问题OK我觉得这一点是我对于聪明的一个比较重要的定义然后第二个点我个人认为是他就是聪明的人是知道自己的不足是什么的并且愿意直面它我觉得这个点就蛮重要的所以你觉得这一步足是什么我说实话我其实对于硬件的理解没有那么的深我其实对于软件这一侧我很小的时候就很感兴趣因为我父亲是计程机老师所以我一直很感兴趣这件事情但是我对于比如说汉板子比如说搭电路这个东西我就一直没有太起得起兴趣但是当比如说我现在来神普做robotic extension我不得不去面对这些事情所以我也知道我的部署所以我会经常跟我们的硬件团队的人要的这些问题尽量的去寻求他们的帮助因为我知道我自己这一块的经验是不足的其实很多人会和你做非常不一样的选择有些人会觉得我就发挥自己的优势然后尤其是之前你在DeepSeek在Seed都是做多摩泰就是做大模型的比较软的实习和工作然后现在转到巨生你好像在直面自己的过去经验的缺失这个选择的原因是什么为什么要去做巨生这其实是一个好问题我选择做巨生一个new grade去选择从大模型这个方向转向做距禅这个方向其实是因为我比较想做一个能自己定义事情的角色吧就是在大语言模型这领域包括说我在C的实习 [15:00] 其实大家的工作方式还是已经比较稳定了作为一个new grad进去之后你更多是在去重复一些已经定好的一些计划你很难去尝试突破一个自己特别感兴趣的方向然后在巨升其实是整个行业都是一个非常没有收敛的这样的情况你在里面其实有非常多做研究的一个机会所以说对于没有那么强认知的东西我就特别想搞清楚这个事情应该怎么做而且对很多人来说哪都没收敛好像也是一种风险但你感觉是一个机会我比较相信风浪越大鱼越贵了你在这里面你就能做出一些很多有突破性的东西就有机会去做这些事吧而且就像我觉得我导师对我影响也比较深了就是我当时跟他聊过说我可能不去大厂了然后要去创业这件事情我导师会觉得说年轻人就应该去闯一闯失败了无所谓你可以从头再来嘛你只要获取到足够多的经验你完全可以开启你下一段的事业嘛就是所以说我对于风险这件事情的承受程度是比较高的我觉得它是个机会吧就是风险和机会一定是并存的最大的风险是什么我觉得是时间如果你方向真的踏错了你探索了几年的时间发现完全是在一个错误的路上走我觉得对于个人的打击是会比较大的但其他的我觉得还好所以你觉得今天大家在做的巨森的各种探索里面哪条路或者哪些路的风险是有可能会涌现的这个确实是一个现在没有特别好答案的这样一个问题我自己个人的一个思路其实是找到巨生的智能它的智能到底体现在哪儿其实这个是我们内部一直在讨论的问题就是你很难说一个机械臂它把一个水杯提起来它就是智能我们其实定义了一些什么是智能我们现在很关注模型的三个能力第一个能力是它的适应能力这个适应能力可以表达就是说刚刚说的ZeroShot能力以及FueShot的适应到一些完全OOD的场景的能力这是适应能力第二个能力是有非常好的Sterability的能力Sterability值的就是可操控性它这个可操控性除了语言的操控性之外可能还有图像的操控性视频的操控性就给它一段视频它能很快的follow住你的视频所以说这是第二个我们定义出来一个很重要的能力第三个能力就是一定得有一个很好的上乔文理解的能力就是之前巨森我看很多巨星的工作其实对于上下文的特别是原生上下文的理解其实是不足的大家更focus在说我希望我根据我当前的observation就要把这个事情给做了但其实很多事情它都是需要有context的理解才能涌现出对于整个世界dynamics的理解的所以这是我们定义的三个最重要的能力对我们也是沿着这个去做我们的基础模型嗯对OK我们待会会再介绍一下基础模型哈然后在此之前我们还是回到这个经历里面读phd的这一段然后这是中科大和msra的一个联培的博士然后呃你觉得你读phd的这几年因为恰好又是巨星AI飞速发展的几年吗你觉得这几年你会把它切成几个阶段吗有没有这样的阶段感我觉得可能就分两个大的阶段吧就一个阶段就是在之前的文档智能上面的就特别是我博士课题也是这个就在这一块做的一些非常重要的工作就是另一块就是说在大学院模型时代我对社区的一些贡献吧前者的话是也特别感谢我博导就是霍翔老师他提供这样一个平台去做一些真正让你的研究可落地化的这样的一个机会然后我们当时在微软其实做了很多的关于文档理解的事包括OCR包括版面分析表单理解的一些事这些算法基本上都被应用到了一些微软语言上的API包括说对类的一些基础设施所以说从这一点我们其实是不是一个纯研究的PHD Research而是说我在做Research的同时去思考这些Research到底能不能对落地产生一个实际的价值到底能不能赋能更多下游的各种商业的应用场景然后在后半段的时候其实主要原因还是想去在大语言模型这个时代里面去成为弄察儿之一吧所以就选择了去外面实习也去DeepSeekDeepSeek实习其实当时就已经在做一些包括多么泰大语言模型的一工作包括AgenticRL的工作包括商业用管理的一些工作然后所以说大概可以分为这两个阶段你去DeepSeq的时候是发了V2之后但是离R1发布还有一段时间那段时间的DeepSeq内部是一个什么样的文化当时其实其实整体的就是跟我去我去了之后和我去之前其实得到的印象其实是接近的就是去了之后大家还是以一个比较偏研究者的心态去推进语言模型这件事情包括不管是多么太语言模型还是LM这个模特儿就是大家还是不会太急着去考虑落地这个事情而是更多是推 [20:00] 智能边界在哪所以做这件事情的时候印象让我特别深刻的一点就是DLC的工作强度确实不大但是仍然能做出很好的工作出来这说明对于researcher来说工作强度不是一个必备的一个产出就是产出一个好的东西工作强度不是一个必备的一个点然后另外就是说在那边的一个感受是大家还是有比较清晰的一个项目规划的一个方式吧就大家的工作因为人都比较少嘛然后会分出来一大块让你去handle你也可以去就是接触到底层的一些代码比如说infer的代码你也能接触到这是后来我在seed其实很难去做的一个事情了那去的不是一个大当时其实一方面是Deepseek有很多MSRA的师兄然后也获得了一些信息另一部分是HR又联系到我这边因为当时在做文档智能然后Deepseek VL2当时多么太亚模型一个很大的应用方向就是做文档所以当时就觉得说他们那边觉得说需要一个做文档的人支撑一下Deepseek VL2文档的能力所以当时我就去问我愿意去做这个事情的时候我当时就觉得还挺match的然后就回去了SIG听起来很好但为什么后来跑去了SIG的这点其实主要原因是DeepSIG当时对于多么泰的投入其实很少了OK就是当时DeepSIG VL2做完之后大家会就是从上层的领导的这个眼里面来看可能资源更重要应该要倾斜在语言模型上面比如说要去推R1这件事情所以对于多么泰组来说能获得资源就会很少而且当时我做的很多事情都是把文档智能之前的经验迁移到大语言模型这边来即使继续做下去其实也更多是在附用我之前的经验去做些事我想去做一些更不一样的东西当时有个点就是我当时已经看到了agent的一个潜力了所以当时就聊到了seed当时有个组很早去做agent然后当时就加入进来去做在seed做实习了所以在seed和在deep seek做实习的感受有因为两边文化的不同你自己有所不同吗感受上会有一些吧对就像刚刚说的一样在Deep Seek的话我们能接触到的代码或者你可以做的事情其实会稍微的scope更大一点点但是在Seek的话因为它是一个精密可以理解成是一个比较庞大的一个组织这个组织里面人很多然后大家是一个相当于是一个非常精密的运行的一个仪器然后所以我每个人他有自己很重要的点去做之外的一些事情所以在这边在C的做事情的话可能就会一方面是focus在自己所关心的这个点上面去另一部分是有很多事情别人已经把你准备好了这也是个双任件了就准备好之后你就不需要管了但是这个东西可能就是很重要的一部分就是比如说一些data的infra或者一些training的infra其实也是对于research来说很重要的点其实会有些不同所以刚才提到就是你觉得这个巨生的领域更没有收敛所以可能意味着更多的这个风大浪大愉悦大的机会有没有一个具体的事件让你有了这样的想法离开这个大语言模型多磨胎模型的领域然后去巨生的领域这个可能跟我实习的一些感触有关就我当时在SEED实习的时候其实特别想推自精化这个事情就自精化其实大家现在很火我当时是25年的11月12月份就想去推一个自精化的一个工作当时想的是说可以把model通过API形式对外提供服务然后通过服务去收集用户反馈然后自我迭代这个model因为在大公司里面去做这个事你需要和很多部门一起合作包括说比如说你的API怎么对外暴露你就得去找一些对应的一些部门去协商这个事而且你可能需要前期做好非常充分的POC可能才愿意让你去然后另外就是每个部门有自己的工作你这个事情是一个很探索性的事所以你可能能拿到资源其实不多当时就觉得说在这样的一个就是语言模型已经比较收敛的这样一个领域里面作为一个new grade新的毕业生你好像很难自己去定义一些事情去做了可能更多的是跟好大部队去把这个事情往前推就行了所以当时就觉得说正好就是有这样的一个加入巨生创业公司这样一个机会然后就去做了更深入的了解居生确实是一方面是公司愿意就是给我表达自由度去做事另一方面是这个领域确实有很多可做的点可演绎的点对OK好那我们聊一下这个深谱智能因为深谱智能应该是一个这个从数据模型到本体你们还做了一个Agentic OS就感觉全链路都在做这个背后的考虑是什么为什么要做全链路我们对于公司的一个定位其实是一家终端公司不是一个纯数据公司也不是一个纯模型公司而是想对外提供一个真正产品的一个公司因为基本上整个电路是 [25:00] 非常的长然后它中间包括从数据到模型到部署到增机这样的各个环节然后最终真正产生价值的还是最终那一part就你把这些东西都放在了一个产品里面对外提供一个价值所以从这个角度考虑我们才把公司做成这种全站公司我们不是为了做全站而做全站而是我们有这样的一个目标所以我们不得不去做全年度的事这样的一个全站其实是我们会觉得说它是一个比较大的一个壁垒的一个过程中比如说模型这一侧如果在整个行业突然爆发了有一个特别好的点出来了一个特别好的模型出来了然后我们可以快速的follow住快速的去迭代然后并且放到我们自己的这样的一个产品里面去我们就能更快的去拿到场景里的反馈用户的反馈然后来把我们整个事情给对做成我看其实已经发了一些工作了月底的时候是发了一个我们自己的数据集这个数据集也是支撑我们做Pretraining的这样的一个基石这个工作叫HIFI5米了前几天看好像在Hugging Face和Motoscope上累计下载量已经50多万了所以是一个影响力还算不比较大的这样一个数据集这多长时间的我们这次是开源了2000个小时实际内部已经到几万小时量级了然后我们做这件事情其实大概也就做了半年的时间然后我们最早的一个考虑是我们一开始没想过要真正自己做这么精细的一个素材设备的一个事当时想的是如果有特别好的一个素材设备的供应商或者是一些好的合作伙伴那么我们就可以拿来用但是当时测了很多这种素材的设备谢谢大家。精度啊或者时间同步根本就达不到我们自己的要求所以你们自己做的是什么样的我们自己做的是一个超高精度的这样一个乌密的手套乌密指的是当时是宋书然老师他们组做的一个通用的操作接口也就是相当于是可以让书彩员戴着一个夹爪手套然后戴着夹爪手套然后去做一些事情然后去把它做事的轨迹给记录下来作为模型的训练的预料在这个过程中其实我们做了比较关键的事情是一方面是我们抛弃了基站的定位在一个桌子上面摆好几个基站然后去做定位使得我的轨迹恢复要很精确到毫米级但是我们是用一些很比较special的方法去使得说我们抛弃了基站我们只用相机就能做到毫米级的定位另一部分是我们把时间同步这个事就相机的时间戳的时间同步做的特别的好到微秒级的这样时间同步因为最近也看到很多工作做这个污密这件事情但他们会是觉得做污密的过程中会遇到这种时间戳不同的问题所以我们要有些special方法解决源头上就已经是很准的了所以你这样的话你就可以控制变量在你的模型侧可以做一些更多的事情所以这个摄像头是在哪里的摄像头我们整套设备其实是六度相机我们头部有双目的相机然后我们的腕部两个腕部分别有上下上下的相机所以一共六个然后上下的考虑其实是为了去防止遮挡所以做这样的一个设计OK为什么要踩那么多的视角呢就或者说因为理论上你也可以踩更多的视角那是怎么决定首先是为什么有万部万部它是必须的因为对于甲爪的精巧操作来说它必须得保证它视野是无遮挡的如果你只有头部的话它其实是很容易遮挡住使得它无法去做视觉层面的预测所以万部是必须得有的然后头部为什么这样头部最主要的原因是我们要做定位就是刚刚说的为什么我们可以抛弃基站就是因为我们有了头部相机之后我们可以通过Slam的一些方式去使得我们的定位精度做得很高并且头部也可以迁移到Cocentric的数据采集上面去我们也没有overdesign对你们怎么验证就是采了这个数据它真的有训练价值的就是一开始你们应该是做了一小批数据验证了之后然后才放大到2000小时更多小时最早的时候其实就是把乌米做做通这件事情其实不是一个容易的事就是特别是在国内的就是没有之前其实没有几家真正把乌米给做通了然后我们当时在做这件事情也是采了很多的坑了然后从第一批把乌米数据采回来之后我们就会在自己的一些小规模的实验上面做验证模型上面做反 tuning反 tuning完之后我们直接去做evaluation就登记实验去看这样的数据是否能做到比如说成功率到百分之多少然后或者说他确实能做一些我们希望他去年级里面的一些事情对当时我们在一些相对比较容易的一些任务上面其实就已经验通了这个事验通之后我们是相信的只要我们数据采集这个事情做对了我们大概率是能够扩展到更多的任务上面去的另外就是我们肯定在中间对我们设备做了很多的测试和迭代就相当于是我们在仿真里面把我们的采过来的轨迹做一个回放看能不能在我们的本体上做出来这些动作我们发现95%以上的都是能做的这也是坚定了说我们确实可以大规模采集的一个原因对然后所以说基于这些考虑包括说我们的 [30:00] 音度时间同步 replay的比例所以我们就对我们的这个数彩的设备做了一定的扩展然后也是自己做了一些数彩场地的租赁然后去采集这样的事因为采数据和标数据现在就是比如说分别在投入上是一个几倍的量级啊这是挺好的问题就是我们之前采数据的这个投入比例还是更高的因为首先你得量得上来所以我们其实除了在数材场景里面采之外我们会做一些外采外部采集就在家庭场景酒店场景民宿场景做各种样子采集使得我们的分布的多样性要好然后其实最近一段时间我们在标注上面的投入是更大的就是因为我们发现采回来的数据它其实需要非常精细的清洗才能用的特别好的其实我们也试过说的原始数据直接训练也是能比较work 也能比较work 这说明我们数据精度确实很高但是其实是也发现了中间一些mismatch的一些问题了所以我们最近一段时间其实更多是focus在数据清洗的这样我们希望把它变成一个真正标准化的一个自动化的这样一个标注流程而不希望太多的引入人工就是Astra 让自动标注变得可能其实这是一个很好的point 就是我们最近试用GPT6 Astra 也试着帮我们标注清洗做了一批我们发现做的比人还要好而且他能够24小时在那里做而且成本上跟人其实成本差不多当然GP6它的效率还是有点低因为我们是当时用就直接充值了Codex的耳朵去做这件事其实它还是有一定限制的所以我们是在自己去training我们自己的标注model相当于是用类似于GP6可以给我们标数据标完之后我们可以自己训自己的模型而且这个其实不需要训的特别多就是一小批量的然后持续迭代基本上就能做到一个还不错的效果了然后咱们刚才提到我们的HiFi Wumi的数据库开源了2000个小时你们是出于什么考虑要开源这个其实之前是做research的所以对于开源这件事情大家还是抱有一个就是挺自豪的就是希望自己做的工作能更多的被别人看到更多的被community使用来推进整个community往前发展所以这是为什么我们开源两千因为两千小时也不少了对于做基本的research就是一些研究的学校里面的研究lab也是可以用的了所以说我们开源的脸钱这样一个小时数据另一方面是我们也希望说让从社区里面收取一些反馈吧去看我们现在的数据可能会存在哪些问题然后来去持续的就迭代我们这样的一个素材设备大概是这样的一个考虑明白所以开源后收到那些反馈了吗开源之后其实是收到挺多公司的邮件就是希望要买我们的数据就包括海外的公司国内的公司了这些是比较多的然后另外就是说可能收到一些反馈觉得说有两个问题第一个问题是这个marker就是我们我们那个手上面会有一个专门为了定位去设计的那个二维码那个marker太大了有些影响所以说他会觉得是不是可以把它做小一点更好然后另外一个事情是觉得我们那个手套就是这个在真机上面发热有点严重因为我们当时把真机的一些实验结果也放过来给大家看了其实我们感觉到是有一点那个发热的一些问题的这其实是一些其他的问题比如相机的供应商的一些问题或者一些其他相关的问题但是也是收集到了一些还不错的反馈吧那我们刚才这个在聊数据然后现在还是想回来再聊一下模型就目前我们模型是年底会发大概透露一下我们现在有哪些可以提前透露的东西吗有一些可以透露的吧就是其实我们现在摸到已经能0 shot做很多事情了OK这个是我我们当时测了一下就是当时其实没有抱特别大的希望说zlshort因为之前确实没有特别多的公司说自己的model能够zlshort就更多是需要后训练然后在一些仿真真基的benchmark上做测试然后去打分但是我们当时为什么要做zlshort的验证这件事情主要是因为就是你如果不做这些哨子或者你不做预训练的一个评估你很难去直接的去判断出来你模型的能力到底在哪你有什么需要改进的点所以我们当时就做了比较细致的这样一个评估的事情然后其实现在来看其实是已经能做到不少完全没有不需要后训练直接几千个任务的模型直接上去训练训练完之后我们就直接可以做一些task了而这些task还不是跟原来的训练机里面完全一模一样的是通过一定的泛化能力泛化出来的比如说最近建1.5发的时候他是讲说给模型看一个三秒的视频模型就可以取然后所以你指的是类似的能力吗我们不需要给他视频就他那个还是one shot对他那个是one shot的Zell Shots能力这主要原因我们内部讨论主要原因还是因为我们的数据质量确实很高对于Geralist来说我记得他们之前Gin1的时候他们说是他们需要一个小时这个任务上的增积后期年数据 [35:00] 他们表现成功率非常的高但是他们没有说过说他们5米的数据直接去询完之后直接就有一定的rearshow的能力这好像是没有太看到的那是非常期待这个模型发布的你们也在做世界模型吗这得看世界模型怎么定义了我们没有特别的去往这个概念上面去做我们就是沿着我们刚说的几个比较重要的能力反推出来什么模型最适合学习效率最高在这个能力上面需要什么数据是从这个角度去考虑的所以对于不管是what action model还是boa我们其实都会去borrow最精华的最适合我们这个能力的一些点去设计我们的model所以我们不是一个follow型的这样一个工作而是一个我们自己在设计一个最适合我们定义的智能的这样的一个model但当然我们肯定也会利用一些之前已经预训好的一些知识了就不会完全从头去做这件事情一开始的时候你也提到模型有三个技术能力然后其中一个是也是最后一个是说关于context的能力为什么在强调这一点呢因为我之前是做语言模型的从语言模型的角度来说特别是agentcontext是里面最重要的点你只有有了非常充分的context他才能去更好做决策但是对于聚生的领域来说我过来之后去读很多文章其实发现大家对于contact这件事情的关注度没有那么的充足大家可能会去假设这个model是通过当前的observation就能够做很多事情了而没有考虑过说我的context里面蕴含的那些因果的信息所以我context其实我们定义上可能会分为几种类型一种类型是说在短时的context它其实蕴含了非常丰富的因果特别是接触丰富的这些任务上面比如说我拿一个水杯我第一次拿的时候夹爪可能没有夹得特别紧导致它松了它松了之后你下次就拿紧抓紧了把它提起来了一个是从他观察到的图像到我做了这样一个动作是松的松了之后我的图像往下滑了我的杯子往下滑了再到我给它夹紧然后又稳定的可以做了这一套一个过程里面其实是一个非常丰富的一个context虽然说他们可能是在短时间内可能一秒钟之内发生的但是他的context对于模型的作用是非常非常重要他从那边很自然就能学到说原来我是这样做错了我下次应该怎么做对所以这个context从短时间上面来说它蕴含了非常丰富的因果信息可能就跟memory更相关一点了就是我们比如说我这桌子上面有好几个一模一样的咖啡杯我去拿第一个咖啡杯的时候可能要经历我刚刚的那样一个过程等把它夹起来但是他做第二个咖啡杯第三个咖啡杯的时候他已经非常清楚的知道我咖啡杯的宽度是什么刚刚输出的宽度是什么了那么就很自然的迁移过来不需要做重复的试错了所以这个context稍微长一点context也有它所发挥的作用另外就可能就是更长一点了就是比如说我做一个家务的时候我可能一开始是把一个东西放在了某个抽屉里面然后我的人类的伙伴让他要去把这个东西找出来拿给我那么你如果没有context的理解能力记忆能力的话他其实是找不到的他每次都得重新去学人必须的重新告诉他在哪所以说从更长期的记忆来看其实context也是最重要的一个点所以你们针对这个是从模型架构还从数据还从什么角度去做了特别的工作吗其实是从数据和模型都要做事情的从数据层面来说就是什么数据能够激发模型对于context的利用从模型角度来说怎么能高效的去建模context因为context自然而然带来的问题就是你的token特别多token多了之后你推理效率一定下降对于机器人这种又执行很敏感的这样的一个系统来说你推理延迟的问题你怎么解决你训练的效率怎么解决其实我们在这块做了一些很spatial的设计OK然后咱们刚才提到HiFi Woommy这个数据集它应该也是咱们用来训我们的模型的数据集对这里面好像没有触觉是就是触觉这件事情我们最近也是非常多的在思考这个问题人是不需要看就能做很多事的但是因为它是靠充分的触觉大家采EGO其实采过来很多数据其实也是不带触觉的只有视觉信息但是现在很多有一个研究方向就是说我能不能从视频里面直接预测触觉出来是触觉相当于直接预测触觉但是预测这种方式其实它的精度是不够高的对于model来说可能做预训练可能稍微有点用处但可能对后训练来说就完全不可用了我们其实也是装了触觉了但其实我们新开源这一批数据是没有触觉的为什么没有呢是因为对于二指甲爪来说它很多情况下通过视觉是能够去判断出来我有没有夹紧的因为二指甲爪它不像零交手零交手是有很多遮挡的但是二指甲爪是比较少的遮挡因为我们做的上下相机的设计这种遮挡就很少了另外现在的触节传感器其实是没有太 [40:00] 收敛的他承认一个很大的问题就是不同的处理传感器它的分辨率是不一样的它的位点也不一样的你今天你投了100套设备用了这个处理传感器你踩回来之后发现这个效果没那么好或者说你这样训练一个model等到这个过几个月又出现一个说更新的这个更好的一个传感器你又替换进去之后那之前的数据怎么利用起来其实也是个问题所以我们也没有放弃触觉这个事我们也一直在试试触觉这个事但是没有太大规模的去把它谱开蛮有意思的最近我应该也会录一期播客适合一个做量子点的一个科学家然后他的博导也拿了诺贝尔化学奖就因为这个技术量子点然后他们做的事情就是发射出量子点来感受触觉大概是这样大家之后可以听听我们播客听他来讲可以其实咱们刚才提到我们已经看到了一些ZeroShot的能力你觉得这个是Scaling Law的一些信号吗就你们觉得有这样的信号吗Scaling Law其实是一个很严肃的事情就是我们现在是看到了Scaling的一些趋势就是比如说把我们的数据对样性扩展起来把我们的计算扩展把我们数据量扩展我们确实能看到性能的一个比较明显的一个提升Scaling这件事情存在的只是说看你一开始做的对不对它取决于说你一开始数据做的对不对你的整个模型设计做的对不对所以但是scaling law毕竟它是个law为什么它是个law是因为它有非常科学的依据在里面的它所探索的是你的数据量你的模型规模你的计算之间存在某种比例关系使得你的训练可预测这是科学的scaling law所以说其实对于现在剧情来说可能很多公司发blog说自己验证了什么scaling law我们会避免讲ScatingLog我们可能会讲说我们存在一定的PowerLog就是指数的指数密率的这样一个现象但是我们不会太说我们找到了ScatingLog对因为ScatingLog是需要你做充分的实验验证定义清楚我多少的数据配多少多大的模型配多少的计算这是很严肃的问题所以我们是在持续做实验验证这个事情这也是很好计算资源的这样一个一个事儿对但是我们已经看到了一些Skinning的趋势了我觉得还是蛮Promissing的对这可以具体讲一讲就这个趋势是什么这个趋势其实就是说我们训出来这样的一个model我们原本可能期望的是它能够在训练级内做一定的任务比如说我完全见过这个任务比如说我们现在训练可能一两千个任务一起同时训练训练完之后我们可能会针对说一些头部的比如说数据量比较大的一个task确实能够可能我这样少的能做但是我们后来发现数据量没那么大的可能占比只有可能1%或者0.5%这种数据也能做另外就是说我即使没有完全见过这个task我稍微组合一下比如说我要去我的数据里面可能没有把遥控器放到盘子里面但是可能会有把遥控器放到遥控器的盒子里面这样的一个任务可能也没有说把零食放到某一个架子上这样一个任务可能只有说把零食放到垃圾桶这样一个任务组合泛化我让他把零食放到那个盘子上他能比如说放到蓝色的盘子上他也可以直接就放过去了他不需要任何的后续念这是我当时是觉得说其实你只要你的数据对象性起来了你的模型的能力应该是会有很明显的超乎我们想象的一些结果对我看到深谱其实发了一个Agentic OS可以讲一讲这是什么吗Agent这件事情因为我其实在去年的10月份就跟我们的CEO和CTO做很深入的交流当时我在做Agent我当时觉得对巨生它肯定是一个Agent的System它肯定不是一个单点模型的一个事情毕竟它是一个很大的系统它需要与人交互它需要与环境交互所以它肯定是个Agent然后我们当时在做一件事情其实就是我们公司好像也是国内很早很早讲agent一个system做巨生的这样一个公司了然后我们自己在前期的时候也做了挺多探索其实主要就是说怎么把harness这件事情给做好就是对于巨生来说他所需要的harness和做digital的agent来说其实他需要harness是不一样的也就是我们在这个过程中其实是构建了一套与人交互包括说语音识别包括说任务分解任务拆分工具调用然后再到下面的一些更底层的一些设计然后我们做了这样的一个system可以分为是两层就是System 1和System 2然后只不过说我们围绕上层的大脑的模型做了更多Hunt上的设计使得它能够去比较好的去完成我们给它定义的一些任务比如说像WRC上其实你就可以用一些语音对话的方式去跟它交流让它去帮你拿个衣服或者帮你把衣服送洗到送到洗衣机里面去然后洗一下所以它整体构建了一个这样的System所以System 2指的是理解意图System One应该是指的快速去执行 [45:00] 清晰化的执行对咱们System 2背后用的模型是什么其实我们前段时间用的还是Seed的model就是字节Seed的model毕竟我参与了那个工作之后会换成Seed的model吗我们正在尝试做因为这个其实挺好支援的因为我们认为大脑是一个参数量一定得大的model能做对于我们这样一个创业公司来说其实算力是很珍贵的我们会优先级可能会放在做Action的Protraining上面去因为现在大脑模型一直在快速发展在哪儿所以你从GPT5.6到GPT6其实有很大的一个跨越那么已经有这样很多公司在做这样一个事情了我们其实可能更倾向于说一方面是看能不能定义出来我们所关心的一些大家没有太看到的这个聚身方面的大脑的能力另一方面是希望尽可能的利用别人这个已经做好的一些东西来反补我们整个系统这个整个系统的这样一个稳定吧System2这个最后还是是这个比如说Frontier Lab他们的延长线吗因为Gemini其实也发了他的ER是然后比如说你们也用Seed然后Astra其实也有这样的能力你会觉得这个最后还是是基模我们说大语言的基模我觉得可能对于语言模型来说除了积模的能力之外还有一个很关键的就是刚一直在讲的harness你得给它配适合聚身场景的harness才能最大程度发挥这个作用所以你们做了哪些harness?比如说我们做了非常好的上下文管理因为帮脑它需要实时的去接收这些视觉的反馈那么你接受多了之后你整个延迟就会有问题你整个的上下文可能就会爆炸掉自从你要做很细致的上下文管理这比如说你的大脑怎么和你的小老做好的交互交互这一层也是做一些比较好的设计为什么我们很强调我们要把小老做成一个sterable的就是可控性非常强的model就是为了让大脑能够更自然的去调度下面的model所以这一侧都是需要有很多协同设计在里面的不只是model能力这一点吧我认为我们再聊一下巨星模型的评估我感觉现在是没有一个非常好的一个benchmark是这样吗还是其实你会看到有开始出现其实都不太好大家还更focus在仿真的上面比如被大家刷爆了Liberal这种benchmark这种benchmark就是你不需要预训练你靠存后训练也是能够做到非常高的分数的所以这种benchmark其实没有太大的参考价值了但是最近也有看到一些比如说叫robotdojo也是一个它既有仿真又有真机实验的这种benchmark但是像这种benchmark它其实存在的一些问题就是仿真它毕竟和真实世界还是有一定的gap然后它定义的能力可能不是你们团队所关心的能力然后另外一个就是真接的benchmark你很难保证完全的复现你可能要把你的model给到他们他们帮你去测那其实对于公司来说其实很难做这个事情我们会认为巨深的评估和大约模型评估有很大的差别它评估的是整个链路的稳定性整个链路的成功率所以最好的方式应该是自己把评估这个事情给做的足够的扎实因为这里有一个问题然后大家百家争名发的模型其实互相都不知道到底水深水浅可以各说各话所以你们因为年底要发那时候你准备用什么样的方式来证明你们的模型能力是挺好的问题我们一直在思考这件事情首先是你要看最真实的东西我们到时候会把最真实的结果也给外部去看我们会搭非常扎实的评估的benchmark来从关心的几个能力的角度从简单到中等到困难这个场景繁化物体繁化来去呈现我们的成功率我们也做了fue shot的实验我们会明确的说我们用多少数据我们如果是ZeroShot实验就一定是ZeroShot实验所以说在这一侧我们肯定是要做的足够的公平对然后另外存在的问题就是说我们对聚生来说其实很难和其他模型做对比这是一个很关键的问题就是因为别人训出来的model你也不知道他用什么数据首先是他也没有在你的本体上训过所以你直接拿过来大概率是不可用的那么这个评估其实就很难做所以从这个点上来说我们更多是坚持初心就是把我们自己的模型做好就好了就模型开源这件事情其实还是需要商讨的我们肯定希望的是我们就开源一个大家后训练能够做的效果非常好的这样一个model但我觉得最重要的是保持真实其实前面刚才提到咱们做了一个Agentic OS也发了然后里面的System 1和System 2是两个独立的东西你觉得未来他们会收敛到一个端到端末型吗还是长期会分层这也是一个最近大家讨论比较多因为看到GPT6出来之后大家好像会觉得说可能一个通用的model就已经搞定这件事情了我说实话我是觉得不太可能下面把上面吃掉但是确实有可能上面把就是把System 1里吃 [50:00] 是有可能的事情但是这件事情发生的时间在什么节点我现在其实很难判断的出来因为我觉得这个应该还是一个有一定周期的就是我个人认为一个点是即使我们能看到终局我们也不能放弃中间的阶段所必须做的事情就我来说它可以去直接描着最终的点去做我们就做成一个统一的model我们做成一个可能一个10t的巨身的模型这是可以做的但对于希望的是把action的能力做得足够的扎实然后等到比如说一个最典型的一个情况是上面的model有非常好的一个规划能力了我们的model有很好的stareable的能力了那么我们很自然的构建ehanis把它结合起来我们就能做落地了我们可以落结很多场景都已经可以产生我们自己场景的一些我觉得对于创业公司来说我觉得是个蛮好的一个策略其实还是一个很重要的选择对很重要的一个选择深谱智能现在大概是多大一个团队规模我们现在差不多是70多位同事这里Deep-seek 时期的时候发现大家下班很早就说做好的研究成果和工作时间不是一个线性相关的你们现在加班多吗我们现在没有一个强硬的加班都是自屈的大家今天有事想早点走无所谓我们工作时间其实是规定的工作时间只是从9点半到6点半所以是很正常的一个时间大家愿意自屈的同事或者说觉得最近要做的事情比较重要的可能就会稍微晚点下班如果觉得今天有事了然后又想休息了无所谓就是可以早点下班了我也没有每天都工作到深夜我觉得还是保持一个思维的灵活性这个事情是比较重要的特别是现在在Agent 的一个加持下每个人其实更多需要的是你要管理好你的agent你要筹备好你的相当于是你对你的项目有个很清晰的一个认识然后去push agent去做事就好了我们公司对于AI工具的额度基本是无限制的所以你们现在主要用什么A件工具我们主要用Codex内部比如说是怎样开会比如说我们和CEO CTO你们之间就是这样开会的文化或者整个大团队开会的文化有什么特别的地方吗我觉得我们现在做比较好的一件事情是会做事先的规划从CEO的角度就是他就会去拉我们基础团队的一些主要的负责人去聊像刚刚我们一直在聊比如巨神智能的智能到底是什么怎么定义它以及我们的数据为了这个事情我们数据做怎么样的准备我们要多少的算力他可以去自顶向下就会去有形成一套比较清晰的一套沟通的体系我理解是整个团队我们都会做比较充分的一个context交换就context这件事情其实蛮重要就对于大厂来说可能context只聚焦在那几个人的手里但是对于创业公司来说我们尽量把组织变成一个非常扁平化的信息共享的这样一个组织形态我们最后一 part就第三 part我们再聊一下各种前沿的突破然后带来的一些启示Astria其实我们前面聊到好多了如果再用几句简单的话来说一说你觉得它带给你最大的启示是什么或者带给行业最大的启示是什么我觉得带给行业最大的其实是通用的智能真的有可能外溢到各行各业里面去对各个领域里面去吧System 1和System 2间的边界可能会越来越模糊这是一个值得我们大家就去思考的问题因为前几天也听了一些大家对于可能国内的同行队员Astrad看法可能会比较乐观一点会觉得说可能GP6速度太慢了他做不到那种实时的反馈像我们刚刚说的目前一些缺陷但是其实从大约模型的人来看他是有机会做到真正可用的他是有机会的但是我觉得一定程度上他应该还是需要了有action能力反哺进去的但是不知道是通过某种方式给融入进去但是我觉得是需要这个能力融入进去的而且这个时间有多长暂时还不太可知吧如果国内最有可能做出类似Astra的这样能力的语言模型的这些团队可能是谁看好两个吧一个是seed的多么泰因为seed多么泰冷逆一直在国内都是比较领先的我可能会白英签问一点因为我之前有跟签问的一些朋友聊过巨声这个事情就是他们正在做类似的事情最近就是放眼全球有哪些比较重要的发布就你感觉到这个对你很有启发的我觉得让我最respect肯定是JeroList吧就是把数据量轰到20万小时来看它的效果以及它的一些很综合的评估然后到今万的话是把数据量做到了50万然后他们又做了一些夹爪的这样一个实验就是9000种构型的夹爪做泛化然后另外到今万块 [55:00] 还有就是做in-contact learning的一个实验我觉得都是能证明他们模型的一个泛化能力或者他们的预训验能力确实是蛮强的对这一点我是蛮respect的我觉得很少有公司真的做到他们量级Pi0.7呢Pi0.7其实对我们来说也是有一定启示的Pi0.7它里面很重要一个点就是sterible我们刚刚一直讲的sterible就是Levin教授我之前工作在研究sterible这个事情他最早还做过类似于embodied的COT其实它都是steerable的一种所以Devil这个事情也是把它列为我们头部要做的能力之一吧因为Cerebral可以非常好的去和上面的大脑做好配合去完成非常多难以想象的事情你觉得有没有什么最近发出来的东西然后刷屏了但你觉得其实被大家高估了我觉得可能就是其他家做的一些contact learning的事的话就是最早的话是genrelease的他们发了Incounter Learning他们当时是有两个点一个点是他们说他们的model是原生能够支持30秒的context的这也跟我们之前讲的聊到context是已致的然后他们在做这个事情的时候他说他们的content learning是自然涌现出来的没有单独训练过的只要把视频放在里面他就能follow出特别是让我比较震撼的是他们的参考的视频其实都很短这也是为什么我比较相信他们是自然涌现出来的比如说他们还有个点是他们能通过第三人程视角去做参考比如说我这是个相机然后你站在这里然后去把杯子一个杯子叠到另外一杯子上面去这个机器人机械臂就能直接follow住也做这样一个事情但是其他最近有一些其他做Income Learning的一些工作包括那个美国可能Scale的他们发的一些结果都有明确说到说他们是专门训了Pair的这个数据的所以说其实对于这种配的数据的引入我觉得只是暂时的一种妥协吧就它自然涌现出来的这种context的能力的话我个人理解是incontent learning它对应两个能力一个是context的深刻理解的能力第二个是stereoval能力可控性能力所以说如果说他没有这两个能力强行去把incontent learning 训上去了然后并且做了一些demo 我觉得不是很本质确实在居身领域也有一个一直大家发了模型之后其他人失不了因为你要去复现他的工作因为你没他本体你也没他数据这其实也是一个很有意思的问题是的所以你觉得会出现一个中立的第三方来去帮大家做这样的本期mark吗之前其实有一些尝试过但是后来就也是有点不了了之了吧就是因为巨生公司之前有些巨生公司做了类似事情做了一个真机的benchmark但是他既当彩盘又当运动员了这肯定不行了其他都不服他所以说搞这个事情确实挺难的这我觉得也是巨森很大的一个问题就是它的评估的公平性其实特别难保证我说我觉得可能还是看产品说话看用户买不买账其实你在巨生工作了快一年了然后你之前在这个模型领域就工作的时间可能更久觉得在这两个领域就有什么样的相同不同比较大的不同是对于语言模型来说大家整体还是一个比较open的一个方式去进行这样的一个research的就是大家的结果相对来说是可浮现的因为他们有API也提供给你所以说对于AM来说它是更透明的而且另外就是有很多开源的包括比如deep seek很典型的例子他们愿意把自己的技术突破给开源给大家去了解所以说从这一点上来说我觉得语言模型的技术的壁垒可能没有那么的高它可能更多的比如说researcher来说或者对于学生来说还是很容易去follow住一些最前沿的一些技术突破的他可能没有那么多数据但是他可以至少可以了解到很细的一些细节信息但是对于巨星来说其实就像刚刚聊到了很多问题就大家甚至可能噱头更大于真实我过来之后一个很直观的感受就特别是今年的上半年大家都特别吹捧VLXModel这件事其实真正把VLXModel做到落地的就没有几家而且它的效果比VLA到底好多少其实也没有很明确的一个结论所以说从这点上来说大家都是为了可能是一些商业上的考虑然后就需要对外发一些东西然后去做了这样一个事情其实就对于做research的人来说就会觉得有点太浮躁了噪音非常多噪音太多了这个时候你的选择是什么你怎么去在这些噪音里面寻找信号对我来说 [60:00] 我更关注的是他们所讲的点以及他们呈现出来的demo的结果是不是符合的另外就是他们那个点给我们自己的从第一性原理上来说是不是正确的所以我们在做这件事情就是因为首先是因为这个领域它不收敛所以我们完全可以从自己的第一性原理出发去做我们自己认为正确的事情这个我觉得是相对比较OK的不像原模型已经有很重要的一些奠基性的工作在前面必须得沿着那个往前走你才能走得比别人快但对于巨星来说我觉得还好就是你完全比如说我们数据这个事情人云亦云的话我们就直接去买数据公司的无名数据Ego数据来做就好了我们就没必要做这个事了但是我们做这个事后发现我们这样做完之后好像可以挽到超车所以你刚才提到第一性原理就你们的第一性原理是什么我们第一性原理就是像最早说的我们在思考到底什么是聚生智能的智能我们都是从智能这个角度去出发你刚才说了一个答案对吧你觉得有什么别人的答案吗你有看到过吗就让你印象深刻的和你们有所不同但你们最后放弃那个答案的也谈不上放弃吧就是可能就是对于ego的一个态度上我们没有放弃EgoCentric但是我们是还没有特别玩明白估计数据所以我们一定要把这个事情先弄清楚了再去花更多的精力去看Ego这个数据应该怎么用因为Ego它肯定是一个是一个多样性更强的这样一个数据分布你要学习泛化的话一定要在一个分布足够广的数据里面去做训练嘛就是这个这不只是说量大了量量只是多样性的一个体现它更多是diversity所以说从这点来说像della2他们做了100万小时的ego然后以及一些其他公司也说自己做了100万小时的ego的训练所以说我们没有太贸然的去做这样一件事情因为我们考虑两个点首先也是从低性原理考虑就是这个数据它的性价比到底怎么样看起来异固的数据它的成本是很低的现在去买可能30块钱一个小时也能买到还不错的数据但是你后续的投入不管是标注还是你的训练其实是非常非常贵的另外就是它达到的效果到底有没有就是它的付出的代价和你获得的效果到底成不成这么比它的写率是怎么样它现象比到底怎么样这其实是一个非常值得去验证的问题5米从现在来看我们因为我们是原始我们自己采的我们不是买的所以我们的成本是相对可控的然后采回来的数据质量又很高我们对于清洗的要求没有那么的重了就不会说你采回来10万小时我们只能用1万小时90%以上很多人用然后另外就是训练上因为数据量没有那么大使得我们可以非常充分的去验证里面的包括刚刚讲scaling law你可以充分验证不同的模型参数下不同的数据量配比下你的这样一个模型表现是什么所以从这个角度来考虑我们在资源还没有扩到那么多的时候我们没有太贸然的去把ego直接引入进来一引入进来之后就会产生新的变量对于你整个的推进就会有很大的一个影响说到这里我突然想到你一开始我问你说怎么理解聪明你说聪明其中两个点中的一个点是会提好的问题我就想说对这个确实每次我录播客的时候都特别担心自己这个问题问的不够好所以一个很有料的嘉宾来了之后他的prompt不够好对吧出来所以听我们这些播客的朋友如果你们有觉得在我们前面的对话当中有什么地方可以提出更好的问题就是可以在评论区给我们留言然后家伟也可以到时候我再发给你你有兴趣可以在评论区继续回复OK你可以问我一个问题你有没有这样想问的问题嗯我有个非常好奇的就是挺有意思的就是可能是跟这个聚生行业没什么关系的问题了就是做播客和做投资之间一同点是什么我之前也比较有这些比较出钱的力其实我也想过做博客我觉得蛮有意思的他可以和很多人去做这种各行各样的人做交流所以我觉得说比较好奇当时怎么考虑说同时又做投资同时又做博客我觉得你完全可以做对至少可以先从音频做起其实iPhone录音就效果很好比如说你和朋友出去喝咖啡或吃饭就放在那录出来的音质其实都是基本可以用的鼓励你做然后我觉得做播客和做投资都很像是你有两个小时的时间去向一个人提问然后尽可能的了解他这个是特别相同的所以这里面的问题比如说我特别喜欢问比如说我接下来要问你那个问题就是你人生中有没有一个十字路口是做过最艰难的抉择这是我肯定都会问的我觉得就是做播客我可能觉得我特别喜欢听故事然后在投资的时候你特别希望通过他面对这种困难时候的决定来去看看他有没有做一个创始人的这种personality是相同的问题 [65:00] 然后也有很多不同做播客的时候我觉得我会非常nice然后我特别担心或者我特别不愿意去问一些可能会让对方感到不适的问题我希望他一直处在一个比较好的情绪来表达但做投资的时候这个提问有时候就是我觉得这个问题必须要问因为你可能让对方不舒服你才能得到可能更真实的答案就举个例子比如说刚才你说这个呃你要直面自己的不足然后所以你去选巨生也有这方面的考虑但如果我们在投资场景我肯定就会一直往下问我就会说那这个很显然就是有一个很大的思潮或者价值观是人要做自己擅长的事情创业更要做自己擅长的事情你怎么看这样的观点我可能就会反复问反复问其实是要就是把对方就是搞到一个这个就是让对方进到一个状态去那个可能对于我们做投资判斗会更有价值就是因为看上去你非常顺利路上感觉就是别人家的孩子的那个典型代表所以你有没有一个非常艰难的时候或者不一定艰难吧就是可能在某个十字路口的一个时候其实我觉得最tough的十字路口还就是选择做语言模型还是做矩身吧这个决定其实还是蛮艰难的因为毕竟是一方面你要放弃掉比较优渥的一个不管是薪资条件或者你的资源比如你在IC的可以用很多很多的卡但是你出来的时候创业公司可能就很难有这样的一个资源然后另外就是说你在创业公司的时候你很多事情你要从零到一的去做就是你的Infra你的整个模型的设计你的整个团队的搭建都需要你自己亲自去花很多时间去考虑这是跟之前很不一样的一个体验所以说在做这样一个决定就是到底是要放弃自己之前舒适区做原模型舒适区还是要去挑战一个除了研究之外还要考虑更多额外的一些问题的这样一个机会的时候还是蛮纠结的当时少年班的同学们现在都在做什么还挺多人去美国读书去了然后因为学一些基础学科像数学物理啥的但是我也有听说之前做数学物理的也转行来做AI要不然就是AI的交叉要不然就去做AI的量化或者是一些其他一些工作比如说做一些AI加医疗的或者是AI加制药这些其实做的都蛮多的我甚至有一个同学是去了OpenAI然后因为他是做比较偏理论一点的就是OpenAI不是招了很多科学家吗是有没有谁做非主流的选择或非共识的选择就不做AI不做居生不做金融去做别的这个确实我基本没有太了解到我觉得在AI这样一个大的团趋势下面就是大家还是会拥抱他吧所以吸光了所有的优秀人才这个领域我们最后一个问题吧就是如果比如说过了三年为什么是三年呢是因为我最近觉得比如说我们经常说一句话就是我们经常高估两年内的变化但低估十年后的变化所以我觉得三年是一个有趣的时间点就在那个时候我们高估也好低估也好好像他somehow都已经被验证了一点点了就在三年后今天你觉得哪件事情发生了会让你特别觉得就当时去到巨山行业是正确的这个其实有一个点啊就是我之前跟就是当时跟我那个博导聊天的时候他就说他有一个很强的需求嗯什么需求呢就是大家每次吃完饭之后不要洗碗他们有吸烦机但他还是需要去把这些盘子里面的东西倒掉然后再塞到吸烦机里面去然后花挺长的时间可能20分钟的时间去做这个事所以我其实觉得如果三年之后我们做的robotics已经能在比如说在一些家庭里面去完成类似的这种帮帮洗碗的事情我觉得就已经非常的让我exciting了对我觉得实现这个的概率有多高我现在看我觉得概率还挺高的是80%那么高还是60%那么高我觉得三年的话实现是巴士OK好那谢谢家伟非常期待三年之后这个在我们家帮我们洗碗的机器人是来自深浦智能谢谢谢谢OK好拜拜拜拜

深朴王家伟押注全栈具身路线 称通用基模难通吃毫秒级物理控制