深朴智能王家伟押注具身控制 称大模型巨头难替代高频动作小脑

深朴智能王家伟押注具身控制 称大模型巨头难替代高频动作小脑 通用大模型因单次推理延迟过长且缺乏物理因果反馈，无法应对毫秒级动态扰动，具身智能创业的核心壁垒在于高频闭环的动作底模与全栈工程落地。 王家伟深入剖析了具身智能的核心挑战，认为通用大模型（如 GPT-6 Astra）虽擅长宏观推理与规划，但面对毫秒级的物理动态扰动，机器人仍需要高频且强可控的动作小脑支持。深朴智能选择从自研 HiFi-UMI 高精度数据、基模型、Agentic OS 操作系统一直做到本体硬件，在不依赖后训练的预训练基模中观察到了可观的 Zero-shot 泛化与因果 Context 建模能力。此外，他还对比了 DeepSeek 与大厂的研究文化差异，直言行业内基准评测（Benchmark）的公信力缺失与人为造假泡沫，并预判三年内家庭机器人有八成概率能真正帮人类完成倒残渣摆盘进洗碗机的完整闭环。 前 DeepSeek 与字节 Seed 核心研究员王家伟以首席科学家身份加入深朴智能（Simple AI），主导家庭通用具身智能基础模型的全栈研发。 (0:00) 针对 GPT-6 Astra 等通用大模型的竞争，王家伟认为大模型负责上层任务规划与语义理解，但无法取代毫秒级闭环响应的高频动作小脑模型，具身系统必然走向分层架构。 (4:02) 深朴智能开源了 2,000 小时 HiFi-UMI 高精真机数据集并内部积累数万小时数据，摆脱外部基站实现微秒级时间同步，预训练模型已观察到显著的零样本泛化能力。 (25:24) 王家伟直言当前具身基准严重失真且充斥商业包装，同时预测三年内具备 80% 的概率让家庭机器人实现倒残渣并摆盘进洗碗机的完整家务闭环。 (50:00)

深朴智能首席科学家王家伟认为，大语言模型研发已高度工业化收敛，而具身智能仍处于拓荒期；针对通用大模型直接驱动硬件存在的高延迟短板，具身系统必须依托双系统架构与时序上下文建模，通过极简架构和高保真闭环数据推动物理世界泛化。 架构解耦：通用大模型短板与双系统分工 (4:02) 针对 GPT-6 Astra 等大模型直接驱动机械臂的热潮，王家伟指出，大模型虽在原生融合空间感知、长程规划与试错总结上表现惊艳，但现实运行极其缓慢，公开演示往往加速了 16 至 32 倍。在现实动态环境中，一旦发生水杯倾斜等微小扰动，单次推理延迟过长的大模型无法在毫秒级内做出扶正反应。真正的物理控制必须借鉴人体结构，实现“大脑”与“小脑”的严格解耦。 深朴智能据此搭建了 Agentic OS 分层体系：上层 System 2 负责复杂意图理解与长程任务拆解；底层 System 1 为强可控性动作模型（Steerable Action Model），专注于微秒与毫秒级的高频闭环控制与动态纠偏；中间层则通过工程 Harness 管理上下文与延迟，防止视频流直接涌入大模型造成延迟飙升。王家伟认为，尽管长期看高层大脑可能向下融合，但当前创业团队最现实的路径是通过工程调度将先进大脑挂接在扎实的动作底模上。 数据基石：全栈闭环与自研 HiFi-UMI (25:24) 深朴智能定位于面向家庭场景的终端产品公司，因而选择覆盖数据、基模、操作系统到本体硬件的全栈路线。在数据策略上，团队并未盲目跟风采买大规模第一人称（Ego-centric）数据。王家伟分析，Ego 数据采买单价虽低（约 30 元/小时），但后续清洗昂贵且噪声极大；深朴选择自采 UMI 数据，不仅掌握全链路成本，有效数据利用率更超过 90%，能在受控变量下稳步验证 Scaling 规律。 深朴开源了 2,000 小时真机数据集 HiFi-UMI，内部已积累数万小时。该方案通过视觉 SLAM 夹爪手套彻底摆脱了传统 UMI 依赖的外部光学定位基站，实现毫米级精度，并攻克了微秒级时间硬同步难题；硬件配备 6 颗相机（头部双目与双腕上下各双目）以彻底消除操作视线遮挡。真机运动学回放测试显示，超过 95% 的采集轨迹能在实体机器人上精确执行。此外，团队利用 GPT-6 Astra 辅助标注，再蒸馏训练内部轻量标注模型，以此构建自动化数据清洗闭环。 时序建模：从因果反馈到零样本泛化 (36:47) 王家伟强调，上下文（Context）是具身智能中最核心却被长期忽视的维度，仅凭单帧当前观测无法理解物理动态。深朴将具身 Context 拆分为三层：一秒内的瞬时因果 Context（如抓取打滑时毫秒级补夹的因果修正）、中期工作记忆（连续抓取同类物体时复用经验参数），以及长期任务记忆（家庭环境物品收纳与位置检索）。针对上下文变长带来的推理延迟瓶颈，团队在数据筛选与架构设计上进行了专门优化。 在基模型预训练中，深朴在未见任务上观察到了可观的零样本（Zero-Shot）泛化与跨任务组合能力，即便数据占比仅 0.5% 至 1% 的冷门任务也能被同构带起。在审视行业进展时，王家伟肯定了 GEN-1.5 基于长 Context 预训练自然涌现的跨构型泛化，以及 π0.7 将思维链推理与动作受控性结合的尝试；但他同时质疑部分团队依靠配对数据强行特训的“人造 In-Context Learning Demo”，认为其属于工程妥协而非模型内生因果涌现。针对行业 Benchmark，他指出纯仿真测试（如 LIBERO）刷分严重，而真机测试缺乏公信力，产品最终必须靠真实场景检验。 研发哲学：奥卡姆剃刀与三年落地目标 (0:00) 回顾从中科大少年班、MSRA、DeepSeek 到字节 Seed 的历程，王家伟认同奥卡姆剃刀原理，主张极简模型设计，反对过度复杂的过度工程。他选择离开资源充沛的大模型大厂投身具身创业，原因在于大语言模型范式已高度工业化，新研究员难以开辟新路线，而在大厂推进模型“自进化”往往受制于组织架构阻力；相比之下，具身智能处于未收敛期，拥有亲手探索物理智能本质的自由。 深朴智能团队目前约 70 人，沿用灵活弹性、不强制加班的自驱研发节奏，并为工程师提供无限额度 AI 编程工具支持。谈及未来时间表，王家伟设定了一个具体的现实衡量标准：三年内，机器人若能在真实家庭环境中自主、稳健地完成刮除餐盘残渣并整齐码放进洗碗机的前置家务闭环，即证明技术路线的成功。他预测该目标在三年内实现的概率约为 80%。 具身智能目前充斥着商业噱头与未经标准化的评测指标，真机跨机构复现壁垒显著。王家伟主张穿透行业公关噪音，在极简模型范式、高保真物理数据与分层系统架构下展开严肃验证；该技术路线的终局考验不在于刷榜分数，而在于能否在复杂家庭环境中交付真实可靠的自动化产品闭环。

[0:00] 王家伟: 深朴智能是一家面向家庭的通用具身智能公司。 [0:00] 爱因斯坦: 凡事应该尽量简单，但不能过于简单。 [13:14] 王家伟: 风浪越大，鱼越贵 [13:14] 霍强: 年轻人就应该去闯，失败了无所谓，重头再来就是；只要拿到足够的认知和经验，随时可以开启下一段事业。 [18:25] 王家伟: 堆砌工时并不是做出好成果的必要条件 [34:15] 王家伟: 不做预训练评估，你很难直接判断出模型的核心能力边界在哪儿 [36:47] 王家伟: Context（上下文）是具身智能中最核心、却长期被学术界忽视的维度 [41:52] 王家伟: Scaling 确实在发生，但 Scaling Law 是一件极其严肃的科学定律，需要严格验证数据量、模型参数量与算力消耗之间的精准比例和可预测曲线。行业里很多发博客声称验证了 Scaling Law 的，我们更倾向于说它展现出了 Power Law（幂律）或者 Scaling 的正向趋势。 [50:00] 王家伟: 最重要的是看真实的产品表现，看最终用户买不买账 [60:00] 王家伟: 先把 UMI 数据彻底玩明白 [68:00] 杨远骋: 人们总是高估两年内的变化，而低估十年后的变化 [68:00] 王家伟: 我觉得三年的话，实现概率大概在 80%。

[0:00] 嗨 我是Koji 本周十字路口的嘉宾是王家伟 来自深谱智能的首席科学家 您好 家伟 欢迎来到十字路口大家好 那我们还是先快问快答 请问加入你的年龄我是24周岁 下个月就要过25的生日了你的求学的经历呢? 我其实小学和初中是在小县城读的然后高中就去了合肥一中 然后也是在高二的时候成下高考加入了中科大双联班2020年的时候得了和中科大和微软亚洲研究院的一个非常phd的机会然后就一直到现在206年 我刚刚才phd毕业你的mbti和星座?但是我的E可能是50%的E,星座是天秤座。一句话介绍一下深谱智能。深谱智能是一家面向家庭的通用聚生智能公司,然后我们的这个slogan其实是"Keep the world simple"就是让世界变得简单,所以其实为什么我们要取名叫英文名叫Simple AI的一个原因。因为上一场我们录的播客是和徐梦迪是和清华插院的一位助理教授,然后他在李飞飞诅做过的时候我问他飞飞最喜欢问的一些问题他说飞飞特别喜欢问一个问题是爱因斯坦曾经说过的一句话就是要让事情保持简单但是又不要让这个事情太过于简单嗯嗯嗯我觉得这个话挺有道理AI领域其实有一个很著名的定律是奥塔姆剃刀原理如果做了过度的设计其实很多事是不work的你要保持在简单的情况下做好你的各种的实验验证才能证明你这个事情是真正有效的之前很多学生研究比如说NLPBOL以前CV都去过度设计模型结构一件事但后来大家发现非常simple的一个GPT就把所有的事情就干掉了昨天见到一个研究员他们之前在OpenAI O1出来之后也开始做类似的训练设计了一套他觉得非常综合的infra然后结果过了四五个月之后Deepseek R1发布然后发了之后他们团队就开始删了两个礼拜的代码删掉90%发现不需要那么复杂的设计是的 是的 是的好 你当下在生普智能之前你的工作经历可以介绍一下可以 因为我也是刚刚PageB毕业其实我主要的经历就是博士期间做的一些事情了然后我在MSRA待的时间是最长的是一开始跟着我的博士生导师霍强老师文档智能的研究我在24年的时候就去Deepseek实习因为当时是觉得多么太大语言模型已经可以做到很多之前小模型做不了的事情了然后就去那边实习在他们的Deepseek多么太组去做一些事情包括也参与了他们Deepseek v3的一些预训练数据的一些工作后来我是觉得之前的语言模型已经从Chat往Agent的方向趋势变一个转换了因为Chat其实很难产生一个很大的商业价值工作效率的这样一个能力所以我当时在25年的时候就去选择了在SEED的一个做Agent的一个组实习当时那个组是SEED的内部很早很早做Agent的一个团队因为你现在这个在深谱是叫首席科学家嘛对然后你小时候有一个梦想是要长大做科学家吗这个还真是有想过就是生日的时候还真有许过愿哇塞愿望实现了在做的科学家的工作有哪些相同哪些不同的? 因为当时很想吧 当时可能想的是说你要在实验室里面做什么生物实验化学实验或者是你是在数学学科这种技术领域提出什么样的一个猜想我在问一些这些事情 当时其实对于计算机科学家这个事情没有太大的概念 是 所以这是一个很大的一个不同的一个地方 但是其实相似的地方可能在于说我确实有机会去一直探索大家都不知道是什么的一个事情所以你当下花时间最多的探索工作研究工作是什么我现在花时间最多其实就focus在说巨生基础模型的预训练到底应该怎么做因为这个事情它的各种路线都没有收敛对我们在走自己的一条路说到我们录播客的前两天就GPT6 ASTRA发布嘛然后发了之后社交媒体上就各种刷屏就用ASTRA去直接驱动机械B去做各种各样的任务有一些什么样的感受 这个其实蛮有意思的 就是我一开始确实很难想象到说一个通用的一个语言模型 既然能在聚生的task上 比如说即使不是这些很难的任务 比如说像抓积木 成功率非常的高 当时却看完之后 确实是觉得这个model的能力确实是已经超乎大家的想象了因为之前其实用IM去做robotics这件事情其实这个概念已经不新了因为在几年前或者更早的时候其实大家就已经开始做Codex Policy这套思路最近其实前几个月就李飞飞老师团队和Jim Fenn团队也是提出了一个叫CAPX的一个工作所以说Codex Policy已经很早了但是Codex Policy当时还是需要依赖于一些比较小的model去做感知做识别相当于是已经把 [5:00] 这些小模型所承担的能力全部融合到了他自己的里面去了所以使得说他能够充分利用他的3D的空间理解能力他的场景理解能力他的任务规划能力包括一些试错总结的能力来去做这种复杂的事情就是我当时看到有一个把一个笔绑在机器爪上面然后让Model去画一个金门大桥你如果直接看那个成品的话你会觉得非常震撼Model今天能控制机械皮控制这么精准但其实它中间也经历了好几个过程它是画了一遍两遍三遍四遍才变成了我们最终看到的样子第一遍的时候可以明显的看到model在尝试怎么去使用笔然后第二遍的时候逐渐有轮廓然后第三遍第四遍的时候逐渐变得很清晰就是画的确实非常好了所以说对于现在的一个GP6它能做一些事情其实我觉得非常大的能力是来源于它的一个对于任务的试错和理解就经验总结再包括刚刚就说的把一些小模型的这种定位能力这些空间理解能力给融合起来了画完之后他都有摄像头去再传回去对吧他自己再去做每次画的时候都会去实时的去读他那个视频流然后等画完一张图之后你就会把那个没画好的给他丢掉然后换一个新的白纸上去但那个上下文一直存在他的脑海里所以他可以一直知道说我之前经历了什么怎么画的为什么画的不好然后逐渐调整他使用这个笔的或以及控制他这个末端的一个操作的能力所以其实也开始有一些说法就是说这个OpenAI和Anthorpic这样的计划公司最后才有可能是做出巨声大脑的那样的公司所以对今天做这个巨声模型的公司好像三炮有可能会将为打击大家我不知道你怎么看其实挺好的问题就是最近和很多同行也在聊这样的一个事情我是觉得巨声的一个系统就跟人一样它其实除了上层的大脑的理解的梦子之外其实还是需要有控制肌肉的这一部分的小脑的存在的对GPT6来说它确实能够去直接操纵机器的末端去做一些事情你多仔细会看它的这个执行的速度是非常非常慢的因为它一次推理时间其实需要很久的比如像像陈天珠的视频可能都是16倍速或者32倍速给你去看的所以在这种情况下其实在一个静态的环境里面你去让model去做这件事情是能walk的但是你在一个环境比较动态的一个情况里面就真实的环境 真实的环境里面其实很难去做这件事情比如说我尝试拿这个桌子上这个咖啡杯就把它打翻了 翻掉之后它其实很难recover 很难去恢复了 对但是就是因为它这个model没有一个实时的控制能力所以导致说发生倾斜它很难直接非常快速的去调整回来 但是对于一个我们真正想做的一个action的foundation model来说它其实是需要有这样一个肌肉反应的 而不是说纯靠一个大脑的推理来去做好这件事情所以我觉得这中间肯定是有overlap的地方 但是也一定程度上有区分的点吧其中大脑那部分肯定是非常重要的而且我觉得它一定是一个很大的model去做各种复杂的场景理解任务理解但是下面一定要给它配上比较好的Action Policy使得它能够做到刚刚说的快速调整快速反应的这样的一个能力所以你觉得大脑之后会是在Transformer语言模型这里加进去更多的比如说巨声的数据涌现出来还是有另外一套不一样的模型架构出来我觉得大脑这一侧已经比较收敛到GPT这种类型了因为首先是它有很强推理能力我们其实非常难的说从头去做一个跟它完全不一样的范式把现在那么强的一个推理能力Agentic的能力给融合进来其实我们反而是沿着这个路线继续往前推比如把这种第一人认识视角的视频第三人认识视角的视频转换成莫洛可训练的一些任务类型给它训练去补充它增强它这部分能力我也相信就是GPT或者其他机模厂应该在做的事情沿着现在这个路线往前走是没有什么太大问题的我们待会会展开讲一讲就是咱们在生谱智能的模型的工作我们今天播客会分成三个部分第一部分是聊一下家伟的成长经历少年班到科学家的这个故事然后第二是在生谱智能的工作然后第三部分是我们会聊一聊就最近半年巨生领域的各种突破除了前面提到的这个Astra还有包括歼1.5派0.7等等好那我们说一下少年班因为大家说到少年班都会讲到天才少年所以少年班同学一届大概多少人?当时那一届是三十几个人你觉得大家有什么共同点吗?都是比如说智商很高还是有什么别的共同点?我觉得大家的共同点是自趋力还是比较强然后大家的思维还是很敏捷的接收新知识的能力是比较强的我们的知识比较大的共性给我们讲一讲少年班是怎么考怎么选拔的?或者高一的时候甚至有初三的同学就是你年龄 [10:00] 当时是在15周岁以内然后你就可以去参加高考参加高考之后你的分数线大概要达到当时当地的科大的录取分数线大概是浮动20分就是你可以稍微的去降低20分的要求来去看要不要让你进面试然后如果你达到他的学校的要求之后你进了面试你就需要去经历一个比较特别的一个考验就是你需要去当天同时上一节数学课 同时上一节物理课 上完课之后 立马给你发试卷去考试然后看你对吸收知识的一样一个能力 他给你教的都是一些大学的课程 但是又没有那么的说脱离了完全没有基础的这样一个情况所以说只是为了让你考验说你注意力是否足够专注然后你的知识社区转化成输出是不是足够的快大家考验这种能力然后这个之后就会有院长来亲自跟你去一对一的去聊比如说你假设你进来之后你如果没有跟上教学或者说你对这个事情没有那么大兴趣了然后你想说宽战业什么的你可能会有什么样的调整的方式就会有一些很open的这些问题OK 等于是一场面试了等于是一场面试了和最后这三四十个同学这个中间的选拔的比例是多少基本上就是大概100个人进来然后可以大概选个三四十个人这样上年班的经历有给你留下一些什么吗我觉得这个还挺special的就是因为首先是他让我摆脱了高三嘛然后我没有上海到他我也就是可能没有太经历过这种刷题的提海战术的这样一个循玉没有被高三图读过 我想到交代ACM班 余庸老师有一次就是分享说他在ACM班的第一年做的事情就是帮大家洗刷高三带来的毒害然后第二才开始进入可能真正的培养啊 大家这个意思 所以你没有被高三图读我们大一的时候就会上一些非常基础的通史课就是数学的基础 物理的基础 甚至是有一部分化学的基础你都去上一下 让你了解 就包括计算机了你上完之后 你了解你自己的兴趣点在哪儿然后你再去选专业所以这个是我当时觉得挺好的一个地方然后我 而且我当时对于计算机这块特别感兴趣所以我当时大一下学期的时候我就选择了计算机专业然后其实科大另外一点其实对我影响比较深的是多的科研资源所以我本科的时候就已经跟着一些老师做AIRScience了就那时候很早很早到AIRScience做的是生物里面分子马达的一些工作用计算机模拟的方式去研究分子马达里面的一些相变过程之类的所以当时还是很交叉的学科去做也是做了一些科研然后有些产出吧然后另外一点可能有点影响的就是我当了少年班挺长时间班长所以我做学生工作也做的比较多我其实还是比较会和别人沟通然后人员也还不错的这样一个状态就很ENTJ所以进到少年班应该同学们都非常聪明所以你现在会怎么理解聪明这个词其实最早我可能对聪明的理解可能就有粗浅的在思维敏捷这一点上或者一些学习能力很强的这一点上但其实过了这么多年回头去看的话我是觉得聪明这个包含的点其实蛮多的而且我现在认为可能因为思维敏捷的人其实很多它可能不是最重要的一点而我觉得可能最重要的一点是会提好问题我觉得这一点是我对于聪明的一个比较重要的定义然后第二个点我个人认为是聪明的人是知道自己的不足是什么的并且愿意直面它我觉得这个点就蛮重要的所以你觉得这一步足是什么?我说实话我其实对于硬件的理解没有那么的深我其实对于软件这一侧我很小的时候就很感兴趣因为我父亲是计程机老师所以我一直很感兴趣这件事情但是我对于比如说汉板子 比如说搭电路这个东西我就一直没有太起得起兴趣但是当比如说我现在来神谱做robotic extension我不得不去面对这些事情所以我也知道我的部署尽量的去寻求他们的帮助因为我知道我自己这一块的经验是不足的其实很多人会和你做非常不一样的选择有些人会觉得我就发挥自己的优势然后尤其是之前在DeepSeek在Seed都是做多摩泰就是做大模型的比较软的实习和工作然后现在转到巨生你好像在直面自己的过去经验的缺失这个选择的原因是什么为什么要去做巨生这其实是一个好问题我选择做巨生就特别是我作为一个New Grad去选择从大模型这个方向转向做距禅这个方向其实是因为我比较想做一个能自己定义事情的角色吧就是在大语言模型这领域包括说我在C的时期 [15:00] 其实大家的工作方式还是已经比较稳定了作为一个New Grad进去之后你更多是在去重复一些已经定好的一些计划你很难去尝试突破一个自己特别感兴趣的方向然后在巨升其实是整个行业都是一个非常没有收敛的一个这样的情况嘛你在里面其实有非常多做研究的一个机会所以说对于没有那么强认知的东西 我就特别想搞清楚这个事情应该怎么做 而且对很多人来说 哪都没收敛 好像也是一种风险 但你感觉是一个机会这个 我比较相信就是风浪越大鱼越贵了 就是你在这里面你就能做出一些很多有突破性的东西 就是你更有机会去做这些事吧 而且就像我觉得我导师对我影响也表示了就是我当时跟他聊过说我可能不去大厂了然后要去创业这件事情我导师会觉得说年轻人就应该去闯一闯失败了无所谓 应该一种都再来你只要获取到足够多的经验你完全可以开启你下一段的事业嘛就是所以说我对于风险这件事情的承受程度是比较高的我觉得它是个机会吧风险和机会一定是并存的最大的风险是什么我觉得是时间如果你方向真的踏错了你探索了几年的时间发现完全是在一个错误的路上走我觉得对于个人的打击是会比较大的但其他的我觉得还好所以你觉得今天大家在做的巨森的各种探索里面哪条路或者哪些路的风险是有可能会涌现的这个确实是一个我现在没有特别好答案的这样一个问题我自己个人的一个思路其实是找到巨生的智能它这个智能到底体现在哪儿其实这个是我们内部一直在讨论的问题就是你很难说一个机械臂它把一个水杯提起来它就是智能我们其实定义了一些什么是智能我们现在很关注模型的三个能力 第一个能力是它的适应能力这个适应能力可其实表达就是说刚刚说的ZeroShot能力以及FueShot的适应到一些完全OOD的场景的能力这是适应能力 第二个能力是有非常好的Sterability的能力Sterability指的就是可操控性 就是它这个可操控性除了语言的这种操控性之外 可能还有图像的操控性 视频的操控性 就给它一段视频 它能很快的follow住你的视频所以说这是第二个我们定义出来一个很重要的能力 第三个能力就是一定得有一个很好的上乡文理解的能力就是之前巨森我看很多巨星的工作 其实对于上下文的这个特别是原生上下文的理解其实是不足的 大家更focus在说我希望我根据我当前的observation就要把这个事情给做了 但其实很多事情它都是需要有context的理解才能涌现出对于这个整个世界dynamics的理解的 所以这是我们定义的三个最重要的能力,对我们也是沿着这个去做我们的基础模型,对。OK,我们待会再介绍一下基础模型,然后在此之前我们还是回到这个经历里面读PhD的这一段,然后这是中科大和MSRA的一个联培的博士,然后你觉得你读PhD的这几年,因为恰好又是巨星AI飞速发展的几年吗?你觉得这几年你会把它切成几个阶段吗?有没有这样的阶段感?我觉得可能就分两个大的阶段吧就一个阶段就是在之前的文档智能上面的就特别是我博士课题也是这个就在这一块做的一些非常重要的工作就是那一块就是说在大学员模型时代我对社区的一些贡献前者的话是也特别感谢我博导就是霍翔老师他提供这样一个平台去做一些真正让你的研究可落地化的这样的一个机会然后我们当时在微软其实做了很多的关于文档理解的事表单理解的一些事儿这些算法基本上都被应用到了一些微软语言上的API包括说对类的一些基础设施所以说从这一点我们其实是不是一个纯研究的PHD Researcher而是说我在做Research的同时去思考这些Researcher到底能不能对落地产生一个实际的价值 到底能不能赋能更多下游的各种商业的应用场景然后在后半段的时候 其实主要原因还是想去在大语言模型这个时代里面去成为弄察儿之一吧所以就选择了去外面实习 也许DeepSeek 实习其实当时就已经在做一些包括多么泰大语言模型的一工作 包括Agentic REL的工作 包括商业用管理的一些工作然后所以说大概可以分为这两个阶段你去DeepSeq的时候是发了V2之后但是离R1发布还有一段时间那段时间的DeepSeq内部是一个什么样的文化当时其实其实整体的就是跟我去我去了之后和我去之前其实得到的印象其实是接近的就是去了之后大家还是以一个比较偏研究者的心态去推进语言模型这件事情包括不管是多么太语言模型还是LM这个模特儿就是大家还是不会太急着去考虑落地这个事情而是更多是推 [20:00] 智能边界在那儿所以做这件事情的时候印象让我特别深刻的一点就是DLC的工作强度确实不大但是仍然能做出很好的工作出来这说明对于researcher来说工作强度不是必备的一个产出就是产出一个好的东西工作强度不是必备的一个点然后另外就是说在那边的感受是大家还是有比较清晰的一个项目规划的一个方式吧就大家的工作因为人都比较少嘛然后会分出来一大块让你去handle你也可以去接触到底层的一些代码比如说Infra的代码你也能接触到这是后来我在seed其实很难去做的一个事情了那去提不成果的当时其实一方面是Deepseek有很多MSRA的师兄然后也获得了一些信息嘛另一部分是就是HR又联系到我这边因为当时在做文档智能然后Deepseek VL2当时多么太亚模型一个很大的应用方向就是做文档所以当时就觉得说他们那边觉得说需要一个做文档的人来支撑一下Deepseek VL2这个文档的能力所以当时我就去就是问我愿不愿意去做这个事情的时候我当时就觉得还挺match的然后就过去了这个听起来很好 但为什么后来跑去了Seed?这点其实主要原因是DeepSeed当时对于多么泰的投入其实很少了OK 当时DeepSeed VL2做完之后 大家会从上层的领导的眼里面来看可能资源更重要应该要倾斜在语言模型上面 比如说要去推R1这件事情所以对于多么泰组来说能获得资源就会很少 而且当时我做的很多事情都是把文档智能之前的经验迁移到大语言模型这边来嘛即使继续做下去 其实也更多是在附用我之前的经验去做些事儿我想去做一些更不一样的东西 当时有个点就是我当时已经看到了agent的一个潜力了所以当时就聊到了seed当时有个组很早去做agent 然后当时加入进来去做在seed做实习了对 所以在seed和在deep-sick做实习的感受 有因为两边文化的不同 你自己有所不同吗 感受上会有一些吧对就像刚刚说的一样在Deep Seek的话我们能接触到的代码或者你要做可以做的事情其实会稍微的scope更大一点点但是在Seek的话因为它是一个精密可以理解成是一个比较庞大的一个组织这个组织里面人很多然后大家是一个相当于是一个非常精密的运行的一个仪器然后所以我每个人他有自己很重要的点去做所以在这边在C的做事情的话可能就会一方面是Fox在自己所关心的这个点上面去另一部分是有很多事情别人已经把你准备好了这也是个双任件了就准备好之后你就不需要管了但是这个东西可能就是很重要的一部分就是比如说一些Data Infra或者一些Trainning Infra其实也是对于research来说很重要的点其实会有些不同所以刚才提到就是你觉得这个巨生的领域更没有收敛所以可能意味着更多的这个风大浪大雨月之外的一些事情有没有一个具体的事件让你有了这样的想法离开大语言模型多么太模型的领域然后去聚身的领域这个可能跟我实习的一些感触有关吧就当时在SEED实习的时候其实特别想推自精化这个事情就自精化其实大家现在很火嘛但我当时是25年的11月12月份就想去推一个自精化的一个工作当时想的是说可以把model通过API形式对外提供服务然后通过服务去收集用户反馈然后自我迭代这个model因为在大公司里面去做这个事儿你需要和很多部门一起合作你就得去找一些对应的一些部门去协商这个事而且你可能需要前期做好非常充分的POC可能才愿意让你去然后另外每个部门有自己的工作嘛你这个事情是一个很探索性的事儿所以你可能能拿到资源其实不多当时就觉得说在这样一个语言模型已经比较收敛的这样一个领域里面作为一个New Grade新的毕业生 你好像很难自己去定义一些事情去做了可能更多的是跟好大部队 去把这个事情往前推就行了所以当时就觉得说正好有这样的一个加入巨生创业公司这样一个机会然后就去做了更深入的了解居生确实是一方面是公司愿意给我表达自由度去做事儿另一方面是这个领域确实有很多可做的点可演绎的点对 OK 好了我们聊一下深谱智能因为深谱智能应该是一个从数据模型到本体你们还做了一个Agentic OS就感觉全链路都在做这个背后的考虑是什么 为什么要做全链路我们对于公司的一个定位其实是一家终端公司不是一个纯数据公司也不是一个纯模型公司而是想对外提供一个真正产品的公司因为基本上整个店 [25:00] 非常的长然后它中间包括从数据到模型到部署到增机这样的各个环节然后最终真正产生价值的还是最终那一part就你把这些东西都放在了一个产品里面对外提供一个价值所以从这个角度考虑我们才把公司做成这种全站公司我们不是为了做全站而做全站而是我们有这样的一个目标所以我们不得不去做全年度的事这样的一个全站其实是我们会觉得说它是一个比较大的一个壁垒比如说模型这一侧如果在整个行业突然爆发了有一个特别好的点出来了一个特别好的模型出来了然后我们可以快速的follow住快速的去迭代然后并且放到我们自己的这样的一个产品里面去我们就能更快的去拿到场景里的反馈用户的反馈然后来把我们整个事情给做成我看其实已经发了一些工作了月底的时候是发了一个我们自己的数据集这个数据集也是支撑我们做pre-training的这样的一个基石这个工作叫HIFI5米然后前几天看好好像在Hugging Face和Motoscope上累计下载量已经50多万了所以是一个影响力还算比较大的这样一个数据集这多长时间的我们这次是开源了2000个小时但实际内部已经到几万小时量级了然后我们做这件事情其实大概也就做了半年的时间然后我们最早的一个考虑是我们一开始没想过要真正自己做这么精细的一个素材设备的一个事当时想的是如果有特别好的一个素材设备的供应商或者是一些好的合作伙伴那么我们就可以拿来用但是当时测了很多这种出彩的设备发现精度或者时间同步 根本就达不到我们自己的要求所以你们自己做的是什么样的?我们自己做的是一个超高精度的这样一个WMI的手套WMI指的是当时是宋初原老师他们组做的一个通用的操作接口也就是相当于是可以让书彩员戴着一个夹爪手套然后戴着夹爪手套 然后去做一些事情然后去把它做事的轨迹给记录下来作为模型的训练的预料在这个过程中其实我们做了比较关键的事情是一方面是我们抛弃了基站的定位在一个桌子上面摆好几个基站 然后去做定位使得我的轨迹恢复要很精确到毫米级但是我们是用一些很比较special的方法去使得说我们抛弃了基站 我们只用相机就能做到毫米级的定位另一部分是我们把时间同步这个事 就相机的时间戳的时间同步做的特别的好到微秒级的这样时间同步 因为最近也看到很多工作做污密这件事情 但他们会是觉得做污密的过程中会遇到这种时间戳不同的问题 所以我们要有一些special方法解决源头上就已经是很准的了所以你这样的话你就可以控制变量在你的模型侧可以做一些更多的事情所以这个摄像头是在哪里的摄像头我们整套设备其实是6度相机我们头部有双目的相机然后我们的腕部两个腕部分别有上下上下的相机所以共6个然后上下的考虑其实是为了去防止遮挡所以做这样的一个设计OK 为什么要踩那么多的视角呢就或者说因为理论上你也可以踩更多的视角首先是为什么有万部 万部它是必须的 因为对于这个甲爪的精巧操作来说 它必须得保证它视野是无遮挡的 如果你只有头部的话 它其实是很容易遮挡住 使得它无法去做视觉层面的预测 所以万部是必须得有的 然后头部为什么加呢 头部最主要的原因是我们要做定位 就刚刚说的为什么我们可以抛弃鸡蛋 就是因为我们有了头部相机之后 我们可以通过Slam的一些方式去使得我们的定位精度做得很高 并且头部也可以迁移到Ecosentric的数据采集上面去 所以我们做了一项设计我们也没有overdesign对你们怎么验证就是采了这个数据它真的有训练价值的呀就是一开始你们应该是做了一小批数据对吧验证了之后然后才放大到2000小时更多小时最早的时候其实就是把污密做做通这件事情其实不是一个容易的事儿就是特别是在国内就是没有之前其实没有几家真正把污密给做通了然我们当时在做这件事情也是踩了很多的坑了然后从第一批把污密数据采回来之后我们就会在自己的一些小规模的实验上面做验证模型上面做反tuning反tuning完之后我们直接去做Evaluation就登基实验去看这样的数据是否能做到比如说成功率到百分之多少然后或者说他确实能做一些我们希望他去年级里面的一些事情对当时我们在一些相对比较容易的一些任务上面其实就已经验通了这个事儿验通之后我们是相信的只要我们数据采集这个事情做对了我们大概率是能够扩展到更多的任务上面去的另外就是我们肯定在中间对我们设备做了很多的测试和迭代就相当于是我们在仿真里面把我们的采过来的轨迹做一个回放看能不能在我们的本体上运做出来这些动作我们发现95%以上的都是能做的这也是坚定的说我们确实可以大规模采集的这个一个原因对然后所以说基于这些考虑包括说我们的 [30:00] 通度 时间同步 replay的比例所以我们就对我们的这个素材的设备做了一定的扩展然后也是自己做了一些素材场地的租资然后去采集这样的事儿因为采数据和标数据现在就是比如说分别在投入上是一个几倍的量级这是挺好的问题就是我们之前采数据的投入比例还是更高的因为首先你的量得上来嘛所以我们其实除了在数彩场景里面采之外我们会做一些外采 外部采集就在家庭场景 酒店场景 民宿场景做各种样子采集使得我们的分布的多样性要好然后其实最近一段时间我们在标注上面的投入是更大的就是因为我们发现采回来的数据它其实是需要非常精细的清洗才能用的特别好的的原始数据直接训练也是能比较work 这说明我们数据精度确实很高 但是其实是也发现了中间一些mismatch的一些问题了 所以我们最近一段时间其实更多是focus在数据清洗的这样我们希望把它变成一个真正标准化的一个自动化的这样一个标注流程 而不希望太多的引入人工 不是Astra就是让自动标注变得可能 其实这是一个很好的point 就是我们最近试用GPT6 Astra也试着帮我们标注清洗做了一批 我们发现做的比人还好 而且他能够24小时在那里做 而且成本上跟人其实成本差不多当然GP6它的效率还是有点低因为我们是当时就直接充值了Codex的额度去做这件事情其实它还是有一定限制的所以我们是在自己去training我们自己的标注model相当于是用类似于GPG6可以给我们标数据标完之后我们可以自己训自己的模型而且这个其实不需要训的特别多就是一小批量的然后持续迭代基本上就能做到一个还不错的效果了对 然后咱们刚才提到我们的HiFiWuMi的数据库开源了2000个小时你们是出于什么考虑要开源这个其实之前做research的嘛所以对于开源这件事情大家还是抱有一个挺自豪的吧就是希望自己做的工作能更多的被别人看到更多的被community所使用来推进整个community往前发展所以这是为什么我们开源2000因为2000小时也不少了对于做基本的research有一些研究的学校里面的研究lab也是可以用的了所以说我们开源了2000这样一个小时数据另一方面是我们也希望说让从社区里面收集一些反馈吧去看我们现在的数据可能会存在哪些问题然后来去持续的就迭代我们这样的一个素材设备大概是这样的一个考虑明白 所以开源后收到那些反馈了吗开源之后其实是收到挺多公司的邮件就是希望要买我们的数据就包括海外的公司 国内的公司了这些是比较多的然后另外就是说可能收到一些反馈觉得说有两个问题第一个问题是marker就是我们手上面会有一个专门为了定位去设计的二维码所以说他会觉得是不是可以把它做小一点更好然后另外一个事情是觉得我们那个手套就是这个在真机上面发热有点严重因为我们当时把真机的一些实验结果也放过来给大家看了嘛其实我能感觉到是有一点发热的一些问题的这其实是一些其他的问题比如说相机的供应商的一些问题或者一些其他相关的问题但是也是收集到一些还不错的反馈吧那我们刚才这个在聊数据啊然后现在还是想回来再聊一下模型就目前我们模型是年底会发大概透露一下我们现在有哪些可以提前透露的东西吗有一些可以透露的其实我们现在的model已经能ZeroShot做很多事情了OK这个是我当时测了一下当时其实没有抱特别大的希望说ZeroShot因为之前确实没有特别多的公司说自己的model能够ZeroShot更多是需要后训练然后在一些仿真真机的benchmark上做测试然后去打分但是我们当时为什么要做ZeroShot验证这件事情自己你如果不做这些哨的 或者你不做预训练的评估你很难去直接的去判断出来你模型的能力到底在哪儿你有什么需要改进的点所以我们当时就做了比较细致的这样一个评估的事情然后其实现在来看其实是已经能做到不少完全没有就是不需要后训练直接几千个任务的模型直接上去就训练训练完之后我们就直接可以做一些task了而这些task还不是跟原来的训练机里面完全一模一样的是通过一定的泛化能力泛化出来的比如说最近建1.5发的时候他是讲说给模型看一个三秒的视频模型就可以取然后所以你指的是类似的能力吗我们不需要给他视频就他那个还是one shot对他那是one shot我们的Zell Shouts的能力,这主要原因,我们内部讨论主要原因还是因为我们的数据质量确实很高。对于Generals来说,我记得他们之前GIN1的时候,他们说是他们需要一个小时任务上的增加后续年数据。 [35:00] 他们表现成功率非常的高但是他们没有说过说他们5米的数据直接预测完之后直接就有一定的rearshot的能力这好像是没有太看到的那是非常期待这个模型发布的你们也在做世界模型吗这得看世界模型怎么定义了我们没有特别的去往这个概念上面去做我们就是沿着我们刚刚说的几个比较重要的能力反推出来什么模型最适合学习效率最高在这个能力上面需要什么样的数据是从这个角度去考虑的所以对于不管是What-X Model还是BOA我们其实都会去Borrow最精华的最适合我们这个能力的一些点去设计我们的Model所以我们不是一个Follow型的这样一个工作而是一个我们自己在设计一个最适合我们定义的智能的这样的一个model但当然我们肯定也会利用一些之前已经预训好的一些知识了就不会完全从头去做这件事情这一开始的时候你也提到就是模型有三个基础能力然后其中一个是也是最后一个是说关于context的能力为什么在强调这一点呢因为我之前是做语言模型的从语言模型的角度来说特别agent context是里面最重要的点你只有有了非常充分的context他才能去更好做决策但是对于聚深的领域来说我过来之后去读很多文章其实发现大家对于contact这件事情的关注度没有那么的充足大家可能会去假设这个model是通过当前的observation就能够做很多事情了而没有考虑过说我的context里面蕴含的那些因果的信息所以context其实我们定义上很会分为几种类型一种类型是说在短时的context它其实蕴含了非常丰富的因果特别是接触丰富的这些任务上面比如说我拿一个水杯我第一次拿的时候夹爪可能没有夹得特别紧导致它松了它松了之后你下次就拿紧抓紧了把它提起来了一个是从他观察到的图像到我做了这样一个动作是松的松了之后我的图像往下滑了我这杯子往下滑了再到我给它夹紧然后又稳定的可以做了这一套一个过程里面其实是一个非常丰富的context虽然说他们可能是在短时间内可能一秒钟内发生的但是他的context对于模型的作用是非常非常重要他从里面很自然就能学到说原来我是这样做错了我下次应该怎么做对所以这个context从短时间上面来说它蕴含了非常丰富的因果信息可能就跟memory更相关一点了就是我们比如说我这桌子上面有好几个一模一样的咖啡杯我去拿第一个咖啡杯的时候可能要经历我刚刚的那样一个过程等把它加起来但是他做第二个咖啡杯第三个咖啡杯的时候他已经非常清楚的知道我咖啡杯的宽度是什么刚刚输出的宽度是什么了那么就很自然就迁移过来不需要做重复的试错了所以这个context稍微长一点context也有他所发挥的作用另外就可能就是更长一点的了就是比如说我做一个家务的时候我可能一开始是把一个东西放在了某个抽屉里面然后我的人类的伙伴让他要去把这个东西找出来拿给我那么你如果没有context的理解能力 记忆能力的话他其实是找不到的 他每次都得重新去学 人必须的重新告诉他在哪儿所以说从更长期的记忆来看 其实context也是里面最重要的一个点所以你们针对这个是从模型架构 还是从数据 还是从什么角度去做了特别的工作吗其实是从数据和模型都要做事情的从数据层面来说就是什么数据能够激发模型对于context的利用从模型角度来说怎么能高效的去建模context因为context自然而然带来的问题就是你的token特别多token多了之后你推理效率一定下降对于机器人这种又执行很敏感的这样的一个系统来说你这个推理延迟的问题怎么解决你训练的效率怎么解决其实我们在这块做了一些很spatial的设计OK然后咱们刚才提到HiFi Woommy这个数据集它应该也是咱们用来训我们的模型的数据集对 这里面好像没有触觉是 就是触觉这件事情我们最近也是非常多的在思考这个问题人是不需要看就能做很多事的 但是因为它是靠充分的触觉大家采EGO其实采过来很多数据其实也是不带触觉的只有视觉信息 但是很现在很多有一个研究方向就是说我能不能从视频里面直接预测触觉出来是触觉 相当于这种对直接预测触觉它的精度是不够高的对于model来说可能做预训练可能稍微有点用处但可能对后训练来说就完全不可用了我们其实也是装了触觉了但其实我们新开源这一批数据是没有触觉的为什么没有呢是因为对于二指甲爪来说它很多情况下通过视觉是能够去判断出来我有没有夹紧的因为二指甲爪它不像零销手零销手是有很多遮挡的但是二指甲爪是比较少的遮挡因为我们做的上下相机的设计这种遮挡就很少了另外现在的触觉传感器其实是没有太 [40:00] 收敛的 承认个很大的问题就是不同的触觉传感器它的分辨率是不一样的 它的位点也不一样的 你今天你投了100套设备用了这个触感器 你踩回来之后发现效果没那么好 或者说你这样训练一个model 等到过几个月又出现一个说更新的 更好的一个传感器 你又替换进去之后 之前的数据怎么利用起来 其实也是个问题 所以我们也没有放弃触觉这个事儿 我们也一直在试试触觉这个事儿 但是没有太大规模的去把它铺开 蛮有意思的 最近我应该也会录一期播客一个做量子点的一个科学家然后他的博导也拿了诺贝尔化学奖,就因为这个技术,量子点,然后他们做的事情就是发射出量子点来感受触觉,大概是这样,大家之后可以听听我们播客听他来讲,可以,可以,可以,其实咱们刚才提到我们已经看到了一些ZeroShot的能力,你觉得这个是scaling law的一些信号吗?就你们觉得有这样的信号吗?Scaling law其实是一个很严肃的事情,就是我们现在是看到了scaling的一些趋势,就是比如说把我们的数据对方性扩展起来,把我们的计算扩展起来,把我们的计算扩展起来,把我们数据量扩展 我们确实能看到性能的一个比较明显的提升scaling这件事情在任何领域应该都是存在的 只是说看你一开始做的对不对它取决于说你一开始数据做的对不对 你的整个模型设计做的对不对所以但是scaling law 毕竟它是个law 为什么它是个law 是因为它有非常科学的依据在里面的它所探索的是你的数据量 你的模型规模 你的计算之间存在某种比例关系 使得你的训练可预测就是科学的scaling law 所以说其实对于现在剧情来说可能很多公司发blog说自己验证了什么scaling law我们会避免讲scaling law 我们可能会讲说我们存在一定的power law就是指数的指数秘率的这样一个现象但是我们不会太说我们找到了scaling law 对 因为scaling law是需要你做充分的实验验证定义清楚我多少的数据配多少多大的模型配多少的计算 这是很严肃的问题我一个事对但是我们已经看到了一些Skinning的趋势了我觉得还是蛮promising的对这可以具体讲一讲吧这个趋势是什么这个趋势其实就是说我们训出来这样的一个model我们原本可能期望的是它能够在训练级内做一定的任务比如说我完全见过这个任务比如说我们现在训练可能一两千个任务一起同时训练训练完之后我们可能会针对说一些头部的比如说数据量比较大的Task确实能够可能我这些少的能做 但是我们后来发现数据量没那么大的可能占比只有可能1%或者0.5%这种数据也能做另外就是说我即使没有完全见过这个task 我稍微组合一下比如说我要去 我的数据集里面可能没有把遥控器放到盘子里面但是可能会有把遥控器放到遥控器的盒子里面这样的一个任务可能也没有说把零食放到某一个架子上这样一个任务可能只有说把零食放到垃圾桶这样一个任务可以组合泛化 我让他把临时放到那个盘子上 比如说放到蓝色的盘子上 他就可以直接就放过去了 他不需要任何的后续念 这是我当时是觉得说其实你只要你的数据对象性起来了 你的模型的能力应该是会有很明显的超乎我们想象的一些结果 对 蛮好的 我看到深谱其实发了一个Agentic OS 可以讲一讲这是什么吗?Agent的这件事情 因为我其实在去年的10月份就跟我们的CEO和CTO做很深入的交流我当时觉得对巨生它肯定是一个agent的system它肯定不是一个单点模型的事情毕竟它是一个很大的系统它需要与人交互 它需要与环境交互所以它肯定是个agent然后我们当时在做一件事情其实就是我们公司也是国内很早很早讲agent的system做巨生的这样一个公司了然后我们自己在前期的时候也做了挺多探索其实主要就是说怎么把harness这件事情做好就是对巨生来说他所需要的harness和做digital的agent来说也就是我们在这个过程中其实构建了一套与人交互包括说语音识别 包括说任务分解 任务拆分 工具调用然后再到下面的一些更底层的一些设计然后我们做了这样的一个System这个System大概可以分为是两层就是System 1和System 2然后只不过说我们围绕上层的大脑的模型做了更多Hunt上的设计使得它能够去比较好的去完成我们给它定义的一些任务可以用一些语音对话的方式去跟他交流让他去帮你拿个衣服,或者帮你把衣服送洗到洗衣机里面去,然后洗一下所以他整体构建了一个这样一个Systems.所以Systems2指的是理解意图和做规划,Systems1应该是指的快速去执行 [45:00] 精细化的执行对对对咱们System II背后用的模型是什么其实我们前段时间用的还是Seed的model就是字节Seed的model毕竟我参与的那个工作之后会换成Seed的model吗我们正在尝试做因为这个其实挺好支援的因为我们认为大脑是一个参数量一定得大的model能做对于我们这样一个创业公司来说其实算力是很珍贵的我们会优先级可能会放在做Action的Pretraining上面去因为现在大脑模型一直在快速发展所以你从GPT5.6到GPT6其实有很大的一个跨越那么已经有这样很多公司在做这样一个事情了我们其实可能更倾向于说一方面是看能不能定义出来我们所关心的一些大家没有太看到的这个聚生方面的大脑的能力另一方面是希望尽可能的利用别人这个已经做好的一些东西来反补我们整个系统这个整个系统的这样一个稳定他们的延长线吗?因为Gemini其实也发了它的ER,是,是,是,然后比如说你们也用Seed,是吧,然后Astra其实也有这样的能力,你会觉得这个最后还是是基模,就是我们说大语言的基模他们做的事情吗?我觉得可能对于语言模型来说除了基模的能力之外,还有很关键的就是刚刚一直在讲的Harness,你得给它配适合聚身场景的Harness,才能最大程度发挥这个作用。所以你们做了哪些Harness?比如说我们做了非常好的善用管理,因为我们做了非常好的善用管理,因为我们做了非常好的善用管理,因为大脑它需要实时的去接收这些视觉的反馈那么你接收多了之后你整个延迟就会有问题你整个的上下文可能就会爆炸掉这时候你要做很细致的上下文管理这比如说你的大脑怎么和你的小脑做好的交互 交互这一层也是做一些比较好的设计 为什么我们很强调 我们要把小老做成一个sterible的 可控性非常强的model 就是为了让大脑能够更自然的去调度下面的model 所以这一侧都是需要有很多协同设计在里面的 不只是model能力这一点 我认为 我们再聊一下巨星模型的评估 我感觉现在是没有一个非常好的一个benchmark 是这样吗 还是其实你会看到有开始出现Benchmark做的确实都不太好大家还更focus在仿真的上面 比如被大家刷爆了Libro这种benchmark这种benchmark就是你不需要预训练 你靠存后训练也是能够做到非常高的分数的所以这种benchmark其实没有太大的参考价值了但是最近也有看到一些 比如说叫robotdojo也是一个它既有仿真 又有真机实验的这种benchmark但是像这种benchmark它其实存在的一些问题就是仿真它毕竟和真实世界还是有一定的gap可能不是你们团队所关心的能力的 明白然后另外一个就是 真接的benchmark 你很难保证完全的复线吗?你可能要把你的model给到他们 让他们帮你去测那其实对于公司来说其实很难做这个事情我们会认为巨深的评估和大约模型评估有很大的差别它评估的是整个链路的稳定性 整个链路的成功率所以最好的方式应该是自己把评估这个事情给做的足够的扎实然后大家百家争名发的模型 其实互相都不知道到底水深水浅可以各说各话所以你们因为年底要发 那个时候你准备用什么样的方式来证明你们的模型能力呢是挺好的问题 我们一直在思考这件事情 首先是你要看最真实的东西我们到时候会把最真实结果也给外部去看我们会搭非常扎实了评估的benchmark 来从关心的几个能力的角度这个场景番话 物体番话来去呈现我们的成功率我们也做了FueShort的实验我们会明确的说我们用多少数据我们如果是ZeroShort的实验就一定是ZeroShort的实验所以说在这一侧我们肯定是要做的足够的公平对 然后另外存在的问题就是说我们对聚生来说其实很难和其他模型做对比这是一个很关键的问题就是因为别人训出来的model你也不知道他用什么数据首先是他也没有在你的本体上训过所以你直接拿过来大概率是不可用的那么这个评估其实就很难做所以从这个点上来说我们更多是坚持初心吧就是把我们自己的模型做好就好了就模型开源这些事情其实还是需要商讨的我们肯定希望的是我们就开源一个大家后训练能够做的效果非常好的这样一个model但我觉得最重要的是保持真实其实前面刚才提到咱们做了一个Agentic OS也发了然后里面的System 1和System 2是两个独立的东西你觉得未来他们会收敛到一个端到端末型吗还是长期会分层这也是一个最近大家讨论比较多因为看到GP6出来之后大家好像会觉得说可能一个通用的model就已经搞定这件事情了我说实话我是觉得不太可能下面把上面吃掉但是确实有可能上面把System I吃掉 [50:00] 是有可能的事情但是这件事情发生的时间在什么节点我现在其实很难判断的出来因为我觉得这个应该还是一个有一定周期的就是我个人认为一个点是即使我们能看到终局我们也不能放弃中间的阶段所必须做的事情就我来说它可以去直接描着最终的点去做我们就做成一个统一的model我们做成一个可能一个10t的巨身的模型这是可以做的但对于希望的是把action的能力做的足够的扎实然后等到比如说一个最典型的一个情况是上面的model有非常好的一个规划能力了我们的model有很好的stareable的能力了那么我们很自然的构建ehanes把它结合起来我们就能做落地了我们可以落结很多场景都已经可以产生我们自己场景的一些我觉得对于创业公司来说我觉得是个蛮好的一个策略其实还是一个很重要的选择对很重要的一个选择深谱智能现在大概是多大一个团队规模我们现在差不多是70多位同事这里Deep Seek时期的时候发现大家下班很早就是说做好的研究成果和工作时间不是一个线性相关的我觉得不是一个线性相关的 你们现在加班多吗?我们现在没有一个强硬的加班 都是自趋的就是大家今天有事儿想早点走 无所谓就是我们工作时间其实是规定的工作时间只是从9点半到6点半所以只是很正常的一个时间要做的事情比较重要的可能就会稍微晚点下班如果觉得今天有事了然后又想休息了无所谓就是可以早点下班了我自己也是这样的我也没有每天都工作到深夜我觉得还是保持一个思维的灵活性这个事情是比较重要的特别是现在在agent的一个加持下 每个人其实更多需要的是你要管理好你的agent 你要筹备好你的 就相当于是你对你的项目有个很清晰的一个认识 然后去push agent去做事就好了 我们公司对于AI工具的额度基本是无限制的所以你们现在主要用什么A键工具我们主要用Codex内部比如说是怎样开会比如说我们和CEO CTO你们之间就是这样开会的文化或者整个大团队开会的文化有什么特别的地方吗我觉得我们现在做比较好的一件事情是会做事先的规划从CEO的角度他就会去拉我们基础团队的一些主要的负责人去聊智能到底是什么怎么定义它以及我们的数据为了这个事情我们数据做怎么样的准备我们要多少的算力它可以去这顶向下就会去有形成一套比较清晰的一套沟通的体系吧我理解是整个团队我们都会做比较充分的一个context交换吧就context这件事情其实蛮重要就对于大厂来说可能context只聚焦在那几个人的手里但是对于创业公司来说我们尽量把组织变成一个非常扁平化的清晰共享的这样一个组织形态就第三part我们再聊一下各种前沿的突破然后带来的一些启示Asia其实我们前面聊到好多了如果再用几句简单的话来说一说你觉得它带给你最大的启示是什么或者带给行业最大的启示是什么我觉得带给行业最大其实是通用的智能真的有可能外溢到各行各业里面去对各个领域里面去吧System I和System II间的边界可能会越来越模糊这是一个值得我们大家就去思考的问题就是因为前几天也听到听了一些大家对于可能国内的同行队员Astrad看法可能会比较乐观一点会觉得说可能GP6速度太慢了它做不到那种实时的反馈我们刚说的目前一些缺陷但是其实从大语言模型的人来看它是有机会做到真正可用的 它是有机会的但是我觉得一定程度上它应该还是需要有action能力反哺进去的但是不知道是通过某种方式给融入进去但是我觉得是需要这个能力融入进去的而且这个时间有多长暂时还不太可知吧我觉得国内最有可能做出类似Astra的这样能力的语言模型的这些团队可能是谁看好两个吧一个是seed的Dormtide因为seed的Dormtide冷逆一直在国内都是比较领先的我可能会白影千问一点,因为我之前有跟千问的一些朋友聊过巨声这个事情,他们正在做类似的事情。最近放眼全球有哪些比较重要的发布,感觉到对你很有启发的?夹爪的这样一个实验就是9000种构型的夹爪做泛化然后另外到1.5 [55:00] 就是做in contact learning一个实验我觉得都是能证明他们模型的一个泛化能力或者他们的预训练能力确实是蛮强的对这一点我是蛮respect的我觉得很少有公司真的做到他们量级Pi 0.7呢Pi 0.7其实对我们来说也是有一定启示的Pi 0.7它的里面很重要一个点就是sterible就是我们刚刚一直讲的steribility研究Stereoble这个事情他最早还做过类似于Embodied的COT就是把锐利领融合到巨生的模型里面去其他都是Stereoble的一种所以Stereoble这个事情也是把它列为我们头部要做的能力之一吧Cerebral可以非常好的去和上面的大网做好配合去完成非常多难以想象的事情你觉得有没有什么最近发出来的东西然后刷屏了但你觉得其实被大家高估了我觉得可能就是其他家做的一些contact learning的事吧就是最早的话是genrelist他们发了Incounter Learning 吗他们当时是有两个点一个点是他们说他们的model是原生能够支持30秒的context的这也跟我们之前讲的聊到context是一致的然后他们在做这个事情的时候他说他们的contact learning是自然涌现出来的没有单独训练过的只要把视频放在里面他就能follow出特别是让我比较震撼的是他们的参考的视频其实都很短这也是为什么我比较相信他们是自然涌现出来的比如说他们还有个点是他们能通过第三人生视角去做参考比如说我这是个相机然后你人站在这里然后去把一个杯子叠到另外一个杯子上面去这个机器人机械臂就能直接follow住也做这样一个事情但是其他最近有一些其他做In-Connect Learning的一些工作包括美国可能Scale的他们发的一些结果都有明确说到说他们是专门训了Pair的数据的所以说其实对于这种Pair的数据的引入我觉得只是暂时的一种妥协它自然涌现出来的这种Context的能力的话我个人理解是In-Connect Learning它对应两个能力一个是Context的深刻理解的能力第二个是Stereoble的可控性能力强行去把Incarned Erling 训上去了然后并且做了一些demo 我觉得不是很本质确实在居身领域也有一个一直搭发的模型之后其他人失不了,因为你要去复现他的工作,因为你没他本体,你也没他数据。这其实也是一个很有意思的问题。是的,是的。所以你觉得会出现一个中立的第三方来去帮大家做这样的 benchmark吗?之前其实有一些尝试过,但是后来就也是有点不了了之了吧,就是因为巨生公司,之前有些巨生公司做了类似的事情,做了一个真记得benchmark 但是他既当彩排又当运动员了 这可能不行 其他都不服他 所以说搞这个事情确实挺难的 我觉得也是俱生很大的一个问题它的评估的公平性其实特别难保证我只有觉得可能还是看产品说话看用户买不买账了其实你在巨生工作了快一年了然后你之前在模型领域就工作的时间可能更久觉得在这两个领域有什么样的相同不同比较大的不同是对于语言模型来说大家整体还是一个比较open的方式去进行这样的一个research的就是大家的结果相对来说是可复现的因为他们有API可以提供给你所以说对于AM来说它是更透明的而且另外就是有很多开源的包括比如Deep Seek很典型的例子他们愿意把自己的技术突破给开源给大家去了解所以说从这一点上来说我觉得语言模型的技术的壁垒它可能更多的比如researcher来说或者对于学生来说还是很容易去follow住一些最前沿的一些技术突破的可能没有那么多数据但是它至少可以了解到很细的一些细节信息但是对于巨星来说其实就像刚刚聊到的很多问题就大家甚至可能噱头更大于真实吧 我过来之后一个很直观的感受就是就特别是今年的上半年大家都特别吹捧Vilection Model这件事嘛但其实真正把Vilection Model做到落地的就没有几家而且它的效果比VLA到底有好多少 其实也没有很明确的一个结论所以说从这点上来说 大家都是为了可能是一些商业上的考虑然后就需要对外发一些东西然后去做了这样一个事情其实就对于做research的人来说就会觉得有点太浮躁了噪音太多了这个时候你的选择是什么你怎么去在这些噪音里面寻找信号对我来说 [60:00] 我更关注的是他们所讲的点以及他们呈现出来的demo的结果是不是符合的另外他们点给我们自己的从第一性原理上来说是不是正确的所以我们在做这件事情首先是因为这个领域它不收敛所以我们完全可以从自己的第一性原理出发去做我们自己认为正确的事情这个我觉得是相对比较OK的不像原模型已经有很重要的一些奠基性的工作在前面必须得沿着往前走你才能走得比人快但对于聚生来说我觉得还好你完全比如说我们数据这个事情当然我们如果人云亦云的话我们就直接去买数据公司的5米数据Ego数据来做就好了我们就没必要做这个事了但是我们做这个事我发现我们这样做完之后好像可以弯道超车所以你刚才提到第一性原理你们的第一性原理是什么我们第一性原理就是像最早说的我们在思考到底什么是聚生智能的智能我们都是从智能这个角度去触发你刚才说了一个答案对吧你觉得有什么别人的答案吗你有看到过吗就让你印象深刻的和你们有所不同但你们最后放弃那个答案的也谈不上放弃吧可能就是对于Ego的一个态度上我们没有放弃Ego-centric但是我们是还没有特别玩明白污密数据所以我们一定要把这个事情先弄清楚了再去花更多的精力去看Ego这个数据应该怎么用因为Ego它肯定是一个多样性更强的这样一个数据分布你要学习一番话的话一定要在一个分布足够广的数据里面去做训练这不只是说量大了量只是多样性的一个体现它更多是diversity所以说从这点来说像Della2他们做了100万小时的Ego然后以及一些其他公司也说自己做了100万小时的Ego的训练所以说我们没有太贸然的去做这样一件事情因为我们考虑两个点首先也是从第一行原理考虑这个数据它的性价比到底怎么样看起来Ego的数据它的成本是很低的现在去买可能30块钱一个小时也能买到还不错的数据但是你后续的投入不管是标注还是你的训练其实是非常非常贵的另外就是它达到的效果到底有没有它的付出的代价和你获得的效果到底成不成这么比它的写率是怎么样它性价比到底怎么样这其实是一个非常值得去验证的问题5米从现在来看因为我们是原始我们自己采的我们不是买的所以我们的成本是相对可控的然后采回来的数据质量又很高我们对于清洗的要求没有那么的重了就不会说你采回来10万小时我们只能用1万小时我们90%以上可能都能用然后另外就是训练上因为数据量没有那么大使得我们可以非常充分的去验证里面的包括刚刚讲Scaling Law你可以充分验证不同的模型参数下不同的数据量配比下你的这样一个模型表现是什么所以从这个角度来考虑我们在资源还没有扩到那么多的时候我们没有太贸然的去把EGO直接引入进来一引入进来的时候就产生新的变量对于你整个的推进就会有很大的一个影响说到这里我突然想到你一开始我问你说怎么理解聪明你说聪明其中两个点中的一个点是会提好的问题我就想说这个确实每次我录播客的时候都特别担心自己这个问题问的不够好所以一个很有料的嘉宾来了之后他的prompt不够所以他其实智能没有被涌现出来所以anyway听我们这些播客的朋友如果你们有觉得在我们前面的对话当中有什么地方可以提出更好的问题可以在评论区给我们留言然后家伟也可以到时候我再发给你你有兴趣可以在评论区继续回复OK你可以问我一个问题你有没有这样想问的问题我有个非常好奇挺有意思可能是跟聚生行业没什么关系的问题了做播客和做投资之间一同点是什么我之前也比较有这些比较粗浅的例子其实我也想过做播客我觉得蛮有意思的他可以和很多人去做这种各行各样的人做交流所以我觉得说比较好奇当时怎么考虑比如说同时又做投资,同时又做播客我觉得你完全可以做呀至少可以先从音频做起其实iPhone录音就效果很好比如说你和朋友出去喝咖啡或吃饭就放在那儿录出来的音质其实都是基本可以用的鼓励你做然后我觉得做播客和做投资都很像是你有两个小时的时间去向一个人提问然后尽可能的了解他这个是特别相同的所以这里面的问题呢比如说我特别喜欢问比如说我接下来要问你那个问题就是你人生中有没有一个十字路口是做过最艰难的抉择这是我肯定都会问的我觉得就是做播客我可能觉得我特别喜欢听故事然后在投资的时候你特别希望通过他面对这种困难时候的决定来去看看他有没有做一个创始人的这种personality所以这是相同的问题 [65:00] 然后也有很多不同做播客的时候我觉得我会非常nice然后我特别担心或者我特别不愿意去问一些可能会让对方感到不适的问题我希望他一直处在一个比较好的情绪来表达但做投资的时候这个提问有时候就是我觉得这个问题必须要问因为你可能让对方不舒服你才能得到可能更真实的答案就举个例子比如说刚才你说这个你要直面自己的不足嘛然后所以你去选巨生也有这方面的考虑但如果我们在投资场景我肯定就会一直往下问我就会说那这个很显然就是有一个很大的这个思潮或者价值观是人要做自己擅长的事情创业更要做自己擅长的事情你怎么看这样的观点我可能就会反复问反复问其实是要就是把对方就是搞到一个这个就是让对方进到一个状态去那个可能对于我们做投资判斗会更有价值下一个问题就是因为看上去你非常顺利路上就是感觉就是别人家的孩子的那个典型代表所以你有没有就一个非常艰难的时候或者不一定艰难吧就是可能在某个十字路口的一个时候其实我觉得最tough的十字路口还就是选择做语言模型还是做巨神这个决定其实还是蛮艰难的因为毕竟是一方面你要放弃掉比较优渥的不管是薪资条件或者你的资源比如你在IC的可以用很多卡但是你出来之后创业公司可能就很难有这样的一个资源然后另外就是说你在创业公司的时候你很多事情你要从零到一的去做就是你的Infra你的整个模型的设计你的整个团队的搭建都需要你自己亲自去花很多时间去考虑这是跟之前很不一样的一个体验所以说在做这样一个决定就是到底是要放弃自己之前舒适区做原模型舒适区还是要去挑战一个除了研究之外还要考虑更多额外的一些问题的这样一个机会的时候还是蛮纠结的当时少年班的同学们现在都在做什么就是还挺多人去美国读书去了然后就是因为学一些基础学科像数学物理啥的但是我也有听说之前做数学物理的也转行来做AI要不然就是AI的交叉要不然就去做AI的量化或者是一些其他一些工作比如说做一些AI加医疗的或者是AI加制药这些其实做的都蛮多的我甚至有一个同学是去了OpenAI然后因为他是做比较偏理论一点的就是OpenAI不是找了很多科学家吗是有没有谁做非主流的选择或非共识的选择就不做AI不做居身不做金融去做别的这个确实我基本没有太了解到我觉得在AI这样一个大的团趋势下面就是大家还是会拥抱它吧所以吸光了所有的优秀人才这个领域我们最后一个问题吧就是如果比如说过了三年为什么是三年是因为我最近觉得比如说我们经常说一句话就是我们经常高估两年内的变化但低估十年后的变化所以我觉得三年是一个有趣的时间点就在那个时候我们高估也好低估也好好像它somehow都已经被验证了一点点了就在三年后你如果回头看今天你觉得哪件事情发生了会让你特别觉得就当时去到巨神行业是正确的这个其实有一个点就是我之前跟就是当时跟我那个博导聊天的时候他就说他有一个很强的需求什么需求呢就是大家每次吃完饭之后不要洗碗嘛他们有洗碗机那大家还是需要去把这些盘子里面的东西倒掉然后再塞到洗碗机里面去还花挺长的时间可能20分钟的时间去做这个事所以我其实觉得如果三年之后我们做的robotics已经能在比如说在一些家庭里面去完成类似的这种帮帮洗碗的事情我觉得就已经非常让我exciting了对我觉得实现这个的概率有多高我现在看我觉得概率还挺高的是80%那么高还是60%那么高我觉得三年的话实现是巴士OK好那谢谢家伟非常期待三年之后这个在我们家帮我们洗碗的继续人士来自深浦志能谢谢谢谢OK好拜拜拜拜