蚂蚁灵波沈宇军：具身大脑明年中迎来GPT-1时刻

蚂蚁灵波沈宇军：具身大脑明年中迎来GPT-1时刻 具身智能最大卡点在于数据无法规模化扩展，只有当真实物理世界数据达百万小时量级时，行业才能真正跨过GPT-1时刻。 访谈中，蚂蚁灵波首席科学家沈宇军系统阐述了团队“坚决不做本体、只做通用具身原生大脑”的战略选择。他详细介绍了灵波从 1.0 到 2.0 代基础模型演进中的技术豪赌，包括放弃在数字大模型上加挂 Agent 的魔改路线，转向基于物理世界需求（实时性、几何空间感知与单向时间流）的全栈原生重训练，并发布了覆盖 Depth、Vision、VLA、Video、World 与 VA 2.0 的开源模型矩阵。针对行业现状，沈宇军指出数据 Scale Up 仍是最大的卡点，距离具身智能的“GPT-1 时刻”仍需百万小时级的高质量数据支撑，而中国完备的硬件产业链与场景红利将成为数据规模化突破的核心优势。 蚂蚁灵波首席科学家沈宇军表示，团队战略上坚定不做硬件本体，专注打造“跨本体、跨场景、跨任务”的具身通用原生大脑。 (11:30) 蚂蚁灵波放弃在数字世界模型上“魔改”的外挂路线，除 LLM 外全栈针对物理世界的实时性与几何感知需求从头重训，并开源了原生 MoE 架构视频基模 LimboVideo。 (17:30) 灵波 2.0 模型支持构型扩展至 20+ 种并覆盖头部、底盘和灵巧手全自由度协同，单任务后训练所需真机示范数据从 100 条降至约 20 条。 (24:30) 沈宇军认为具身智能尚未迎来“GPT-1 时刻”，行业最大卡点在于缺乏数据 Scale Up 手段，未来原生基模需要百万小时级数据支撑，而中国完备的硬件与传感器供应链将是核心优势。 (80:00)

蚂蚁灵波首席科学家沈宇军认为，具身智能是独立于大语言模型的全新体系；在当前硬件超前而“干活智能”匮乏的阶段，团队押注“不做硬件本体，只做具身原生大脑”，通过单向时序建模与几何原生表征重塑物理世界的基础模型。 不做硬件本体与跨构型大脑定位 (11:30) 沈宇军表示，蚂蚁灵波从成立之初便明确“彻底不做本体，只做通用大脑”。他认为未来家庭和B端场景的硬件形态无法统一，过早绑定特定硬件会导致为控本而裁减性能，进而丧失在其他场景的可用性。当下行业的主要矛盾是“大脑严重落后于本体”，硬件运动能力已经成熟，但实际干活的智能仍是一片荒漠。 灵波选择打扎实底层，追求“跨本体、跨场景、跨任务”的通用性。沈宇军预判，大脑与本体未来将呈螺旋交替上升关系，当前应集中资源攻克大脑，待大脑智能大幅突破后，将反向倒逼并重新定义新一代硬件形态与传感器标准。 放弃魔改数字模型：物理原生重训 (17:30) 在技术路径演化上，灵波在2025年确立了从真实传感器出发与从视频学习时序动作的方向，并在2026年做出更彻底的技术断腕：除保留高训练成本的通用LLM外，放弃在数字大模型上加挂Agent的“魔改”思路，面向物理世界真实需求从头原生重训视觉、生成与动作架构。 沈宇军解释，数字视频模型追求超高画质且接受数十秒生成延迟，采用双向注意力机制；物理世界控制则必须应对单向流逝的时间、苛求超低响应延迟，且画质并不关键。为此，灵波打造了单向训练流，并攻克具身混合专家（MoE）训练中专家激活不均的技术难点，推出原生MoE架构的LimboVideo以兼顾大容量表征与实时推理。 从语义识别转向几何空间感知 (35:00) 在视觉与深度感知层面，灵波2.0放弃了数字世界常用的DinoV2。沈宇军指出，DinoV2擅长“能看到什么”的语义识别，但缺乏精确的几何距离与空间深度感知。2.0版本模型转为完全从点、线、面的几何边缘出发构建原生视觉基模。 这种转变解决了复杂物理环境中的感知失真。沈宇军列举了透明反光水流的测距，以及透过阳台玻璃门看猫的案例：传统语义模型会优先识别“有猫”，而新深度模型在门未拉开时将其判定为不可穿透的玻璃障碍，拉开后才呈现猫的深度。团队以此贯彻“能看到是语义，摸不到是空间”的技术区隔。 从1.0到2.0：应对动态与微调收敛 (24:30) 灵波2.0相比1.0版本实现了跨越式升级：支持构型由9种扩展至20多种；控制维度从局限于桌面的双臂夹爪，升级为底盘、腰部、头部、双臂及灵巧手的全自由度协同。预训练数据量从2万小时提升至6万小时真机与人视角（Ego）清洗数据，彻底拒绝用仿真（Simulation）做预训练。 在任务泛化上，2.0模型在人机撞球对打、随机抛洒玩具并允许人随意搬移干扰的收纳测试中，表现出强动态响应与位置泛化能力。此外，新任务后训练（Post-training）所需的单任务轨迹数据量从1.0的约100条锐减至约20条，单个模型已能同时承载10个以上任务的微调。 具身尚未迎来GPT-1时刻与数据壁垒 (65:00) 沈宇军直言，由于缺乏像互联网文本那样可无限扩展的数据抓取手段，具身智能当前仍未迎来属于自己的“GPT-1时刻”。行业此前对数据饥渴感不强是因为仅停留在拼凑Demo层面；一旦进入原生基模预训练，数据缺口便极为致命，他预测启动下一代基模需要至少10万小时高质量数据，而行业爆发则需达百万小时以上。 针对解法，沈宇军认为具身与大语言模型应解耦，LLM仅作为交互翻译入口，底层必须由具身模型驱动。同时，中国拥有全球最庞大且迭代成本极低的硬件制造和传感器供应链，这构成了物理世界数据采集的核心本土优势，灵波正通过联合生态伙伴建立数据联盟加速Scale Up。 蚂蚁灵波坚定将资源押注于具身原生大脑，但沈宇军坦承模型在未知场景的“零样本（Zero-shot）泛化”上依然面临巨大挑战，行业何时能跨过百万小时高质量真机数据门槛仍悬而未决。

[11:30] 沈宇军: 坚决地选择只做具身原生的“大脑”（Brain），彻底不做本体（Hardware/Body）。 [17:30] 沈宇军: 放弃在数字世界大模型上强行“魔改”的路线，完全基于物理世界的需求从头重训模型。 [35:00] 沈宇军: 能看到是语义理解，摸不到是空间感知。 [65:00] 沈宇军: 现在的具身智能依然没有迎来属于它的“GPT-1 时刻”。 [70:00] 沈宇军: 能够真正走进千家万户的机器人，必然同时具备“80% 的通用自带能力”与“20% 通过简单教学快速学会的新能力”。 [75:00] 沈宇军: 具身智能是独立体系……语言模型解决“需求泛化”，具身模型解决“物理干活”。 [80:00] 沈宇军: 真正能支撑起具身 GPT-1 时刻的数据量，必须是百万小时起步。 [100:00] 沈宇军: 当下的核心卡点只有一个——智能不够！ [90:00] 沈宇军: 创业一定是赌出来的。 [106:00] 沈宇军: 情绪价值应该由人类来提供，机器人核心还是要好干活！

[0:00] Hello大家好我是小军今天我们的嘉宾是蚂蚁林波的首席科学家沈宇君这是一家由蚂蚁集团孵化的机器人公司作为一家科技服务公司蚂蚁为什么要涉足机器人业务与松石他们探索的这条只做巨生原生模型的道路这其中的赌注与思考是怎样的那接下来就是我对沈宇君的访谈我还是很坚信巨生一定会有自己的模型这个观点如果不变的情况下那他的数据必须要支撑他可以做自己的模型如何把数据损好的ScaleUp是一个至关重要的点不仅运气的有吗无极预期数值我觉得从现在行业来看大脑可能是目前是落后于本体的如果机器人有性格的话你希望他是什么性格我希望他是个J人他好干活对我觉得他核心还是要实用by bwd6by bwd6哈喽 雨军 先给观众朋友们打个招呼大家好 我是沈宇军现在是在蚂蚁林波科技担任首席会员家之前在清华 然后后来到了港中文对 讲讲你在人物智能上的一系列探索也是阴差阳错吧然后当时我在清华读书的时候刚好赶上大三然后那个时候是商汤刚成立的时候2014年底商汤成立嘛然后我们大三要求是必须要有一个这个熟悉的实习然后当时商汤就正好在清华的东门门口然后当时反正就去了跟AI相关的这个领域吧在那个商堂一直干到大学毕业然后就刚好去那个港中文汤老师那边去读了个书然后去的时候其实也比较迷茫因为当时AI虽然说比较火但是也不知道自己到底喜欢做什么然后就尝试了很多方向吧然后像其实本来那个港中文吧港中文比较擅长的其实像这种检测分割啊分类啊这个他们当时也是拿了比较多的冠军但其实我个人对这个就是打榜啊这个事情最后就看一个number这个事情我坦白讲我自己不是非常感兴趣对然后呢那个时候刚好有一个技术活起来了当时叫对抗生成网络就是干对对对然后那个技术活起来之后呢其实就很多人在这方面做探索嘛然后那个时候我对这个事情就感觉比较有意思因为它是能真的能生成一张图然后让大家去看然后甚至于你可以去做一些简单的编辑什么然后那个时候我就从就是算是选择了说我可能接下来要再做这个想要往生成模型的方向去做对然后当时做的也是比较早从17年开始就就是做生生模型然后可能坐着坐着然后那个时候也是有一系列比较火的工作出现尤其是像style gun那个系列的时候然后坐着坐着因为我刚开始做生成然后做做生成那个时候比较火的可能就是一些图像编辑相关的东西就是你怎么把它按照你想要的方式去调整一下比如说把你变得更漂亮一点之类的然后但坐着坐着就会发现好像坐的太下游了然后就想把这个东西看看能不能再往前做一做再往前做那就是现在可能大家会讲的更多就是叫预训练嘛对那个时候其实还没有这个概念说白了就是想训这个生存模型对然后但是再训一训就会发现好像这个东西完全有点不太能受自己的控制就是你除了因为那个时候还没有说什么堆参数量这些还没有这个相关的说法然后就是感觉坐着坐着也不知道怎么能让这个模型变得更好了然后就开始想说那我再往前一步就是从生成之前的就是做表征然后可能就是这么一步一步的从最开始对数字不感兴趣然后对生成内容感兴趣然后再从编辑然后再做到底层的训练然后再从底层训练再往前做做到表征学习基本上一路就是这么过来的吧什么时候发现干不能scale这是一个挺有意思的故事就是我们甚至于在今年今年年初的时候还在尝试做最后一次尝试然后还没死刑对就是哪怕是在Defusion火了之后嘛然后后面有大家又开始用自回归也去做一些这个生成然后哪怕是这样的时候我还是我们团队还是坚持做了一段时间GAN的Skill Up然后怎么说呢其实是取得了一定的效果吧就是我们前一阵子做的一个GAN的模型会Release出来啊然后那个时候会发现跟Diffusion比确实是在某一些方面没那么好但是也比之前的前几年的技术其实还是要进步不少的对就是说它还是有它的价值但是它是有它的价值 [5:00] 最大的问题还是计算量的利用效率太少了就是因为Defusion毕竟它可以不断的就是它可以迭代好多次然后生成一张图然后我们就觉得那对于生成特别复杂内容尤其是你想要做这种视频的生成的时候因为它就是里面的内容实在是太多了然后可能干确实不一定是一个最好的生成选择了然后所以可能我们会把我们在干上积累的一些技术我感觉沉淀下来然后release给公众之后可能就也算是化成了一个句号吧对不敢说圆满但是应该也算是画上了一个句号然后可能接下来也不太会在GAN的SkillUp上在做过多的尝试了但是往回说一点就是说我觉得GAN本身是就对抗上网络嘛它其实里面核心的一个技术还是在对抗上就是在如果你同时想要去两个模型然后让他们两个都在互相迭代然后彼此博弈的这个过程中其实在这方面我们还是积累了一定的东西然后这个技术本身我觉得在抛开GAN本身不讲的话之后应该还是会有用处的对只是可能不是在现在这些场景上对对用在这个图像生成这个领域了对你当时从博士毕业的时候就在那个节点当时商汤处于什么状态多么泰处于什么状态对于商汤当时发展到什么样我印象不是很深了然后可能像这种生成式的就是生成内容的这个东西当时还没有出现在商汤这个整个业务的大的范围里面其实我毕业的时候加入的是我先去了字节跳动当时字节跳动倒是跟我做的东西很匹配因为它是做抖音的抖音本来就做内容然后它当时需要做很多特效我记得当时就是用我读书期间做的一些工作当时还带火了一些比较有趣的应用因为我是做图像编辑的然后就是看能不能通过一些AI的技术比如说让你男生变成女生啊然后变老啊变年轻啊就看看有一些就是当时应该会有一些玩法说比如说看看你20年后应该长什么样子你70岁了应该长什么样子就类似的这种东西对然后包括怎么能够把一个人跟另一个人中间做一个完美的就是比较连贯的那种转换对当时就是有一些这样的玩法是用起来了在自己也可能待了当时大概一年多吧然后那个时候给我的感觉就是大家每天都在想各种各样的创意就是说比如说今天又有一个什么好玩的特效我们希望它变成一个爆款当时我就会感觉确实还有很多自己想做但是没做的东西嘛那个时候刚好是2022年的时候然后应该是蚂蚁的技术研究院在招人这一波还没有爆发全是不贴对应该是在我来了蚂蚁之后的年底才那个时候也是震撼了一波那个时候应该处于像你们这种人工智能学生的一个迷茫期吗算吗因为你加入大公司他其实主业不是干这个的他都是在既有的产品上去用人工智能技术赋能一下对总结的还是比较到位相当于是做这个计算机视觉这个领域坦白讲计算机视觉过去十几年我感觉第一波可能是人脸识别这个确实是一个比较大的一个应用可能是特斯拉带火的这个自动驾驶对吧然后他推出了一个纯视觉方案除此之外好像还没有看到哪一个就是说视觉应用然后被大规模的用起来然后有一个比较强的产业价值好像还没有碰到这么一个具体的场景对 然后这也是为什么说我本来从视觉现在想转到就是当时24年24年的时候我就开始想去做这个就是机器人这个事情对因为感觉视觉可能是在数字世界可能就是怎么说呢它不是一个主要的发挥作用的一个地方用武之地不够对我是这么感觉的对但是在物理世界离开视觉机器人肯定是没办法工作的我觉得这是一个对视觉的强依赖然后所以说当时就开始想24年的时候在蚂蚁当时就在蚂蚁技术研究院然后本来是想在研究院说要不要做一个就是往距身方向开始做一些探索当时是有这么一个想法对然后刚好因为就是整个蚂蚁的大的就是有一个比较大的一个规划就是其实蚂蚁本身是做这个生活服务的嘛就是它做了很多这个数字世界的服务就是大家比较听的比较多的可能是金融相关但其实蚂蚁做了很多像这种医疗啊对吧然后说这个出行啊等等这方面的服务就是蚂蚁做了非常多数字世界的这个生活服务相关的事情然后呢呃从整个集团的层面来讲说那数字世界的服务如果像再往进一步延伸肯定是要往物理世界迁移嘛对然后刚好就是那个 [10:00] 四年底的时候就是蚂蚁是正式宣布说要成立了一家子公司就是蚂蚁领泊科技然后那个时候我在研究院也刚好跟就是当时的院长propose说我也想要去做巨神质量相关的事情然后就是铺谋而合然后就是当时也就是被怎么说呢就是相当于调动到这个呃林波来然后说一起去我们既然要做就不要说再当一个研究型的机构来做了而是说我们可能是更加的直面的行业跟着行业一起成长对所以说可能就是这么一个契机吧然后就是来了林波这里蚂蚁研究院当时是个多大的规模的组织有不同方向的研究院的探索是吧对对对就是人工智能是它的一方面嘛然后像它的这个隐私计算因为就是安全是一个很重要的点嘛也是这个东西像是一个一些探索性的东西其实都会放在研究院来做当时对为什么决定成立一个子公司专门做巨神智能我其实觉得这是一个经常应该是做的一个比较大的一个决心我觉得如果是还是把它当作研究机构的情势去做的话很有可能做一做就脱离了这个行业或者换句话说就是研究员认为的先进的技术跟行业需要的先进技术是会有gap的对所以我觉得这其实是一个比较明智的一个选择就是说既然要干那我们就变成一个真实的业务来干而不是把它变成一个研究性质的就是试验试错的一个团队去做对所以说就成立的什么一个公司你看你经历了三个组织分别是自己蚂蚁的研究部门然后和现在的蚂蚁林波这三个部门分别是第一个是以前的一个产品公司然后你要用AI技术去赋能它第二个是一个研究驱动第三个是跟产业结合的一个类似于创业公司是算创业公司吧对算是创业公司你的感受是什么样的在这三个组织中然后你觉得现在的AI不管是产品也好模型也好它应该用一个什么样的组织方式去驱动它从最开始就是在字节那边我其实也是做业务然后来了蚂蚁技术研究院之后又刚好赶上这个就从没见过大模型然后到大模型爆发然后也受了一波冲击然后那个时候就有点不知道其实很迷茫就是研究到底是什么样的东西就是你发了一篇论文或者说你能拿到比较多的营量是不是就代表你很成功就是我们到底能给这个往小了说就是学术圈对吧往大了说就是这个行业到底是带来什么就是这个研究是不是有价值那个时候自己心里是不是很清楚的然后再到现在的蚂蚁林波这边我这一次的感觉其实是比较深的我觉得它刚好是两者的一个结合就是说我们既想要去做一些不一样的事情然后这个不一样的事情呢又能够直面真实的需求对然后为什么说现在可能这是一个比较好的机会因为在这个也是在做业务的过程中但是现在机器人不是因为技术还没有收敛我觉得作为技术人可能是在这个时候能为这个行业去或者说哪怕是探索一条不正确的路也是一种贡献对吧反正就是说在这里面技术不收敛的时候我觉得是有比较多可以做的事情所以在我看来如果现在既想要做一些比较大的事情然后又不太大不想要说在一条完全没有创新的然后就是纯是那种怎么说一条确定的路上就是只是说把桩子打得更深我觉得从这个角度来讲我觉得巨神反而是一个比较好的机会就是大家在这里面既能有发挥的空间然后又能做一些对产业有价值的事情你们刚创立的时候刚过来是什么样的感受两个点第一个点是感觉自己还是太天真了天真的原因是因为24年的时候我不是当时在研究院就propose说想要做机器人吗然后后面就发现想做跟真的开始做完全不一样就是这个机器人机器人这个赛道有太多我不了解的东西了就是可能当时对视觉对模型这边会懂一点但是真的说一个模型用到机器人上怎么去部署怎么去调里面的通信什么我感觉有太多太多的技术战士超出了我本来的认知这是第一个感受第二个感受呢就是也很怎么说呢就是在这个过程中从最开始来了林柏刚成立的时候然后整个团队可能不到10个人然后一点点的看着这个团队不断的壮大起来然后这个过程中可能感觉这个一边在学习 一边又跟着行业一起变化 感觉这种感觉还比较奇妙 [15:00] 对可能可能这两个这两点感悟可能会多一点吧创立之初你们当时想明白后面要怎么走了吗有些东西是很难判断的吗但是我们创立之初其实就明确了一个事情就是我们希望能够做一个就是我们还是希望做机器人的大脑这一层这是我们当时就已经明确下来的一个为什么不做本体是这样我们最后是希望先说我们的初衷啊因为我们当时成立之初呃是沿着整个麻鸡团的这个就是普惠的这个想法然后再加上他这个生活服务的推广对我们最后还是希望说未来某一天每家都会有一个机器人对然后但是这个机器人是什么样子其实谁也不知道甚至于它是不是一定是同一个品牌也不一定对吧就像大家现在的手机也是无法把门的对但我们最后就是希望每家最后都能有一个机器人然后我们希望在这个机器人里面跑的最后都是凌波的这个模型或者说用的是凌波的大脑这是我们当时做的一个比较大的决定我们也会做一些像这种末端执行器啊什么这些因为现在整个的模型还没有完全的收敛掉未来本体的会发展成什么样可能我们也不清楚就像大家现在用手机手机也不是一个固定的就是品牌就是说大家比如说都用苹果或者说都用华为也没有这样的一个说法所以说嗯在这个还没有这个地方还没有明确答案的时候我们明确的想法就像刚刚说的是我们要希望这个本体都跑了一个灵波的大脑这个事情所以就是坚定的沿着这条路先把它拆就是汤出来先把它做得比较扎实对这是我们整体的想法你们团队现在是一个什么样的构成啊是一个更偏research驱动的一个团队吗你看美国就有physical intelligence这样的组织嗯其实它的好处就像我刚刚说因为行业技术还不收敛所以说它有一些一定是要有research的成分的就换句话说我们要不断的去探索说智能的上限在哪里但这个探索的本身其实就是一种research但同时我们既然说成立之初我们就以一个公司的形式去运作这个组织就是不想让这个research太天马行空就是我们还是希望这个东西能够跟产业有非常强的结合基本上是两手抓一手是想要去看智能的上限在哪里另一手就是抓落地就是说这个东西一定要把它放到真实的场景应用里面去试然后会发现就是比如说哪里不行反过来用这个不行的点去重新反向去驱动说我们下一步的模型迭代应该往哪些方向走因为模型还很早期它可能有十个八个这种需要迭代的方向甚至可能更多但是精力是有限的你不可能说我全面开花所以说有哪一个或者说哪一个特点会先去开发这个事情可能是反而是由行业或者说由落地来决定的你们从24年底成立然后每一年都分别做了那些事情对就是说24年底成立的时候其实那个时候第一步做的就是先把我们到底要做什么我们是谁然后要做什么这个事情先想清楚了这是一个很关键的点我其实25年整个一年呃我会觉得我们做了一个比较阿胆的一个决定当时是从25年3月份的时候嗯就开始会意识到说机器人可能不单纯是一个就是怎么说多么太理解的一个东西了因为它毕竟要动对吧它跟环境有交互那个时候其实就开始意识到就是动态建模或者说对这个时序上的这种建模可能是对于机器人往后发展是一个至关重要的一个事情对那个时候其实还没有所谓的叫WAM这个技术路线就是这个世界动作模型那个时候还没有这个概念出来但那个时候我们就比较坚定的觉得说机器人的往前走一定要从视频里学习而且从视频里学习不是说把视频抽针然后还是当成图像来看就是真的要让他学会失去的东西那个时候是25年初就做了这么一个比较大胆的决定所以说经历了基本上9个月的时间然后在今年年26年初的时候其实我们也是当时比较早的应该是行业可能是基本上我感觉应该是最早发布了就是开源了一个呃现在大家叫世界动作模型我们叫视觉动作模型对就是VA对当时是我觉得这一个 [20:00] 这一波应该是25年做的一个比较大的一个决定然后26年今年又过了半年然后今年我觉得做的一个比较大的决定就是在25年整个探索的过程中我们发现了另外一个事情就是嗯很多时候我们因为最开始机器人我们也没有特别多的数据嘛然后所以很多的时候训练是依赖的数字世界的模型去做的然后就有点像把数字世界的模型在物理世界加结成了一个agent大概当时是这么做的加了一个动作对对对但是那个时候就意识到了一个比较重要的问题就是很多时候数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的但你这个时候你又没办法 push他们去改因为数字世界有自己的一套逻辑他们也有自己的应用场景对比如说可能从就是士兵生成这个角度来说就是他就会希望这个生成的画质特别高对吧这是数字世界的需求但是其实物理世界你落实到机器人动作来看其实这个东西没有那么重要对但是你不能反向去 push他改模型因为他们是有自己的迭代节奏的所以26年这一年说这半年我们做了一个呃我觉得是一个比较大的决定既然不能push他们去改我们就全部基于物理世界的需求重做一遍对可能做一遍对就是就是从头来训对从头来训一点都没有用大约模型不语言模型是用的我说跟视觉相关的所有的东西我们就重头来了一遍但是语言模型还要用是吧对LLM是用的因为那个的训练成本太高而且那个我觉得数字世界跟物理世界好像也没有什么就语言层面上其实区别不大只是说物理世界可能更多的是靠语音交流然后数字世界就打字对这个可能我个人感觉现在还没有到就是我们还没在这个地方看到明显的直接应用大圆模型的一个短板就是感觉用起来还比较OK对但是在视觉上不管是理解还是生成我们其实会感觉数字世界的开发的本来的就是motivation和物理事业的需求其实没有那么匹配的对这是可能26年做的一个比较大的决定25年可能还做了一件事情我觉得也是一个比较大的决定可能就是第一大决定是我们就是觉得要做视频上的建模其实我觉得另一方面还有一个比较大的决定就是我们那个时候是非常坚定的要从传感器出发就真实的传感器出发去解决物理世界的问题的因为这个事情是跟我24年底刚来林波的时候我不是说那个时候就太天真了觉得这个事情往机器人上迁移很简单吗然后那个时候其实我们尝试最开始来的时候就尝试着用很多数字世界的算法或者说之前开发过的计算机视觉领域的一些模型直接在机器人里用用的时候才发现落地跟之前的想象完全不一样因为在之前我做做做research做的比较多嘛然后其实学术界有一个不太好的一个也不能叫不太好吧或者说大家有一个心照不宣的一个点就是数据集都是比较干净的就是相当于你很少能从数据集里面看到那种比较噪声比较大的一个东西但是呃在实际上应用应用起来的时候因为机器人毕竟要在现实这种跑嘛其实是完全没有办法忽略的对这个东西跟你能拿到很干净的数据是天然就是相悖的对所以说基于这个考虑我们二五年也是坚持要就是说我们可能就要从这个传感器的这个维度开始做起对传感器的维度就包括视觉可能也包括触觉对可能是这是整个凌波现在整个呃就是整个技术思路吧两个比较大的技术主张一个主张就是我们可能要从传感器开始做然后我们会更多的或者说大家现在更好理解就叫所谓的空间智能对然后另一个比较大的主张就是可能我们要坚持从视频里去而且要可能就是为这个数字世界就是为物理世界原生的这个方式冲头雪对可能是这两个是我觉得比较大的主张你们在25年9月是外滩大会还有过一个炒菜的demo这个demo跟你们当时的那条技术路线有关系吗那个其实炒菜是一个比较长城的任务了对然后当时是尝试着去做了一下发现了很多软硬件上的问题然后这也就促生了我们更加坚定了说我们一定要把大脑这个事情做事因为如果没有一个比较好用的大脑的话 其实 [25:00] - Prod. This is the first time of the day. If we want to expand the environment, 复制成本实在是太高了 对 所以说可能有了那一次之后 我们更加坚定的说 我们要把大脑这个事情做好 我觉得有两类公司 有两类思路 一个是我就要软硬一体化 然后一起协同往前走 一个是我就彻底不做硬件了 我要把脑子做好 你们选第二条 为什么要选第一条呢 我们的初心就是做一个通用脑子 所谓通用是因为我们有一个判断是说 这个行业需要的机器人 It's probably a family. But in the middle there are some 2B. I think you can say there's a kind of one. 机器人真的适合所有的任务就是或者说你你哪怕到了进家庭然后你可能每个家对这个机器人也有不同的需求对吧可能从任务角度出发他就 It's not a 就是可能一个通用的本体 就所有的事情全都解决的一个场景 我觉得这个事情本身可能短期内是不太会实现的 对 所以说在这个方面 我们就还是说既然我们的主业是做大脑 那我们就从大脑出发开始做 刚好我们其实也有一直讲了一个技术主张 就是我们的大脑从最开始定义 就是希望它跨本体 就是说希望它通用 这也是为什么我们在训练过程中 可能就加入了不同的 本体的数据 我们希望我们的大脑在预讯量的过程中就经历过这些本体了解他们的特性 那么在后面可能说真的在某一个场景落地的时候就可以快速的适应那个本体 对这也是我们 We choose this technology line, it is a big strategy for the company. It is a big strategy. We are doing a lot of things. This is a good thing. I think just about the thing that we have to do this. We think the tool is probably more than one. It's just you in the body. You have 26 years ago, because you already started 4 machines, you have 1 machine. Now you have 2 machine. Now you have 2 machine. This is a 6 machine. Yes, this is a 6 machine. 然后这也是为什么就是从25年我们那个25年做的或者说就是今年1月份开源那四个模型就是第一个就是深度深度其实就是从传感器开始就是希望这个机器人对这个空间有更好的认知嘛就对距离有更好的认知这是一个从这个视频开始学其实就催生了视频动作模型还有一个这个世界模型 对 就是说白了就是一个能让它当防震器 然后另一个是能让它当执行器 你可以大概这么去理解 对 然后这是三个模型 然后再有一个就是VLA VLA就是这个行业最主流的 然后能够真的说在场景里面去把活干好的 这么一个一条技术路线 对 所以说去年 今年年初开源的四个模型 就是这么个选择 这个模型训练多久 不同模型开发周期不一样 The most important time is the most important thing is the video. That's the most important thing that we've spent a half years ago. Like, the depth of the depth of the depth of the depth of the depth of the depth of depth. It's a lot of things. So it's probably about 3 months or 3 months. Every模型 is actually the same time. 这一代大脑能用到哪些场景本体还能做什么呀? 第一代大脑当时我们应该是支持了九种构型 对然后那个时候应该是做一些简单的抓取任务 对然后行业那个时候做的比较多的也都是这个方面的动作 对然后一些抓取上可能解决的比较好 我们在通过跟行业去交流去接触落地的过程中 然后催生了这一代 It's a kind of a change. We're really thinking about the VLA's process. We'll find out There is a point that you have never been interested in the future. Just before, the demo is also a lot of different things. It's a lot of experience. The experience is also a lot of experience. [30:00] 操作是在猪妹上做的但是我们这次试着想把它在实际场景上落地的时候会发现机器人做很多动作其实是不是在固定高度做的他可能需要比如说你去架子上拿个东西他需要抬手的抬手的时候这个时候就会就是明显的突出一个说实验室场景跟真实落地场景一个gap就是比如说头到底怎么应该看就是头到底要不要看到你手台的那个地方然后视角会不一样而且甚至有可能头即使抬了也看不到对吧然后抬起手来这里面就是说你的模型到底能不能控制抬头以及说在头部相机失效的时候你能不能只用万步相机或者说用其他的一些传感器就把这个事情做了这个事情在就是说最开始的上第一版的模型预训练的时候我们只支持了手臂的自由度然后只支持了甲爪然后就是没有头没有其他的所有的东西对然后纠正勾行就是做一些简单的桌面上的一些操作人物所以你要做抓取你不能只考虑手你还要考虑其他的部位对甚至于有些时候假如说因为你看最开始的很多BLA的这个demo是机器人是站在那不动的甚至有一些大家做的展示出来的东西可能跟可能都不一定是个人形就是他可能只有两条手臂就是实验室环境基本上大家都是这么打的它不好但实际上落地的时候我们不可能让机器人点位点的那么准你如果要假如说你需要够的时候手够不到那你是不是要移动一下对然后就是刚刚说头是不是要抬一下然后有些时候我会视线到底在哪对然后你说抬就是你抓东西那够东西是要抬手吗对吧那我如果想要从下面拿东西呢鸟完哟对 这些自由度是我们之前第一版模型完全没有考虑到然后在这一版模型 这次相当于2.0发布中就会发现我们在机器人数据上其实做了就是比较大的一个升级从九种构型首先是升级到了20来的20多对然后自由度是从原来的只有双臂现在支持到带头带腰带地盘甚至带领教授对就是这个东西怎么说呢这就是我觉得我们刚才说抓两头一面是就是上线的牵引一面抓落地我觉得这个就是落地的过程中告诉我们到底应该就是模型迭代有那么多方向到底应该什么是最重要的对你迅模型来说你最重要的要做的事情是要找到这样的数据放到预训练里对你们这是一个多大的预训练规模呀这个我们这个应该是一个3B基于当时基于三点几B的一个模型去做的对然后数据量大概是搞到了六万个小时六万个小时对第一代是两万个小时然后这一代是升级到六万小时但其实这一代升级到六万小时跟那个第一代的两万小时还不一样因为我们整个数据管线因为之前就是最开始做的时候感觉很多什么样的数据是好的还没有完全的探索明白然后经过了第一版模型的发布之后数据也重新清洗了一下所以相当于第一次发布那个两万小时数据落到这一次的可能就剩一万多了对然后我们是在这样的一个更严格的管线上把这个数据就是又做了一个量的一个累积对然后差不多四倍应该是有的对应该是上一版的四倍差不多吧数据来源包括哪些啊怎么收数据收数据其实你们是真机数据排是吧对我们是以真机和可能还有一些EGO的数据EGO就是人带着头上带个相机去做的那种你们仿真数据要吗仿真我们可能会更多的把它留在评测上就是可能不太会用仿真的数据去做模型的训练仿真数据量是可以做的很大但是数据除了说数量之外其实数据有一个很关键的点就是分布分布就包括了说比如说构型可能是一种分布对吧任务纬度也是一个分布我觉得仿真数据它可能在它擅长的方面它可以就是瞬间就可以生成很大量的数据这个事情是毋庸置疑的但是从另一个角度说怎么说呢会相对同质化会严重一点就是他可能做的是差不多类似的任务就是他的那种比如说尤其是一些这种柔性的仿真或者说就是比如说你撕开一个塑料袋这种其实对仿真来说我感觉物理引擎的还需要点时间再去做一些迭代迭代升级可能那个时候仿真的数据用处会更大一点但是对于仿真现在比较好做的一些任务 [35:00] 来说嗯比如说也是一些抓取挪这种任务来说其实从现在整个行业的发展来看增加数据的成本也在逐步的下降降了多少过去两年吧我觉得至少得降了三倍不止对我感觉是这样因为从整个管理的就是人员管理的逐渐成熟然后机器也逐渐成熟对吧然后可能数据的需求也逐渐变多就相当于数据也在量产量产一定会降本的对所以说从各个方面的一个成熟我感觉是让真机数据的获取的渠道以及渠道会变多然后成本会变低所以说可能这个我觉得也代表了整个行业的一个发展的一个趋势吧对有哪些类别的数据啊准备数据上有什么knowhow吗核心的是就是你到底要下发什么样的任务这是一个比较难的点就是你怎么能让你的任务尽可能的覆盖我们刚刚说的所有的自由度它有一定的通用性对就你不能说我这个数据里面90%其实都没有用到头只有10%用到了头不是非常准确我觉得可能举个更好的例子就是说头部出现的就是头部这个自由度出现的比例跟可能腰部出现的比例差距特别多那可能会导致我们的模型就更倾向于学头然后不太会动摇对大概是这么就是直观上讲可能是这么理解会好理解一点对然后另外一个knowhow可能就是数据真的拿到之后怎么样把它清晰好这个链路是是怎么样的这个这个坑其实我们也蹚了比较比较久啊因为这里面有一个天然的困难点就是我们是做的是这种垮本体的模型每家本体的特性都是不一样的所以很多数据处理的方式可能是要跟本体有比较强的关系的就是不是说真的说每家本体都可以用一种数据电路就完全处理掉对你可以列成就是比如说它的那个相机摆放的位置可能就不一样对吧它的自由度的这个关节的呃比如说几个自由度的连接方式也不一样就是所谓的这种configuration嘛呃就是这种机器配置的不同其实对这个数据的处理上带来了很大的难度嗯对所以说可能我觉得核心的knowhow应该就是这两个吧一个是怎么下发任务怎么把它处理的更干净有观察到什么通用性好的任务吗通用性好的其实还是说操作越简单的它就通用性越好就是因为这个事情可能取决于操作员的能力了因为你越复杂的任务可能能够把这个任务完整或者说丝滑做下来的素材源就比较少对因为如果他的动作就是竖踩的过程中这个动作假如说不丝滑很有可能就导致因为你是没办法把它修丝滑的就一条数据嘛对因为那个成本就巨高了对如果你不能把它修的丝化的话可能会导致你学出来的模型就他就他以为这是一种正确的操作方式对就可能最后模型在控机器人的时候那个机器人也也也也也非常卡对就这个都是对怎么说呢可能素材员这个行业也在成长这是你们自己的素材员还是外包的公司都有因为我们是整个是一个比较我们有那么多种构型我们可能有一些合作伙伴生态上的合作伙伴尤其是数据册的本体册的都有然后我们可能会拜托他们帮我们一起去把数据体系建立起来比较难的任务所以我们还保留了一定的自己的采集数据的能力至少我们先把SOP先弄清楚我们的人先把这东西做一遍然后把它再去沟通给别人然后说这个事情能不能帮我补一些什么样的数据所以很多数彩方面的坑其实也是我们自己在也是自己一点点的在趟我听过一个说法就是有一些错误数据错误了再纠正的数据也是好数据对那个可能跟真金强化可能会有点关系但是那种素材其实也一样你人要在旁边相对看着他然后你要知道他犯错了然后你要在合适的时期打断他然后并给他一个正确的示范这个是这样的就是我们现在因为为了落地为了提高成功率其实我们也内部也就是在落地这个环节其实也加入了真机强化的这一部分就是说怎么能够让机器人从可能本来模型没有做的特别好然后去纠正它 然后把这个模型变得更好 [40:00] 但是但是这个东西可能就更偏落地一点可能我们没有在这个开源的这个技术报告里面去体现对你们这次六个模型他们之间的关系是什么样的这个其实是我觉得这是一个这一次我们做的一个比较好的地方就是呃我先大概讲一下关系然后再说一下为什么我觉得是做的比较好的地方对首先第一天我们会搞了两个模型一个是这个Vision就是LimboVision然后另外就是一个LimboDepth的升级对这两个模型是因为我们上一版就是在1.0那个版本的时候做的Depth其实是基于Deno去做的对当时我们是用的DenoV2当我们的PretrainModel然后DenoV2其实也算是一种数字世界的模型然后它可能更多的它比较擅长的任务就是那种语义的理解对但是其实我们发现语义的理解的这种预训练可能因为在数字世界语义就是你理解语义其实就够了很多时候对吧比如说知道这是一盆花然后知道这是一只狗这可能就够了对但是我们在发现呃这个事情就是这种语义级别的理解跟真的说想要去理解空间或者说理解距离好像并不是天然那么吻合所以说我们自己重新做了一遍预训练这次预训练就不再是跟Dino不一样的事我们是完全从几何的角度出发去做的预训练建模几何角度怎么理解呢我觉得你可以粗浅的立叶成点线面吧就是说给你一张图然后你先看有哪些就是就你就或者说就边缘对就是我们是从边缘出发去让这个模型更好的去理解几何这个概念然后因为几何其实距离也是就是它跟距离是比较相关的嘛对然后所以基于这样的一个Viren就是我们这次更新了底下的基模然后会发现就比之前用Deno V2去做的这个Depth要好,有一个比较大的一个提升,然后同时经过了半年的积累,其实我们的数据量又翻了几倍,然后所以说从我们又把这个Depth基于我们自己的新的基模,然后以及更多的数据又迭代了一半。对所以说有了一个更好的dabs然后这次dabs嗯我觉得有几个比较有意思的例子第一个是我当时看到的比较正经就是一个厨房里那种比较透明的那种水龙头不是透明就是反光的水龙头然后把水打开了然后可以看到我们是可以清晰的看到水流的就哪怕清晰看到水流对就是因为这个事情对于一个机器人真的想执行一个任务来说是很关键的就是你必须要能看到水假如说就去接水你必须先能看到水你说机器人看到水对就是你要看到水的位置不是说看到水打没打开你要知道水流在哪里他之前看不到吗之前应该是之前他知道那个水流是开的但是距离肯定是不准的基于我们的Vision训出来的这个Depth这是一个我觉得比较有意思的点然后第二个点我觉得更形象了我其实比较喜欢拿这个例子去做一个解释我来可以解释一下为什么语意理解跟数字世界的语意理解跟物理世界的距离是不一样的这是一个很有意思的例子假如说阳台然后有一个玻璃门然后外面有一只猫你会看到我们这次的Depth模型是完全看不到那只猫的因为它前面挡了一道玻璃就是相当于是如果我们人在往前行走的时候你会先撞到玻璃然后才有猫所以说我们会试着把那个玻璃门拉开拉开的过程中你就会看到那个depth thread的猫就逐渐的从那个门后面出现了因为玻璃被拉开了然后就可以看到猫了但是从语意的理解的角度其实那个猫一直在就数字世界它只需要知道那有个猫就好了对但是物理世界你就是你还需要知道前面有一个门对它对位置的感知在数字世界里是很弱的对因为它不至于说我走一走会撞到它没有这样的问题对对对其实就是这我觉得这是一个非常好的例子就是你能看到但你摸不到能看到是语意理解摸不到是空间感知对所以说这是我们第一天发布的两个模型就是Virium和Depth对然后他们两个关系就是Virium是Depth的预训练就是我们Depth之前用的预训练是Deno现在我们没用Deno了然后我们是自己搞了一套新的预训练然后新的预训练就是你可以列成它是对视觉本身的一个很好的理解这是预训量做的事情然后dabs是它的下游就是你从视觉感知 [45:00] 变到空间感知 对就是相当于把从图像变成三维大概大概是这么一个关系那LLM跟他们有关系吗没有这个也不需要基于LM对吧对这个是完全从视觉出发去做的训练就是一直比较戏谑的讲我们关注的就三个事就是看得更清楚想得更明白干得更利索就是机器人我们是觉得就这么三个事第一个是看得更清楚对所以说我们先解决的看得更清楚的问题然后看得更清楚这个事情本身是不需要语言的就是纯视觉视觉原生的一个预训练对然后这是第一天要做的然后第二天我们其实发布了这个VLA嘛然后VLA做了个升级然后我刚刚说VLA这次的升级可能主要是从落地的角度我们发现了一些问题怎么把这个数据变得质量更高然后怎么让构型变得更多然后支持的支持的任务可能变得更复杂因为我们能支持头腰这些东西之后他可能能做的事情就变多了对吧对然后然后VRA这个事情我觉得可能对整个零波来说它最大最大的价值就是把数据要弄明白而且把数据弄明白的是从产业的视角把产业需要的数据或者说把落地需要的数据弄明白对这是整个VLA这次的升级然后刚才VLA讲的也比较多所以像比如说有一些模型公司就是以research为主导的公司它的数据可能会倾向于真机和仿然数据混合来用好的在你看来是不是他离真实的场景是有距离的这个可能是不同公司选择的策略不一样因为如果他做的比如说他选择的场景是仿真可以做的比较好的那我觉得从仿真上拿数据没有任何问题对然后但是我们还是说想要我们想要做通用的大脑然后也是就跨本体跨任务所以我们希望他的能支持的任务其实是越多越复杂越好对所以说可能现在对于这种通用任务来说仿真可能的覆盖率没有那么高所以可能我们没有选择仿真这条路然后更多的可能还是希望从真机出发去做对反正就是说第一天的模型我们解决了看得更清楚的问题然后第二天的模型其实就是VRA我们是解决了数据的问题然后对其实接下来的刚才说了三个模型还有三个模型这三个模型其实我更想放在一起说就是一个是video一个是word然后还有一个就是我们一直讲的va或者说现在外面会讲wm对就是我们但我还是会以va来说因为我们的命名是va对我们这三个东西放在一起说然后这个地方我记得call back一下我们刚才说的一个点就是我们在上一版1.0的时候发现很多数字世界的模型的开发的动机跟物理视觉的需求是不匹配的对然后其实有几个明显能感受到不匹配的点第一个数字世界的尤其是视频生成这一块或者说大家现在比较喜欢讲这个世界模型第一个点数字世界在做这个视频生成之前会做一个这个语意的压缩会做一个这个视觉的压缩因为它要求最后生成的图像的质量要很高对吧做的话他一定要先做一次压缩但他这个压缩其实就是或者说大家现在比较常用的开源能拿到的压缩他就是只做了一个单纯的压缩这个压缩过程没有就是这个压缩过程本身对后面的学习没有任何帮助或者说没有任何联系他就是单纯把一个假如说就把一个假如说是100兆大小的东西然后我先把它变成30兆让它更好学可以大概这么理解吧然后我们这一次呢是为了让机器人在后面的学习就是理解就是学习的过程中能够更好的去理解语意和动作本身所以说我们在训练这个压缩的这个就是视觉压缩的这个模型的时候我们就加入了语意和动作的对齐就是说换句话说这个压缩这个这个压缩的或者我们叫编码器也好它在编码的过程中就可以用感知到一些语义信息和动作信息有了这样的一个编码器之后他在后面基于这个编码器编出来的那些个东西再去学生成的时候他就更好的能够把语义跟动作这个东西理解就是理解的更好这是一个这是一个点然后第二个点也是就是数字世界跟物理世界不太一样的地方就是呃其实数字世界不是很关心效率因为就是举个例子就是大家说现在比较常见的就是文声视频我给他一段 [50:00] 然后他会给我一段视频然后其实中间可能比如说你生成一个30秒的视频用户可以等30秒或者说等10秒等个20秒那还是希望它能越来越快的对你肯定是希望快但是我的意思它肯定是可以等然后等你整个视频一起生生完但是机器人在执行的过程中是没办法等的它是及时的对它一定要实时一定是实时的对然后所以说基于这个它就会诞生两个点第一个你的模型效率是不是能做得更快这个其实从这个点上对就是因为现在大家可能用万象会用的比较多是一个dance的模型就是他没有用没有用moe这种形式就是比如说它是一个14B的模型它在推理的时候激活就是14B对然后但是这个事情我觉得对于后面的加速你哪怕是后面的加速工作做得再好你在模型本身激活上其实没有一个如果就是说从框架上不做加速的话可能对后面的就你能加速的比例其实是固定的你没办法真的做到非常非常快这是一个点然后另外一个点是就因为刚刚说的是实时的所以它必须要就是他必须要所谓的叫单向建模你的历史是看不到未来的未来可以看到历史但是历史看不到未来时间是单向流逝对但是因为数字世界你说生成模型的时候其实它可以是双向的对吧因为我就是你是给他一段话然后你等一会儿你等的过程中其实就相当于是你那段话的开始跟结局其实你都知道了然后他给你一段完整的视频就好了他不用说在这个过程中只能往前走这两个点是物理世界对提出的一个比较新的一个需求但同时呢也不是说提了新需求之后它就这个东西会变得更难但物理世界也有一些可以被做一些取舍的东西就是可以被舍弃一些东西最核心的就是画质因为数字世界可能大家会要求高清嘛然后要求对吧真率要高然后这个东西看起来欣赏起来才好内容生成主要是这样对其实不同生物之间的那个视觉能看到多清晰是不一样对所以嘛就是物理世界其实就是就是换句话说你可以生成这种有点马赛克没有关系的OK或者说就是画质不高没关系的然后因为因为什么因为我们还有摄像头啊就是你生成的不高但是你能看到所以这个没关系的对然后就是基于刚才我说的它有提出两个新的需求但是又可以舍弃掉画质本身所以说我们在这方面又做了两个工作一个就是我们说的video我们也是把它开源出来Limbau Video本身就是一个原生MOE架构的一个模型它有一个其实MOE这个事情大家可能听的会比较多好像说那就把一个Dance的变成一个不用每次都激活我就是比如说三个参数激活一个就类似这种不就好了吗但其实真的想把MOE训明白还是有难度的因为在训练过程中你要控制每一次的生成激活的比例是它要均衡就比如说你一共有一共有30个参数然后你每次都激活那10个这有20个参数就基本上不被激活到这个事情是不可以接受的因为如果是这样的话其实跟10B的但是或者说10个参数的但是模型就没有区别了我们既然是想让它就是想让它就是稀疏化那你要让它稀疏的均匀嗯如何能让一个模型就是MOE的训练就是均匀的把每个参数都就是就是怎么说呢以同样的概率被激活然后把它训好这个东西是其实是一个技术问题对它不是一个一元度问题不是说我想让它少激活点就激活点少激活点对所以说我们在video上就是因为我们自己从头去嘛把这个MOE这个东西我觉得应该算是先是唐通了吧这个中间失败过没有失败了很多次应该是把就是整个训因为我们也想说训一个能有训练肌膜的能力然后其实把整个肌膜训起来整个infor打起来数据弄起来其实这些都是一些基本上可以理解成是确定性球技就是都知道可能是没那么多经验但你反正就是做就好了其中花的最大的一个部分就是MOE训MOE想训明白可能就花了两个月的时间两个月对然后就是不然的话就你一直发现他想就是他虽然叫MOE但跟你最后期待的MOE是不一样的MOE对所以我说就是MOE把MOE讯号是一个能力问题它不是一个态度问题对 所以说 后来提升了哪些能力啊 [55:00] C'est ça. ... Et c'est un peu plus de temps. et puis moi, je pense que le plus grand est de l'honneur est commenter les gens qui peuvent être déclencheurs C'est un peu plus de temps. C'est un peu plus de train de train. C'est un peu plus de train. C'est un peu plus grand. Et c'est une autre chose. Et une autre chose, c'est que nous devons pas avoir cette chose. Donc, le temps ne peut pas être au lieu, c'est que nous demandons toute l'attention. parce que la même chose à l'écriture, c'est un peu plus. C'est ce qui est de l'écriture. 1.0的时候就希望想把它变成单向的 然后又花了可能在这个事情上 应该也是花了三四个月的时间 能够做到从头开始就单向训练 C'est un autre chose qui est peut dire que je suis un autre chose. Et puis, je suis un autre chose qui est un autre chose. En ce moment, nous avons eu un problème. Il y a beaucoup de l'étrement, il y a beaucoup de l'étrement, il y a des des connaissances, les choses qui sont en train de l'étrement. C'est ce que connaît, c'est ce que nous a mis en train de l'honneur. Et puis, on a quand même, on a fait un peu de l'honneur. C'est ce que ça va faire, mais les connaît, on a des connaît, on a pas de connaît. C'est ce que nous a mis en train de l'honneur. C'est ce que c'est un peu de l'honneur. C'est ce que vous avez dit, c'est que vous avez dit que vous avez dit 100 mots. Il faut que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit. Mais maintenant, vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit que vous avez dit. C'est ce que nous avons fait pour la vidéo. Il y a des choses qui ne sont pas les choses. Parce que la connaissance de l'appartiste a été détruite. Donc, en fait, on a fait un peu plus de l'art, on a fait un grand décision. C'est ce qui est de l'écriture, c'est ce qui est de l'écriture. C'est ce qui est de l'écriture. C'est ce qui est de l'écriture. C'est ce qui est de l'écriture. C'est un peu plus de l'intention de l'intention. On a besoin de l'intention de l'intention de l'intention. Et le Word, c'est un peu plus de l'intention. c'est que nous pouvons faire des études de l'étention. et on va faire des technologies On a tout à l'utiliser. a eu l'ai eu «面向 » « « « « « « « « » » » » C'est un peu comme des机器人员 qui sont en train de l'écriture. une une forme de l'équilibre. L'équilibre, de chaque fois, tous C'est parti ! Merci. Et... Je sais pas, dans ces sixe types de l'am, il y a une partie de l'am ? Il y a une partie de l'am, c'est que si l'am est un peu de l'am, c'est que si on a des des petits de l'am, c'est que si on a des petits de l'am ? C'est pas un peu de l'art. L'Homme解决的更多是这个层面 比如说你给他说一句话 然后他帮你把这个事做了 这种这个层面应该是 L'Homme在做的 但是还有 其实在这个之上 还有一个更加 C'est un peu de l'intention. [60:00] 我放在里面了就是那个东西是需要很多思考比如说假如说就是呃机器人今天就是一起床然后机器人帮你拉开床脸他就知道把你拉开窗帘然后看到外面下雨了他就要知道给你拿把伞让你出门对这个层面的东西我觉得应该在更高的智能阶段是需要做的而那个阶段可能是跟语言模型跟动物态模型要解决的就是其实我觉得跟数字世界可能就更相关了对但是但如果单纯的你跟他说帮我拿一把伞这种动作我觉得林波现在解决的是这一层面的问题就是他不解决意图的来源问题他只解决意图的实现他做一个动作对但是他的动作是简单的他可以是一段连续的动作但是他为什么要做这个动作他不知道好对就是他只管意图的实现就是你有个想法他帮你做了但是他不会有他不会产生自己的想法他不会主动帮你去想你要做什么对那一层面的交互我觉得可能是更高级的智能林伯现在还没有做这一层面的事情因为你刚刚说第一代能抓取对第二代能做哪些动作他有方化戏吗对第二代其实就是因为我们有了这个刚刚说的我觉得为了就是相当于我们没有再重新用数字世界的模型基于数字的模型迭代是为了巨身单纯设计了这么一个模型就是因为有了这个我觉得有几个比较大的我觉得挺有意思的提升第一个是现在它能处理随机性处理随机问题的能力要强很多这个大概怎么理解呢比如说我们其实有一个demo是跟人去打那种撞球就是在那个例子里面你会发现它这个demo跟一般的就是大家做的demo就不太一样然后因为它里面会有很强的随机性你永远也不知道就是对面人打过来那个东西会在哪他就相当于不是说我把位置都定好对我不是说把位置都打好就是摆好就可以了对他一定要是看到你打过来了我们才能打然后而且有一个很关键的点是我们在整个过程中其实是只依赖了机器人自己的相机就没有在那个场地周围再放一圈相机然后让那个相机去追踪那个东西的位置就是不是靠这种方式实现的完全是就是跟人一样就是我就一双眼睛然后我就看到那个东西然后去做对这个东西是处理随机性然后另外一个是那个回合非常快就是因为人打嘛就是他对实时性的要求就很高他不是一个说你如果机器人动得很慢或者说你动一下卡一下动一下卡一下其实你是打不回去的这是挺好玩的一个场景对所以我觉得这是一个点然后另外一个再举一个例子比如说比如说就是我们还是说整理桌面这个东西就是大家看到的假如说就是一般都会说假如说收纳玩具或者什么基本上都是摆好了吗对吧然后我们现在是可以支持假如说你就是说把这个桌面上东西都拿掉都收拾起来然后我们现在是可以支持你先拿一框随便撒上去撒上去以后然后不就那个其实就就这本身就已经带了随机型对不对你中间还可以把一些东西再拿出来他不是说就把现在有的这些收拾完就好了你会发现你可以把它捡进去那个东西再拿出来随便摆一个地方他还是会把它收进去甚至你可以跟它一起收拾就是有一些东西可能他还没收到然后你先帮他收了那对他来说他就不收了其实我觉得这一点也是一个比较大的一个进步对这个东西就是我们现在能够处理的随机性应该比1.0版本那个模型要在这方面要强很多对这是因为加了更多的数据呃不是这个东西就是因为整个的模型的预训链不一样你看到了模型具有放化性的这种迹象了吗呃对就是我觉得在这个刚刚说的这种例子里面就是呃任务的泛化,这不是说任务吧,就是位置上的泛化,这一点我觉得现在应该是有比较大的突破他能够接受这种随机性对这意味着他不是只是通过一个RL来做的反馈对他不是一个固定的任务了他是一个中间可能会有很多突发情况的一个任务对这是一个我觉得这是一个在这个方面就是随机性就是泛化性分很多很多维度对我觉得在位置泛化上应该现在可以说是解的会好一些了然后但是我觉得现在我们这一版模型可能对于这种任务上的犯话任务上犯话怎么说呢我觉得就是就你能不能够直接就是什么也不做就直接给你个新的任务从来没见过你就能做了我觉得这个是一个比较难的一个事情然后这个我觉得这个纬度可能现在还没太做好 [65:00] 因为它我觉得一个比较大的原因是因为机器人的数据还是不够多就你见过的任务还是不够多你没办法通过你见过的任务排列组合变成一个你没见过的任务对我觉得这个可能还是一个即将要就接下来可能要去重点突破的一个点那你需要他建这个任务看几次他能学会呢就是他的学习成本有降低吗这一版应该是比上一版有也就是我们的2.0会比1.0有我觉得是在这方面也是有提升的然后体现在两个方面第一个方面是我们1.0的时候当时其实是做了这种评测当时的评测是每一个任务要单独训一个模型就相当于假如有100个任务你就要训100个模型出来就每个任务都要单独训一个后训练然后再去测但这一把我们是可以把假如说10个任务我把这十个任务训练一起测相当于这十个任务只用一个模型解决这是一个方面的提升然后另一个是其实从这个数据量上来讲后群联系统需要的数据量变少了我们上一版应该基本上都在100条左右然后现在应该是20条左右就可以了对然后当然你还是没办法做到说一条甚至更少对我觉得那个可能要随着你积膜的能力再进一步提升可能我们再试图把这个事情再做下去对但整体来说这一点上应该是比1.0也是有一个比较大的提升对聚神智能今天到什么阶段了你之前说还没有到GPT1的时刻今天呢对今天我还是觉得也没有到这个阶段就是聚神智能本身对因为为什么这么说因为现在还没有看到一个比较好的能够做数据scape up 的方式就哪怕是我们这次说的比如说我们用了6万小时对吧现在有6万小时数据但其实坦白讲跟上一次比还没有数量级的提升而且这些数据应该是远远不够的我相信随着现在这个行业数彩的方式的这种就是大家在做各种Ego相关的数据我觉得应该是等数彩方式真的确定下来然后可以大规模铺开的时候可能那个时候会看到GPT1的时刻所以瓶颈还在数据对我觉得现在就是因为跟GPT相比的话我们这次虽然也在讲我们是模型的设计上是巨神原生我们的模型设计都是特性是为了巨神设计的没错但是为了做预训练就是预生原生的预训练其实我们还是用了大量的互联网数据在做的嗯然后互联网数据量级应该跟就是机器人的比就是远大于大多少几倍于机器人值真机采集数据应该差两个数量几吧OK大约模型能够scale up是因为互联网数据已经ready了对所以说在这里面虽然说我们架构上已经做到巨神原生了但我觉得数据上还没有所以可能当巨神的数据本身可以做scale up的时候或者说能至少跟互联网达到相同量级的时候可能是我心目中的GPT1的时刻你估计还有多久啊具体的时间可能就不好预估了但是现在比之前的好处是因为基建上来了模型的开发周期跟GPT之前的那个时候不一样了那个时候大家能有个万卡集群就觉得很了不起了就是至少从语言模型那一块但现在美国的很多公司在做语言模型的时候基本上都是10万卡甚至可能到更多对所以我说我觉得整个的这个基建上来了之后模型的开发效率也会比之前要快所以说可能不一定说原来的GPT1到GPT3.5或者说要拆GPT可能用了一段时间然后可能现在从机器人的GPT1出来到GP机器人的GPT出来可能又不一定需要那么长时间了对因为配套的工具在成熟你们的infra水平也跟着提升了是吗对因为因为我们开始要做预训练了就是既然我们想去动到原生基模这个东西它需要的资源肯定比之前说我只把它当做数字世界的一个下游去做需要的资源要多得多对你们要做原生俱生的模型这个BAT是什么时候下的当时纠结吗其实不纠结因为在发完1.0的时候我们当时就意识到这个问题了就是很多特性我们当时是强行在数字世界数字的模型上魔改强行魔改然后发现很多东西就是不work就是你改了再fancy它有一些缺点还是会暴露出来所以在1.0发布完之后我们当时就做了决定就是我们必须要 [70:00] 具备做底层更底层模型训练的能力算不算是一次bet肯定算是一次bet因为我们也不确定这个东西是不是能成功是不是能训出来因为之前也没有人有过这样的经历但我觉得值得一赌因为这个在我们看来如果数字世界的那条路就是走不了特别长远的话那这是一条必经的路如果走不通就是或者说如果不是我们走通也会有人走通的因为我觉得这可能是正确的嗯有什么之前怎么做都做不成的任务到这次让你觉得有一点惊讶的吗你有什么啊哈moment吗其实我对于刚刚说的那种跟人一起打球这个事情就比较惊讶因为它真的是综合体现了好多能力就是你的执行也要快然后你的这个随机性或者说你的预判要好对然后再加上其实那个东西我们可能一共也就采了20条数据我就说为了执行这个任务在预训练之后为了做这个任务可能就采了20条数据这个比较出乎你的意料以前需要踩多少数卷以前可能采多少数据都不一定能做成对因为就是真的是不是能够让模型把这个随机性就是cover的比较好我感觉之前我是没看到过有类似的东西出来在做原生机器人脑子这件事情上有什么其他人的工作可以借鉴吗比如说硅谷的一些frontier lab他的工作有可借鉴性吗我记得应该是generist他们就是说因为他们的数据量比我们要大得多他们官方就是能就或者说能查到的消息公开消息然后可能应该就是几十万小时而现在可能都不知道是不是可能有百万了我不清楚然后他们的数据管线什么的这方面应该还是比我们要成熟的他们更早的去动到了Pretrain这个方面吧对但是跟他们不一样的或者说可能只是出发说要用巨神数据做Pretrain这个事情是一样的本身的借鉴其实并没有因为我们相信一定要从视频生成这个路线里面去学到一些知识对所以说能够把视频生成这个做到原生的目前还没有看到你怎么看generalist和physical intelligence他们的路线的区别我觉得他们两个更多的是可能有一些最后的理念的一些不一样因为generist更多他是能接受有后训练的他强调的是高效后训练然后但是π好像更多强调的是zero shot他更希望不要后训练就是我什么都会对所以从这个角度来讲我觉得可能天然选择的路可能就不一样听起来Juneralist更实用一些从我的感觉上可能是可以但是其实殊途同归因为我觉得是这样这两个能力都必须具备就如果我们设想未来有一天机器人真的能够进家庭你肯定希望他有两个点第一个点是他进到一个家庭之后百分之八九十的活他自己就能干了百分之十到百分之二十他干不了的可能是你教他一下他就会了这两个我觉得都都是都是需要的能力嗯对其实就因因context learning吧对然后呃感觉这两个其实其实不那么冲突对但是呃这是这是一个点然后另外一个可能呃他们两个技术理念我个人会感觉有点不一样的是Generes可能还是在他对Yumi那条那个数据可能会比较他理解的比较深入玩的也比较好然后Physical Intelligence可能还是在真机摇操上他们应该是在这方面做的比较扎实从再往后看因为现在大家开始去讲Ego-centric了而且再往后可能说我觉得灵巧手这个东西谢谢大家。提上日程就是大家可能会越来越关注说需要的更复杂的一些操作任务那个时候可能甲爪就不能满足需求可能一定要用灵巧手了对可能在EGO的兴起再加上灵巧手的不断的发展很有可能真机摇操和5米两条数据的路线可能都会发生一些变化对就是可能他们也要去迭代升级但有可能最后再往后发展发展可能就合久必分分久必合可能他们也会慢慢走向同一条路这个谁知道呢所以现在不同的路线的核心是我怎么使用数据或者我怎么获取数据这是一个很关键的点对这肯定是一个很关键的点对我现在是比较坚信的一点尤其是我们这次我觉得算是做了一个比较比较好的一个开始 [75:00] 很坚信巨神一定会有自己的模型就是它为巨身设计的模型但是在这个观点如果不变的情况下那它的数据必须要支撑他可以做自己的模型所以数据是如何把数据很好的scale up是一个至关重要的点我去年去上海外滩大会他们为一个事情真的不可开交就是说到底聚生智能是一个独立于语言模型之外的一个独立的学科呢一个独立的发展方向呢还是它是基于大语言模型的一个方向有两派观点一派认为我们是基于LM训练的所以我们是成长在LM这个上面的一个支线然后另一派就觉得我们一定是独立的那一派我不能完全说是哪一派如果硬要选一个我可能会选择后者巨身智能要解决的问题跟语言模型它其实是不冲突的就是原模型更多的是让人听懂这个指令到底是什么让机身听懂指令是什么但我觉得巨神智能更多需要解决的是怎么把这个一件事情做好做好本身是不需要再理解语言的嗯但是他的前一步就是怎么把语言转译成就是他的后面的一系列动作就是第一步可能是需要依赖原模型我会认为巨神会继续拿大原模型当一个比较好的入口然后它会成长出自己的模型它们两个中间可能只是一个就是交互的层面更好的当然是说我们把语言系统也内嵌到这个巨神里面但我感觉短期内聚生要聚焦解决的问题不是那个他还是要先解决怎么把一个事情干明白这个这个点但干明白这个事情我个人会觉得对语言的依赖没有那么高嗯谢谢大家语言是第一个交互工具对换句话说如果不是语言假如说一共就一万个任务然后你把这一万个任务就把编成固定的编码给它可能也行只是他没有办法在任务维度再犯化了但语言模型本身可以在那个维度再犯化他解决的是需求泛化的问题我感觉对 但是这个明显不是现在这个阶段聚身智能的核心脚点嗯 你觉得从24年底就是你们开始做支架公司然后到现在为止整个行业的突破是在哪些方面啊 它的进步快吗其实我觉得进步是比我想象的要快得多因为首先从硬件上然后现在至少像语术致源就是已经把这个量产已经跑通了应该是已经可以进入到量产阶段了然后这相当于供应链也随着这个行业发展也在成熟这是一个点然后从去年开始大家是假爪到今年开始林小手公司已经层出不穷然后已经有非常多的林小手公司出来然后林小手的发展也是就是我觉得可能也用不了太久可能会变成渐渐变成标配渐渐只能说可能再给他一段时间因为硬件毕竟有自己的发展周期只是说大家已经不满足于甲转了然后再加上传感器层面现在有越来越多的触觉相关的传染器然后这些其实都是为了就是领小手啊触觉其实就是为了让机器人做更复杂更精细的任务嘛嗯对吧这是这是从就本身硬件或者说对这个行业里面硬件的发展来讲我觉得是一个比较让我惊叹的一个速度他们是不是也都是一种数据过去方式对他们一定会考虑说跟数据的关系它更多的还是为了模型的升级我觉得还是或者说你能够提供更多的执行更多的任务其实也是为了让模型能学到更多的知识对然后这是硬件这个层面然后另外还有一个层面就是从落地的层面因为现在已经可以看到很多家都在去展示说模型比如说可以进工厂干活像Figer还去展示了物流分解对吧然后已经有越来越多的开始去提机器人的落地而且现在的落地已经不再是通过比如说一些传统的控制方式落地大家都在尝试用模型去落地我觉得这个也是一个比我想象的要更快的一个一个节奏因为去年的时候去年WIC的时候7月份的时候我感觉更多的还是在收demo那个时候我记得之前我有个说法说什么24年再倒咖啡25年再叠衣服 [80:00] 没有一个新的动作但我感觉今年反而是大家demo提的少了都在提进场景了对我觉得就是短短一年的时间那好模型的就是说软件侧的发展也是突飞猛进所以从这两个角度来讲我是觉得这个行业确实是在加速的不急预期的有吗不急预期数据我会这么理解在大家尝试着真的开始步入巨神原生之前对数据的虽然大家都在喊学数据需要数据但是数据真实的情况是如果你真的不需要做一个基础模型可能不需要那么多数据量你到底需要多大的数据人我觉得一样的状态我觉得应该是百万小时起步吧就是能开始说我这个整个模型里面巨身的数据跟互联网数据可能说大家相对平衡一点然后我让他既能学到一些通用的知识又能学到一些操作相关的知识对这是我觉得一个比较理想的状态应该是在百万小时起步对但是呃在百万小时之前我觉得应该会先有一个十万小时的规模而这十万个小时呃是可以就是就怎么说呢它是完全拿来做预训练的预训练不是说基于数字模型的训练是巨神原神的预训练对所以我觉得不及预期的就是在没有可能就是过去一年没有看到巨神原生的东西真的出来然后就是因为没有这个东西出来所以大家对数据量需求其实没有想象中那么迫切就是大家会讲说我们大家都知道行业的公认就是说可能数据是一个很关键的东西而且需要很大量但是没有一个具体的比如说你不逊机模式没有一个推动力说让你马上一定要拿到这么这么些数据的所以我感觉数据的这个发展其实还有一点我觉得不及预期啊对这是我自己的看法今年好像有一个现象去年之前的这一波机器人公司很多都是本体和模型一起做的但是今年大家明显更看重大脑了而且很多公司开始只做大脑不做本体你就为什么会发生这样的一个变化感觉是两代机器人公司这种感觉其实我感觉我感觉一个比较关键的点就是,一个本体很难通用。但如果你不通用的话,你要一定要旋准场景这样做本体才有意义就是你这个本体相当于是是为了那个场景专门设计的因为专门设计它又就是它可以有些东西做强化有一些东西做减配因为最后落地的话要讲的是成本我们不可能拿一个就是各方面的就是六边形战士然后去做某一个具体的任务这样的话它可能很多东西是超配的成本一定是上升的对所以我觉得可能大家不讲本体的一个原因是第一本体其实也有自己的门槛你到底能不能有量产能力这肯定是一个点第二个就是本体的这个就是你如果场景选不准本体设计的一定是有问题的对但是场景现在现在我看来比较难就是大家也不太敢说哪个场景一定会跑得非常好大家都在做尝试但是可能确实比较难决定说哪个场景最后就是先跑最好的所以我感觉可能有这方面的一个原因然后再加上另一个点是这是刚才我觉得对从硬件的需求的角度出发但另外一个点是我觉得从现在行业来看大脑可能是目前是落后于本体的大脑的开发是落后于本体的很多时候换句话说现在就今年的主要矛盾应该是怎么让他先变得能把活干好然后去年王兴建还说干活是一片荒漠对所以我觉得应该是还不能把活干好所以说会有更多的人想要去试图解决这个问题然后但我觉得这个行业在就尤其大脑跟虽然说大脑跟本体现在还是不能完全接偶啊但是我觉得就从这个发展来看他们两个一定是交替上升的就可能现在大脑是落后于本体的但是因为随着近来做大脑的人越来越多可能这个这条路就是或者说呃智能层它会跑得会更快一点然后可能某一天它就超过了本体那个时候可能会对本体提出新的需求本体就会再去可能再 [85:00] 那个时候会有一批新的油就是智能重新定义的本体公司就是可能再往那个方向去发展就是他可能可能不再从我们大家之前理解的一些参数再去看这个本体了可能很多东西就是为了呃这更好了方便模型控制去设计的对我觉得可能那个时候本体又会在发展一段时间然后可能那个时候就本体又更强之后又会催生说智能又不足了我觉得一定是这么一个过程嗯所以上一代硬件不一定能够迭代适应下一代的模型我觉得是至少我的判断应该是这样的然后硬件本身可能还好但我觉得传感器应该是现在的传感器应该是还要再做进一步的升级尤其是触觉相关的其实我举个例子比如说触觉或者说之前大家对传染机是有指标的我必须要做比如说我的精度达到多少然后我的频率达到多少它有很多指标但是会发现很多时候做传染器如果只做传染器本身他肯定会希望这些指标都好但是有些时候又不能决定可能你没办法真的满足所有的东西都很好他一定要有取舍取什么舍什么其实我觉得这也是个问题但是之前的取舍可能大家会凭着使用的过程中比如说利益必须要准既然你是触觉传染器你利益必须要准可能会先取这个对吧这可能是大家的一个说不能叫共识但反正就下意识都会这么想但是有可能这个东西在AI这个时代模型可能最需要的不一定是你利益要准有可能是需要你反应够快就是我可能对实时性要求可能比那个更高这都是有可能的所以说可能如果说传感器再迪代升级可能要从模型的需求出发看我们要强化哪些指标弱化哪些指标就是还没有到说模型可以定义它的时候他们肯定会按照传感器的发展肯定会按照就是传统的理解说我们去怎么去尽可能的优化对我觉得这肯定是一个未来的趋势有的是从硬件出发有的是从软件出发但是大家都想进入家庭这个最好的场景里可能现在其他的一些场景还不够那么性感嗯对!是这样就是可能还是2C更性感一点了所以他现在需要做一个选择我是从软件出发还是从硬件出发对有的人从硬件出发你们是从软件出发对我们是从软件出发沿着脑子往后做你觉得接下来几代会怎么迭代我觉得是这样就是刚才我说的我们这一把是做了就是怎么说呢从这个物理特性上做了一些原生的设计然后接下来我觉得最大的就是怎么能够从架构原生再往前再走一步做到数据原生数据原生解决了刚刚我们说的泛化性有很多种嘛比如说那个本体构型的泛化性然后我们现在能够做到位置的泛化性然后但是接下来我们还是要做任务的泛化性任务的泛化性就严重的吃数据了嗯 对 然后呢 一个更优雅的数彩方式能拿到更多的好的数据然后以及把这个数据真的比较好的送给模型我觉得可能是下一版本我们最重要的一个核心就因为你们要自己去做数据采数据可能会投入更多的资源来做这个事情对或者说把数据的数彩的这个整个的标准需要再做的更扎实一点就是到底怎么样采什么样的数据怎么采然后这个东西到底是不是可以规模化复制可能这个是我们接下来要关注的一个比较大的现在有什么可能性规模和复制吗其实就是大家现在讲的比较多就是Ego然后其实Ego的数据我个人的看法是它提出了一个比较好Segle Up的一个方式这一点是毋庸置疑的但是现在的问题是只从Ego假如说就只有头部的相机拍下来的这个数据到底能不能用然后我们想要做首部的一些精心化动作有没有帮助这些东西还是未知的我觉得EGO应该是提出一个采集理念但这个采集理念是要被打磨成一个具体的一个产品才能够就是开始说部署下去然后开始做起来素材这个事情对我觉得这个理念和从理念诞生到一个理念的真正的实施可能还是要点时间所以说聚生智能现在接下来要进行 [90:00] 觉得最重要的一件事情还是得是数据对应该是数据的就是可规模化的然后可以被模型使用的数据嗯就是这个可以被模型使用我觉得嗯可以被模型使用和可规模化这两点本身就是一个平衡因为模型肯定希望数据越好越好就是质量越高也好含有的模态越多也好这是模型的需求但是规模化的就是你的需求越高我越不能规模化就变成定值了就是我很难真的上量那在质量和数量之间怎么取一个平衡就是说我模型哪些东西是可以舍弃的这个东西可能现在还没有太定义清楚这个事情一旦定义清楚我觉得后面的事情就会加速谢谢大家嗯你这是第一次创业你对创业有什么新的感受吗对我来说两个第一次吧第一次创业对第一次创业含了两个部分然后第一个部分是我觉得第一次面向落地这是第一次然后第二次就是创业就是换句话说第一个第一次是业第二个第一次是创对我觉得从落地的角度来讲可能确实让我感悟比较深的就是以前会更关注技术的领先性现在会更关注技术的哪一方面的领先性就是技术还是要领先但是是不是有价值的领先还是说只是技术人就是拍脑的觉得大家其实有很多东西都可以领先你现在需要哪里领先我现在肯定希望能支持的任务越多越好对就是我会优先选择场景的就是就或者说场景在任何任务的这个繁华性这一方面对然后这是这是第一个第一个第一次就是夜的部分然后再说一下创的部分我觉得可能这个第一次交和我的更多的就是就是人要学会就是或者说创业要学会读创业一定是堵出来的就怎么说呢嗯没有人知道哪一个路一定是成功的然后资源又一定是有限的所以在有限的资源下路径不确定的情况下就是要赌对我觉得敢做决定敢赌这是我觉得很关键很关键的一点因为如果说一条就是大家如果都知道那条路是成功的那为什么是你成功就是如果那条路一定成功大厂一定成功了对 这是百分之百的嘛就是更有资源更有人的地方一定会成功对 然后但是在路径未知的时候如果犹豫不决很有可能最后就什么都做不出来这里面你们的大毒有哪些不做本体是一个大毒吗对我觉得做第一个是传感器是一个大毒对然后第二个就是原生是一个大毒因为原生这个事情很有可能做到最后就发现没做出来就是你训了半天训了一年花了好多资源然后结果这模型就是不收敛其实我觉得这是一场豪赌就是做出他没做出来有很多种可能比如说就是思路错了也有可能是技术还不成熟可能再过个两年三年重新再做这个事可能就成了就是说你太早的进入也不行然后可能资源不够也是一方面就是说你本来只能做100块钱的事但你非要做一个200块钱的事你没有那么多资源这些都是堵的一个怎么说的风险点所在然后但是我觉得一旦是做成了那种时候的成就感还是比较高的蚂蚁对你们的期待要求是什么因为现在蚂蚁集团整个也是AI first就是从这个大的战略上讲其实我们也是想要突破智能的上限对然后只不过是AI first它就包含两部分物理世界的AI和巨神智能就是数字世界的AI我们可能就是承载了集团人工智能上限的使命这是一脉相承的然后另外一个我觉得还是说马蚁集团还是一个以生活服务数字世界的生活服务为就是怎么为核心的一个公司然后我觉得这一点我们也是在整个集团的延长线上我们就是想弥补或者说也不能叫弥补吧应该说是补齐从数字世界往物理世界迁移这条中间的这一部分就是怎么把一个服务真的执行起来对可能是这两点是我们跟集团最大的怎么说呢我觉得是理念上的契合吧对蚂蚁对你们的管理是什么样的其实整体来讲还是比较还是比较按照那个创业公司的方式让我们去管的只是说我们的管理体制上 [95:00] 可能会更独立一点可能跟一般集团下边的一些BG相比我们的就是因为业务会相对独立一些嘛对所以说管理起来可能也会独立一些但整体的基建什么的都是共享对于你们的这几次豪赌他们是什么反馈呃我觉得还是比较支持的吧集团这几从上一次发布和这次发布集团都还比较支持对他们有说为什么我们不做本体啊有说这种吗其实也会就是大家会有一些debate对但是呃我觉得集团这一点是对林波有充分的信任和尊重因为我们可能更贴近行业本身对所以说这方面我们做的一些决定就是集团肯定会就是从他的视角他肯定会给出他的一些建议但最后可能双方还是会在经过几轮交流之后应该还是会达成一致的你对于这次创业的最好的预期和最坏的预期是什么呃最好的预期就是我真的看到机器人进家庭了然后金嘉宾的机器人跑的是领波的模型这是我最好的预期然后这最坏的预期就是没做出来呗我觉得也没有什么更坏的预期了可能就是就是可能某一次某一次赌的过程中可能赌错了你是个赌心强的人吗我还可以还可以对谢谢大家这里面有哪个角色是你力排中意必须要这么做的嗯好我觉得巨神原生这个事情可能是我做了其实是比较坚持要做我觉得这一点我还是从在上一次发布的过程中感受到就是我们数字世界的条路就是沿着数字世界往后走就是行不通不想在他们的延长线上对 所以我就非常坚持说一定我们要做一个用物理世界的东西就是成物理世界土生土长出来的模型对这是我觉得可能也是我这次觉得比较有成就感的一件事情对好在就是我不敢说它是一定被百分之百验证但我觉得至少我们迈出了一步这次模型的进展是符合你预期低于预期而高于预期其实是有点高于一起因为你想嘛我们讲原生这件事情我们从就是两大块一个是视觉就是刚才说看得更清楚那块 我觉得我们已经就这一部分就是由原生推动它往前走了一步然后想的更明白就是也是有我刚刚说的我们也是有原生往前又退了一步就是架构的原生刚才说的不管是时间的流逝也好还是说推理效率也好等等然后接下来还有一个干的更利索我觉得干的更利索可能就是下一个原生就是数据原生对因为我觉得数据做的数据的能够更好的规模化之后肯定是在任务的方案性上有更好的突破对所以我觉得就是从我们看得更清楚想得更明白干得更利索这个这一点上我们正好在经过了半年的时间之后把前两点都有原生这个概念往前推了一步我觉得这个是我没想到会来的这么快然后希望数据原生的部分也能比我预期的来的要早那我可能也会更开心这样的话我觉得真的就是完全是物理世界有自己的一套从模型到架构到数据闭环那一套原生体系现在各个不同领域的玩家都很想抢夺机器人大脑这个事情嗯有你们然后也有之前的那些机器人公司他们也会着重的来做AI然后又包括大厂或者说模型公司如果他们有精力的话他们也会来做机器人的模型你觉得你们的优势是什么呀你觉得这个产业竞争到最后的格局会是什么样格局可能我觉得可能跟大元模型的格局差不多可能会有大厂做的比较好然后也会有两三家创业公司做的比较好你们属于大厂还是创业公司我觉得我们现在可能跟创业公司会更近一点对然后那我们确实位置比较特殊我们可以属于一家背靠大厂的创业公司对然后呃这是一个就是我觉得从智能层应该大概就是这么一个格局应该会有大厂会有那么一两个玩家然后创业公司会有两三个玩家然后可能大家各自跑出各自的生态 [100:00] 生态就包括了数据的生态本体的生态常见的生态就可能每家的模型因为你有着生态之后你场景加本体可能就会给你那个生态里面的数据可能你的模型就会慢慢分化的更适合那个生态对当然是可能最后大家都会走到一个通用的生态就是进家庭但是在那个之前可能每家模型会有不一样的特性比如说可能有一些有一些模型就适合做精巧的任务有一些模型可能就适合做长城的任务这个就不好说了对但我觉得应该是会是一个各有特色的就是几家鼎立的这种这种一个格局你对人型机器人这个构型有执念吗你觉得未来进家庭的机器人会一定是人型机器人吗我还是觉得就是毕竟是从一个创业公司的角度来讲我觉得我们一个阶段解决一个最核心的问题就好了现在当下最核心的问题就智能不够对我觉得还没有到就是就是或许话说现在到底是轮式还是足式或者说它构型应该长什么样还不是现在的核心卡点嗯现在核心卡点是智能不够然后智能不够的核心卡点是数据不够对对所以怎么让数据能够scale up是重点对然后当你智能有了以后你才开始能做落地的尝试你只有做落地的尝试之后就产品才会迭代产品迭代应接才会迭代就现在就大家在争就比如说到底是族式还是轮式他不管是族式还是轮式他进家庭我都不会让他进家庭的那这个时候你都没办法做这种user studyOK我感觉是这样你现在工作状态是什么样的这两天好一点前一阵子就在模型都都处于要出来没出来那个阶段的时候其实其实比较紧张的但是现在尤其是最近在发布完了之后然后整个人状态会相对我觉得会轻松一些然后接下来我应该会怎么说呢可能再想一想下一步要就是到底应该怎么去去做吧就是再复盘一下然后想一想比如说数据到底怎么去跟模型更好的结合这可能是这些方面会考虑的多一点说到市场反馈怎么样目前看应该还可以,尤其是技术社区里面应该对我们做的这一套还是比较白印的对我感觉是这样然后如果是那个行业的话我觉得需要再给行业一点时间因为毕竟是刚发布对我们行业要试用过之后可能才会拿到更多的反馈你们现在驱动的核心指标是什么呀是一些落地上的数据还是模型智能上的一些数据我就是刚刚其实有提到我们还是两头抓就是我们一边要探索上线然后一边要抓落地这两个点可能我们都会关注一些我们一开始聊到了你的学习经历因为你是汤晓欧老师的学生你对汤老师有什么印象吗汤老师是个比较幽默的人这是我对他最大的一个意义因为他讲话他跟我一样他也是东北人然后我觉得反正听他讲话比较亲切这是一个点然后另外一个点就是我觉得比较能快速的从一个比较一个乱序的一个混沌当中快速的抓到一个主要矛盾有例子吗这个就是毕业答辩的时候因为他要他要参与因为答辩很多时候大家会问比如你怎么做的之类但是他当时他问了我一个可能跟跟行业用相关的问题具体是谁就是我当时做的那套那个做图像编辑视频编辑那套东西而且上一代AI最大的痛点就是它不好落地就没有一个很好的场景对现在有人问你们这个模型怎么用吗肯定啊大家都就是其实我觉得现在巨神智能它不像大元模型或者多么太模型那么好那么好传播因为离大家生活实在是太远了就是我必须要有个机械臂我才能知道你这东西好不好用就是他现在更多还是土开发者的我是这么理解的对 离售中最近的都是娱乐场景对这是最快可以感知的对嘛 所以我说他不是那么好传播然后如果是开发者呢他肯定会希望你告诉他这个东西怎么用好因为毕竟我们这次我们在发布所有的东西基本上都是预训练就是预训练要落地还是要经过后训练的后续量本身是一个很难的事情或者换句话说他不是说就把数据踩完然后扔进去 [105:00] 调整一下参数就结束了就是那如果效果不好到底是没训好还是数据没踩好还是模型就不好怎么诊断问题有了诊断之后怎么解它是一个我觉得是一个很难很难的事情换句话说我刚刚说它离大众比较远其实是一样的点就是因为它离大众比较远所以或者换句话说就是因为它不是一个直接能用的模型怎么把它让别人感知到你这个模型真的好是需要是需要能力体现的所以大家都会问就这个东西比如说怎么复现然后我想让他做一个什么事应该做哪些步骤之类的还是会有很多这样的问题我觉得你们那个玩桌式足球那个如果能够在现实场景里面能够做一个给大家互动的机器人的话应该会挺多人愿意玩的嗯对就是说换句话说你做的越能直接被应用它肯定是就是大家的问题会越少然后互动性会越强你对于机器人的未来发展还有什么其他的展望没有其实我就是希望他能够理达中更近一点就是我希望他也能够变成一个像像那个语言一样就是他出一个app然后每个人能体验那如果说之后真的说就是机器人更普及了家里都有能够或者说一个比较简单的渠道就能搞到一个机器人去玩起来的话我觉得那个时候可能成就感会更多因为现在就是比如说我跟我爸妈去讲说我做了一个什么东西他们也听不懂然后也没有体感然后那如果有一天能带一个东西直接给他然后告诉他这是我做的我觉得那个时候可能成就感会会跟现在完全不是一个量级我还有最后几个快问快答一个全球范围内喜欢的食物日料一个全球范围内你喜欢的地点家我们的嘉宾都会给我们的观众朋友推荐一本人生之书你会推荐哪一本人生之书笑傲江湖我特别喜欢武侠我从小就比较迷金庸的小说然后我特别喜欢但是每次因为金庸小说我都其实每部都看过很多遍然后但我每次推荐都会推荐《笑耀江湖》因为我觉得我特别喜欢令狐虫里面那种比较豁达的样子对就什么都不太在乎那种心理状态我非常非常喜欢你是这样的人吗我希望成为这样的人如果机器人有性格的话你希望他是什么性格我希望他是个J人他好干活对我觉得他核心还是要使用对我希望他是个这人就换句话说如果在提供情绪价值和干活之间我会果断的选择干活为啥不是提供情绪价值我可能觉得情绪价值应该由人来提供对你心目中影响机器人进程的几篇论文其实可能也不一定算是论文吧我觉得我觉得像像像那个Janeres他们现在已经不写论文他们写blog我觉得这种可能也算对我觉得那个Janeres的那个站一应该对我们是一个比较大的一个影响就是他的数据的规模化确实做得非常好然后像派的工作应该也是非常好再就是像那个Google DevMiner他们那边的一些工作我觉得做的也是比较好我有时候在想就是如果我们在中国没有应用到中国的本土的这个硬件优势的话会比较可惜对我觉得会比较可惜的但是硬件优势可能在这一次的机器人的发展中我觉得是会有不可磨灭的作用的机身还是说你不管是怎么样的素材方式一定依赖硬件然后一定依赖传感器我觉得从数据质量上我之前一直讲说我觉得是互联网红利的一个变现或者说数据是从互联网时代有积累下来的但是巨升相比互联网来说我觉得它可能是一个尤其是巨星的数据可能是一个空窗期现在大家都是一样的那我觉得可能所以它收数据上可能这个中国有优势对 我觉得这个是一个非常非常大的影响优势当然迅魔型的能力基建那些肯定也是优势但至少在数据这方面我觉得中国一定是与美国跑得快的那你们是不是应该利用这种优势呢是的是的所以说我们其实也有比较多的我们有自己的一个所谓的叫数据联盟的一个我们会有一些比较好的数据的合作伙伴,对,然后可能也会跟他们一起说, [110:00] 看看怎么一起去把这个数据做的更好 因为数据你所有的规模化能力一定要有标准对所以说这个方面我们是在积极的试图利用这个行业的优势去做的基于你当下的认知一个关键的重要的Bets是什么呀我觉得就是巨神原神吧我讲了很多我觉得就是这个就我非常非常相信巨神要有自己的模型