OpenAI与英伟达因评测瓶颈集体转向具身智能仿真数据

OpenAI与英伟达因评测瓶颈集体转向具身智能仿真数据 真实机器人数据因高成本与规模化困境被市场高估，具身智能爆发须依赖以系统为中心的仿真评测与人类第一视角数据金字塔。 本期访谈深度探讨了AI时代，特别是具身智能领域的数据产业格局与技术路线演进。嘉宾谢晨指出，大语言模型正面临互联网数据枯竭的“撞墙”期，而机器人数据则处于一片“荒漠”，必须通过“以系统为中心”的仿真和合成数据作为先决条件。节目详细拆解了具身智能的“数据金字塔”架构，分析了从静态标注到评测驱动、反馈驱动的演变，并指出了大模型团队集体拥抱仿真以及中美机器人派系分化的中局生态。 具身智能的数据呈现出三层金字塔结构：塔尖为极少量的真实本体遥操作数据，塔身为大规模仿真合成数据，塔底则是海量的人类第一视角及互联网视频数据。 (100:00) 自动驾驶的仿真主要作为补充偶发长尾场景与回归测试的加速器，而对于端侧真机与数据极度匮乏的具身智能而言，仿真和合成数据是不可或缺的先决条件。 (12:00) 大模型与机器人行业正发生显著分化：以DeepMind、OpenAI为代表的大模型团队极度关注零样本泛化能力，倾向基于本体无关数据研发通用VLA与世界模型，并集体转向规模化仿真评测。 (33:00) 数据产业形态正从过去的工业化流水线（Data Factory）转向以系统为中心的数据引擎（Data Engine），通过高物理逼真度与反馈驱动的仿真环境放大人类示范经验。 (115:00) 具身智能当前最核心的卡口在于规模化评测能力，终局阶段的AI将不再依赖外部知识灌输，而是依托具备物理基础对齐的仿真环境通过强化学习进行自我迭代与提升。 (145:00)

光轮智能创始人谢晨（Steve）指出，自动驾驶中的仿真是查漏补缺的“加速器”，而对深陷数据荒漠的具身智能而言，高精度仿真与合成数据则是通向通用智能的“先决条件”。行业正从昂贵且难以规模化的真机遥操作，转向以仿真为核心、依赖本体无关数据与规模化评测闭环的“数据金字塔”演进。 仿真的范式跃迁：从加速器到先决条件 (12:00) 谢晨分析，自动驾驶可以通过数百万辆在端侧运行的车辆与影子模式，以极低成本进行被动数据采集并与人类司机对比，仿真仅用于补充边缘偶发场景与可重复回归测试。但在具身智能领域，行业面临预训练数据与评价能力的双重匮乏，甚至无法凑齐一万台机器人在真实世界中提供有效反馈。由于机器人自由度与任务复杂度呈指数级上升，且无法依靠廉价的真机影子模式，仿真系统成为其完成多场景验证与算法迭代不可替代的先决条件。 同时，谢晨对物理仿真提出了三项硬性标准：物理规律对齐、高概率可复现（相同动作在95%至99%以上产生一致结果）以及动作可交互修正。当前的视频生成模型由于缺乏高精度复现与行动交互输入输出机制，尚无法替代仿真，但未来世界模型与仿真将走向共生融合。 数据金字塔与本体无关的尺度定律 (100:00) 针对具身智能的数据架构，谢晨引用朱玉可提出的“数据金字塔”模型阐释其分层关系：塔尖是成本最贵、最难规模化的“真机遥操作数据”；中间层是易于规模化、由算法与人控双轨驱动的“仿真合成数据”；塔底则是海量的人类第一人称视角视频与互联网数据。随着混合预训练技术的演进，仿真到真实世界（Sim-to-Real）的鸿沟正在收窄。 行业近期在李飞飞团队的 Behaviour Challenge、英伟达 Project GR00T 以及 Google 耗费 27 万小时采集的 Umi 夹爪数据中，均验证了本体无关数据（仿真与人类数据）在驱动模型零样本泛化上的 Scaling Law。谢晨认为，真机数据的独立支撑能力被行业普遍高估，而具备第一人称贴合度的人类日常交互视频（如通过消费级智能眼镜采集）与仿真评测数据则被严重低估。 大模型与本体分化：四方共生中局版图 (42:00) 在技术路线与商业模式上，大模型厂商与机器人本体厂商正出现明显分化。OpenAI、Google DeepMind、英伟达等前沿团队依托数万卡级别的算力门槛，侧重利用简单的机械臂载体和本体无关数据研发通用的 VLA（视觉-语言-动作）模型与云端世界模型，追求跨任务的零样本泛化能力；而国内大量宣称“真机派”的本体厂商，底层往往是在搭建桌面级低维假场景的“素材厂”，其主张更多受制于售卖硬件与数采服务的商业闭环诉求。 谢晨预测，具身智能中局不会走向特斯拉式的单一硬件闭环垄断，而是演进为分工明确的四方共生生态：冲刺 Scaling Law 的通用大模型商、专注稳定量产与硬件微调的本体商（如宇树科技）、提供高阶评测与反馈闭环的数据商，以及掌握实际落地场景并控制软硬件准入的工业与汽车场景商。 评测卡口与数据引擎的终极形态 (65:00) 谢晨指出，当前具身智能进化的真正卡口在于规模化评测能力的缺失。以李飞飞团队的长程任务评测集 Behaviour Challenge 为例，目前工业界最高成功率仅约 26%，前沿大模型团队因无法在数千个真实物理场景中高频测试算法，集体转向寻求仿真评测支持。数据服务形态也由此从早期 ImageNet 的“静态填鸭式标注”、Scale AI 的“量贩式数据工厂”，升级为以系统和物理工程为核心的“数据引擎”（Data Engine）。 该工程体系融合了自研非刚体物理求解器、力学测量工厂以及包含“失败后重试纠错”的负样本轨迹。谢晨认为，当 AI 发展到极高智能水平、人类无法继续提供示范时，传统数据工厂模式将走向终结，最终形态将是以高精度物理限制为依托、供模型通过强化学习进行内功迭代的仿真“思考实验”环境。 谢晨强调，尽管大模型在具身数据上的 Scaling 效应初现，但预训练和后训练中真机与仿真的具体配比配方仍未完全收敛，世界模型与端侧 VLA 的融合机制仍在探索中。具身智能的突破不仅依赖算力倾斜与硬件制造，更取决于能否跨越评测瓶颈，建立起能够放大人类经验的系统级仿真闭环。

[0:00] 大语言模型的数据遇到撞墙的难题，机器人的数据则处于一片荒漠中。 [0:00] 谢晨: 自动驾驶的仿真更多是一个“加速器”（锦上添花），而对于具身智能（Robotics）而言，仿真和合成数据则是一个“先决条件”（前提条件）。 [5:00] 谢晨: 天赋在物理学中才是最关键的。 [20:00] 谢晨: 数据之于智能，犹如教育之于人类。 [20:00] 谢晨: 在具身智能的实际训练中，最有效的数据往往不是完美的成功示范，而是“先失败再成功”的纠错数据 [42:00] 谢晨: 世界模型将成为云端大脑，而 VLA 将成为端侧大脑 [70:00] 谢晨: 越有能力的人越爱学习，每天读的书不是减少而是增加。 [75:00] 谢晨: 这些曾经的“真机派”大模型团队纷纷主动找上门来，寻求规模化评测的合作。他们共同面临的瓶颈是：“没有办法去规模化他们的评测了”。 [80:00] 谢晨: 许多宣称真机数采的团队，其素材中心里使用的也是“现实世界的仿真”——拿着假的香蕉、假的苹果，在变幻极小、搭建出来的桌面级或宜家风场景中操作，这根本无法与仿真中广阔、多变且物理真实的场景相比。 [100:00] 谢晨: 数据金字塔：真机数据（极少）- 仿真数据（中等）- 互联网/第一人称数据（海量）。 [105:00] 谢晨: 被高估的数据：真实机器人数据。行业已经意识到真机数据无法独立支撑起通用智能……被低估的数据：仿真评测与人类第一视角数据。 [135:00] 谢晨: 好的数据越来越像人类的学习过程，而不再像早期的自动驾驶或机器视觉那样“有一个标准答案的完美数据”。 [140:00] 谢晨: 宇树的区分度反而最鲜明——它坚定地做好硬件本体，不与大脑公司竞争，边界感极强。 [145:00] 谢晨: 如果解决不了规模化评测，大家就很难衡量自己智能的提升。因此，打造仿真的规模化评测是所有人都需要的核心能力。

[0:00] Hello大家好,我是小军数据算力算法是驱动人工智能的三驾马车那今天这期节目很特别我们希望针对这其中的一驾马车也就是数据来做一个产业综数大约模型的数据是遇到了撞墙的难题而机器人的数据则处于一片荒漠之中那么数据产业究竟是如何运转的今天我们这期节目的嘉宾是我们的商业访谈录的返场嘉宾光轮智能的创始人兼CEOSteve 谢晨从你的视角告诉我们谁变得更激进了我觉得自己也肯定是更激进了我觉得阿里我觉得OpenEye我觉得DMine也绝对更激进了对我觉得英伟达我觉得也更激进了这就是五家角逐机器人大脑的团队对 其实某种层面上我认为Pi也应该属于这一类其实最有效的数据是先失败再成功的数据我觉得就是说到了终局可能整体上来讲就跟马斯克说的咱们人可能就在一个仿真里头Hello Steve先给观众朋友们打个招呼谢谢小骏的邀请我叫Steve朱文明叫谢晨我是光伦智能的创始人CEOSteve其实之前来过我们的播客节目但是因为我们今天是第一次录视频播客所以还是请Steve先给我们做个自我介绍并且讲讲过往的经历我最早是在北大物理读的本科然后去哥伦比亚大学的商学院读了一个量化金融的博士然后与很多我觉得在科技圈尤其是在巨身圈创业的leader不一样我其实刚毕业了以后的经历有一些复杂那我其实在这电商做过这个动态定价的这个AI算法的这个负责人电商哪家公司其实当时叫Jai.com那它是一个希望去颠覆亚马逊的一家这个新兴的创业的公司然后很迅速的去融了很多钱最后其实被沃尔玛收购了那当然在这个之后其实我还做过这个产品经理就也负责过产品所以其实我一直是在算法以及落地就之间就再去思考我的下一步那直到2018年的时候我特别幸运去了硅谷加入了Cruise那是当时可能最领先的或者最领先的V2的两家一家是Vmo一家是Cruise的L4的自动驾驶公司去Cruise去负责自动驾驶的仿真那这也是我第一次在整个行业真正的去验证了仿真以及合成数据他们并不是一个玩具他们真正可以有效的去支持到算法的演进在这个之后呢我去了这个英卫达在英卫达负责自动驾驶仿真其实也就是在英卫达的时间也就是2021年我刚加入我就发现了一个可能很颠覆我的一个认知我发现在英伟达他们就是在车端的芯片Aurine最大的客户不是Vimo和Cruise而是魏小李这个给我的一个很大的一个震撼让我意识到可能自动驾驶的下一代不会在美国不会在硅谷而会在中国我必须要回国所以其实刚刚加入英伟达六个月的时间我就携家带口回国加入了蔚来到蔚来去负责他的自动家访真在这儿呢我也特别感谢我的太太她当时给我很大的一个支持就抛弃了可能在美国的很多的工作朋友经历然后和我一块回国那当然就是说回国了以后我在蔚来真正的去从一个主机场的角度去实践这个仿真把它搭建成了一套的这个数据闭环可以支持到比方说自动驾驶算法的合成数据训练以及大规模的评测和落地那当然这个时候我也产生了很多的一个思考就是说仿真它到底只是一个加速器的一个作用是一个锦上添花的一个作用还是说它是一个更加偏第一性的它是一个更加偏一个前提条件我那个时候就越来越感觉到自动驾驶可能仿真更多的是一个加速器而对于机器人巨身智能它可能更会是一个先决条件有了这个思考了以后特别是赶上了大模型的演进那么在2023年我和我的联创严海波一起决定成立光轮智能那其实出发点就是希望用这个仿真用合成数据来加速机器人这个产业为什么你刚毕业的工作经历会相对其他人也更杂一些你当时在寻找什么很好的问题我觉得其实我个人也在寻找就是说我能够对哪一个行业对哪一件事 [5:00] 能够产生最大的一个贡献这贡献可能不是一个锦上添花而是说我真正可以成为一个前提条件来真正改变一个行业那我呢其实本科是学物理的物理其实很难我刚加入北大物理的时候是年纪110名我可能花了三年的时间每天晚上可能两点钟睡觉包括寒暑假都没有回过家都在学校最后可能是进了年纪前五那这个经历给我的感受就是说第一确实是这个通过努力你确实是可以去做得更好但是第二的话其实天赋还是最关键的那我觉得我可能还是缺少了对于物理的天赋后来去金融也是看到了当时可能从物理从数学走得最好的这些同学可能都去了金融这个行业但是真正去读了博士了以后才发现这个行业其实开始欠缺了一些创新且对社会可能没有太大的一个从我角度来讲真正的一个贡献那我希望更加投身到一个科技行业那么去了科技行业了以后其实我也是在寻找我最有价值的地方我认为从产品端来讲的话我特别希望去做一件事真正能让它有效的去落地就是给用户来提升价值但是其实做了一段时间又发现这件事可能缺少了一些技术的难度一些实质的挑战不够颠覆性所以确实是抱着这些的想法我在不断的去寻找当然我觉得我最幸运的就是可能从18年开始我真正的找到了我觉得最有意义的事情且我认为它可能能够成为一个产品能够成为一个商业模式那这个就是仿真我记得我好像见过你的某一个师兄弟应该也是北大物理系的然后他说你是很少见的在北大物理系读了本科然后很快就去哥伦比亚读商学院的你觉得你的特质跟你的同龄人有什么不一样我觉得我的特质的话就是说我可能希望做一件事要不然就不做要做就能够做到最好这个最好是一个可能在国际上能够做到第一名第二名或者说除了我之外就没有人能够做得更好这样一个级别另外呢就是说我觉得还有一个特质就是我比较希望去找一个区分度去哥伦比亚大学商学院其实一方面是因为我的学习各方面可能确实是比较好但是其实最主要的原因是我想清了我不适合所物理那我其实觉得在那个时间点和我的同龄人比的话我觉得可能我的思考会更多一些因为我不断的再去找就是说我在哪一个方面可能能够有真正的一个优势能够与别人不一样你找到了吗我认为其实当时是没有找到那我认为现在我找到了其实我没有讲的是我在本科的时候也创过业我在博士的时候也创过业我在本科其实经历更加复杂一些在大三的时候到了年纪前五了以后我就开始放飞了因为我觉得就是这个大三到了年纪前五对这个成绩足够我来去出国申请一个名校那后面的成绩就没有那么关键了那这个时候我就在想那我缺失的是什么我缺失的可能是真正的这种社团的体验国际的经历因为我可能寒窗苦度了三年的时间而我的同学们可能就都有各种各样的不一样的经历所以我就当时就申请去哥伦比亚大学去交换了一年在那一年其实是给我感受很深当时是金融危机那我确实也08年的时候那确实也是这个感受到了很多不一样的这个世界学到了很有意思的课程交了很多的朋友同时呢也让我看到像我这样的人很希望去有这种在本科出国的经历那很有可能北大清华很多这种高校的同学们他们也都希望有这样一个经历能够在本科的时候更好的就感受一个这个世界找到他们下一步的方向所以我当时就组织了这样一个学习团交流团那么等于是在北大的时候当时就办了几次带了很多的同学们当时出国到美国包括其实在博士的时候我当时也有点闲不住也创了个业那在博士的时候当时就是我养了一只狗他的名字叫土豆他是一个特别可爱的一只八哥在他三个月的时候被查出来有心脏病让我就很伤心由于对他的爱然后也犹豫就是说跟很多的狗友去交流我发现可能一方面为了土豆一方面为了狗友这个社区可能需要一个应用 [10:00] 来帮助大家更好的去维系大家之间的关系也让大家更好的去维系他们跟狗这样的一个连接所以我当时就下载了很多的APP可能下载了有500多个APP在我的手机上然后一个一个的去尝试自学设计自学写代码然后把这个APP给开发出来第一次科技创业第一次科技创业对然后作为一个狗友的应用当时这个狗友应用其实还在北美式排名可能是前三的勾有的社交应用基本上都是五分的review其实还是比较火的但是我觉得一个问题就是我当时其实没有去思考商业模式所以做完了以后其实也很难去商业化其实当时有几个硅谷的VC给我这个timesheet希望给我这个投资但是当时我也接近博士的毕业我想了想觉得还是算了因为可能这个确实也不是我一生希望去追求的一个方向同时呢我觉得没有一个商业模式我也不希望去拿投资人的钱去浪费他们的钱也浪费自己的时间所以我后来就把这个公司给关掉了做了多长时间啊这个公司这个公司大概做了三年的时间三年到博士毕业到博士毕业你前面工作经历非常的贬是不是因为你一直在pass很多事情你发现很多事情其实不适合自己没错其实我觉得不同的人不一样我举一个例子我觉得可能巴菲特和朗朗他们很幸运一方面我觉得他们很棒他们能力很强一方面他们很幸运他们可能在十岁的时候就找到了他们擅长什么对吧可能巴菲特在十岁的时候发现他特别喜欢股票他也擅长投资朗朗可能在10岁的时候发现他擅长弹钢琴我觉得我其实花了很多的时间发现自己不擅长什么我必须得去通过试错才能知道自己不擅长什么但是我可能就没有那么幸运我可能花了很长的时间才真正发现自己擅长什么擅长的是我认为我擅长的是基于一个更加颠覆性的技术科技打造一个产品并且用这个产品去真正的支撑一个产业我觉得这个是我擅长的为什么你最后选择在仿真这个领域算是深根吧而且很快从去了英伟达只有六个月然后就加入了蔚来其实你后面换的其实也挺快的就是在每个公司工作时间都不久是的我觉得首先是我相信仿真的魔力这个其实是我当时去Cruise的时候发现的在我去领导Cruise的仿真之前实话实说仿真是一个玩具或者说它更多的是Cruise给投资人展示的一个demo tool那么它其实是用游戏引擎用比较传统的这套的技术美术去打造了看起来很真的一个世界车然后用它去生成了很大量的数据但是这个数据其实算法的团队比方说当时感知的团队并没有办法有效的去用到它或者说其实用了以后其实效果训练出来的模型的效果是降低的而不是升高的其实COA比较卷的一个人他叫Kyle他比较卷的一个人他拉我过来就是希望让我去解决这个问题当时给我的时间可能是三个月的时间当时其实压力比较大第一步其实我可能跟别人不一样就是说我的背景比较复杂一些我既有物理的背景我有量化我还有AI的背景所以我第一步做的事其实不是去提升仿真而是去评价仿真得到了一套评价的准则了以后第二步才真正的用生成是AI以及仿真的一个结合真正的去提升它那同时与算法有效的去迭代真正的去把这个数据喂到了算法了以后真正看到了一个提升这个点是我真正的看到的一个很特殊的一个时间点它让我真正的相信了这件事那当然我当时为什么去英伟达是因为当然一方面就是说英伟达老黄他们确实看到了我在自动箱上仿真做的不错那他们确实在找这样一个负责人但是第二呢就是说从我的角度其实我也在我也在不断的给自己抛反例也在challenge自己就是凭什么我就认为我是仿真做的最好的因为其实当时那个阶段Vimo有Vimo自己的做法Cruise有Cruise自己的做法整个行业还没有完全收敛所以也很难说谁对谁错那我觉得Evita他的优势就是他作为一个供应商那我认为我应该从一个我认为我已经具备了L4的这个角度了我再去Vimo可能意义不大但是呢我如果去一个供应商我能够从供应商的角度去看应该怎么去做仿真那时候美达多大21年的时候那个时候可能1万人但是他的这个自动驾驶团队已经发展了几年的时间了 [15:00] 其实英伟达在自动驾驶上投入还是比较高的那时候从Cruise跳槽到英伟达是一个主流选择吗其实当时我觉得很多人还没有看懂英伟达实话实说我当时也没有那么看懂直到我进入了英伟达我才看懂它现在后悔离职吗没有后悔离职对但是就是说我确实当时在英伟达内部的时候当时真正让我感觉到英伟达是一家极其硬科技的公司我当时记得我跟我太太说我说其实不要小看英伟达它不是一个游戏卡的公司它不只是一个GPU的公司它是一个加速计算的平台的公司它是一个全站的一个公司这个是我当时真正在内部的时候看到的那当然就是说我觉得在英伟达其实让我看到了从供应商角度应该如何去做仿真但是我为什么去未来一方面我觉得是回国另外一方面我觉得我希望从一个客户角度从一个因为如果说我认为将来最大的仿真的需求会是来自于主机场因为他们都会自研自己的自动驾驶那么我应该从一个主机场角度真正看应该如何去利用仿真同时我觉得我也很难去回答我自己另外一个问题就是为什么这件事一定要出来做是不是在里头做就够了所以我觉得我需要从多方的视角真正让我自己真正的理解透这件事真正在外部做有这么一个机会你说仿真不是玩具那仿真是什么呢这是一个很好的问题实话是说我最早的时候我一直管仿真叫时间机器假如说没有仿真可能自动驾驶要花15年的时间有了仿真每周五年的时间可以达到我认为它是一个加速器为什么这么说因为自动驾驶最主要的数据来源还是来自于真实世界来自于车开回来的数据它的数据好采集它的数据很好采集它其实本质上来讲是一个被动的因为都是买了车的司机对吧然后开回来的数据它其实更加希望通过仿真做的是两件事一件事是补充一些边角的场景就是俗称的corner case那么可能是路上的一些比较偶发的事件还有一个是用仿真去做一些评测因为在仿真里头可以有更好的一个重复性那么可以重复的去验证他们算法的有效性做回归的测试但是我当时的想法是仿真难道只可以作为一个时间机器吗有没有可能它对于AI对于后面AI的发展会类似于英伟达的卡一样没有英伟达AI就不会发展而不是说有了它它只会发展的更快那在这个时间点上我就开始去看机器人这个产业当时其实我觉得英伟达给我的触动很大的一件事就是我当时有机会跟Jensen当时有机会跟英伟达的可能Omniverse的几个leader有比较深入的交流那我当时感受到其实英伟达在下一盘大棋他其实真正侧重的是机器人的仿真那这件事他把它做成了一套平台因为他特别相信通过合成数据通过仿真这个是唯一的路径来真正的让机器人将来可以部署到世界各地我当时其实也越来越认为这个确实是后面的一个大趋势在这样一个阶段我认为就是说我真正应该出来去创业做的不是一个自动价值的仿真合成数据而是去真正作为整个机器人产业的数据的基建整个机器人产业的数据的引擎为什么要在外面做为什么不是在某一家公司做为什么这些机器人公司不是自己来做这件事情怎么说呢其实我也是花了很长的时间去理解我觉得在这儿呢其实更多的还是要去想这件事的难度它的市场的机会以及呢我觉得可以与比方说这个行业的一些公司去类比比如说像scaleAI这样的公司去类比我认为当这个市场的机会足够大它的难度相对的大在这样的一个情况的时候我人在外部做其实有更大的一个优势为什么因为其实你可以招到更好的更优秀的人才举一个例子就是在Cruise可能最好的算法的人才很难给到仿真团队他一定会给到感知的团队或者当时的预测的团队对吧那么在VMO可能最好的数据的人才并不见得会给到数据的基建团队可能会给到算法团队而在scale AI对吧它会吸引到全世界最优秀的算法的人才和数据的人才来为它去打造一套数据的飞轮我觉得一样的道理就是我认为其实只要这件事足够的难这件事它的商业的机会足够的大我认为它就应该在外面做除非就是说 [20:00] 可能比方说如果它只是一个自动驾驶的仿真对吧那我觉得确实有可能这件事并不值得完完全全在外面去做这件事其实我们今天这个节目是想聊一个就是很专业相对niche但是也很本质的一个话题就是数据因为现在不管是大语言模型还是去生智能还是robotics都非常关切数据问题不过两边的阶段可能是不一样的大语言模型遇到的是数据撞墙了没有更多的数据了互联网数据都已经吃完了那对于robotics来说数据仍然是一片荒漠那在你看来你觉得数据问题有多重要啊它是本质问题吗数据的问题其实我认为它对于AI是一个本质的问题我觉得如果从第一项原理上去思考的话我其实认为数据可能应该跟人的教育的行业去类比就是数据对于模型或者数据对于智能我觉得有点类似于教育的行业对于人的学习数据约等于教育我认为数据对于这个智能是极其关键的因为我认为就是数据对于智能就要类似于咱们人去获取知识来不断的去自我提升那我认为知识对于人的智能是极其关键的第一性的这个需求那所以同理我认为数据对这个智能是至关重要的一件事你会怎么定义数据啊我觉得我可能更多的是从AI数据发展的不同阶段来帮助咱们去想一下怎么去定义AI数据这件事我认为最早的这个数据更多的类似于是在最早的机器视觉的这个阶段那当时李飞飞教授去定义了ImageNet那这个时候的数据更多的是一个数据集对吧它是一个静态的包括图片包括相对的真值标注的一个数据集这个是最早的一个阶段它是一个静态数据集的一个阶段那么我觉得与人的这个教育类比的话它其实可能更多的是一个偏一次性的填鸭式的一个教育比方说一次性的买了一些教材提供给了一些同学们去学习在后面的时候其实我觉得就到了Scale AI真正的去工业化数据的生产这件事这个时候我觉得数据可能更多的是一个基于大规模的工厂式的流程包括后面的工艺对吧把它相对高时效性的大规模的保证质量的去生产出来所以它更多的是一个工厂的生产大规模数据的一个流程在这个时候呢我觉得有点类似于是一个偏量饭式的教育那再往后呢其实就到了我觉得大语言模型的时代那大语言模型的时代我认为数据呢由于可能预训练已经把整个互联网的数据都给用够了那么数据的重点呢开始转移到后训练以及评价这个阶段那么更多的是基于越来越多的高阶的这些人比如说能力很强的工程师物理学家数学的金牌律师医生那么基于他们呢一方面来说去出题然后提供评价标准二基于这些题就以及考核这个大模型的这些反馈发现相应的问题又针对这些问题去给他们更多的信息给他们更多的经验传授帮助他们去提升在这个时候我觉得数据就更加类似于是比方说教育的这个更加高阶的一个阶段就是这个师者所以传到授业解惑也那是一个老师根据你的这个因材师教根据你的能力根据你的这个阶段基于一些对你的评价发现了一些问题并且基于这些问题给你足够的有经验的传授反馈来帮助你去提升所以我认为这个其实是数据的一个演变那当然我认为从巨深来讲的话呢它的数据又更加的复杂比如说在大元模型的时候数据可能是更多的是在数字的世界那么基于从评价的角度出发给到这个模型更多的反馈而巨深呢其实我认为来讲可能更多的会在物理的世界那无论是在真实的物理的世界还是在仿真的物理世界基于评价基于信号提供更有效的经验的传授以及反馈对那么这个我认为可能是数据发展的不同的阶段那么从这个角度来讲我觉得数据可能更多的应该被定义为它是一个能够帮助你去学习的信号以及相应的 [25:00] 一些经验的传授所以它从一个静态的数据可能慢慢的变成一个教育的系统对那我觉得这个其实也很有意思比如说我还记得最早的时候我在自动驾驶当时其实数据的团队他们提供的数据集其实是没有什么反馈的没有什么反馈的比如说可能更多是算法团队提出了一些需求对吧然后数据的团队去交付然后算法团队后面再提出更多的需求对吧那么咱们去看现在的很多的数据标注业自动驾驶的数据标注业我觉得还是在这样一个阶段对吧其实这些数据的厂商公司或者说内部的团队他们其实对算法的状态是没有了解的他们更多的是被动性的去接受算法提出的需求并且提供相应的数据的交付但是咱们再去看比如说大元模型这个产业那当然一个是scale但是后面的比方说像McCour像Search那他们呢更多的是找了更多高阶的人去给他的模型的客户的算法提出了更多的评价通过这些评价去给这些他们的客户提供反馈并且基于这些反馈针对性的提出了更多刺激了更多的数据的需求又帮助这些客户提供了更多的这些数据的需求来帮助他们的算法去提升这样的一个闭环那在这个阶段其实数据商是对客户的算法我觉得是很了入之掌的因为其实真正的评价方变成了数据商对所以我觉得这个其实就很像学生和老师的关系对吧比方说如果是一个量饭式的教育那么可能老师对学生可能并没有太多的了解他只不过是一个填鸭式的一个教育而对于一个更加高级的比方说大学的教授或者是比方说物理奥赛班的老师与学生的关系他们可能是更加有针对性的指导我认为数据其实在朝有针对性的指导这个方向去演进我们经常会在行业里听到几句话一个叫数据标注一个是有多少人工就有多少数据能不能给大家形象化的解释一下这两句话背后所蕴含的量就是它的工作具体包含哪些事情它是一个怎么样的工作流程我想说就是说数据其实也在演变它可能从最早的数据标注到现在的可能是更多的数据的采集那我在这我可能举一些例子比如说从数据标注业来讲的话比如说最早的Scale AI去提供自动驾驶的数据他可能是拿到了客户的比方说他的各种传感器的信息他可能做了更多的清洗的工作更做了更多的切片的工作在这个基础上他可能有自己的一套工具链当然可能还更多的是一个人为主的流程去基于这些工具链基于他的一些规范流程比如说这里画个框这个是自行车那个是行人包括可能更加时序性的这些数据把它们标注出来然后可能经过层层的标注再往后发展可能是首先先是自动化的标注其次是人在还的质检这样最终把数据生产出来这个可能是一个比较传统的自动驾驶的算法标注这样一个产业它需要多少人力人力重吗很大的一个人力包括现在其实我觉得自动驾驶的标注行业其实还是当然我觉得它从客户端已经有很多的自动化的算法了但是其实咱们比方说去看整个产业可能有很多的基地可能很多的省市都有很多的标注基地那每个基地可能就有成千上万人在做这个标注行业所以整个市场上我估计可能会有我不知道我估计可能会有十万人几十万人在做人工标注这件事情这么多人对是很多的人当然就是说这个我实话说我认为还是在上一代的这个数据它更多的是基于一套规范准则让人去基于这套准则去提供标注信息但是我认为下一代的数据其实人在这里头提供的是经验的传授我举一个例子比方说大元模型的数据无论是Mercourt还是Surge这个可能是弯曲的两个现在比较新兴的数据商他们是为大元模型提供后训练 [30:00] 以及评测的数据那包括比如说RHF就是包括不断的去与这个模型去交互给他们去提供反馈以及他们去出很多的题又给一些答案来让这个客户的这个算法一方面去评价他们一方面让他们去用更好的RL的finding去提升自己那在这个时候其实这些人都是很有经验的人或者说很贵的人你可以看他们的时薪都是在100美金以上的时薪那他们提供的更多的是一个原始的数据他们提供的不是一个标注并不是说在已有的数据上他们在提供一层标注而是说他们直接的去给这个数据去提供反馈或者说直接去生成新的数据你能举个例子举一个例子比如说就是一个问题你对AI的数据的看法是怎么样的对吧那么可能算法先生成了自己的看法比如说可能GPT先生成了自己的看法那么如果这里头有一个数据的专家那么他可能就会根据这个GPT的这个看法给他提供相应的反馈对吧同时他可能还会去出更多的题更多的难题是老师的角色没错他是一个老师的角色他会出更多的题同时他可能还会去出更多的题更多的难题是一个老师的角色没错他是一个老师的角色他会出更多的题同时他可能还会提供更多答案包括比如说举一个例子像编程你可能有实众方式能够把这段程序给他编出来那哪一个是好的哪一个是坏的哪一个是模能两可的这些都要相应的给他提炼出来给到算法所以这个时候就跟之前的数据就很不一样之前的数据比如说自动驾驶或者说最传统的机器视觉的数据可能你需要提供的都是正确的信息对吧就完美的正确的信息这是最好的但是其实在现在的数据比方说大圆模型或者巨身其实没有严格的正确也没有严格的完美每个人可能他的回答都是不一样的对吧但是可能这些不同人的这些的分布这些多样性以及它的里头的这些逻辑的关系以及甚至是的一些错误的数据都会是极其有价值的我举一个例子就是我们服务聚深客户的数据最早的时候可能包括我们的客户也是全球最顶尖的聚深的大脑的公司他们可能给我们的需求就是你要提供完全正确的完美的基于仿真这个机器人去执行一个长城的任务比方说做一个披萨从冰箱里头把这个饼拿出来然后往上面去放各种各样的调料以及各种各种各样的水果这个蔬菜肉cheese等等的最后把它放到烤箱里去按键你要把它完美的做出来这一个长城的任务是一个有效的数据但是后来我们的客户包括我们一块通过迭代发现其实最有效的数据是先失败再成功的数据比如说我在里头我可能要放一片蘑菇但是我拿出来蘑菇我切片了以后我没有抓牢这个蘑菇掉到桌子上了我再把它捡起来再放回到这个披萨上这个数据我们管它可能叫副样本或者叫纠正的数据这个数据往往是更有效的所以其实当模型的泛化能力提升了以后它更可以从错误中去学习这些认知回来它更接近于人的学习过程没错它更接近于人的学习过程前段时间我们有一个播客聊过一个观点就是广密说他们认真花时间研究了给Frontier Lab硅谷那些Frontier Lab做数据标注的公司最大的体感是如果模型数据分布里面没有这类数据这类任务就是不成功的只有压缩过这类数据可能才会成功所以今天的模型还是一个巨大的压缩区所以他提出说数据及模型模型及应用你认可这个观点吗就是说所有的数据都应该是训练到模型里压缩过的我认为就是说在这儿其实广密提到了一个很好的一个我觉得现在现阶段的一个问题就是模型的泛化能力还是不够的怎么去定义泛化能力我觉得就是英文叫ZeroShot中文其实就是零样本的能力零样本的学习的这个能力就是我没有给你看过这个样本没有见过对没有见过但是你能够把它做出来对吧比如说假如说你的这个机器人的训练里头并没有见过做披萨的视频但你可能见过比方说切菜的你可能见过做汉堡的但是给你做披萨的这个任务你能不能给他做出来这个是零样本的能力现在我认为从巨身的角度来讲的话零样本的能力还是比较欠缺的 [35:00] 那在这样一个情况下确实你需要什么样的任务的执行率你就需要去补充什么样任务的数据在现阶段是我认为这个是合理的但是我认为就是说数据及模型这个观点我认为在长期我认为可能它不是一个本质的一个观点因为我认为本质上来讲模型的架构还是需要去提升的我认为一个模型如果不具备架构上如果不具备零样本放化的能力那我认为这个模型它不是一个真正通往通用智能的一个模型那我再举一个例子其实人的算法也是不一样的举一个例子可能普通人的学习的算法和马斯克的学习的算法也是不一样的马斯克的学习的方式可能是更多的是从第一性原理出发基于他可能比较广博的知识以及基于他的实践对吧去迅速的去迁移新的知识出来来帮助他去更好的理解这个事物那我认为他的这个模型可能会比普通人的模型要更加的有效很多对那么在我看来呢就是说智能其实现在一方面呢我认为肯定是需要更多的有效的高质量的数据但是另外一方面呢我觉得还是在模型上需要更多的提升所以这里讲的是架构和算法的问题本质上还是他不够聪明本质上还是他不够聪明我认为就是泛化性还是需要算法的架构来带来的当然就是说存在一个scaling lawthe moment就是时间点就是说可能你的数据量必须得堆到一定很大的一个数据量才能够看到它的泛化性的出现就足够聪明了就足够聪明了对其实呢我们现在也服务了可能全世界最大的几个大模型的团队那么通过我们跟他们的合作我们其实是发现在巨身这我认为就是说J-Shot的能力就是零样本的能力我认为已经逐步的开始出来了对 所以我认为在这的话其实我还是比较乐观的在哪些场景会出现这种零样本的趋势对 我觉得可能倒不是场景 倒是团队我大概说一下我的看到的一个不同点可能比方说在六个月以前我们的大模型的客户和我们的机器人的客户他们可能对于数据的需求无论是从量从他们的具体的定义角度来讲都是比较相近的但是呢可能最近这六个月可能发生了质的变化那么我发现大模型的客户他们可能最关注的现在就是零样本的能力那他们怎么去他们相信的是什么他们相信的是scaling out他们相信的是用一个足够有效的算法用足够多的高质量的数据可能这个数据呢更多是一个本体无关的仿真以及人类数据基于仿真的评测大规模的评测来帮助他们去实现一个相对简单的本体比如说机械臂都不是轮式底盘的机器人或者是族式的机器人就是机械臂假装是否可以实现足够有效的零样本的迁移的能力大模型团队大模型团队大模型团队为什么要去做硬件相关的事情他们其实恰恰是因为不想做硬件相关的事情所以他们选择的是最简单的机械臂OK对比如说你要是去做人形或者要去做这个轮式其实会复杂很多对吧因为你要去有很大的维护的工作且这个就是就是每一个本体其实都有很大的一个调试对但是呢大模型团队用机械臂用来做什么呀其实现在最主要的这几个大模型团队都在做巨身的VLA大模型团队也在做VLA大模型团队也在做VLA不是只有巨身智能或者是自动驾驶团队在做VLA对这个其实是我觉得最关键的一个点就是咱们去看比如说DMind就是坎杰对吧比如说这个英伟达比如说这个OpenAI他们做VLA想通往哪里我认为他们肯定是最高优的关注在通用的智能这一块他们的底层逻辑就是要做巨深的大脑首先一定要有放化性不见得大脑的能力那么强比如说我一定要是一个灵巧手可以去上一个螺丝钉但是我应该是能够做出来一个大脑他比方说在 [40:00] 十种一百种不同的任务上训练以后去另外有五个任务没有见过他可以去做另外五个任务这个我认为是大模型团队他们对这块的一个关注点他们关注的是零样本的泛化的能力对而另外一方面从机器人客户来讲的话他们其实越来越多的去录一道具体的场景对吧在这个上面他们很关注到自己的本体对吧本体的复杂性可能是有轮式可能是有足式可能有手手上可能还有传感器对吧那么他们可能很关注在是否可以把这一些具体的任务给他执行好给他落地好所以这两位客户他们其实从最早的时候关注点可能比较类似但是现在其实关注的点其实很分化包括再举一个例子比如说大模型团队他们可能首先关注的是这些最容易获取到的数据比如说家居的比方说其他的一些商超等等之类的场景可能一些工厂来帮助他们去提升这些泛化性的认知对吧而机器人的客户可能他们有具体的就落地的路径他们可能有的是去酒店有的去不同的工厂的这些车间比方车辆的工厂的车间他们有的可能比方说是去沙漠去给太阳能去换太阳能板他们更多关注的是在具体的业务场景的这些数据我稍微有一个认知缺口就是大模型团队这些做VLA的团队和大模型团队做LLM团队应该是两个团队对吧他们之间是什么样的协作关系其实不同的公司不一样那往往是两个不同的团队但是呢其实他们是一个我认为合作极其紧密的团队其实在这我觉得可能会包括大模型的大元模型的团队大模型的世界模型的团队还有大模型的VLA的团队那么他们其实是一个我觉得极其共生协作的一个关系比如说VLA其实往往会用到一个基础的模型如果说你的公司已经是全世界前五的大模型的能力那么就完全可以用自己的基础模型去做对吧如果没有呢如果没有我觉得比较困难一些所以我其实从我们角度来讲的话我们可能合作的这些公司数据量最大的往往都是同时具备大元模型的团队世界模型的团队还有VLA团队这样的团队来做的这件事那如果没有的话他肯定就会用其他的比方说可能会用签问或者可能会用其他的这些开源的模型对那当然这是起一第二的话呢就是说他们对于数据的理解我认为是极其到位的比如说不只是纯粹正确的数据也包括纠错的这个数据就是错误理后再改正的数据这个认知其实很多都是从大原模型来的对其实因为他更加向人另外呢就是说对于数据量是否可以接受对于数据的饥渴程度也是远远不一样的因为如果说你已经见过了很大量的一个需求你对于这件事的预期数据量的预期会很高而如果说这个团队之前他的所使用的数据量比较小那他也很难一下子去开一个很高的一个数据量的口子他的budget是完全不一样的第三个点呢我其实认为是一个infrastructure就是他的这些训练的基础设施那我觉得卡是很相关的一个点以及就是RL就是强化学习的这套的基础设施是很相关的一个点我举一个例子可能机械人公司几千张卡已经很多了但是大模型团队可能都是大几万账卡所以这个是一个至少一个数量级的一个提升另外呢就是强化学习的基础设施这件事其实很难自演很难自演很难为了巨身的模型去做一道这个强化学习的大规模的并行的基础设施而这些大模型团队往往自己都已经有最好的这套基础设施可以拿来即用他只不过是从大原模型的这个场景迁移到了去微调VLA而已所以LLM大语言模型的团队是在做我们所谓的通用的大脑没错VLA的团队是在做机器人大脑但是它大概率不是从头开始训的它是基于了大语言模型的大脑没错那世界模型团队呢这是新出现的吗其实 [45:00] 我们也看到我们的一些客户他们可能再用他们的世界模型或者说他们希望将来用这个世界模型来作为一个基座模型来做后面的VLA因为我觉得世界模型其实有了更多的对于物理世界的预测理解能力而基于这个再加上相应的ActionHead对吧那么就可以做出来更优质的VLA其实我认为世界模型和VLA是一个很有意思的一个相互共生的一个关系那世界模型可以作为基座给到VLA那VLA呢其实又作为一个落地给到世界模型相当反馈这个是很关键的一件事那我举一个例子如果我认为一件事它的评判标准会越来越接近可能这两件事将来就会是一件事那比如说我认为在巨深可能现在最棒的这个评测集叫BehaviourBehaviour是李飞飞教授做的这套基于仿真为巨身打造的一套这个评测集它都是比较难的长程的这些任务以及这些很难去采集的这些数据去做到的那么我个人也很有幸在12月份的Nips的一个峰会来帮助今年就是第一次Behaviour Challenge来颁奖那么我发现一个很有意思的一个情况就是其实去打这个Behaviour绑的这个团队也有世界模型的团队那他们其实就是基于他们底座的世界模型基于这个action head对吧然后去也就也去上了这个绑也做的也很好这个是一个另外一个呢就是另外一个我觉得很有意思的一个工作叫enact它其实也是基于behavior这套的评价体系本质上来讲是评价VLA的评价体系做了一套去评价世界模型的评价体系这个也是李飞飞团队做的所以你可以看就是同样的一个benchmark它又可以去作为评价VLA的标准又可以去作为评价世界模型的标准那如果评价系统越来越一致很有可能将来这两件事会越来越我觉得会越来越相关那世界模型替代的不是VLA世界模型替代的其实是大元模型吗我认为世界模型可能更多的会是在云端的一个大脑而VLA我觉得它会是在端侧的一个大脑我觉得这个可能是一个在长线它们也会是一个共生的一个关系那大元模型呢我认为大元模型本质上来讲大元模型在数字世界已经具备了一定的世界模型的能力但是它其实缺乏对物理世界的理解我认为世界模型是有物理世界的理解能力以及预测能力的而我认为巨深的VLA可能更多的是需要在物理世界有更加精确的有效的以及高效的一个行动力所以我认为这三者可能还是不太一样但是这三者可能后面的训练的基础设施它的底层的基座会越来越去同以层的基座会越来越去同它可能会成为一个统一的非常大的大脑对所以可能未来世界模型是那个云端大脑VLA是那个端侧的大脑然后数字世界可能有个大脑就是大鱼烟模型的大脑对听起来现在是有两股势力一个是做大脑的公司一个是做本体的公司对一类是做大脑公司一类是做本体的公司你觉得这两类公司哪个会成为一个就是在这个游戏版图上更重要的一股势力我认为可能长线都会比较重要但是我大概说一下我的一个观察这个观察就是数据闭环这件事或者数据引擎这件事就是特斯拉其实发明了数据引擎Data Engine这个概念它更多的是因为它要去落地它的FSD自动驾驶的这套系统那他可能当时已经具备了有上百万辆车在路上可以全天候的基于司机对吧基于这些用户去开回来的数据去训练他们的云端的大脑又基于他的云端的大脑的不断的提升去部署到端侧更好的自动驾驶的能力进而形成了一个数据飞轮这套数据引擎就特斯拉的数据引擎它的底层逻辑其实本质上来讲是一个本体相关的底层逻辑自动驾驶商或者说OEM因为在全世界部署了最多的自己的车他就可以从自己的车上收回来最多数据又记这些数据可以训练最好的大脑所以这些OEM他们自己就是最大的大脑商对吧但是我认为对于巨生来讲这个逻辑可能会被颠覆为什么呢 [50:00] 因为从巨深来讲这个世界上并不具备比方说上百万台的机器人部署在端侧然后在自动化的执行各种各样的任务或者说在端侧有人去摇操他们去执行各种各样的任务如果有人去摇操的话带来的成本又过高这个也不是一个可规模化的路径在这样一个情况下我认为它一定整个数据的架构会去符合数据金塔那就是最小的数据量会是基于在端侧真实部署的机器人去采集回来的数据真机数据真机数据没错那么中间的这部分的数据量会是基于仿真去生成的数据而下面的数据会是比方说互联网或者是人的第一类视角的数据那下面这两类数据仿真和人的第一人称视角的数据它们的特点是什么他们都不需要基于本体不需要基于一个硬件的本体就可以回来数据且他们的规模化能力要远远高于这个真实的机器人的部署那这样就会发生一件什么事呢我觉得这样就会发生就是说最多的巨身的数据一定不是本体上提供的对吧那在这样一个前提下我认为特斯拉的数据闭环在巨身就不成立了相当于就是说不会存在一个本体上它自己是最广泛应用的本体同时它又可以做全世界最好的大脑我觉得这件事底层就不太会成立那我再举一个例子来佐证这件事特斯拉他们是在做机器人对吧就是Optimus他在做机器人但是Optimus的大脑其实是安排给XAI去提供的对吧而并不是让特斯拉自己去提供一样的一个道理一定会是一个大模型商去做这件大脑那在这样一个情况下我觉得大模型商他们会是利用更多的本体无关的数据去训练这个大脑而本体商可能更会是利用大模型商提供的大脑去做微调部署以及落地在这样一个情况下我觉得可能还会有两类不同的公司会借助进来一类就是数据商我认为数据商其实他也经历了不同的演变从最早的可能在静态数据集的时候他和客户可能纯粹的是一个就是甲方乙方的关系到Scale AI Search McCourt和客户可能纯粹的是一个就是就是价方一方的关系到scale AIsearch和客户可能更多是类似于一个partnership的一个关系到后面我觉得需要基于数据商去提供评测又基于评测呢去提供更多的反馈又基于这些反馈呢去去刺激客户的需求拿到更多的数据又基于这些数据呢训练更好的模型然后这样再基于数据商去跑更多的评测因此我认为数据商和大模型的厂商会越来越多的形成一个共生的关系因为大模型商需要数据商给他们更加有效的评测更加有效的数据而数据商又需要基于大模型商给他们提供基于模型更好的数据验证反馈来帮助他们去迭代自己的数据的生产连路所以这两边我觉得会是一个共生的关系所以我觉得数据商在里头会很关键还有一个我认为就是场景商这个往往是被大家忽视的场景商或者就是场景公司场景公司比如说OEM它就是一个场景公司它自己就具备很多的机器人需要去落地的场景在它的车间在它的工厂包括比方说医疗的集团他有很多的自己的场景需要去部署到机器人包括农业的公司等等就算是工业这就是巨大的一个机会所以我认为这些不同的场景级的公司他们都有大规模部署落地机器人的需求我们其实现在服务的客户可能有很大的一个比例已经开始是这些场景级的客户那在这样一个情况下呢我觉得会是四者的一个相互的协作第一个是大模型商对吧那么他们呢更多的会基于本体无关的就是数据商提供的数据不断的去冲刺scaling out对放话然后提供大脑把大脑提供给本体公司本体公司可能再基于更多的场景和数据去落地到场景上而场景公司呢他们有更大的一个自主权因为其实他们可以选择A硬件公司的硬件也可以选择B硬件公司的硬件甚至他们自己有很强的一个自研能力他们也可以自己开发硬件比如说我认为可能很多的OEM都会开发自己的机器人因为他们对量产对质量的管控 [55:00] 这个硬件的稳定性对成本的控制可能有更好的一个理解他们也可以给予大模型的这个大脑的能力去给自己的场景直接去落地所以我认为后面可能是这四者的一个联系说回我们刚才讲的那个李广命的那个观点你觉得不能说数据及模型那从长远来看你觉得什么及模型我认为还是要回到第一性原理看看人是如何去学习的那我觉得可能系统性的学习的能力我觉得这个底层应该是一个模型本质上来讲我觉得大模型我们不能说是知识级模型对相当于说我觉得不能说是知识级模型我觉得应该是一个不断提升的系统级能力因为其实每一次系统级能力的提升可能也会带来对于数据的新的需求我举一个例子小孩的学习可能看一些画本就够了但是马斯克或者是比方说巴菲特的学习可能就有更加针对性的高级的这些知识以及这些信号相当于私教可能对当然就是说我认为这个私教它不应该是以人为中心的它应该是以系统为中心的只有这样才可以提供足够规模化的私教就足够规模化的言传声教我们播客其实一方面聊过很多大元模型的嘉宾一方面也聊过很多robotics领域的嘉宾你觉得这两个领域面对今天面对的数据问题不同是什么呀他们阶段分别到了什么阶段我认为这个两者还是挺不一样的那我觉得从大元模型角度来讲的话呢他们的预训练的数据是足够的因为本质上来讲是整个互联网的数据对所以这块是很多的那他们面临的呢其实更多的是一个后训练以及评测的一个问题那么后训练和评测呢本质上来讲就有点类似于是言传身教那需要找越来越高阶的老师给他们提供这些言传身教那其实这些老师往往在不同的行业里对吧比如说可能是最好的工程师可能是就可能是数学的金牌可能是最好的律师可能是最好的医生而且越来越多的言传身教会变为就是说出题比方说可能普通的老师是在通过自己的示范来教育学生而越来越好的老师可能是去问越来越难的问题来激励学生自己去寻找答案所以我认为本质上来讲这个是大元模型他们在面临的数据的问题是找越来越好的人又基于他们的可能去出越来越难的题基于这些题以及基于这些信号这些更多的经验的传授来去不断的去提升模型的能力而对于这个巨身来讲的话我觉得他现在的问题可能在两端第一端就是在预训练其实现在缺乏了足够的预寻栏的数据那这个预寻栏数据我觉得需要有物理的这个世界无论是真实的物理的世界还是仿真的物理世界以及它所需要去交互的这些的资产比如说电脑比如说咱们在这的这个咖啡杯等等之类同时呢它需要有这些经验的传授比如说人或者是一个机器人在这该如何去操作不同的物体与这个物理的世界如何去交互以及在这儿相应的语言的定义还有就是相应的评价标准这个知识在哪里是好的在哪里是不好的对吧然后给到相应的这些学习的信号这个我认是很关键的一个预训练的一个需求在这儿其实我觉得现在整个行业还是缺乏最规模化的预训练的数据来帮助整个巨身来达到一个经过预训练了以后一个基础模型的一个基础能力这个我觉得是极其关键的一个缺失第二个的话呢我觉得就是评价能力这个点其实我觉得很多人可能没有想到比如说自动驾驶或者大圆模型为什么他们的模型提升会那么快自动驾驶本质上来讲是因为它的评价是免费的怎么说这件事呢因为自动驾驶的评价是通过它在端侧部署的叫ShadowMode就是中文叫影子模式那其实就是把它的算法部署在车端在它的仿真世界里头去跑线的算法它并不去做相应的真正的执行但是会把它所输出的信号和开车的司机所操作的信号去做对比当遇到了一些不同的地方的时候把这个作为一个反馈拿回来因为比方说如果说这个人是一个老师的话那当学生和老师有一定差异的时候很有可能这个时候是学生做错的时候所以这个是一个机器便宜廉价或者免费的一个信号拿回来 [60:00] 来帮助自动驾驶来评价他们相应的情况以及信号也包括相应的示范对吧也包括相应的经验告诉他们当你这错了以后老师是怎么做的人是怎么做的来让你去基于更多的模仿的学习去提升自己我认为大元模型其实也有这样一个影子模式这个影子模式就是当这些大元模型已经上线了以后与用户的交互对吧其实比方说咱们在用GPT用不同的大元模型的时候咱们也给它不同的反馈这些反馈其实也是一个免费的影子模式来帮助他们去告诉他们哪里好哪里不好给他们一些示范帮助他们去提升这也是一个免费的一个评价而对于巨身来讲的话现在并不具备这样一个大规模的评价的能力那我认为这个呢一定要基于仿真去提供在巨身在机器人它不具备一个就是在真实世界去提供影子模式的一个基础那它唯一可以的这件事就是基于仿真去规模化评价拿到更多的信号又把这些信号给到巨身的大脑让他们不断的去提升所以我认为评价这儿其实也是巨身模型他们对于数据的一个核心的缺失所以机器人的数据收集问题比大元模型可能是结构性的难对 我觉得要难很多可能是几个数量级的难如果足够多的数据是100分你觉得大元模型进行数据能到多少分你觉得机器人的数据能到多少分我其实觉得可能很难去定义这个100分我举一个例子其实人的学习是无止境的所以从人的角度来讲你其实可以看越有能力的人他可能学习能力更强他其实每天涉猎的数据会更多而不是更少对当然就是说我觉得如果从一个概念上来看的话我觉得可能大元模型在预训练可能已经到顶了我觉得他们可能更多的是在后训练和评测我其实觉得在后训练和评测我认为大原模型可能还有很长的一个路要走我估计可能大原模型现在可能到了60分但是真正的要往上去提升我觉得还有很大的一个空间就是在后训练和评测的阶段那我认为对于巨身来讲的话假设100万个机器人所回来的数据是一个起点这个起点可能都不是100分是一个60分我觉得现在都没有1万台机器人无论是在真实或者仿真或者是人类的数据能够去提供这类的这个数据对吧所以我认为其实如果从这个角度来讲可能0.6分都不到0.6分都不到0.6分都不到对这个其实给大家一个直观的感受但我觉得今天大约模型的数据问题随着它从Chatbot走到了agent的阶段其实agent方面也会更加的缺乏数据因为AI是没有见过真实人类工作的所以它也需要找大量的人类专家在基于真实的工作环境去收集数据你觉得agent今天遇到的数据问题是不是跟Robotics还有点像对 我觉得这个点特别好我觉得其实机器人就是在物理世界的agent而这大元模型的agent其实是在数字世界的agent那其实我觉得他们遇到的问题其实很像首先呢他们需要一个环境其次呢就是说他们需要相应的经验传授另外呢他们也需要现在评价或者评价的这些信号来帮助他们去提升那咱们可以去看到就是说对于大元模型的agent其实现在有一个很关键的一个针对他们的数据产品叫rlinf就是服务强化学习的环境这个环境本质上是一个虚拟的环境但它不是一个比方说物理仿真的环境它更多的是一个数字世界的环境比如说可能是一个虚拟的db网站虚拟的京东的网站虚拟的一个购物网站虚拟的一个编程网站虚拟的一个编程的环境来帮助他们能够在这个里头去不断的基于一些定好的这些的成功的指标这些定义以及这些考题不断的基于强化学习去finding自己不断的去试错也不断的去提升自己这个其实是我觉得agent在这个数字世界他们现在所需要的最主要的数据的产品对于巨身来讲的话其实刚才如我所说其实现在还没有到真正的agent阶段对吧现在其实还是在一个预训练以及在一个评测阶段就这两头的问题是最大的一就是没有足够的预训练能够让模型达到一个 [65:00] 相对基础的一个能力一个是没有足够好的规模化的评价可以帮助这些大模型商不断的去衡量他们的基础能力不断的提升那在这我再说一个细节就是为什么Behaviour Challenge就李飞飞的Behaviour Challenge这件事这么重要因为其他的这些学术级的Benchmark其实这些我们的这些客户最棒的这些大模型商他们都已经把他们的Benchmark给打爆了就是巨深的这个benchmark其实比较容易都被打爆了那其实足够难的是behavior那behavior100到t可能现在最高的分数成功率是26%所以还有一段路要走当然就是说这个更多是一个学术级而对于比方说industry那么他们需要的是更加大规模的高质量的behavior来帮他们去挑战他们就模型的基础能力那当然在这个两个点的基础上其实后训练就会变得很关键就是当预训练的基础能力达到一个相对的标准了以后后训练通过强化学习做后训练就会变得足够的重要那么我们也看到我们的一些客户在跟我们在基于仿真去做后训练的强化学习的fine tune这件事那本质上来讲这件事就和数字世界的大原模型的agent很像那数字世界的大原模型在一个虚拟的网页段对吧虚拟的编程段去不断的试错来做fine tune而这个物理世界的agent本质上来讲在仿真的环境里头去基于定义好的这些的成功的指标标准以及大规模的场景他们在不断的去试错在finding自己那只不过就是说这件事呢我觉得相对于运训练和评测来说现在可能还是一个次优的一个问题其实刚才我们对于整个数据行业做了一个mapping那这是横向的我也想要聊聊纵向就是数据这个产业它在人工智能的这个领域里面它是一个分支吗它在这个生态里面大概占据一个什么样的位置我们来聊聊数据产业的前世今生我觉得数据的产业的发展其实和每一次模型的学习的范式的发展其实有很相关的关系比如说我可以把它定义为最早的时候数据产业可能起始点是李飞飞的这个ImageNet它既是一是一个训练级它也是一个评测级那它服务的更多的是机器视觉那它提供的是这些照片以及相对的这些真值的标注那它更多的是一个静态的一个数据级它给到的都是正确的答案所以在这个时候我觉得数据产业更多的类似于一个填鸭式的教育产业那再往后呢就是到了这个自动驾驶那scale呢我觉得可能真正的开创了一个工业级的数据产业就是从最早的静态的这个可能很难去控制时间比方说image time确实是有几年的时间去开发出来的而scale呢可能真正的可以去工业化的工厂级的对吧大规模的人力运营去管控质量管控效率管控交付时间线来去交付这些数据那这个呢我觉得可能更多是偏一个量饭式的一个教育行业再往后呢我就得到了这个就是大元模型的这个数据产业这个时候我觉得就是说他的核心的逻辑发生了变化从最早的时候可能是用户提出需求你来交付对吧然后一个偏工厂型的但还是相对粗放型的一个交付变成了一个可能更加的是一个评测驱动型就是帮助客户发现问题然后去刺激新的需求然后针对性的交付所以这个时候其实比如说从scale给自己的定义来讲的话可能从这个时候它自己就开始叫成了data fundry那就有点类似于是学习台积舰的晶圆厂这样一个模式本质上还是一个工厂但是呢它有更多的流程更多的规范更多的know how更多的process这些是它的secret sauce对吧但是呢我认为就是说再往后我认为的发展呢其实就会更加的不一样为什么呢因为我觉得在这个时候就是说在大原模型RHF评价的时候它还是一个以人为重心比方说MacroorService也是一样都是以越来越优秀的人为重心去提供反馈去提供更多的经验的传授我认为对于巨身来讲的话他所需要的数据量要远远大于大元模型所需要的数据量在这个时候我很难去想象比方说1000倍的这个scalemocor search他们可能已经在全球有大几十万人可能100万人这样也可能 [70:00] 规模1000倍这个规模去提供数据我认为这个是一件很难去规模化也很难高效的一件事情所以我认为在这个时候一定会发生一个转变就是以人为中心变成以系统为中心这个系统是一个引擎它基于可能在端侧的不同的人它基于它的仿真它的工程的能力去放大这些人的信号这些人的经验让他们来有效的去支持到巨身模型的这个眼镜而且呢我觉得这件事也一定是一个评测去动而不是以这个就是比方说就是训练去动的一件事情所以我觉得这个可能是一个数据产业我认为可能一步一步的一个演变刚才我们讲到就是标数据的人或者说收集数据的人他的实际大幅的提升人数有减少吗人数其实没有减少对 这个其实是很有意思的一件事其实我最早的时候也想了很多这块的问题就是说是否有一天要不然就是算法的学习的效率大大的提升对吧 要不然这个人就是模型的能力越来越高就会越来越不需要顶尖的人的认知但是到目前为止其实还没有我觉得这个点上很像最早的时候deep seek出来对吧然后大家说这个test timescaling这件事一旦出来了以后很有可能预训练或者整体上对英伟达的卡的需求量就会大大的降低但是其实大家发现当test time scaling出来了以后到刺激了更多的AI应用的需求AI agents的需求到反向的增加了这个英伟达卡的这个需求我觉得很有可能是这样我觉得一个比较直觉的一件事就是可能越有能力的人他越爱学习他其实每天读的书的量不是减少而是增加我觉得很有可能后面会是这样一个情况当然它会增加到一个阶段就是说举一个例子可能AI的模型能力太强了到最后的时候可能这个世界上它已经达到了一个诺贝尔奖的水平那已经没有几个人可以教它了那在这个时候我认为它需要做的就是自我的不断的提升就跟人一样有AI训练AI没错我认为他其实会很像人就是说人可能在小的时候可能更多的是看很多的画本有老师的言传身教到后面的时候可能更多是自我的不断的提升或者说我觉得有很多的这个人他并不是去与别人去对比他是与自己去对比我每天今天能够比昨天进步多少我就一样道理我觉得AI也会到这个阶段那在这个阶段它真正需要的什么我觉得它可能需要的是一个环境一个成功的一个标准不断更新的成功的标准对吧然后基于自己的经验然后基于RL帮助自己不断的去提升我觉得它会达到这个阶段而这个阶段其实也是我认为对于仿真对于合成数据很关键的一个阶段因为这个时候它永远需要物理的环境它永远需要评价的指标这个我觉得会变成他可能到那个时候最需要的事情他需要的是学校老师考试这是这个阶段他下一个阶段可能就是自我学习没错对他永远需要一个环境一个背景一个环境以及相应的这些成功的定义这个数据的产业他催生哪些关键的人和公司首先我觉得李飞飞是真正的定义了AI数据这件事我觉得他的这个贡献是极高的那在这个之后我觉得真正工业化我觉得这个scale AI我觉得是真正的去引领了工业化的这个AI数据的浪潮而且我觉得他其实引领了两次第一次是自动驾驶他创业的阶段其实当时真正整个行业规模化的AI数据的需求就是在自动驾驶那他把它作为了一套流程化的产线工厂来真正可以可靠的交付自动驾驶的标注的数据以及后面可能在21年22年的时候进入到了GPT2进入到了RLHF那么来最早的去服务到了这个大模型的这个数据尤其是后训练和这个评测的这个数据基于评测驱动的这个数据这个产业我觉得这个是极其关键的当然可能还有一些就是在评测驱动的数据后来去演变的比如说像SURGE像MACOR我觉得这个都是相同的一类的公司你刚才也提到对于Robotics来说仿真非常的重要你觉得仿真到底在这个行业里扮演一个什么样的角色你觉得它是一个加速器加速的工具还是一个更底层的东西对 我觉得这个问题很好其实这个也是 [75:00] 我觉得我从业以来就是做仿真以来我就一直在思考的一件事对那我可以很肯定的说我认为仿真对于机器人它是一个必备条件没有仿真这件事肯定做不成那我的出发点呢我觉得更多是在几块第一呢就是说刚才咱们提到了数据闭环这个概念我认为就是说机器人的数据闭环和自动驾驶会完全不一样因为机器人没有这么多真正的机器在端侧在部署又基于人的示范去拿回来大规模的这些的数据它必须要基于仿真才能够采回来足够规模化的数据它是一个必须项所以它是一个必须项第二我觉得另外一个我觉得极其的一个必须项比方说在数据这我觉得一个是仿真 还有一个是人类的数据我觉得这两个会是本体无关数据的主要的来源而对于评测来说的话 我其实想不到除了仿真之外 任何一种来源我认为大规模 就我提的不是一个小规模的评测比如说小规模的评测我可以在实验室级别或者在一个场景我去建立一些的样机十台二十台去做一些的就是算法的推理评测我觉得这是可以的但是我不可能比方说在如果我要去落地家居场景我同时在一千个家庭甚至可能更多的家庭比方说去评价比方说成千上万个不同的这个任务随时拿回来信号同时我可以重复性的去测量比如说我可能就是每天我的算法都有眼镜那我能不能每天都测量多变来去真正的让我可以更精确的知道每一版算法的这个眼镜这个我认为唯一的方案只有通过仿真对那当然另外一个我觉得很有意思的一个观察就是我们服务的客户其实我们最早的时候服务的客户都是这种强的仿真的believer他就是相信合成数据就是相信仿真他用我们的合成数据去训练他们的大脑当时会有一些可能最顶级的Frontier Lab最顶级的大模型团队他们就是真实流派的他们绝对不愿意去尝试任何的方针但是其实咱们再看我们过去的可能三个月的时间过去的三个月时间基本上他们都成为我们的客户来规模化评测这件事是你们找他们还是他们找你们他们来找我们对所以这个是一个又谁啊就这就不方便说了对但是这个我觉得是一个很很有意思的一个信号就是实话说当时最早的时候我是主动的给他们发了很多的邮件那他们说我知道你们是仿真最棒的如果我要做仿真我一定会来找你但是我现在可能还没有到这个时间点但是可能过去的三个月都来找了我们他们共同遇到的问题是什么他们没有办法去规模化他们的评测了这个是他们的核心的问题就是他们认为他们的算法也做得足够好了就是他们之前都是通过真机数据之前都是通过真机数据或者通过一些仿真的就是评测机就是这些学术的benchmark去打但是在真正industry其实没有太大的一个意义因为他们太简单了他们不够规模化比如说可能我们有一些去落地家庭场景的这些的大脑的团队他们可能叠衣服他们可能做家务已经做得很好了那他们希望就是说能够有一千个不同的家居的场景可以随时的去评价他们包括这些最关键不是场景而是这些任务以及这些评价标准可以帮助他们去随时的去评价他们自己这个是他们不可能通过真机去获得的听上去想要做大脑的那一拨人可能是最早拥抱仿真的对吗没错然后那些就是一开始是从一个场景里走出来的公司可能是比如说是叠衣服或者是在商超里他们有一个做什么事情的机器人的公司是比较慢拥抱仿真的当他们需要放话的时候他需要仿真是这个意思吗我认为就是说仿真有两种比方说比较传统的就是这种支持的RL对吧这种仿真 比方说全身的Full Body Control或者Locomotion就是说如何让一个人型机器人更有效的去行走让他能够站得比较稳让他可以去做一些全身控制的任务这个时候可能这些机器人公司会去很拥抱仿真他们其实是最早用仿真的一批只不过 [80:00] 这块的仿真的需求量比较小它可能在一台本地的机器上去跑RL就可以实现跑强化学就可以实现而不是一个大规模的需求而我认为对于大规模的需求就会如你所说更多的是这类大模型商大脑公司他们需要去泛化他们需要去规模化他们的数据或者规模化他们的评测那在这两个点上他一定会被一个点至少一个点卡住那他一定会用仿真所以他们是最早拥抱那批人没错那你刚才说近三个月开始出现变化的应该是在垂直场景做机器人的公司是吧也不是就是说大模型团队其实也会分为就是一上来就是坚定的仿真派的团队也会有一些就是最早的时候就是真机派我就相信真机的数据但是可能到了一定阶段他会发现我压根走不通这件事那我一定要仿真所以我认为就是说过去三个月我们最多的增长我觉得第一是基本上可能所有大模型团队以及他们的世界模型团队在这可能就是一个公司可能不只是一个团队在跟我们合作可能有VLA的团队有世界模型团队都在跟我们合作因为其实某种层面上可能有很多VLA团队他们可能在基于世界模型的基础对吧那到这个时候没准世界模型团队用我们可能能够用得更好对那可能VLA用我们的评测世界模型用我们的数据这个是一个我们可能看到的很多的一个现象这三个团队对数据的需求不一样吗不太一样比如说可能世界模型团队并不见得一定要需要去有那么强行动的数据对那他一定要更好的物理的这种限制对吧这种光定然后他需要有这种可以帮助他们可以更好的去预测在物理世界这个下一件事情的发生但是他并不见得一定要有第一人视角或者第一个这个机器人的这个视角在里头去与物体去交互的数据而VLA呢可能更多的是一个行动派他必须得有这种行动的数据那可能是他自己的本体可能是其他的本体跨本体甚至是人的行动的数据所以这个我觉得还会有一些的区别但是整体上就是说从评价角度来讲他们可能也都很需要仿真因为他们需要在这些足够物理真实的环境中能够要不然去确认他们的预测能力足够准确要不然他们的行动能力可以实现这些不同的任务你知道中国也有很多就是要做机器人大脑的不管是大公司也好还是创业公司也好我跟他们交流下来我直观上感觉好像仿真派要小于真机派因为他们普遍给出的理由是因为真机数据好放话仿真数据不好放话你觉得为什么会出现这个现象为什么在中国的机器人团队仿真派似乎不多我认为其实几个点第一就是说我认为这类公司本质上来讲他们还是机器人公司机器人公司我觉得咱们去看他们的商业模式它的底层还是要去卖本体所以如果它要是一个仿真派我觉得它就很难去来肯定它的客户去买他们的本体为什么他们的客户其实很多的我觉得国内很多的真机派的商业模式还是去卖一个数彩中心我买过来用你的机器人来采集数据来采集数据然后来不断的去提升所以他需要相信真机数据才能卖本体对否则我认为就是说其实我觉得本质上来讲还是一个屁股决定脑袋的事情我觉得它需要去真正的提倡一个真基派才能够更有效的去把这些基于真基数彩这样的一个商业模式去跑通那当然其实提到真基数彩我认为真基数彩一定是需要的我并不否认真基数彩而且我认为现在的量也是需要的我认为它再增长十倍可能这个量也是必须的但是关键就看它会增长到什么一个阶段我觉得根据数据检查其实最小的量应该是真机的实操的机器人的本体的数据真机数据没错它的成本最贵它的成本最贵但是最关键的是它最难规模化它都不是成本的事比如说你怎么去进入到不同的场景很快速的去规模化这件事这个是很难的一件事你如何去换新的场景很多我觉得大部分的真机的素材现在如果你去他们的素材中心你会看到他们也在用仿真怎么去理解 他在用现实世界的仿真他拿的是一个假的香蕉他拿的是一个假的苹果他并不是拿的是一个真的香蕉一个真的苹果他的场景可能变幻很小可能都是在桌面级或者说一些宜家的这种方式的搭建 [85:00] 很难像仿真一样去规模化到可能更加广阔的多变的足够物理真实的这些场景的应用对所以我觉得这个是一个我觉得就核心的一个不同点另外呢其实从我们的角度呢我认为就是说真机派真正在做预训练级的大模型其实我也听了就是谈结的那一期我比较同意谈就谈结的看法就是说我觉得可能不太合理就是说纯粹的做一个巨身的大模型它一定是基于一个基座的对吧那在这个时候我认为就是说更应该是一个大模型公司来去基于他们基座的能力再基于更多的数据先是预训练再是后训练来做出更好的VLA来所以我觉得从这个点上我觉得可能机器人公司可能也没有多少机器人公司真正在做这件事就真正在做一个预训链级的一个大模型所以他需要的数据可能就没有那么多他需要的数据就没有那么多谭杰说的一个观点我印象很深因为我也是跟他说就是国内真机派会说真机数据有更好的放话性他说仿真数据带来的是sim to real的问题不是放话的问题放话的问题应该通过生成极大量的仿真数据来解决对你同意他这个观点吗我是同意的说到这里我们定义一下仿真吧因为仿真的定义现在也是模糊的以前可能是说的是物理仿真现在也把一部分的视频生成认为是仿真你怎么定义仿真我其实还是希望更加严格的去定义一下那么我认为仿真的话呢我认为它更多的是需要在一个足够物理准确的一个环境中可以可复现的就以及可以可修正的去产生相应的行动并且观测到其结果我认为这个才需要是一个仿真那我当然解释一下就是说物理准确就是说它的环境以及你所交互的这些物体我认为它们需要足够的与真实世界的物理去对标那这个对标不只是一个看起来像不只是一个在几何上向他的可能摩擦力他的可能更多的这些物与参数也要足够的去对齐这是第一第二可复现就是说假如说我去跑100遍仿真我有一个足够高的一个系数不见得一定是100可能是9599我的这个结果是相同的我觉得这个是很关键的一件事另外一个呢就是说当我去在我相同的环境相同的起始点改变我的行动我可以看到可能这个所改变的这个结果我觉得这几个点都是足够需要的那咱们再看一下视频模型那视频模型我认为就是说它可能更多的是一个对下一针的预测它可以看到一些我觉得世界的变换对吧但是一它可能很难去复现它可能很难去复现那如果很难去复现我就很难去做大规模的可靠的评测第二呢就是说它没有行动它很难有足够准确的行动那这个点呢我也很难去要不然就做评测要不然就产生数据对第三呢就是说当我改变了一些在初始状态的条件的时候它是否可以产生其他的这些行动这个也是很难的一件事所以我觉得普遍的视频模型现在还不能称之为仿真当然就是我认为世界模型是有机会真正的成为仿真的一类的世界模型成为仿真的一类对那么怎么去理解这件事就是说我认为世界模型它的底层其实是一个生成模型所以它的优势是可以更加广泛的生成相对真实没有我觉得没有仿真的物理真实但是相对真实这样的对于世界的预测甚至是我认为后面接触了机器人对于下一步的本体的行动我觉得这个是可行的就这件事在未来的可能一段时间是可行的对但是就是说我认为仿真和世界模型我认为他们并不是一个谁会取代谁的一个关系我认为他们两者更多的会是一个共生的一个关系怎么去理解这件事比如说我们其实服务的客户里头可能有一个很大比例都是世界模型的客户其实世界模型的客户他们为了他们的预测能力逐步的去提升物理的grounding能力逐步的去提升他需要有更好的物理的数据来帮助他们去提升对吧他需要有更加真实的物理他需要有更加贴近 [90:00] 人的行为的行动来帮助他们去提升所以在这的话其实仿真会去帮助他们另外一方面其实由于世界模型它可能具备更好的一个生成能力所以它又可以帮助仿真的数据帮助的仿真的结果去做更好的一个泛化或者说用仿真基于世界模型去做更好的一个光定两者结合有更加准确的生成式的一个输出从我们的角度我们可能过去几个月我们和我们的世界模型的客户可能越来越多的形成了一个共生的一个关系共生的一个关系就是说他们在用我们的数据我们在用他们的模型两者一块能够把这件事做得更大我觉得这个可能是一个后面就是说仿真世界模型他们两者相互的一个关系我听起来仿真是世界模型一种手段我觉得其实很难说谁是谁的一个手段我觉得仿真并不是世界模型的一个子机或者世界模型也不是仿真的一个子机我觉得他们俩可能应该是共同去达到更大的一件事情这件事就是为了智能去提供更好的学习的能力现在这三个团队哪个团队跟你们合作最多世界模型VLA和LLM我觉得世界模型和VLA合作更多是因为你们做的是robotics相关的没错因为我们更多的还是关注在一个物理的环境里头一个行动的经验以及相应的这些评价的准则在这我觉得我们做的相对比较少的是比方说一个数字化的一个环境就是LM就这一些世界模型和VLA会相互吞并吗我觉得他们其实在短期是一个很共生我觉得就是相互依赖的一个关系我觉得将来我觉得有可能在有一天两者可能会合而为一但是其实本质上来讲我觉得可能在很长的一段时间我觉得他们两者都是相互依赖的一个关系我们能不能把robotics这个行业对标以前的智能驾驶来想因为以前在智能驾驶Vemo和特斯拉之争也延续了很长时间今天的这些robotics大脑公司似乎都在走Vemo那条路但是今天来看好像特斯拉成为一个更主流的路线当然Vemo也做得很好你是怎么看待这个问题的以及你觉得机器人领域的Vemo和特斯拉是谁你为什么觉得现在可能大脑公司更像Vemo这条路因为他们清本体收集很多的数据感觉机器人公司更像特斯拉理解你的意思我可能观察到的情况就是说我先说一下我觉得可能这件事会跟自动驾驶很不一样我人可能就不见得会follow特斯拉或者followVimo我觉得这个原因就是说刚才我提到的它的底层的数据逻辑如果底层的数据逻辑是基于一个基于本体的数据闭环作为90%以上的数据量那么我认为它一定会follow要不然就是特斯拉要不然就是Vimo的逻辑那么我觉得他们在一个相对更垂直的场景里在做这个事情没错相对更垂直的场景且他们的智能相对有限就是我觉得自动驾驶的智能还是相对有限的它更多是一个端侧的模型端侧的模型然后它的任务其实比较单一对吧就是把车开好了对比如说他遇到这样的一个杯子他的反应就是我要避开他但是在机器人领域他需要根据这个杯子是什么材质他是一个多大的杯子然后来决定他的手的力度所以他的负担系数又更高没错就是他的就场景更加单一他的唯一的物理就是这个车和地面的物理它不希望去撞到任何的东西对所以就是说我认为它的智能水平低一些对就它的智能水平会低一些当然我认为有两种方式去解决自动驾驶问题一种方式就是不是VLA就是直接VAVA是VLA的下一代吗我觉得不是就VA我觉得就更多就是行动输出对吧那它其实走这条路对我觉得它其实更多是因为我在端侧上可能算力没有那么大对吧且有可能就是说这件事所需要的智能是相对有限的且呢就是说我有足够的数据了以后我可以基于模仿学习把就是把这个模型压到就是更加踢进于这个司机的行为上就够了对吧那很有可能VA有可能就是这件事的终局这是有可能的一件事但是呢还有一种方式就是说我做一个更加通用的VLA我再让他去开车这件事一定也是可行的将来对吧所以我的意思就是说自动驾驶这件事我觉得它的一个我其实没有太想清楚的一个点就是会不会有两条路线都能通一条路线就是由于它的智能上限没有那么高因此我VA就通了对吧 [95:00] 路径就是我做了一个VLA它也能做但是这个VLA有可能它还能做其他的事我觉得这两条路径有可能都是成的对没有了语言在VLA里没有语言你觉得它的智能水平肯定是会降低它的智能水平会大大的降低那当然这个我觉得是从智能的角度从学习范式的角度去讨论那另外一方面我觉得从数据的角度一样就是说可能自动驾驶本质上来讲还是去用模仿学习最大量的模仿学习以及少量的强化学习去把他的智能拱出来那他所需要的数据更多的还是本体相关的车直接开回来的数据而对于巨身来讲的话一定是走的是本体无关的数据的路线本体相关的这些数据的量真正的这个机器人在端策落地的量会相对来说很少那在这样一个情况下的话我觉得可能就是最后出来的就是说不太会存在特斯拉因为如果真是特斯拉的话如果真是特斯拉模式的话他的大脑其实可能不是特斯拉做的可能是XAI做的对吧所以我的意思就是说我觉得在这可能他也是一个大公司的两个团队他其实是两个不同的公司对吧所以我觉得可能就是说最后可能会有三种模式Vimo模式现在的特斯拉特斯拉公司内部的模式还有一种模式是马斯克体系内的模式它一个是做本体的公司一个是做大脑的公司对吧那么如果说咱们放到其他公司里头去可能就是D-Mine做了一个大脑对吧然后可能就本体上用这个大脑去落地我觉得很有可能是这条路线除了马斯克和Google你觉得还有谁能支持这件事情都做你的意思就是自动驾驶和这个巨神智能对吧不是大脑和机器人大脑和机器人我觉得美国可能比较少一些我觉得国内的话我觉得小米我觉得就有可能对但是整体上来讲我觉得这件事还是比较难的一件事小鹏和理想呢就是他们从他们的现在的站位是一个智能驾驶车企我认为这件事它的底层还是卡的数量因为本质上来讲如果要做这件事就有点类似于就是说你的前提就是你需要有世界模型的团队和能力你可能已经有一个全世界可能最好的世界模型了然后又基于这个同时再去做VLA这件事那我觉得它的卡的这个数量可能会比较高需要多少我们可能在服务的客户的卡可能都是大几万张现在这个级别在做这件事但我觉得就国内的这些这些OEM还是有很大机会的创业公司呢创业公司我觉得很难去做大脑我觉得不太从我的角度我觉得不太合理去做大脑这件事你看智能驾驶的智能水平你觉得不够高相对于那个统一的大脑来说那有没有可能机器人是这样一个一个锤类场景去解决我就基于某一个锤类场景收集很多的真机数据然后把这个场景训好就像今天的智能驾驶一样这可能会不会是一个更快的路径统一的大脑会不会太远了对 我觉得一定会存在这个路径其实这个路径在我看来更加像Vimo这个路径像Vimo对 因为我觉得它其实更多的是在一个偏限定的就是非泛化的一个区域对吧 然后把一件事给它做好我还记得就是我当时刚加入Cruise的时候那我们的重心就是在旧金山去落地自动驾驶落完了以后再去想第二个城市所以其实我认为这种方式就很像当年的V-Mobile Cruise他要花很长的时间在第一个场景完全落地落完了以后他去泛化这件事扩大这个就是就场景的适配性可能会比较难对其实你看现在我觉得Vimo确实是做得很好但是我觉得特斯拉可能在这scalability就是在规模性上可能会做得更好很多对所以在我看来就是说我觉得如果从这样一个方式从一个相对垂育的场景去做首先这个场景可能会分为就是一两个特定的场景先把它做好然后再把这个场景的其他的特定场景给做通这个就要花很长的一个时间在这个之后再去平行的到其他场景这件事我觉得可能就要伤尖动骨因为它的整个的模型的架构数据各方面可能都是不一样的对那这样的话我觉得有点类似于是当年的自动就我认为这块也会有成功的案例比如说自动驾驶其实你看现在在国内我觉得做的很好的比方说有矿山的自动驾驶它就关注于 [100:00] 住在一个垂域他把这个垂域完全的做后在这个垂域他有比较好的一个商业模式以及相应的一个壁垒那我认为这个是一个很成功的一个案例对那当然这个案例我觉得就是说他可能很难去倾倒其他的场景去所以你不认可我说的现在大脑公司像Vamo然后机器人公司像特斯拉的这个判断对吧对我就是我认为大脑公司的话应该更像OpenEye后面对就是我觉得自动驾驶本质上来讲它还是一个没有那么高智能的事我认为就是说咱们要去看巨身的话要同时去对标大元模型和自动驾驶就是我觉得巨身可能是两者的一个结合这还有特斯拉吗有巨身领域的特斯拉吗我觉得可能Figure是希望成为巨身领域的特斯拉对吧他有他自己的这个硬件他在规模化的去量产那他在落地同时他也在做自己的大脑但是还很远因为他这个场景实在是太模糊了对 我就我觉得难度还是很高的我觉得现在我越来越多的观察就是我觉得我可能会更早的看到大模型的这个放化能力的产生而我认为就是说可能很多人低估了在一个垂域场景落地的难度以及一旦落地了以后再去迁移到其他垂域难放化性就会更难对因为我是实实在在的经历过CruiseVaymore当时这个自动驾驶的这一波那么我觉得就是说首先在一个锤鱼场景在旧金山去落地其实已经很难了这个问题那当然就一旦好了以后你再到其他的这些城市其实每一个城市你可能都要用更多的数据去采集去训练以及去大规模的去评测来真正保证你在这个城市能够足够安全的去落地这件事它不是一个很繁华性强的事倒是比方说特斯拉他可能他一开始就开始收集数据没错对他是一个就更加广泛的一个数据的采集真正能够把这事给做通但机器人可能这么广泛数据采集的场景更难一些所以一定要依赖仿证你的逻辑是这样仿真和人类数据依赖本体无关的数据对我觉得这件事会极其是我认为如果没有这件事如果没有巨深的金字塔的下面的仿真和人类数据我认为就是巨深这件事的通用智能就出不来说到这个数据金字塔我们来聊聊这个金字塔的构成以及它对于每一类数据的收集上有什么浪耗对 数据金字塔其实是这个飞飞的学生就是朱一可教授他提出的一个概念那它本质上来讲就是去分析巨身智能的数据跟自动驾驶不一样它最多的肯定不是基于自己的本体产生的数据因为没有足够规模化的本体的数据那更多的要依赖于仿真和互联网以及人类数据那么金塔包括三块最上面的是真实的本体采集的数据也就是咱们现在可能最多的看到的真实机器人的摇操作的数据这个数据一定是最准确的最好用的但是这个数据的问题是它很难去规模化它很难去规模化机器人很难去规模化场景中间层是仿真产生的数据对仿真产生的数据它的优势就是说它的规模化能够做得很好当然它也会遇到SIMTURAL的问题当然其实现在由于客户都是大模型他们在预训练阶段会用很大量的仿真的数据以及真实的数据其实这个模型的通用的能力会变得很强其实SIMTURAL就是仿真和真实GAP的问题变得越来越小对这个是中间的仿真的数据再往下就是互联网的数据还有人类的视频的数据人类的视频的数据其实更多的是人的第一人视角的数据可能是人戴着眼镜然后去采集的数据咱们其实去看过去的几个月的时间我觉得在本体无关的数据仿真和人类的数据我觉得产生了一个质的突破我其实认为现在已经达到了一个skilling law就是巨身的一个数据的一个skilling law为什么这么少去说呢咱们去看一个是我觉得李飞飞的这个behavior challenge包括这个英伟达的Groot这个模型用到了大量的仿真的数据证明了它的有效性另外呢就是说generalist他用了27万小时的污蔑加转的这个数据污蔑加转其实本质上来讲 [105:00] 也是人两个手就拿着这个夹爪去采集的数据它其实也是人类数据的一种那它更多的是一个比较简单的一个夹爪形态那再往后其实就是手指形态的数据领袖手没错那他们已经证明就是说这27万小时数据在模型上看到了SkinLaw对那么我觉得由于这几个点其实从我们的实在的观察上从我们的客户给我们带来的需求上过去几个月可能是一个质的一个飞跃就是对于这个数据量的这个需求是一个可能极大的一个增加让我们可能原来的时候是一个我们就是我们需要去刺激需求到现在我们可能是要去规模化我们的团队来真正的交付客户的需求这样一个阶段对那当然就是说在这我可能再分享一些更多的想法我觉得金塔其实并不是一个很单纯的就是三层就是真实数据仿真数据然后人类数据它其实每一个阶段就是每一层都要续细分我举一个例子从仿真数据层可能最往上这一层可能是一个人去驱动的仿真数据因为它从RI角度很贴近于真实数据层对吧它的优势是它不需要去基于机器人的本体对吧另外就是说它还是用人这样能够采集到最高质量的数据但是它的问题就是它的规模化能力相对来说欠缺对吧那往下其实就更多是一个算法驱动的模型驱动的自动化采集层那这个呢可能人的技术就相对来说很少那他能够保证的是他的规模化但是呢他的质量呢就不会比上层更高对吧那咱们再往下去看就是说人类数据层也一样可能也会包括比方说被动采集的人类数据层就是说人可能戴着一些眼镜对吧然后没有很好的一个质量管控测试拿到了很多的人的第一人视角的数据也会包括可能主动采集的这个数据层可能有更加高质量的硬件更加高质量的流程的管控但是它的规模性会差一些我觉得这个可能是一个数据金塔的一个构成对那当然还有另外一个点就是说我其实某种层面上觉得数据金塔给人的一种印象是它是一个很独立的状态就是真实 仿真 互联网人类是一个相对比较独立的一个概念从我们的实践中呢我越来越认为树金塔可能会是一个就是以仿真为中心的一个闭环以仿真为中心的一个闭环对 就怎么去理解这件事就是说如果真要把仿真的评测做好因为评测这件事必须要基于仿人去规模化那他必须要拿来最大量的足够真实的场景物理的世界人的这些的轨迹经验同时还有我觉得很关键的评价的标准就是不同任务的评价的标准这件事在仿人中闭门造车是很难出来的那其实需要去拿到更多的真实的数据对所以这个其实也是为什么我们现在开始去做人类数据的原因人类数据就人类的视频的数据你刚才说的是以人类为第一视角的数据没错为什么要第一视角因为其实咱们可以把人机器人我觉得大模型很关注的一个能力就是跨本体的能力如果从这个角度来讲的话人是不是也是一个机器人对所以本质上来讲这种训练范式它其实就是把人当成一个机器人把它的数据拿回来对进去一块去训练另外还有一个点呢就是说相当于把人当车了对把人当车了没错完全就完全是这个意思另外呢如果这样没准将来机器人也越来越像人因为他越像人他的本体和人的差距就会越小对吧所以我觉得这个是人的敌人视角的数据的一个核心的一个点那当然就是说这个数据回来了以后其实可以基于real to sim很多的算法仿真的能力把这个世界拿回来把他所交互的这些物理拿回来以及把他们的很多的任务以及评价标准拿回来又把这些真正的加入到仿真里头去来扩充仿真的规模化对吧另外一个就这个是一个从真实到仿真的一个环从仿真到真实就是说仿真做完了以后一定需要在真实世界去落地那么Sintro如何去解决一方面来讲是在预训练加入更多的仿真一方面其实是把它和真实世界做更好的对标对吧其实所以就是说真实的 [110:00] 摇操作的数据真实摇操作的评测和仿真的对标就会变得优为重要对吧不只是在训练端的对标同时还有在评测端的对标来真正的可以让Symtrial不只可以服务训练也可以服务评测所以从这个角度来讲的话我认为可能数金塔一方面它是一个金塔它是一个分层的金塔另外一方面我认为它可能是以一个以仿真为中心的以评测驱动为中心的数据的一个闭环所以你觉得哪些数据是被高估了那些数据被低估了对首先我认为真实的机器人的数据肯定是被高估了我认为其实咱们从过去几个月真正行业的发展来看我觉得其实大多数人都已经看到了这个点就是可能原来就是真机派的这些的公司或者大模型团队其实现在我认为大规模的去采购仿真的数据仿真的评测或者是人类的数据所以我觉得第一它肯定是被搞过了第二呢我觉得仿真还是在被低估为什么呢因为我觉得大家已经看到了一些仿真数据的这样的一个能力但是我认为就是说仿真的评测我认为其实真正看到它的没有那么多人我觉得大模型团队是完全看到了为什么因为他们在关注的是大规模的评测没有仿真他就没有办法做大规模评测而我认为很多的机器人公司可能现在还是在开始去看到这个阶段为什么因为它的规模还没有那么大那当它的规模越来越大它需要去处理的任务数量任务种类开放场景越来越多它就会越来越感觉到这个痛点没有它是绕不开仿真这件事的另外呢我觉得人类的数据呢其实相对来说也是被低估的我认为其实人类的数据也是极其关键的一件事当然我认为它是要去从我们角度我认为它可以帮助我们真正的去完善和补充增强我们以仿真为中心的这条环真的眼镜听起来非常有用真的眼镜就相当于是车对就是所有人都出去给机器人收集数据去了对是的我很同意这个点我认为其实人类数据它的一个问题就是它其实没有什么避雷那么我看到很多人在做人类数据的硬件但是其实本质上来讲人类数据它的底层就是要让人带上消费级的硬件去采集数据一定是要眼睛看吗第一视角一定要眼睛看比如说我看有硬件公司做一个像plow的他做录音笔像比如说还有公司做了一个胸前的这种明白这种是人类第一视角数据吗从低性原理上来讲你越贴近人的视角是越好的对就是说其实你的一个硬件如果本来定在头上你在头顶上或者放在胸口你其实你的视角跟人的眼睛的视角都有一定的差距的所以本质上来讲这个都会产生一定的问题为什么一定要是眼睛我觉得可能更多的是从一个低性原理就是说人是这么工作的人就是这么要工作的对那么这个其实也是我觉得看到的很多的真正的需求我觉得都是朝这个方向去走的对那你从这个角度去看的话其实到最后的时候一定需要的是一个最佳规模化的我觉得消费级别的足够舒适的可穿戴来真正的服务人类数据的我觉得端侧的硬件怎么让人愿意大规模的戴上眼镜如果不是近视或者像我这样我是近视但是我就想戴隐形我觉得理想状态下人就喜欢戴这个眼镜而不是人为了数据去戴这个眼镜我觉得这个可能才是真正人类数据需要去达到的这个点我举一个例子比如说Meta的这个riband的这个眼镜对吧他们其实就改变他们的思路他们最早的时候可能是希望做这个游戏眼镜对吧然后做的很炫但是看起来不够好看那我觉得Meta的riband的眼镜我觉得他特别聪明的一个点就是他首先这是一个很酷的眼镜看上去很好的眼镜其次他有一个AI的助手可以跟你去对话对吧他有一个摄像头我认为这种的可穿戴可能在长线是最有用的就是这个可穿戴是一个大家都已经有的东西而不是一个你需要去买给大家的东西所以这些公司首先需要设计一个足够有吸引力的眼镜让我们都心甘情愿的戴上然后他再利用我们去给他机器人收集数据是这个道理但是你如果顺着这个角度去想的话呢我觉得就是说前提啊就是一定要基于一个消费级的就相当于就是说我认为人类数据的公司不应该做自己的硬件如果因为他的这个硬件很难达到一个消费级消费级我指的可能是一个 [115:00] 甚至更大的一个出货量大家都喜爱这个眼镜所以我认为它应该是一个基于已有的消费级的硬件或者说这个硬件如果没出来有一个消费级的硬件的公司做了一个爆款出来大家都带上了这个是一个真正的一个爆点那它为什么要把数据给这个机器人训练大脑的公司我认为在这的话它会有一个就是不同的这个硬件其实都有相应的SDKAPIAPP对吧所以其实你是可以去设计这样的一个采集流程的我们都知道算力很贵因为我们说驱动人工智能三驾马车是算力算法和数据算力非常贵数据贵吗想要买比如说仿真数据或者人类第一次的数据大概是一个什么样的金额数据其实我认为在越来越贵这个是很有意思的一个点就是说可能很多的人认为数据应该越来越便宜我其实觉得这个就是本质上来讲就是就是数据不同的就刚才我提到的就数据不同的阶段可能从一个静态的数据集或者是一个量饭集的一个数据到一个提供反馈的数据它的这个给算法带来的价值是完全不一样的因此他所可以去拿到的价格也是完全不同的对当然就是说我认为就是说咱们去从预训练后训练还有评测角度去看的话我认为可能预训练的数据应该是最便宜的且它应该是一个相对的标品对吧因为我觉得不太可能有一家公司自己去支付了所有预训练级的费用它应该是一个平摊对吧比如说可能全世界有五家大模型公司去评探了这份预训练的这份的这个数据的成本而且大家也都愿意去评探因为这个应该是一个相对帮助大家提升一个相对通用的能力基础的能力最关键的这些反馈驱动的这些的提升还是在后训练和评测而后训练和评测呢可能是一个更加针对性的这个数据那它更多是一个评测驱动来这个给到足够的信号以及相应的这些的经验的传授那他的这个数据的这个这个价值和价格会更高很多大概多少钱其实这个不太好说就是说现在可能比方说从一个数据角度来讲可能一小时从几十人民币到上千人民币可能都会有但是他呢这是指就是的专家是吗采集数据的专家不止就是他包括了比方说这个就数据我觉得他巨深的数据我觉得他包括了三要素第一是他包括了一个物理的场景无论是真实的还是仿真的他一定要有一个场景第二呢就是说他包括了这些经验的轨迹以及这些经验的传授经验的传授就包括了这些语言的标注第三呢就是说它包括了这些评价的指标比如说这个是成功这个是失败它可能会标的更加精细比如说behavior的这个数据集可能我做一个pizza可能是一个很长城的任务我里头可能有的这个比较小的这个任务我可能先失败了比如说我可能先放一个蘑菇我先失败了我第二次又成功了这个都会标出来对那这些在一起结构化它是一个数据那一小时这样的一个比方说就是做披萨的数据可能会卖到可能比方说从几十人民币到几千人民币不等现在这个是一个我觉得现在整个行业还是一个比较发散的一个阶段那当然了就是说我们很关注的是高质量的数据因为在这儿其实低质量数据没有任何意义高质量的数据我觉得其实是在一个几百人民币到上千人民币这样的一个阶段什么是高质量的数据高质量的数据我认为就是几个点一就是说物理的场景它足够的多样化它的交互足够的真实且它足够的符合真实的物理的场景第二的话就是说轨迹的记录足够的专业对然后比方说做一个披萨对吧它是足够流畅它可能有失误但是失误里面它有一个修正其实这类的数据会更贵其实跟就很反直觉就是大家可能认为一个完美的做披萨的一个视频可能会最贵但其实不是其实你如果中间比方说掉了几粒菜然后给它捡回来再重新把它给做好它会更贵其实我觉得有点类似于人的学习人的经验对吧失败了以后再成功的经验往往是最宝贵的然后第三就是说我觉得他的这些评价指标以及他的这些标注足够的这些准确尤其是这些长城的任务其实在这块是很难的一件事他需要很大规模的自动化的模型驱动的算法来真正的帮他去精细化的做好包括可能如果说是人类数据的话手全身的这些的tracking [120:00] 这些的真实度这些的准确性是极其关键的一件事情比如说呢什么样的数据是好数据比如说电影的数据会是好数据吗游戏的数据会是好数据吗很好的问题就是我们这些日常见到的哪些视频可能会是好数据我觉得其实游戏的数据我觉得电影的数据都会有用的但是只不过就是说咱们从数据经常角度来讲的话数据经常其实我觉得一个点告诉大家就是任何的数据都会是有用的但更多的考虑的是一个RI就成本收益比对那么我举一个例子就是说电影的数据视频的数据很有可能是能够帮助模型提升的但是它的问题就是我可能我的处理成本也会比较高且我模型提升的点数会相对比较低一些所以可能就是说我去消耗了大量的算力去处理的这些数据然后去压缩的这些数据但是在智能上我的体现相对来说会差一些我认为其实从一个RI角度来讲的话我觉得最高的还是一个基于仿真可能有人在还但是是算法驱动去采集的数据或者是一个人类的数据我觉得这两个可能是目前我看到的在预训那阶段我觉得RI最高的数据为什么电影的数据游戏的数据处理难度很高我觉得它一方面它会有一些比方说你可能会增加更多的标注另外它的问题就是说它还不是一个3D的信息它本质上是一个2D的信息游戏有可能是3D但是游戏它可能就是说它有点太cross domain就是它可能是一个跟这个真实世界太不一样的一个场景它的物理其实不真实的对吧所以这个呢它有一个别的世界观没错但是这类数据其实对于世界模型是有用的比如说其实很多的世界模型的团队就用了大量的游戏就是玩游戏的数据他们有相应的这些的团队在买相应的这些游戏的版权然后用他们的agents再来去打然后把数据给拿过来来训练他们的世界模型但是这件事呢怎么说呢它是有用的但它的效用性到底多高没有那么高从一个我觉得提供数据的角度来讲应该追求的是一个高RI价值的客户的需求就是说数据金台我觉得很大其实在里头并不需要每一个都去服务但是可能服务的应该是最高价值链的东西那你们内部会有很多的数据给它不同的定价吗会有对但是这样就是说这个好难定整体上来讲其实没有那么的复杂我们可能整体上来讲更多的是两类一类是预训练对吧一类是评测的数据这两个其实是现在大家最缺乏的数据因为很多人叫你们叫data factory就是数字的工厂你能带我们走进这个数字的工厂内部你们的工作流程是什么样大概人员是怎么样构成的就比如说刚才我们说数据标注的人这是一个职业吗对 我觉得问题很好首先可能我们可能更像是一个data engine或者说我更希望把它定位成一个data engine我觉得data factory是一个旧定义对 data factory我觉得它是一个有点偏工厂就是它是一个流水线缺乏线的技术缺乏线的系统且它不是一个反馈驱动的它不是一个评测反馈驱动的我们认为Data Engine是一个反馈驱动的一个学习的一个引擎那么他们更多是基于一个系统以工程 以系统能力利用到端侧的这个人去帮助他们去生成的数据在这样一个情况下就是说我举一个例子其实可能大家看到的是我们生产的数据但是其实我们的内核是一个权战我们首先为了去打造这个物理足够真实的世界我们需要用到仿真这个仿真我们需要去构建足够真实的物理的世界以及这些可交互的这些足够真实的物理的资产这个其实底层是很难的一件事打造比方说钢铁的这些资产是比较简单的但打造非钢体比方说打造线缆其实我们服务的很多工艺化的场景需要线缆插拔的场景这个是很难的一件事它需要底层的自演的物理的解算器是一个非钢体的解算器以及仿真的资产的co design就是连条来真正帮助他们去产生同时的话这里头的物理该怎么办这里头的物理需要从真实的世界物理来所以我们其实有一个物理的测量工厂这个测量的工厂基于足够自动化的机械币等等之类的工具链来自动化的去世界上的不同的真实的物理的资产去做交互把他们的力学信息拿回来又把它相对自动化的去放到仿真的资产 [125:00] 这个世界里面去所以这些都是我们为了去生产一个一个仿真的足够真实的物理的世界和可交互的物理的世界所做出的这个系统在这个基础上我刚才提到就是说有两类仿真的数据一类是一个以人为驱动的它的优势就是说它的数据的质量是最高的它提供的是最好的示范那他的问题就是他规模化能力相对欠缺一些那在这个路径上我们有很很优质的这些的这个比方说摇操作的工具链有点类似你看到人在去摇操作一个真实世界的机器人我们有人在摇操作这个仿真世界的机器人不同形态的机器人甚至我们自己定义的机器人他可能跟每个机器人都不一样但是他是以一个足够标准化的一个形体来去采集各种各样的机器人的本体的数据示范的数据来拿回来同时我们也基于这条的路径去训练出来了足够好的自动化的算法可以基于这套算法去自动化的去在这个房上去做采集偶尔需要人为的介入对吧所以这个是一个更加规模化的一个这个数据产生的这个管线在这两个基础上再往后就是这个标注那可能就是说它有更多的一级的标注那在这儿用到了很多大模型的能力以及最后可能有一个人在还的一个质检来真正保证这个数据它是在它的质量上是足够高的对所以这个可能是一个我们真正产生数据的一个基础那当然就是说刚才我也提到了评测也是需要被规模化的所以你可以理解评测其实也是一条数据管线那它呢其实点就是说它会其实基于我们基于人去就是基于人去采集的这条的这个链路这套的这个端侧的这些硬件以及云上的这些自动化的这些算法拿回来这些数据然后呢再去做real to sim那可能包括这个把视频里头的这些物理给重建把视频里头这些任务相对自动化的去提取出来以及这些评价标准提取出来把这些放入到我们仿真的资产场景世界以及任务的定义头去让它更加规模化的去产生一套就评测的这套的数据链来让它去服务我们的客户你刚刚一直在说评测数据非常的重要那你们怎么做的对我认为评测的数据它的最大的难点就是一它需要很有挑战二它需要很可规模化就要难又要可规模化没错这个是很难的我举一个例子可能比方说很多的机器人公司他们在做demo那他们可能比方说跌衣服对吧等等那他们可能更多是在一个相对固定的一个场景去做相对单一的任务但是对于大模型的放化能力可能他们需要就是说真正的在很大规模的场景里头去可能千级别至少这样的场景里头去可能有很大规模的任务这个任务可能是一个千甚至是万规模这样的一个任务然后呢有相对的这些的成功的定义来帮助他们真正的去评价那这个时候我觉得第一就是说如何去打造这些平行的世界这些平行的世界的相应的这些物理这些其实刚才我已经简单讲过就是对于仿真对于真实到访仿真这样一个产现那比较难的是他里头的这些任务以及这些评价标准这些我们是从真实世界来的我觉得这个是极其关键的一件事就是说如果访真的评价与真实世界的评价去脱离这件事就算可以规模化它也没有办法真正的产生实质的价值另外一个点就是说可能大家认为我们是一个以访真为中心的公司我们只做仿真其实不是这样我们还有一套真实评测的基建比方说我们有真实的机器人然后我们有就真实的这些就评价的算法这些场景他们的目的不是为了去服务我们的客户去评价他们的机器人在真实场景而他们的目的是为了去与我们的仿真的更大规模的这套的工具链这套产线以及这些评测的难题去对标比如说我们用相同的算法在仿真里头和在真实里头我们是否可以看到一个相关性的对应这个是很关键的一件事我觉得只有把这些给做好才真正的能够把以仿真为中心的规模化的仿真的评测给做好没有多少人整个团队吗我们现在可能全职的更多的是 [130:00] 工程技术方向就有可能一百来个同学大概是这样我不太认为AI会自己为自己完全就生成数据然后就服务自己这件事底层逻辑是不通的因为它就更像是一个运动机所以本质上来讲我觉得一个核心是一你是否拿到了足够准确的世界对吧以及足够准确的任务二你需要有人在这里头的一个经验的示范这个是一个核心的能够帮助模型去提升的一个认知那当然就是说我觉得很关键的一个点就是你如何去放大这个示范对吧如果你是一个以人为中心的数据公司那你可能需要的是我认为可能需要的是千万到亿这个量级的人最终才能把这些给做成因为这块需要的量太大了但是如果你是一个以仿真为中心以系统为中心的那你其实在这有一个放大效应因为你是通过技术去放大人产生的这套的经验那我认为这块可能需要的量会小100倍左右上次我记得谭杰说就是Data Factory遇到一个问题就是你们采集了很多数据但是比如说给他提供数据了以后就是像给这种大脑公司提供了数据以后他也不能告诉你们这个数据好不好然后最后就会出现扯皮就是数据公司说是你们模型没讯好然后模型公司说是你们数据踩的不行就是一个扯皮的过程你怎么看这个问题怎么办对我认为这是一个客观存在的问题但是呢其实我想举一个例子就是咱们去看scale AI和open AI在GPT2其实是一样的一个阶段这个阶段呢其实就是说大家其实在共同的找寻这个数据的这个配方它其实大方向已经相对比较明确了比如说仿真比如说人类数据比如说仿真的评测但是它在细节上可能会有一些区别我举一个例子比如说我们就时时代遇到最早的时候可能客户给我们的需求是要完美的数据后面可能更加希望是复样本或者就是纠错的数据另外呢就是说可能需要更加分布广的数据比如说你去拿一个瓶子可能希望的是拿瓶子的方式是不一样的而不是每次都拿同样类似的一个方向一个位置对吧这些都是一个我觉得逐步迭代的一个认知我认为在这其实最关键的就是跟可能整个业内最领先的客户去协作起来去共生起来我觉得这个是最关键的一件事另外呢其实就是说我们其实也遇到了一些就之前可能也会有人去问就是说如果一个数据公司他不是做大脑的他不是做本体的那么他可能认知对于数据的认知赶不上一个本体公司一个大脑公司对于数据的认知我觉得其实从我们实践下来我认为倒不是这样就为什么呢就是说其实真正这个世界上能够对数据尤其是大规模的预训练的级的数据产生认知的团队极少不比可能也就五个左右我们可能基本上跟他们都是一个合作关系我认为就是说在这儿最关键的是和最核心的客户产生一个相对共生的一个协作的一个关系每五个就这块可能叫这会儿就可能就不太细说但是就可能你可以想象就是最大的大模型公司最大模型公司那么他们往往都会有自己的巨身的团队在这儿我觉得就是说很核心的一个点就是两边是否可以同步的去迭代就迭代相互的认知这是一个很关键的事其实某种层面上我们得到很多不同客户给我们的认知同时我们也给我们的客户提供了更多的认知我觉得这是极其需要的我再举一个例子其实数据金塔这件事它是需要被验证的数据金塔是一个概念但是它到底哪一层的数据是最有效的配比是如何的这个是需要被验证的我们其实可能和其中的大概两个公司左右都在不断的去演进对于数据金塔的迭代这个是很关键的一件事那当然就是说你要去验证数据金塔你需要多少张卡可能得几万张卡才真正能够有效的去验证数据金塔所以我认为其实在这儿一些核心的人知是极其关键的应该怎么配怎么配比我认为就是说可能就不能说太细但是就是说我认为其实就是越来越偏本体无关层这个是就首先是一定的一件事另外就是说我们可能得到更多的一个认知就是不只是一个在预训练阶段包括就是预训练之后的后训练从RL阶段该怎么去做这件事该怎么去微调多少利用仿真多少利用真实以及后面的评测该如何去构建我觉得它是一个整体的一个体系化的一个认知准备数据非常的关键 [135:00] 能不能给大家一些你们的关键的一些secrets分享一下对我觉得可能就是说说一些就是比较偏反直觉的认知我觉得还是回到就是说这个什么样的数据是好的数据这个点上其实我觉得它越来越像人的学习就是它越来越不像最早的自动驾驶最早的这个机器视觉最早自动驾驶机器视觉就是完美的数据是最好的它有一个标准答案的我觉得现在的数据可能越来越没有一个标准答案那这个时候能够我觉得从第一性原理上能够帮助人去学习的数据我觉得它可能是最好的数据就是它是一个比方说让你看到的一些错误能让你从错误中去学习的数据我觉得这个是一个很关键另外就是说可能人从小的时候长大他可能就是说你就是看一个老师就给你讲题你可能不见得是最好的效果可能你把每一个同学都给当成自己的老师一道题可能有不同的做法然后从足够的分布中去得到自己的结论可能是更好的我觉得这些可能是我觉得它的secret style它是和人的学习是越来越共通所以其实我越来越觉得我们可能做的是一个教育公司越来越的教育公司对我认为中局的数据公司可能跟教育公司是长得很像的那你觉得教育AI和教育人的不同是什么目前来看我觉得现在巨神可能还是没有那么智能对吧所以就是说现在其实还是有不少的是一个示范就还是有一些让他去死记应背或者让他去模仿学习对吧但是我认为就是说越往后可能你越需要去挑战他另外呢就是说就我觉得在这儿其实本庄来讲巨生这件事它还是一个要与物理世界去交互的一件事所以这个教育可能和咱们的平常的这种书本的教育还是不太一样的它需要有更多的物理的示范和物理的交互因为你跟国内外的各个不管是大脑的公司还是机器人本体的公司还是大模型的公司应该都很熟能不能给大家做一个就是关于中美机器人团队是怎么做数据的Mapping没问题他们都是他们都是什么的信仰派就是因为我跟他们很熟所以我可能不能太细说我觉得我可以去相应的去归类就是说我觉得有一个就是大模型派大模型派我觉得可能越来越多的就是大厂的大模型团队我觉得他们可能出发点可能最早的时候可能不太一样但是可能越来越越来越趋同越来越趋同就是说他们需要的是这个领样本的泛化的能力你说的是大约模型团队还是哪个团队大厂的VLA团队大厂的世界模型团队我觉得大概是这两个团队我觉得他们需要的是领养本的放化能力我觉得这个是一个极其极其对极终上能力我觉得这个是他们最看重的他们倒没有那么看重本体的复杂度他们最关键希望的是能够用相对简单的标准化的本体但是能够去验证他们规模化的极终上能力我觉得这个是他们特别相信数据他们也特别相信本体无关的数据相信仿真相信仿真的评测相信人类数据那么因为这个走的是大元模型的逻辑没错没错同时呢就是说他们其实在Infra上他们会更早的去尝试做RL做大规模的RL这件事但是重点可能是在仿真这个是我们可能看到的一个核心的一个大模型团队的一个趋势这里我查一嘴因为正是因为这些大厂当然它资金很雄厚它的infra能力也非常的强但是它同时有大约模型也有VLA和世界模型就是做机器人的方向那它在当下肯定会把资源倾向倾斜给大约模型的团队对吧它不会倾斜给机器人团队所以会不会反而出现在大厂这个资源其实在机器人团队能留到机器人团队的资源没有想象中那么多你说这点很好但是呢就是说我觉得这个其实是一个可能三到六个月前的真实的现象或者说其实在今年以前我觉得看到的情况其实大厂是基本上没有下场的比如说OpenEye可能没有下场对吧可能自己也没有下场就没有下场seriously去大规模去做这件事对但是在今年开始了以后我认为可能核心啊就是说啊大模型这里相对来说可能趋势相对确定了一些啊有一定的手可以腾出来了然后这些就开始去做到了机器人啊VLA啊对所以从你的视角告诉我们谁变得更激进了啊我觉得自己也肯定是更激进了我觉得啊 [140:00] 我觉得open eye我觉得dmind也绝对更激进了对我觉得英伟达我觉得也更激进了这就是五家角逐机器人大脑的团队我觉得还会有其他对其实某种层面上我认为派也应该属于这一类但它是创业公司对它是创业公司但是我认为它可能咱们去定义它可能更多偏一个frontier live而不是一个机器人公司对吧那么我觉得它也算是这一类就是它在它在真正的大规模的去训练自己的模型就这个是一个我觉得大模型对吧那咱们再去看机器人我觉得机器人的话呢可能最早的时候全都是真实派的现在呢我觉得有一些是开始去follow仿真仿真评测我觉得这是掉头了还有一些呢同时呢也在follow这个人类的数据那比如说这个用以generate就generate为首对吧同时比方三大那他用他的那个雷密的甲转其实也是人类数据的一种国内的一些可能也是有follow人类数据的对所以我觉得就是说机器人公司其实也在分化可能我觉得我觉得底层是机器人公司是否是一个很大的一个商业模式是一个素材还是说他的商业模式就是去做大脑智能我觉得它在这会有一定的分化就是它的这个数据的这个品类上会有一定的这个分化做大脑智能好像不能成为商业模式吧 现阶段我觉得就是说就是大脑智能就是说它去把这个机器人部署到这个真正的场景头去去执行这个场景的任务而不是去做一个数彩的一个数彩厂我觉得现在可能很多的机器人公司其实底层做的是一个树材厂其实我个人比较看好语书语书其实我觉得它还是一个更加偏本体的一个模式如果说咱们去认为可能本体无关的数据导致可能大厂的大模型真正成为最后的大脑我觉得语书的区分度是最鲜明的它就是坚定的把它的本体做好对所以我倒不认为语书可能后面它的定位很清晰它也不和它的比方说就是他也不和大脑公司去竞争我觉得他们是一个很务实而且知道自己哪里有优势知道自己哪里不希望去发展的公司就我觉得知道自己的这个boundary就边界我觉得很关键那他在这个生态里面会办一个什么角色这样的本体公司我觉得他会是一个核心的本体硬件商可能比如说后面如果说这些大厂的大脑公司大厂的大脑团队他们希望去在场景去落地他们大脑他们很有可能会高优的去看语树和语树合作对吧因为我觉得语树已经被证明它是一个足够稳定的可量产的对吧可量产的除了语树以外你还看好那些我认为志源其实我觉得商业化走的是很好的因为我觉得他们可能从day one就想的很清楚这件事如果说他要去体系化做的话他就要把上下游完全打通同时我认为其实巨深可能某种层面上现在还应该是一个供给驱动的市场就是你先把这个量给做出来真正的去驱动整个行业的提升整个驱动整个供应的链的提升我觉得在这他是想的很清楚的我觉得他的量产各方面是做的很好的你觉得这个行业当然今天特别早啊如果一定要说中局的话你觉得它会形成一个什么样的形态机器人大脑会是霸权的吗会是一家垄断的吗我觉得可能会像现在大模型行业对吧咱们可能看到大家以前以为OpenAI能够一级垄断没错今天看好像不行没错对因为我认为就是说底层还是数据闭环对吧如果说这个数据闭环是掌握在一个本体上它有规模化自己的最大的本体去多些点场景拿回来最多的数据它有训练自己最大的大脑那这件事可能确实会形成一个霸权我举一个例子特斯拉就是这样一个霸权对吧他们在自动驾驶我觉得是做的是很好的那当然国内的我觉得OEM比方说像理想小鹏未来等等我觉得做的都很好对那当然如果说在这儿它如果是一个本体无关的一个数据模式那它必须要和数据商去进行共生的一个演化那这个时候我觉得可能大模型厂商很难单独的形成一个法权所以我认为在最后可能更多的是一个生态系统这块有最好的弹脑公司有最好的数据公司有最好的机器人的本体公司三者的一个强合作来真正的让这个场景公司真正的把这些机器人给落地进去当然可能会有一些场景公司自己就是最好的硬件公司我觉得这是完全可能的现在看好像美国那边大脑发展的更快中国这边本体发展的更快这会产生什么后续的 [145:00] 你有中国团队对于机器人大脑会追回来吗从我的判断因为我们其实服务的客户足够多我认为很有可能会追回来我举个例子千万其实是现在可能最好的开源的大模型对吧所以我认为就是说国内的大模型的能力我认为是极高的且他们在这儿我觉得做的决心是足够高的他们的基建我觉得是足够好的同时呢我觉得这块的人才密度也是足够高的我觉得更多的是因为由于可能国内的大厂之前的时候可能重心还是在大模型大元模型他一定要把这些事给争下来我觉得现在这件事呢他们已经开始把他们的资源开始去放到巨深这块了所以我认为可能咱们可以看到不少这块的一个提升为什么过去三到六个月他们开始往巨深上转资源他们看到什么迹象其实我觉得还不是过去三到六个月我可能是过去的我觉得小一年的时间对我认为可能更多的是一就是说大模型这边我觉得可能相对趋势比较明确了所以他们有精力往这边投了二的话呢我认为可能确实也是看到了就是说咱们现在就是我这有一个核心逻辑就是你到底是本体相关的数据还是本体无关的数据如果这件数据一定是本体来的我觉得大模型商是很难完全介入的对吧那他最好的方式就是跟一个本体商去合作对吧那如果这个数据的核心是本体无关的数据那我觉得这就是妥妥的大模型公司的聚会对所以我觉得这个是一个可能整个行业我觉得逐步开始想清楚的一件事谁会是robotics领域的open AI我觉得首先open AI可能也还会是robotics open AI因为他们其实robotics团队其实还是很强的一个团队我觉得一定不能小觑我觉得DMind我觉得绝对可能还是大模型的DMind对我觉得他们是一个极其的文我觉得极其极其优秀的团队对我觉得英伟达我觉得是很有希望的我觉得是很有希望的因为我觉得英伟达对物理AI是极其重视的我觉得Jim的团队我觉得名誉的团队我觉得都是足够强的团队而且资源我觉得都是给够的团队我觉得在国内的话我觉得可能自己我觉得可能阿迪的签问从我角度我觉得可能都是极其优秀的你不看好马斯克我觉得XAI是有机会的但是马斯克呢其实他现在的focus是他的本体的硬件他其实我觉得一个是XAI可能现在还是在一个大模型对吧他还是要把重心再把大模型给做好他那场仗没有打赢呢对没错所以这个是他可能XAI最关键的事而它的它既然有一个本体优势我觉得这个优势是别人没有的优势就是它本体的硬件优势它一定要把它发挥到极致对吧所以我觉得这个是特斯拉现在这个机器人的重心所以我觉得这两个其实现在两边还没有完完全全的汇到一起去你觉得机器人大脑现在的路线有分歧吗它收敛了没有我并不认为完全收敛我认为就是说其实就是刚才咱们提到的这个模型机数据这件事我认为可能就是说机器人大脑的架构可能这件事还并没有完完全全的手连那当然我觉得在已有的架构上已经有一些scaling out的端倪是基于非本体就是本体无关的数据仿真和人类数据去产生的那当然就是说这个大脑架构是否可以进一步的去演化它该如何更有效的去利用到世界模型等等我觉得这个还是一个研究问题就在这我觉得还有一定的研究问题需要被解决我们现在有很多的心思包括世界模型包括空间智能然后包括物理世界的AI这些都在讲一个事情吗还是相似的事情给大家解释一下这些新的概念对 我觉得他们其实还不太一样我觉得物理世界的AI可能更多的指的是能够在物理世界去行动的这些的模型那么我认为可能主要包括就是自动驾驶和巨神智能这个我觉得是一个对物理AI的一个定义那当然就是说我觉得空间智能的话我觉得它其实更多的还是关注在这个就是3D的这个空间视觉然后是否可以去有效的不只是重建更多是生成这个3D的这个空间以及基于它去进行相应的一些预测那我觉得世界模型可能更多的是你对物理世界有足够好的一个理解能力以及一个预测能力但是可能你欠缺对它的一个行动能力我觉得大概是这样的一个区别我们今天因为主要的话题是数据那你觉得如果在数据里面只解决一个最关键的问题它就能实现大幅的跃升 [150:00] 我觉得会是什么问题我觉得如果是距深的话我觉得可能现在最关键的问题是评测就是评测的规模的话我觉得这个是最核心的问题为什么这么说呢因为其实我觉得现在就是本体无关的数据的预训练的通路和skilling law我就已经出现了那我认为在评测上其实现在是一个卡口就这块是一个真正的卡口就是如果这个解决不了我认为大家很难去衡量自己智能的提升这个是一个核心对那在这儿我觉得就是刚才如我所说我觉得可能一定要去把真正的仿真的规模化的评测给它打造好我觉得这块会是一个所有人都需要的一个能力那如果是大元模型呢数据问题应该解决最关键的一个问题是什么大元模型我其实认为啊可能也是在评测和这个后续链端那他其实很多现在agent可能需要的是一个是更好的一个评价能力那么其实现在遇到的一个问题是什么呢就是说磨高一尺到高一丈就是当你模型能力提升了以后你需要更加牛的人去提供更加好的反馈或者去制定更加难的考题就更加有效的评测指标所以我觉得这个其实是现在可能大元模型遇到的最大的问题它其实是它本质来讲是卷越来越高阶的评价指标你觉得到哪一天数据问题会彻底不重要我其实最早就是我认为会有一天数据问题不重要可能是比方说15年可能20年可能会有一天数据不是一个问题但是我现在越来越思考就是说我就从第一性原理去思考人你说人什么时候不愿意去读书了或者人什么时候不愿意去学习了我其实觉得人可能越优秀越希望去提升自己他只不会变成就是说从向别人学习变成与自己去对标与自己的昨天去对标与自己今天去今天早上去对标对吧他会更加饥渴的去摄取到更多的知识但这些知识可能有的时候可能书本已经不够了他可能需要去在真实的世界去实践去遇到一些挫折然后拿到一些反馈来不断的去激励自己更好的去提升所以我其实认为可能智能越强我现在的观点跟之前我觉得其实有些变化我现在观点是我认为智能越强其实它对于知识的饥渴程度会越高对于数据的饥渴程度会越高但它可能就不想向外学习它可能是自我学习是的 我极统一我觉得就是说到了终局可能整体上来讲就跟马斯克说的咱们人可能就在一个仿真里头就是他可能就是在自己的这个咱们给他设定的一些仿真的环境里头去基于他自己去设定的一些成功指标他不断的去训练他自己的内功我觉得可能会有那么一天当AI开始向AI学习那Data Factory是不是就消失了我同意这个点就是说我认为Data Factory它不是一个第一性的一个需求对吧我认为知识或者说人类对于学习的渴求它是一个第一性的一个需求对那么我认为Data Factory它还是一个偏量范式的大规模的一个产生量范式的相对标准化知识的一个路径我认为这个路径可能很快就会不需要那你们不就消失了我们不是Data Factory我们我认为还是一个以系统驱动的以系统为中心的以评测为中心的通过帮助客户的模型发现问题并且基于这些有效的反馈和经验帮助他们去提升的一套的能力对吧这套能力包括示范也包括仿真的这些环境到终局的时候很有可能所有的人都不用我的数据但都用的仿真的环境在里头去用RL不断的去修炼内功我觉得可能会有那么一天AI会不需要这个你觉得AI需要吗如果它足够强大它需要一个教育系统吗我觉得到最后可能不是一个教育系统可能是一个环境对吧这个环境就是说有点类似于就是说人在这个社会上他去学习他总需要一个环境无论是一个比方说偏数字的一个环境或者偏物理的一个环境他都要在这样一个场景下去自我的去提升对吧这个场景这个环境其实本质上来讲可能是我们终局去提供给我们客户的那就有点类似于咱们去看大元模型的学习其实现在有很多的就比方scale等等给他们提供的是一个叫RL-inf刚才我提到就是一个服务强化学习的一个环境对吧那么让这个模型在里头自己的去修炼内功我认为这个是一个可能最终极的一个需求 [155:00] 这样的人的环境是什么爱因斯坦我觉得他可能有很多的是在他的大脑里头去构建了很多的思考前提对吧他首先他可能有一些他对于物理的基础的认知对吧然后基于这些基础的认知基于这些基础的这些定理他去构建了很多的思考实验思考实验某种层面上咱们可以给他理解为仿真对吧他其实很多的这个管理相对论侠义相对论它可能都是它自己的大脑里头的思考实验去试错去想出来的那么本质上来讲我认为如何去构造这样一个思考实验你可能需要一些物理你需要一些grounding就是一些限制条件对吧你需要足够多的这些环境来帮助它在里头去进行足够多的就是我觉得可能大规模的实验你觉得仿真是你就是我们开始聊到你一直想寻找但是以前没有找到现在找到的方向人事方向对 我觉得仿真是这个因为我认为仿真是真正能够去解决巨身数据问题的及时或者说我认为仿真是整个巨身智能它对于学习所需要的前提条件当然就是说我觉得仿真就是单独是仿真当然我觉得单独仿真可能并没有办法完全解决这个问题我认为它需要是一个刚才我提到的一个金字塔它是一个以仿真为中心但并不是一个仿真唯一的一套的一个系统的能力