特斯拉谷歌竞逐具身智能 硬件瓶颈与数据荒阻碍AI机器人商用

特斯拉谷歌竞逐具身智能 硬件瓶颈与数据荒阻碍AI机器人商用 AI机器人因无法跨越最后10%的商用准确率鸿沟且面临物理世界交互数据极度匮乏的困境，其“ChatGPT时刻”远未到来。 视频深度解析了具身智能（AI机器人）在走向现实过程中所面临的严峻挑战，指出机器人的硬件系统在感知、驱动、末端执行及能源供应上面临极高的技术与商业化门槛，而软件系统则受困于黑盒问题及严重的“数据荒”。通过回顾谷歌十年来机器人业务因无法突破商用所需的“最后10%”准确率鸿沟而分崩离析的历程，视频阐明了当下大模型虽能赋能任务拆解与视觉分割，但依然无法从根本上解决具身智能的准确性痛点。最后，视频引入李飞飞团队的DERL理论，探讨了身体结构与算法协同进化的形态智能，展望了具身智能摆脱人类刻板印象的未来可能。 特斯拉在2023年股东大会上展示了人形机器人Optimus的最新进展，其视觉学习与精准力控大幅提升，马斯克更预言十年内机器人将走进家庭。 (0:00) 具身智能面临严苛的硬件技术壁垒，感知系统易受损失真，重现人类78个关节的驱动与末端手部协同也极具挑战，成本与散热问题显著。 (4:59) 软件端受制于感知、规划与执行三层架构挑战，且物理世界真实交互数据极度匮乏，虚拟模拟训练依然面临巨大的“Sim-to-Real”现实鸿沟。 (9:59) 谷歌十年间收购超10家机器人公司最终多数受挫或裁撤，揭示了机器人技术从实验室90%准确率迈向商业化99%可靠性所面临的巨大断层。 (17:11) 李飞飞团队提出深度进化强化学习（DERL）理论，通过虚拟智能体实验表明智能源于身体与环境的交互，“形态智能”或将重新定义具身智能形态。 (28:16)

尽管特斯拉 Optimus 的最新进展与生成式大模型的爆发让具身智能重获关注，但硅谷 101 指出，受制于硬件瓶颈、真实交互数据匮乏以及商业化对准确率的严苛要求，AI 机器人的“ChatGPT 时刻”仍远未到来。 硬件四大核心部件的工程瓶颈与成本制约 (4:59) 具身智能是让 AI 进入物理世界进行交互的实体载体，其硬件包含感知、驱动、末端执行与能源四大系统，均面临极高技术门槛。感知端传感器长期使用易受颠簸、沙尘影响导致校准失效；驱动端要模拟人体的 78 个关节，需兼顾微型化、散热与抗摔缓冲；末端执行器则极难平衡手部的抓握力道与柔软度。例如特斯拉 Optimus 虽通过 11 个自由度在 2023 年 5 月实现了不捏碎鸡蛋的抓取并可负重约 9 公斤，但行业整体仍处在突破阶段。 动力与成本也是硬件走向大众的核心制约。波士顿动力 Atlas 依赖 28 个液压驱动器实现高功率跑酷，但造价极高、难以走出实验室；特斯拉 Optimus 为达成 2 万美元的目标售价而选用电机驱动方案。正如科技媒体编辑 Bryan Heater 所言，硬件开发的极高难度直接决定了机器人技术的落地挑战。 感知规划执行三层架构、数据荒与模拟差距 (9:59) 在机器人的软件架构中，感知理解层在堆叠或未知姿态下识别率骤降；行为规划层存在 AI 的黑盒不稳定性，动作难以保持一致；执行层则因需要 100% 的确定性控制，目前仍主要依赖传统控制论而非 AI。更深层的瓶颈在于物理世界交互数据的稀缺。OpenAI 放弃机器人部门正是由于数据收集极其艰难：训练擦桌子等动作需人类在不同光照下长时间示教，谷歌训练涵盖 700 个任务的 RT-1 模型动用了 13 台机器人耗时 17 个月才采集到 13 万个数据点，与大语言模型数千亿词的数据规模相差悬殊。 为缓解“数据荒”，业界转向仿真训练，如谷歌 Everyday Robots 曾部署 2.4 亿台虚拟机器人以百倍削减真实数据需求。然而，虚拟世界与物理世界存在显著的“Sim-to-Real”差距，模拟跑通的算法在真实复杂环境中仍会频繁失效。 从谷歌折戟看“最后 10%”的商业化鸿沟 (17:11) 自 2012 年起，谷歌曾收购波士顿动力等 11 家机器人公司试图融合 AI 与硬件，但最终因商业化受阻分崩离析。波士顿动力被折价转卖，Everyday Robots 也在 2023 年初被裁撤。其核心教训在于商用落地对成功率有近乎苛刻的要求：技术在实验室达到 90% 准确率相对容易，但工业应用需要 95% 甚至 99% 以上。若机器人每 10 次操作出错 1 次，企业不仅要承担高昂采购成本，还需额外雇人监视，稍有不慎便会导致产线瘫痪，使得“替代人工”的商业逻辑难以成立。 大模型带来的赋能与通用性对准确性的权衡 (21:51) 大模型在机器人领域的角色正在显现，如拥有 5620 亿参数的 PaLM-E 赋予机器人语言理解与任务拆解能力，Meta 的 SAM 带来了零样本视觉分割，谷歌 RT-1 也证明了跨机器人数据训练的可行性；马斯克亦透露特斯拉打通了 FSD 与 Optimus 的底层算法。然而，当前大模型主要停留在科研阶段，大模型带来的核心是“通用性”，而工业与实用场景苛求的是“绝对准确性”。大语言模型的幻觉在对话中尚可容忍，但在物理世界中哪怕一次常识错误，都会直接造成停工、设备损坏甚至安全事故。 软硬一体的演化反思：李飞飞的形态智能 (28:16) 针对“先造硬件再塞入 AI”的割裂路线，学术界提出了底层重构方案。斯坦福大学李飞飞博士在 2021 年提出“深度进化强化学习（DERL）”，强调生物智力与身体结构在环境互动中共同进化。其团队通过虚拟智能体“Unimal”实验证实了形态智能与鲍德温效应：在不同地貌与任务竞争下，身体形态具优势的后代能以更快的速度习得新算法，甚至将早期需复杂训练的跑步动作沉淀为“天生本能”。这表明未来的具身智能或许不拘泥于人形，而是身体与环境高度契合的自主进化形态。 回顾“Robot”诞生百年的科幻预言，尽管具身智能代表了 AI 走向物理世界的终极方向，但从软件黑盒、数据壁垒到硬件可靠性与成本，行业离成熟商业化依然关山重重。

[4:59] Bryan Heater: 如果硬件发展很困难，那么机器人技术基本上是不可能的。 [28:16] 李飞飞: 形态智能 [28:16] 李飞飞团队（DERL理论相关）: 与环境交互、在环境中做事的整体需求和功能

[0:00] Hello 大家好 欢迎收看硅谷101 我是陈倩5月中旬特斯拉在股东大会上是发布了人形机器人Optimus 晴天柱的新进展你们看是不是还是挺炫酷的虽然不是现场演示但是在整个单摸里面这个人形机器人已经可以很流畅的做一系列的动作了包括走路并且利用视觉学习周围的环境手臂力道控制也很精确可以不打碎鸡蛋整个手掌看上去也很柔性可以拿捏不同物品那么可以看出来特斯拉的机器人发展还是挺快的要知道就在几个月前2022年的9月特斯拉人工智能日上马斯克首次亮相Optimus的时候在舞台上整个机器人看着还挺笨拙的能够做的动作非常有限连走路都做不到还得好几个人给台上舞台整个受到外界的一阵嘲讽那么现在进展如果真的这么快或许真如马斯克所说在不到十年的时间中人们就可以给父母买这样的一个机器人作为生日礼物了我看到这个说法的时候简直太开心了有没有如果生活中真的能够有这么一个智能的AI机器人我都已经想好让他帮我干什么活了首先每天的遛狗环节我就交给他了你回来你回来其次呢做家务啥的我也不用管了还有呢去外卖买咖啡银行排队我通通可以脱手想想未来的日子就很兴奋嗯XGPT加上AI机器人感觉我都不用工作了直接就可以收拾行李去环游世界去了然而呢往坏了想又觉得中节转里面的机器人就要破壳而出了很可怕所以呢我也很矛盾啊就像舆论上支持和反对AI机器人的两派在不停的相互恰恰一样我到底气不期待AI机器人的到来呢但是呢在硅谷101团队做完AI机器人的调研之后呢给我是泼了一盆冷水他们跟我说倩姐不管你气不期待这事儿八字都还没有一匹还早着呢AI机器人的产GBT时刻还远未到来所以这期节目我们就来聊一聊为什么AI机器人这么的难做现在的进展到哪了特斯拉的机器人有什么优势为什么历史上谷歌连续收购了十多家机器人公司但最终还是面临阶段性的势力为什么OpenAI放弃机器人研发还有如今AI大模型对机器人能够带来什么样的进展那我们现在就开始吧首先我们要来定义一下什么叫做AI机器人这个概念其实在学术界里面还有一个很fancy很酷炫的名字叫做聚身智能embodied intelligence顾名思义啊就是具有身体的人工智能是AI呢进入我们物理世界进行交互的一个载体但是呢聚身智能这个词啊太学术了可能还有很多人不太熟悉所以在咱们的这个视频当中啊我们就把巨神智能定义为AI机器人那么你可能会问啊AI机器人和机器人有什么不一样呢或者换个问法AI机器人和AI有什么不一样呢这幅图就能简单的解答这两个问题我们可以把机器人分成两类一类呢是非智能机器人一类是有智能的机器人AI机器人同时呢人工智能也有两类一类是虚拟世界中的比如说XGPT还有呢一个就是有手有脚能够在真实世界中有交互的你看这幅图啊机器人和人工智能交接的这个赛道就是有智能的AI机器人也就是巨身智能那关于非智能机器人和AI机器人我们来举几个例子啊来帮大家辨别一下目前为止呢基本上所有工业机器人只能被编成为执行重复的一系列运动那么这就是前者非智能机器人了更多是像个机器那么这几年蛮流行的咖啡机器人就是一个很好的例子比如说美国这边有一个公司叫做CafeX就是一个机械手臂来给顾客做咖啡虽然看上去有点smart但是它完全是没有智能的所有的运动轨迹啊杯子的位置握杯的力度反转摇晃杯子的方式还有力度都是提前编程好的那怎么才算具有智能的AI机器人呢我们还是拿刚才的咖啡机器人举例如果我们将机器人加上感知功能比如说加上相机等视觉识别的AI算法让这个咖啡机器人的手臂可以和外界交互那它可以根据杯子的不同高低远近的位置不同杯子的颜色大小不同咖啡的品类通过对外界的感知而做出不同的决定那这就是AI机器人了简而言之AI算法能够帮助机器人去执行更复杂的任务让机器人从机器进化成机器人中英在最后一个字那么从这两个分类来看非智能机器人已经开始了大规模的应用包括在最新巴菲特股东年会当中芒哥就说现在汽车工厂里面已经有很多机器人了这些都是用来比如说组装汽车给车喷漆这样的非智能机器人但是对于 [4:59] AI机器人来说如今还在非常早的阶段困难非常多连一些简单的AI机器人投入市场都是接连的遭遇失败那么你可能就要问了为什么我们一定要发展剧生呢为什么AI机器人就一定要有一个实体呢那其实这个问题很简单你想啊现在无论是生成式AI多么先进都只能在电脑里面帮人类完成虚拟的任务写写文件啊边边城啊画画图啊聊聊天啊就算之后有了各种各样的API接口AI可以进行各种的软件的调用可以帮你比如说订机票回家邮件完成各种各样的文件工作但是在现实环境当中很多问题AI还是没有办法帮助人类完成的比如说我们开头说的那些活你回来你回来你回来所以当XGPT引发生成式人工智能热炒之际AI机器人赛道也是迎来了非常大的关注包括2022年12月13号谷歌发布了多任务模型Robotics Transformer 1简称RT1用以大幅度的推进机器人总结归纳推理的能力在2023年3月谷歌和德国柏林工业大学共同的发布了可用于机器人的通用大学模型POM-E它和谷歌的母公司Alphabet的机器人公司Everyday Robot结合可以指导机器人完成复杂的任务而就在同一个月OpenAI旗下的风险投资基金领头挪威人型机器人公司OneX总融资额度达到了2350万美元似乎也预示着OpenAI在大模型机器人应用的新布局还有就是我们开头说到的特斯拉也在快速的发展人型机器人Optimus同时在硅谷我们看到各种各样的AI机器人创业公司也是如火如荼但是呢虽然有了这些进展AI机器人的研发还是非常的难除了硬件的挑战之外呢还有软件和数据上的挑战所以呢接下来我们就来试图解释一下为什么AI机器人这么的难我们首先来说一下硬件那么科技媒体TechCrunch硬件领域的编辑Bryan Header曾经就说过如果硬件发展很困难那么机器人技术基本上是不可能的那么要理解这一层我们首先要理解一个机器人的大致的组成那么根据科技内容网站rehack的解释常见的机器人有五个部分组成那么第一是感知系统也就是传感器比如说摄像头麦克风距离感应器等等相当于人的眼睛鼻子还有耳朵那么这是机器人的五官第二呢就是驱动系统比如说驱动轮子的马达机械臂上面的液压动力系统等等相当于是人的肌肉第三呢是末端执行系统相当于是人的手它可以是机械手臂也可能是机械臂上面的一把螺丝刀或者是喷枪用以和外界环境进行物理上的交互是机器人的四肢第四呢是能源供应比如说电源或者电池这是能量第五啊最后是运算系统以及软件将所有上面的系统给整合起来完成任务相当于是机器人的大脑那么前四点呢都是硬件的难点第五点呢是软件的难点我们下个章节来讲哈首先呢我们来说一下前四点机器人感知系统呢需要把机器人各种的内部状态信息和环境信息从信号转变成机器人自身或者机器人之间能够理解和应用的数据还有信息也就是说我们要让机器人去理解周围的环境我们就在机器人的身上安各种各样的传感器比如说光啊声音啊温度啊距离啊压力定位还有接触等等让机器人通过五官来收集接近我们人类感知外界的信息目前呢多种的传感器都得到了迅速的发展但是呢传感器的精度还有可靠性依然是需要解决的难题那就比如说相机进水之后呢或者进沙尘之后或者颠簸之后那相机的校准呢就容易失效还有呢长期使用之后呢像素点也会容易坏死等等硬件问题都会直接导致机器识别的不准确其次啊机器人的肌肉也就是驱动系统我们人类一共有78个关节我们依靠这些关节呢来进行各种各样精准的动作包括我们的肩肘腕指那如果要重现在机器人上每个关节的技术门槛和成本都非常高并且呢一边要求体积小心度高重量轻但是另外一边啊又要求它抗摔耐撞那比如说当机器人快速运动的时候驱动力输出的功率就很高那要保证它不会因为发咒问题而烧坏同时呢又要具备这个缓冲能力来保护机器人关节不怕撞击所以呢要协同这么多的关节部位还要考虑这么多的因素确实啊就是非常的挑战那么还有呢就是末端执行系统那就是手这个也是非常难做的比如说机器人手指的这个柔软度啊抓握的力度要怎么协同就非常重要比如说机器人握鸡蛋这个任务你胶石大了吧鸡蛋就碎了但是如果你胶石小了吧哎鸡蛋握不住摔地上也能碎了那比如说波士顿洞里他开发的Atlas机器人虽然你看他可以灵活的各种跑酷啊 [9:59] 但它的手掌之前的版本直接就是一个球之后变成了一个夹子的形状真的就是伸出元首但是特斯拉发布的擎天柱倒是展示出和人手非常相似的机械手官方说擎天柱拥有11个精细的自由度结合控制软件能够像人手一样复杂灵巧的去操作并且能够承担大约9公斤的负重所以在最新的DEMO视频里面我们也能够看到特斯拉机器人在硬件上的一定优势包括能控制力度的抓握很多物品并且不会打碎鸡蛋我们再来说一下能源供应刚才我们说波士顿动力的这个Atlas机器人虽然各种炫技动作非常的酷炫但是它必须要配置功率很大的液压驱动波士顿动力官网就描述说Atlas配置了28个液压驱动器才能够让机器人完成各种爆发力超强的动作而这样的代价是制造成本居高不下难以走出实验室完成商业化所以我们看到目前将目标数价降到2万美元的特斯拉晴天柱人形机器人后来就选用了稳定性还有性价比比较高的电机驱动的方案那我想也是出于成本的考虑那么说了这四大块大家是不是已经觉得机器人硬件实在是太难了这么多复杂的系统这么多不同的硬件将它们要整合在一起协同工作而且还要让合适的部位有合适的力量速度还有准确性来去做需要的工作更是难上加难然而机器人的身体还不是最难的接下来我们就要来说说机器人的软件部分也就是机器人的脑子好,我们再来分拆一下机器人的软件部分当我们给机器人一个任务的时候比如说从一堆娃娃的袋子里面去捡起来其中一个特定的娃娃那么机器人的软件系统一般要经历以下的三层那么第一层是理解任何的需求和环境perception机器人会通过传感器了解周围的环境搞明白装娃娃的袋子在哪里这个袋子在桌上还是在地上整个房间长什么样子我要去挑什么样的娃娃那么第二层是拆解成任务Behaviour Planning和路径规划Motion Planning那么机器人明白任务之后他需要将任务拆解成我是要先走过去然后举起我的手臂识别娃娃捡起来然后再把娃娃放在桌上同时基于刚才拆翻好的步骤他要计划好应该先用轮子跑多远机械臂应该怎么动怎么去拿起物品然后要使多大件等等然后第三层就是驱动硬件去执行任务execution把运动规划转变成为机械指令发到机器人的驱动系统上确定能量动量速度等合适开始执行任务我们来说说这三层软件在AI上的难点第一层的难点在于视觉等环境识别和理解包括识别未知的骨体以及识别物体的未知姿态那比如说机器人在识别娃娃的时候有可能横着的时候可以识别但是梳着的时候反着放的时候就难以识别了更别提一个篮子里面有上百个娃娃的时候每个娃娃都有不同样的姿态那就更难以识别了而第二层的难点在于AI输出的不稳定性AI拆解任务的时候每一次的解法可能不同导致任务拆解不一致那么这会产生想不到的一些结果那么这个根本原因还是AI的黑瑕疵问题我们用激励去追求输出的结果但是AI选择实现这个结果的路径可能会出现不稳定性那么这一点呢我们也在OpenAI黑手党的那期视频当中有讲过那我们再回到机器人从篮子的100个娃娃中挑选出其中一个然后放在桌上这个任务那正常人的路径规划就是稳稳的加起来然后平稳的移动然后释放在桌上对吧但机器人可能就直接甩一个胳膊过去或者是直接这样扔过去放在桌上那么第三层对发展AI的悖论在于硬件执行任务的驱动需要精准的控制而数据公式将100%准确率为基础并且实现更高频运作的控制论更加适合执行这一层的任务但目前AI做不到100%准确速度也更慢耗时耗力所以这一层对AI的需求并不强烈业界还是采用传统的控制论的方式来做除了这三层各自的AI难点之外软件还有一大难点就是数据难以收集而数据收集正是AI自我学习的必要条件我们在OpenAI黑手党内一起中文有讲过OpenAI曾经有机器人部门但是后来放弃了这条线就是因为机器人学习的数据太难收集了所以数据是人工智能的根基就算是全世界最顶级的AI公司也会为机器人领域没有足够的数据而发愁不管是文字图片视频还是编程的大语言模型都有全互联网海量的数据用来训练才能够在今天实现 [14:59] 技术上的突破但是机器人用什么数据来训练呢那得在真实世界中亲自采集数据并且目前不同的机器人公司不同机器人的训练数据还不能通用采集的成本也是非常高的那比如说你要训练机器人去擦桌子吧人类要远程操控这台机器人给它演示配上这个动作的文字描述成为一个个的数据点你以为一个任务演示一遍就行了吗当然不是你运行的时候得从各个不同的角度各个不同的传感器去采集数据甚至不同的光影效果的数据也都得采集不然你的机器人就只能白天擦桌子晚上就擦不了了或者只能从左边去擦右边就擦不了了再比如说训练谷歌的RT1模型用的数据集有700个任务的13万个数据点13台机器人花了17个月才采集完时间花了这么多但是采集的效率是非常低下的做个对比XGPT的训练数据估计是有3000亿个单词13万跟3000亿这个对比是不是太明显了点也难怪当年OpenAI放弃机器人去all in 去演大梦想了因为明显后者的数据参数是更好采集的但是人的交互过程中是有55%的信息通过视觉传达比如说我们的仪表姿态啊肢体语言等等有38%的信息通过听觉传达比如说说话的语气情感语调语速等等剩下只有7%来自纯粹的语意所以XGPT这样的人工智能聊天助手能输入的部分只占人类交互中的7%而要让人工智能达到巨身智能那么剩下的信息视觉啊肢体啊听觉啊触摸等方式的数据采集呢是需要给到机器人去学习的那你说有没有什么低成本的数据采集方法呢现在的做法是在虚拟世界当中去训练机器人也就是模拟simulation目前的大多机器人公司的路径都是先在模拟器中训练机器人跑通了再拿到真实的这个世界当中去训练那比如说谷歌之前的Everyday Robot就大量运用了模拟技术在他们的模拟器当中有2.4亿台机器人在接受训练在模拟的加持下,训练机器人拿东西这个任务,原来需要50万个数据,在模拟的帮助下,现在只需要5000个数据了。那么各个角度不同光景的数据也可以被自动化,不用去一个一个的采集了。但是,Simulation也不是万能的解决方案,首先它本身的成本也低需要大量的算力去支持其次虚拟世界和真实世界依然存在着巨大的差距在虚拟世界跑通的事你到了真实的世界可能就会遇到无数的新问题所以数据收集的挑战依然是巨大的所以讲到这里我们就来总结一下数据采集难三层任务AI化难再加上对硬件的控制和整合其中的统一性和准确性都是非常严峻的难题那么在过去十年AI机器人的发展并没有人们一度想象中的那么乐观并且在实验室中看似已经解决的问题到了实验室外的商用探索当中又出现各种各样的新问题那么讲到这里我们就不得不说说谷歌十年压住AI机器人但是最终没能够成功的故事其实也是反映了AI机器人上的发展困境在2012年前后深度学习3D视觉自主规划和柔顺控制等技术的发展让机械币有了更好的眼睛和大脑同时增加了环境感知和复杂规划的能力可以去处理更灵活的任务了也就是我们刚才说的第一层和第二层的任务上AI在软件上的应用出现了一定的进步所以我们看到在2012年如果大家还有记忆的话这又是一个暴露年纪的话题那么一些科技巨头当时开始疯狂的收购智能机器人那比如说谷歌在2012年到2013年间一口气是收购了包括波士顿动力在内的11家机器人公司那么当时呢谷歌内部管机器人这条线的人叫做安迪·鲁宾是不是听着很耳熟没错它正是安卓系统的创始人但同时很多人不知道的是它还是一个机器人迷大家去看一下安卓的英文Android这个词英文原意就是人形机器人的意思而且安卓的标识大家还记得吗也是一个绿色的小机器人那么鲁冰从2013年就开始秘密在谷歌组建机器人部门大家看当时他收购的这些公司除了波士顿动力之外还有研究双足机器人的Sraft公司研究人形机器人的Meka Robotics研究机械手臂的Redwood Robotics计算机视觉人工智能公司Industrial Perception制造基于机械臂的机器人摄影摄像系统Bot & Dolly生产小型和全向滚轮以及移动装置的Holomney公司大家看一下这些公司谷歌显然是意识到了AI在机器人中的重要性希望结合AI群 [19:59] to help the development of the machine. There are CEOs who are running them to agree on a product road map and things like that are pretty hard. and then the AI machine will be able to buy the best. But the fact is that it's a bad thing. After 10 years of development, the machine companies found that in the market market market still not sure the perfect and perfect quality For example the market can be a good job The training skills of the machine can reach 95 of the perfect那么就意味着还需要有人去监督辅助机器人的运行那么工厂老板们一算账我既要买机器人还得雇佣人类那还不如全雇佣人类来做呢所以机器人的准确度一般要达到95%以上甚至要到99%才能够真正的有商业价值但是现实是如今AI机器人可以做到90%但是从90%到100%的最后10%现在就是无法突破而在这一天到来之前机器人就很难替代人工并且有时候还会当机导致整个生产线瘫痪因此客户也不愿意去买单所以准确率达不到那么投入商用就遥遥无期而这又意味着谷歌要不断的烧钱但是又看不到回报安迪鲁宾在2014年爆出性仇本离开了谷歌之后他收购的这11家公司经过了各种的重组有的被再出售比如说波士顿动力就被卖给了软银然后又被卖给了韩国现代卖给现代的时候他的估值就只有谷歌当年收购的时候的三分之一还有的团队被解散比如说Shrapped公司 Robots robots相当一部分人都被裁掉了其中everyday robots部门不再被列为单独的项目很多员工被并入了google research或者其他的团队我们开头举例的那个加巴巴公司Vacarius也是因为融资不理想被谷歌收购而很快成了谷歌裁员的重点目标连Vacarius的创始人都离开了谷歌那我们讲谷歌阶段性失败的这个机器人发展线并不仅仅是因为谷歌的办公室政治或者是性扯文而是想说明AI机器人行业发展的一个缩影就是AI机器人在软件和硬件上都还需要解决的问题太多挑战太大了而现在重要的问题就来了如今XGPT的出现能否打破这个僵局呢我还记得我们团队在跟几位从事机器人和AI工作的科学家吃饭的时候我问大家这个问题说现在这么热的AI大模型能够帮助AI机器人什么呢与最近爆火的生成是AI不同机器人似乎还没有到所谓的XGBT的时刻很多机器人产品里都还没有或者只有很少量的AI更多是通过Computer Vision去建立视觉而更底层的动态规划和机械控制依然使用的是传统机械控制论的思路去解决并不算是真正的有学习能力的机器人比如说从严格定义上来看大名鼎鼎的波士顿机器人公司似乎就不是一个AI驱动的公司更像是一个传统机器人公司特别是他们的AI研究院在2022年才成立但是一个积极的现象是各家机器人公司对AI的整合都越来越多了搭载了更多AI的机器人也更加受到资本的青睐比如说我们在OpenAI黑手党内一期节目提到的Provariant公司他们的工业机器人主打的卖点就是加载了预训练的AI模型可以在没有特别训练的情况下就执行获顾的分解证物分解的东西变化之后也可以自主的去适应如今现阶段大模型对机器人的应用大多停留在科研的阶段还非常的早期其中AI大模型无法在根本上帮助巨神智能的一个 [24:59] 原因在于大模型它提高的是通用性而AI机器人需要解决的问题是准确性这个钥匙和锁对不上很简单的一个例子如今像XGBT这样的大模型的准确度在一些领域上有的时候呢还没有经过了充分训练的小模型的准确度高那么XGBT能够通用的回答各种各样的问题但它的回答不免出现常识错误我们有些时候还可以对这些错误一笑而过但如果同样的事情发生在机器人身上那带来的可能就是停工停产经济损失或者呢甚至更严重的事故但是啊尽管如此从未来前景上来看大模型还是能够给机器人领域带来一些些的正面推动的那首先啊在自然语言交流上我们再回到机器人软件的三层模型上来看谷歌发布的拥有5621个参数的多模态视觉语言模型抛秘主要解决的就是第一层和第二层的部分问题因为这一部分之前要靠编程来告诉机器怎么做那么现在机器人就可以听懂自然语言并且将自然语言任务直接拆解成可执行的部分同时2023年4月初Meta发布了名类Segment Anything的通用AI大模型简称SAM我们硅谷101音频的嘉宾Jim Fan在聊SAM的那一期节目当中就说SAM是图像识别领域的GPT时刻因为SAM使得计算机视觉可以分割一个从未见过的呼题而这会在第一层软件上为视觉识别带来非常大的帮助其次像谷歌的RT1主要解决的是三层模型当中的第二层问题也就是如何将任务和环境信息转化成动作规划研究人员就发现在Transformer大模型的加持下机器人执行从未做过的任务的成功率明显上升对不同环境甚至有干扰情况下的成功率也有所上升这是迈向通用机器人的重要一步也就是说机器人可以执行之前从未执行过的任务了再者在数据上得到提升在RT1当中研究人员使用了别的机器人的数据来训练模型结果发现自己机器人执行任务的准确率提升了虽然这方面的研究还比较的早期但是如果未来有大模型能够使用不同机器人的数据进行预训练可能会进一步的提高准确度那么这意味着机器人AI的通用训练机也能够实现了那么这几个进展是目前的大模型热潮除了给AI机器人赛道带来信心之外还切实带来的进步但是即使如此我们现在还在非常早期的阶段也有业内人士告诉我们硅谷101虽然这四个模型的发布振奋了AI机器人市场的热情但是POMI和RT1这样的技术对于行业来说其实都不是全新的消息因此这四个模型能够如何赋能AI机器人还需要我们进一步的去验证另外虽然特斯拉最新发布的视频没有对Optimus做任何技术上的解析但是马斯克就透露说特斯拉已经打通了FSD和机器人的底层模块实现了一定程度的算法复用我们知道FSD算法指的是特斯拉全自动驾驶是Full Self Driving系统的缩写那么FSD这个算法可以让车辆可以实现自主导航和自动驾驶功能包括让车辆能够在各种各样的交通环境下进行感知决策和控制那如果这一套基于神经网络和计算机视觉的技术算法也可以移植到AI机器人上那相信会对软件方面帮助不少但是呢同时我们还想强调一点在AI机器人流派当中还有很多其他的尝试正在进行不一定大模型神经网络就能够成为这个巨神智能的解药大模型也不一定是我们能够到达通用人工智能的解药我们今天讲的这个巨神智能发展派的做法呢还是在人工智能上将软件和硬件分开各自解代然后将两者融合的方式去做AI机器人那目前啊在学术界就有一些新的流派在产生认为人类现在训练巨神智能的方式啊还只是单纯的输入和输出但是居生智能也许需要更加多通道的全面的跨模态交互因为这样的行为交互才能够体现机器对于环境的认知试探和反馈才能够在和环境的互动过程中学习和成长那比如说呢斯坦福人工智能事件室前主任李飞飞博士在2021年就提出了DERL的概念这个词是深度进化强化学习的缩写这是一种非常新的发展巨神智能的思路与其人们设计出巨神智能的最终形态身躯再强加上AI软件来驱动李飞飞博士就提出智能生物的智能化程度和它的身体结构之间是存在着很强的正相关性不如让AI自己选择巨神的进化而这样的巨神不一定是人形 [29:59] 也可能就是说对于智能生物来说身体不是一步等待去加载智能算法的机器而是身体本身就应该参与算法的进化那么李飞飞博士说他通过回溯5.31年前的寒5G生命大爆发找到了灵感当时许多物种首次出现如今共识的科技理论认为当时新物种的爆发部分原因是因为眼睛的出现所驱动的那视觉让生物们第一次看清楚周围的世界而通过视觉物种的身体需要在快速变化的环境中移动导航生存操纵和改变从而自行进化也就是说地球上所有的智力活动都是生物通过自己的身体真真切切的与环境产生交互之后通过自身的学习和进化所遗留下来的智力遗产那么巨神智能也就是AI机器人为什么会是一个例外呢为什么不是自己进化而是让人类设定最终形态呢所以李菲菲博士在DRL,也就是深度进化强化学习的论文中,提到了生物进化论和智能体进化的关系,并且借鉴了进化论的理论,制造了一个假设的智能体,名为Unimal,就是图中身上长满了小棍的东西,是Universal和Animal拼起来的一个词然后规定了模拟环境的虚拟宇宙中的三条规则那么第一条规则是呢这个宇宙中存在大量的虚拟生命agents这些agents的巨身就是这些像小罐一样的肢体和头部拼起来的虚拟生命这些巨身代表着不同基因代码模拟出不同环境下进化出来的不同巨身那么大家可以看到平地还有崎岖不平的山路还有和前面有障碍物的环境下巨身会进化出不同的结构有的像巴掌上鱼一样有的像小狗一样的四足结构反正就是非常的不一样那么第二条规则是这些形态各一的虚拟巨身都需要在自己的一生当中通过使用机器学习算法来适应不同的环境那比如说平坦的地面充满了障碍的沙丘这些环境中去完成不同的任务像是巡逻啊导航啊躲避障碍物啊搬运箱子等等而第三条规则是通过一段时间的学习训练之后呢虚拟聚身之间要互相的比赛只有表现最突出的一部分才能够被保留下来然后他们的基因代码经过互相的组合之后呢产生大量新的身体结构再重复第一和第二条规则当中学习适应各类环境和任务的一个过程要注意的是上一代虚拟生命遗留给下一代的有只有它们的身体特征还有身体结构而不包括它们在一生当中学习到的经验和算法那么通过搭建这样一个虚拟宇宙研究人员在里面使用各种的条件对上千个巨身形态进行了严酷的筛选最终发现一个物种在前几代通过长期和艰苦的深度学习获得的行为在后几代中会变成一种类似本能的习惯那比如说某个巨生的祖辈花了很长的时间才学会跑步但是在经过了几代进化之后他们的后代生下来没多久自己就能跑了那么李飞飞团队的研究人员就说在学习和进化的双重压力下最终只有那些在结构上有优势的身体结构才能够被保留下来进行进化那么这些结构由于可以更容易的学习到更加先进的算法于是在每一代的竞争中就积累下了大量的优势那么研究人员把这种身体结构上的优势叫做形态智能在算力相同的情况下具备形态智能优势的生物就可以更快的获得学习上的优势从而赢得残酷的生存竞争这其实是验证了19世纪末出名的鲍德温效应所以这篇论文得到的结论就是DRL深深度进化强化学习呢使得大规模的模拟呢成为了现实通过学习形态智能的进化过程可以加速强化学习而李飞飞博士也表示聚身的这个含义不是身体本身而是呢与环境进行交互以及在环境中做事的整体需求和功能也就是说将进化论放进人工智能领域用聚身智能而非纯粹的算法智能来加快人工智能机器人的进化速度也许是能够更快推进聚身智能前进的一种方式目前研究依然还是在非常早期的阶段所有的训练也都还是在模拟期当中但这已经让之后的聚身智能发展充满了各种悬念了那说不定最终出现在我们面前的聚身智能都不是我们想象中的那种人形机器人的形态有可能是一种浑身插满了各种干木棍的什么东西也说不定所以在我们这个视频的结尾得到的结论就是AI机器人也就是巨升智能的发展没有那么容易这个赛道还没有等到自己的差GPT时刻我们开头描述的那些场景距离实现还早着所以大家既不用担心终结者很快会到来也不用兴奋很快就会有AI机器人能帮我们去遛狗排队 [34:59] 但是呢 具身智能的出现是机器人robot这个词最开始被发明的时候就在人类的想象中的大家猜猜英文robot是怎么来的这个词啊 最早其实出现在1920年捷克文学家卡雷尔·恰佩克的三幕具罗素姆万能机器人RossumsUniversal Robots而robot这个词呢源自于捷克语的robota捷克语我不是很确定该怎么念但是英文拼写大概就是这么个拼写意思是苦力和奴力的意思之后Robot就成为了机器人的专有名词很有意思的是这个三幕剧讲的是一个什么故事呢这个故事讲述的是罗素姆这个工厂大规模制造和生产机器人本来初衷是完成所有人类不愿意做的工作和苦差事从而解放人类去投身于更美好更高级的很多事物但是后来机器人发掘人类十分的自私和不公正终于他们就造反了因此消灭了人类但是机器人不知道如何制造自己认为自己很快也会灭绝所以他们就开始又去寻找人类的幸存者但是就一直没有找到最后一对感知能力优于其他机器人的男女机器人相爱了这个时候机器人又进化为了人类世界又起死回生了那么一百多年前机器人Robot这个词诞生的时候小说家佩恰克似乎就觉得终有一天巨身智能会来到人类的世界并且和人类的关系变得扑朔迷离机器人可以消灭人类但也可以进化为人类我不知道是否有这一天这个幻想的故事会真实的抵达到我们的世界但是稍微能够安抚大家的是至少在现在我们依然距离这个故事还很遥远好的感谢大家收看本期的硅谷101我们的AI系列呢还在继续记得关注我们欢迎大家留言点赞和讨论我们下期见了拜拜字幕志愿者 杨茜茜