Physical Intelligence推自主采集算法 机器人靠自我试错超越人类水平

Physical Intelligence推自主采集算法 机器人靠自我试错超越人类水平 Physical Intelligence研究员柯丽一鸣指出，机器人规模化的核心突破点在于摒弃高成本的人工遥操作，通过强化学习让机器人自发采集真机体验数据，以实现复杂家务场景的物理极限超越。 访谈中，Pi 核心论文作者柯丽一鸣详细拆解了 Pi 从 π₀、π₀.₅ 到 π*₀.₆ 的通用机器人大脑技术路径与强化学习细节，并分享了放弃剑桥教职加入 Pi 的心路历程。同时，她以跨界小说家的独特视角，梳理了全球机器人半个世纪以来的学术族谱、CMU 与伯克利等派系的理念碰撞，以及硅谷当下具身智能的创业格局。对话还深入探讨了 VLA 架构、数据生成、Scaling Law 边界等硬核议题，并延展至科技变革对未来人际关系与人类社会的深远影响。 柯立一鸣拥有顶级 AI 研究员与网络小说创作者双重身份，认为具身机器人研发与构思虚构世界均需天马行空的想象力与极度严密的工程执行力，现阶段 AI 威胁论因执行意图脱节、责任主体缺失及物理泛化能力稚嫩而难以成立。 (1:11) 机器人学发展经历了以 CMU 为代表的传统物理建模与精密控制派，以及 UC 伯克利和 Pi 代表的端到端机器学习派的交锋；数据驱动方法的核心价值在于消除系统对专家的过度依赖，让机器通过物理交互自主进化。 (45:00) 硅谷具身智能格局分化为教授创业派（Pi、Skild AI）、极客商业派（Tesla Optimus、Figure）与硬件派（1X Technologies），并在构型上呈现人形信仰、双臂实用与多轮手狂野模块化三种哲学路线。 (85:00) Physical Intelligence（Pi）推进了从专注于高难操控上限的 π0、迈向百个 Airbnb 真实房间验证泛化的 π0.5，再到引入真机自主 Rollout 与强化学习体验超越人工遥操作的 π*0.6 等技术迭代。 (115:00) 柯立一鸣放弃剑桥大学教职加入 Pi，指出高校极度缺乏工业级算力、数据与硬件工程支撑；中国在电机与制造供应链上展现出统治级迭代速度，而 Pi 坚持以纯粹研究对抗过早商业化，深信软件算法才是具身智能终极壁垒。 (155:52)

硅谷具身智能独角兽 Physical Intelligence（Pi）研究员柯立一鸣指出，当前机器人研究正从专家建模的传统控制学派转向数据驱动与强化学习，而突破物理世界操作上限的核心在于摆脱纯人工遥操作，依靠机器人在真机环境中的自主试错与归因。 技术范式交锋：从传统物理建模到端到端强化学习 (45:00) 传统机器人学（如 CMU 体系与波士顿动力）建立在精密物理动力学建模、路径规划与控制理论之上，依赖专家在特定硬件上进行线性调参，虽在工业与航天领域极具鲁棒性，但边际扩展成本高昂且缺乏通用泛化力。相比之下，以伯克利派系为代表的数据驱动与端到端机器学习试图让系统摆脱对专家的依赖。柯立一鸣在求学与研究过程中，从模仿学习逐步转向强化学习，其核心逻辑在于：仅靠模仿人类示范无法超越专家上限，机器人必须通过在物理环境中的探索（Exploration）与试错归因（Credit Assignment）寻找全局更优解。 数据与评估困境：真机Rollout的不可替代性与指标重构 (120:00) 针对真机数据昂贵且难获取的行业争议，柯立一鸣指出真正的高昂成本源自人类操作员的雇佣与组织协同，若由已训练的模型在真机自主运行采集（Rollout），成本将显著压缩。由于柔性材质（如衣物褶皱、形变与摩擦力）在仿真器中难以精准建模，Sim-to-Real 难以完全替代真机数据。在 Pi 的技术演进中，π₀ 主打复杂双臂操作能力，π₀.₅ 通过 100 多间真实民宿验证跨场景泛化，而 π*₀.₆ 则引入自主体验数据与强化学习，并确立以单位时间成功量（throughput）为核心评估指标，最终在叠衣服等任务中超越了人类数据采集员的表现上限。 硅谷创业图谱分歧：实用双臂、人形信仰与纯粹科研路线 (75:00) 硅谷具身智能公司在硬件构型与发展策略上存在显著哲学分歧。特斯拉 Optimus、Figure 及 1X 坚持双足人形信仰，认为人形最契合现有人类基础设施；而 Pi 则坚持实用派路线，认为现阶段双臂操控（Pick & Place）已能覆盖超 90% 的现实生产与家务需求，无须过早受制于腿足平衡难题。在商业策略上，鉴于早期仓储机器人公司因过早承接定制化落地而错失通用模型研发的教训，Pi 团队刻意规避短期商业化干扰，专注构建能适配多样化下游硬件的通用具身大脑。 AI威胁论的现实屏障与具身智能发展阶段评估 (10:00) 面对“AI 或机器人毁灭世界”的科幻担忧，柯立一鸣基于前沿技术现状提出了三大现实屏障：一是执行意图偏差，即智能体对指令的机械执行极易脱离人类真实目的；二是责任承担主体缺失，使得高风险场景无法给予终极信任；三是物理交互能力的幼稚性，目前前沿模型在灵巧操作与泛化上仍落后于人类幼童。柯立一鸣认为，当前的具身大模型在机器人领域甚至尚未达到大语言模型 GPT-1 的成熟阶段， Scaling Law 的边界也因整体物理交互数据规模有限而仍待系统性验证。 通用机器人入户目前仍面临非结构化环境泛化、复杂动作规划与硬件安全冗余三重难题，机器人在物理交互中的 Scaling Law 边界和奖励函数设计的鲁棒性依然是待解的科学课题。

[10:00] 柯丽一鸣: 因为 AI 无法为具体的医疗事故或决策后果承担法律与道德责任，缺乏责任主体就无法形成真正的终极信任。 [10:00] 柯丽一鸣: 研究人员花上四五年的博士生涯，费尽心思写代码、训练模型，可能最终也只是教机械臂把一个红色的方块精准地叠放到蓝色的方块上。 [50:00] Matt Mason: 灵巧的关键不在于硬件手指有多复杂，而在于大脑如何操控即便简单的结构去完成复杂任务。 [120:00] 柯丽一鸣: 如果你可以把数据的操纵源给放在一边，而是换上你已经训好的大模型让它在这里跑，其实你数据的成本应该是能降很多的。 [125:00] 柯丽一鸣: 最后机器人的表现是超越了他一开始的人，即使是最好的数据收集员的这个起点。 [130:00] 柯丽一鸣: 我们可能是希望在以后，你买了一个机器人的乐高硬件玩具拼装以后，可以直接插入我们的大模型，它也可以做很多事情了。 [75:00] Jitendra Malik: Robotics is far too important to be left to roboticists [150:00] 柯丽一鸣: 大概最近两周我就是把自己的整个工作的这条流程都改了一下，就觉得现在跟一年前也完全不一样的一种工作思路了，效果上来说我觉得应该有个三四倍吧。 [168:20] 柯丽一鸣: 归因就像人的这种总结反思一样，是一种可以长期持有的能力。 [205:00] 柯丽一鸣: 提升生产力与偷懒本质上是一回事。

[0:00] Hello大家好,我是小俊今天我们的嘉宾是硅谷机器人公司派的研究员柯利一鸣派是一家在硅谷做机器人大脑方面很有名的创业公司我们一起来聊一聊整个美国的机器人叙事与进展那柯利一鸣除了是一个机器人研究员之外呢他业余还是一个网文写手这让今天的聊天变得更有趣了那接下来就是我对柯利一鸣的访谈因为他们要说做人性我又不来了你知道吧我其实一直很想做的就是机器人可以造自己我觉得这个是机器人发展的一个可能会是一个里程碑吧因为它就像一个种族是有延续性的是可以通过自我的一种繁殖我觉得机器人能够组装造自己就是一种繁殖的体现第一篇是派灵它的关键词应该就是能力第二篇是派0.5 它的关键词是泛华然后最近的这篇是拍0.6星它的关键词是表现你们公司其他人会很关注中国机器人的发展吗我觉得都很关注这是一个不可忽视的一个部分我们今天的嘉宾是硅谷机器人公司Physical Intelligence派的研究员K,柯立一鸣,然后Physical Intelligence是一家在硅谷机器人大脑的探索上非常有名的一家公司,不过前两天我跟K聊天,发现他除了是一个researcher之外呢,他业余也是一个网文携手,那K你要不先来自己介绍一下自己。能够更快更好的去完成任务然后业余的时间我是非常喜欢人文啊艺术啊这些东西写小说也是一种可能表达这种情绪的方法很高兴今天能有这样一个机会梳理一下自己在研究中的想法和大家分享你觉得做机器人和写小说有什么共通之处啊我觉得...都是有一些创造力的需求的比如说这个机器人他现在完成很多任务还不够好你需要想一些新的方法而写小说呢可能你真正想写的那个故事还没有被写出来你也是需要把它创造出来很多时候需要一些比较天马行空啊这样的想法另外呢也是有一种执行力吧像我在做研究过程中其实经常是有了一个想法以后慢慢的把这个想法落地工程这样的责代码啊这样的事情而写小说有的时候是有了一个命题就为了让读者感受到这个命题开始一个字一个字的在哪里马我很好奇啊,你平时写什么小说,然后你在小说里有藏着一个跟硅谷机器人公司内部的叙事不一样的一个,世界观吗平时写的比较多的是科幻小说这个也是我最爱读的小说分类之一科幻小说的话我觉得肯定是和我们现在生活的这个硅谷现在所属这个时代有一些关系因为我在科幻小说中比较痴迷的一些类型都会涉及到两个命题吧第一个是生产力变化以后人们的生活是怎么改变的第二个命题是在和我们的社会风暴很不一样的这种未来啊科幻的社会里面人之间的关系是怎么样的因为我觉得在第一个命题上面可能和我的工作会更相关一些吧工作时候就经常会考虑到我们做这些人工智能的研究做这个机器人是一种自动化如果你能够把很多现在人做的事情给自动化的提升一下效率以后去做什么样的事情是一个其实每天都会想的一个命题第二种呢可能是因为我觉得人与人之间的关系是一个自古永恒不变的话题在写小说过程中你可能也会去读别人的小说啊也会和几千年前的这些生活在不同世界的人他们的一些思想产生过敏我觉得应该是有一些人性之类的东西即使是在生产力大幅度变化的未来科技社会也会流传下去所以在AI这个时代在机器人马上就要进入我们的生活的这个时代你觉得人会发生什么变化人和人之间的关系会发生什么变化而且现在不是人和人之间的关系还有人和机器人之间的关系会发生什么变化我觉得这是一个正在梳理中还没有一个很确切的结论的话题因为一谈到人和人的关系我是一个相对而言比较内向的人你可以从每一个人不同的研究风格中稍微感受到一些很多时候是我先想把自己就是埋在一个洞穴里面先埋头撕一会儿但是为了不要变成一个闭门造车的人你肯定还是要把头从这个图里面的一个人来说 [5:00] 拿出来然后去到这样的场合和别人去交流去碰撞一下思想然后接下来真的定下来一个命题以后去执行这个执行我一直觉得嗯以前的话我在PhD期间读博期间是一个比较独狼的一个玩家就是你有一想法你想要去实现说干就干呗中间遇到了什么问题我们可以自己去上网去探索去学习我们可以通过提升自己的技能组织一个比较小的队伍去解决这个问题而从独博毕业以后呢加入到了这么一家初创公司做机器人的巨神智能的大脑一个比较深切的感受就是有一些事情是得在一个团队的协作中才能完成之前读博的一种项目呢可能它的这个规模是比较小的要解决的问题是比较具体的而现在为了要做成这个通用的大脑你是需要团队中每个人都在自己比较擅长的事情上发挥作用所以是一种就是为了完成一个任务啊要大家起心协力这中间的很多人与人之间的这个关系联系会比我之前的那种可能要紧密一些同时呢我在想就如果生产力变化以后因为最近硅谷不是有很多这种cloud code可以自动帮你编程的这种小工具人与人之间的这个关系好像又可以不用那么紧密了因为有的时候我与其是去问哎这个我现在需要做的这个项目需要用到某一个模块这个模块的负责人我去直接跟他说一下我们这个是怎么回事问一下他可不可行我干嘛不直接问这个Cloud Code呢我可以通过就是呃和这个AI的一个智能体的交流把以前我需要和人交流的这个方面给他拿掉了就是减少了我对这个的依赖甚至包括我们现在很多自己的工作流程也是一个人掌控着三四个agent然后让agent去干很多活这个有一些改变了团队协作的中间人与人之间的关系所以你在跟人沟通之前会先去找Cloud Code没错然后Cloud Code成了人和人中间的那个环节没错我觉得这个关系就是有我在构思一些小说的时候是会受到这个关系的启发比如说一个是想法是说现在在一个比较信息爆炸的时代我觉得现在可能已经有人是这样的信息爆炸的时代以后以前你的很多讯息都是我一个人去浏览一个好如烟海的这个互联网信息但是有没有可能就是我有一个小bot就他可以把互联网上所有的这些信息就看得比我快看得比我多然后又了解我的喜好以后全部揉碎了给我吃给我呃再喂给我同时呢就如果以后真的大家都变成了默认的模式就是有你的bot去爬这个信息去分解这个信息的话可能以后没有这个bot你就很难在浩如烟海的互联网里面生存因为你这个人能够看到信息就变得非常的有限然后另外一种可能是我觉得生产力的进步吧我这个人因为之前是独狼玩家嘛所以会就畅想一些就是非常适合独狼玩家的一些生存方式比如说像啊天怨木歌啊就一个人的这种乡村生活啊大家会在YouTube上也会看一看这样的类似的博种我会畅想一下说哎呀我这个将来就是到了一个远离人烟的地方去生活然后这种生活现在的话叫我我肯定不敢去我会觉得要干好多事情要脱离这个现代社会的这种基建的支持去干这么多事情因为人类我能做到这些事情吗我这个烧水啊弄饭啊这些可能现在还有一些基建但是家里这些家务啊还有各种各样就是我不想干的事情我怎么能够再远离人间的方式下把它干出来会想到就是我们现在正在做机器人比较近期一些的应用可能就是说能够把我不想做的事情给它做掉但是以后更多的畅想是说如果真的有一天机器人的这个技术能够飞速发展的话可能你现在需要拜托很多人比如说修水管这是一个美国社会永恒的难题修水管你现在是需要依赖人的但将来也可能是机器人来解决甚至包括你现在做的很多项目就是随着这个智能体的发展以前可能是需要你拉一个人的团队以后可不可能是拉一个人工智能或者机器人的团队甚至就是像现在的我们去看很多一千年前的原始社会可能会觉得他们生产力之道也没有那么发达如果我们在一千年后再看的话说不定他们看我们也是原始收会他们那个时候每一个人能够拥有的这个生产力都相当于现在每一个国家能够拥有的生产力我觉得这个可能独狼玩家会挺快乐的那人和人的关系会变得更加的松散我觉得是可以让人和人的之间的关系变得更加松散可能在原始社会一个人在广袤的大自然里面独自去狩猎生存的话是比较难而现在的话 [10:00] 找一个地方买起来好像把自己头埋起来好像没有那么大的问题但将来也许可能在宇宙中你可以探索你说不定可以就是发现了一个小星球你就直接在这个星球上面定居你就可以搞很多机器人来帮你在这个荒无人烟的星球上面搞好基建,你可以建很多,你想建高楼大厦啊,你想造这个内海都可以成功,我觉得还蛮有意思的。所以脱离一切的外部的条件限制,你自己是希望能够回到洞穴里去的是吗?为什么呢我觉得...并不是完全是说彻底的活在洞穴之中但是人对于自己的这个空间吧是会有一些追求的作为一个内向的人我觉得我的回复能量的方式其实是一个人静静嗯然后在一个硅谷这么一个非常喧嚣非常无时无刻都有新的讯息涌入的一个环境里面能够找一个空间去自己静静其实比我以前的这种生活是有一些难度的所以可能对这个找一个洞穴啊稍微待一阵子产生了一些向往但我也认为就是人还是社会性动物吧在洞瘦里待久了可能像我这样的人也会想要走出来再看一看说到这个还挺有意思我记得有一个老师他说他对于他下一代的小孩不和人谈恋爱了只跟机器人谈恋爱一点惊讶都没有现在你能接受这个事情吗我觉得我还挺接受的因为我是老二次元了就我的生活中是有不少这样的朋友他们的生活方式可能和老一辈的那种观念是很不一样但是因为他们一起熟悉了很久的朋友我甚至能够理解他们做的这些不想和人类谈恋爱的选择或者他们自己在社交方面的一些偏好以及包括大家对纸片人二次元的这种造物的喜爱也是有参与一些就是这种二次元的同好活动的哪些文学作品 影视作品或者各种各样的文艺作品有对你的机器人的思考有过帮助和影响吗嗯我觉得一时半会很难指出哪一个具体的作品但我们也许在谈话过程中会触及一些别的我都可以分享但是我觉得现在有一些或者说之前看到的一小类的文学作品中描绘的这种人工智能的毁灭世界的这个这个命题让我觉得有一些从现在的角度以我有限的视角来看会觉得不太可能吧现在会走到这一步吗所以会有一些反思就是我们真的会就是开发出一个智能体然后不知道怎么的它的可能诞生的使命是帮助人类但最后它存在的客观意义上却变成了就是与人类变成了一个对立的关系我觉得现在的我是很难想的但是因为一直没有想通为什么这个逻辑是成立的所以一直都在想为什么这个逻辑不成立呢我觉得以现在的就是2026年我们弄一个快照看看现在的状况了然后会觉得现在智能体干的最坏的事情是什么哦我知道好像前几天有一个什么人把很多的权限给了一个智能体让他帮自己清邮箱结果这个智能体得到了这个权限以后就把他的邮箱全都删了删的快差不多了就是他的命题就是给这个智能体的任务是得到了执行但智能体的执行并没有和他真正想要的这个任务重合我觉得这个问题是确实存在但现在智能体得到的权限承担的责任以及他能做的事都比较有限就得到权限的话很多时候大家都是会prompt就是你现在不清楚的话你先别慌着动先跟人确认一下然后他承担的责任比如说我之前其实有攀岩去受伤受伤的过程中我就是到处求医问药但美国这个社会的医疗是有一些难的一些医疗的资讯发给这个智能体去让他给我解答但是其实在这个解答过程中我也不会真的就彻底的相信说我也不可能说这个AI跟我说什么我就信什么对吧我肯定还是要把它带到一个人类专家的面前去跟他确认因为我不觉得就是如果我真的基于他的这个推荐做了一个什么事的话他是能够承担责任的就承担责任这个方面我觉得现在他承担的责任还非常有限而在这种这种人类社会里面就是谁能够承担责任才会建立一个信任我觉得这种信任还是在演化的过程中还没有到我们就完全相信一个智能体给他那么多权限然后最后是他现在能做的事情我觉得也比较有限比如说我们机器人我们有的时候行业内部笑话这个笑话可能已经有一件过时了这是大概三四年前和一个快要毕业的同学在聊天我们就在吐槽说我们就每天都在做什么呢 [15:00] 那机器人把一个红色的方块放到一个蓝色的方块上这不是三岁小孩都会做的事情吗我们天天就在这花了五年时间读了一个博士然后教机器人做的可能也许或者还没有三岁小孩好还不如试试吧人类的学习速度是非常快所以我觉得这三点因素导致了在我看现在的智能题我是不太相信他能够在现在这种节点上做到跟人类的对立面这种嗯嗯因为写小说和写网文其实都要从现实世界有很多的取材很多是取材于生活我没有看过你的小说因为你不告诉我你的网名但是我很好奇你会把你在派的工作经历的哪一个部分作为素材提取出来放到虚构的作品里去我其实是一个工作和生活分的相当开的一个人我觉得在派的工作经历肯定是影响了我的思考比如说你对技术发展到哪一步了以及技术发展中的一些啊就是quirky比如说比较特殊的一些东西会有更多的一些思考就比较具体的思考而我的网文很多时候就天马行空哎呀在网上保护好自己的身份以后想写啥想写啥不是挺好的吗所以你们告诉我们的网民是什么不行救命啊马甲马甲保护好哦那我们接下来聊聊你的成长吧因为我发现很多硅谷的人都是从小受益于竞赛的一群人我感觉这个还挺多见的那么讲讲你的成长经历你是通过竞赛改变命运的人吗你能算这个类别吗我觉得是而且当我在成长的过程中有一些感触但甚至都没有现在的感触那么的深我觉得我人生中是有一些关键的节点或多或少都受到了我搞信息学竞赛这个影响其实我小时候出生在安徽省然后上学呢是在安徽省的五湖市这是一个可能互联网上大家了解它都是因为五湖起飞这么一个网络用语但它其实是一个城市而这个城市呢它就客观来说的话它的教育资源什么的可能和大城市啊这样地方还是有一些差距但是非常凑巧的是我们这个城市有一个很优秀的信息学的一个竞赛老师他当时是在我们城市那边做学生的时候因为一些事故受了伤然后失去了双手所以这一个遭遇呢让他最后在就业的时候可能影响到了他让他选择就是回到这个家乡去当了一个计算机老师但是因为他这个人非常的聪明和优秀所以他在这个投身计算机教育的过程就是他出力他是江涛老师我甚至跟他都没有真正的面对面的交流过但是我觉得我是有从他的很多这种贡献中受益的就是他在我们那个城市开设了比较系统的竞赛的这种七次培养什么意思呢就是像我们小时候会上那种奥数班嘛就是在我们那个城市其实是非常正规的有信息学奥三班它就是个兴趣班你家小宝宝几岁啊我是八岁去学的这个东西当时我们小孩子也没有想太多只是觉得可以玩电脑了太高兴了只要不要我去学一些正儿八经的东西让我去玩一些不那么正儿八经的东西我都是非常高兴的所以在这个过程中就无意之中打下了一些后来就编程的基础并且一步一步的去走上了竞赛的道路然后在成长过程中呢我也是探索过其他的职业发展的比如说我大学其实学的是心理学最后又转成了经济学你大学本科是心理学我是心理学开始的对我的大一因为美国大学它是可以换专业的嘛我的大一的选择的专业其实是心理学在学过了一些心理学以后感觉到了第一学的东西非常有趣第二我实在是不太适合做心理学为什么嗯我觉得有时候人是有一些打破砂锅问到底的这种性格在我身上如果在学心理学的过程中呢就会有一种这个玩意儿它说的非常的有道理但是如果我想打破砂锅问到底的话我也许可以做但是要很多年以后啊或者说做一些别的事情不够直接可能我们对于就是解决问题解决一个非常具体的问题是有一种痴迷的所以当时又去学了经济学就是想要了解一下自己生活的这个世界但是最后转回了计算机还是那个原因就是觉得这个能够帮助我了解这个世界但不能帮助我了解我在这个世界中想做些什么事情所以最后还是转回了一个相对而言更理工科的这个传接的这个道路所以你整个大学 [20:00] 经历了两次换转业对好然后在这个成长的过程中能够探索其他的行业再回到计算机我觉得真的是因为就是非常的非常的感激就是小时候有这些竞赛的这个辅助嗯竞赛对你性格影响大吗其实不是很大因为我搞精赛的时候还是那种比较悠闲的因为小时候对我来说只是一个兴趣版而已我们就是觉得这个东西好好玩哦因为刚开始学的时候是学logo语言它不是像现在这样都是打文字还是一个图形的一个界面作为一个小学生看到这么一个计算机它可以画画然后你就让它画各种各样好好玩的画当时就觉得非常的高兴所以在竞赛的过程中我对于计算机编程的体感一直是非常快乐的当时还有一本教材是中学生学C语言其实我这可能是我这辈子唯一就认真读完的就编成教材后来的话都是网上现学现卖因为在读这个教材过程中作为一个小孩子他接触编程我觉得真的是有一种就是思维会不太一样吧就他会用讲故事方法教你很多编程的原理比如说地龟啊就是跟灯神去许愿然后许了一个以后让他再给你三个愿望就说这些东西都非常的自然而然的就能够融入到我的生活之中把它有一些内化了所以在这个层面上就搞竞赛或者说很早的去学习编程这件事情对我的思维有一些影响但可能是比较润物系无声的我并没有感觉到他对我的这种性格造成了一些就是非常明显非常突然的那种变化你小时候是一个很乖的小孩还是一个叛逆的小孩是一个男孩小孩很乖但实际上很叛逆的小孩有多叛逆我就记得我我小时候上小学的时候第一天我爸妈不知道怎么想的给我剪了一个半寸头然后当时你知道小学生的话你去一个小女生然后留着一个板寸头然后大家就会笑话你我就记得上学生的第一天我是哭着上学的因为被大家嘲笑而内心无法忍受就是不知道该怎么处理这种事情就哭了可能是我小学哭得最惨的一次然后当我小学毕业的时候已经变成了学校里的大姐大就是有什么想法我们可以坐下来的就是聊不行的话就把你打扶所以当然就是使用暴力不是一个很很好的事情只是在小学那个环境下我感觉我你能明显看到我的一些性格上有一些那么一个不太符的这种方面你是怎么在小学那个环境里面从一个第一天哭鼻子小女孩变成一个大姐大的我知道别人都叫你科姐对吧对就是我朋友对我的称呼从小学一直到高中都是这样我觉得可能就是动手我觉得性格上有一些就是路见不平一声吼的这种因素在里面吧会有一些对公平啊正义啊这种事情的一种追求然后也会去在小学时候也会去想办法完成这种事情比如说小学的时候会看到有一些人在欺负别的人我就会说你在干嘛不行我们就来打一打你这样不行就会去达到一种心中那种正义的状态在你心中有什么是别人觉得可以接受但你觉得是触发了你对这个世界不公平不正义的感知然后你要…反抗的我觉得生活中确实没有那么多事情是绝对的公平甚至公平的定义都很模糊吧可能不同人有不同的想法嗯我我只是一个尽量在自己的力所能及的范围内维持一种公平有的时候我觉得每个人也没有什么权利去要求另外一个人一定要按照他的想法去做但是在这层之上有什么东西是我觉得他还是比较有普世价值的可以这么去想的我觉得嗯一方面是好一方面可能是我觉得有些心痛吧就是教育资源这个方面当我出了国以后会有一些感慨就是我在国内受教育的这段过程中其实是曾经觉得我想上一下清华北大这样的学校会想去考但是因为我在安徽省其实安徽省的话是每一万个人里面可能有三个人四个人能够上到清华北大我觉得我当时上的是竞赛班嘛在高中然后也是从传统的升学道路里面一步一步学出来的我也不是一个特别优秀的那种就是优秀到骨子里就是真的非常热爱学习花很多时间去学习的我都是一个竞赛班里面就是中等我喜欢的事情就多学不喜欢事情就少学的那种学生所以我知道我可能就除非我转了性然后特别用功才有可能拼一拼这个一万个人里面的三四个人而当我出来以后会发现其他一些的省份可能确实有一些教育资源上的优势 [25:00] 是吧比如说在大城市的话可能会有这个一万个人里面有八十个人都能上清华北大这种数字在安徽是想都不敢想的会觉得是有一些资源分配上的事情但是可能在现在这个时间点上更多的能够想的是如何通过创造更新的生产力来在某个层面上抹平这些公平吧嗯所以你觉得你不是呃这种激烈教育的优胜者我对我的同班尤其是初中高中的这些同班同学终于报一崇高的敬意我实在是没有办法像他们这样的卷因为我们是竞赛班竞赛班上的大家我觉得都非常的努力都非常的知道自己想要什么不像我这种就从小就有点虽然看着很乖我是不会做一些特别坏的事情但是我也没有那么的乖学习这个东西我就学我自己想学的就好了嘛所以在这种环境下我觉得抱着这样心态确实是没有办法和这种特别优秀和专注的同学们相比你想说做最叛逆的一件事情是什么最叛逆的事情我觉得因为做了叛逆事情太多了你是很难评出一个最叛逆的事情前三名前三名其实我到高中的时候又把我的头发剪成了板寸因为当时就非常想去东南亚去旅行看一看然后觉得自己一个人在东南亚可能不太安全就把头发剪成了板寸然后整个人打扮的就是一个非常男孩子的样子这样走在大街上可能大家也会就是...该怎么说呢就是去可以用总结吧就是可能是在东南亚背包的这段经历相对而言是比较叛逆的因为他是一个没有明显的目的也没有明显的目标也不知道他对我的人生有什么影响但是就是非常的想做但其实还比较幸运的是就家里人也没有那么的强烈的反对他们只是觉得好奇怪啊怎么做这个事情保护好自己的安全然后每天就是不停的骚扰我说就赶紧劝回来吧劝回来不要再搞这些奇怪的事情你们是高级去的东南亚大概就是高二底就当时其实就是已经想着要不要出国了因为之前是在走升学的这种高中所以没有知道自己是要出国的很快的一个思想上的转变然后目标上的转变然后稍微去执行了半年然后突然就发现自己还是有一点闲的时间当时就想说要做点什么就去了都南亚背包因为之前非常的喜欢有几本这个印度的神话相关的小说开始迷上了这个印度的宗教的建筑就想跑过去看一看去了多久去了大概两个星期一个人去的吗对我一开始但是我后面我爸爸妈妈也来找我了他们可能还是有点不太放心所以你是为了去东南亚,所以把头发剪成板村,为了自己安全。我觉得这个是但其实头发剪成板寸非常的方便因为我之前在在我成长的这个初中高中的这个过程中我的朋友们其实都知道我是一个非常不修边斧的人什么头发打理啊梳头发衣服的扣子啊就是我到班上上学到班上以后就是班上有一些跟我关系比较好的女同学就会来帮我稍微打理一下仪表因为实在是看不下去了我在想你去东南亚把头发剪成板寸是不是潜在内心是有一种不安全感的很难描述是因为会不自觉地认为就是如果可以像一个就是就是像一个外表像男生的话大家可能就没有那么多的不好的想法就可以提前保护自己这样的想法你觉得这种不安全感它可能来自于哪里呢我觉得社会中的认知就是新闻啊或者说很多听到的事情会让大家作为一个女生觉得自己处境不错会有一点点处在被就是更可能受到侵害的这个位置上嗯所以就会想要花更多的心思去思考什么保护自己我觉得你的选择很有意思因为有的人我觉得不安全那我就不去就好了那我就是安全的我就在家里那还是要去的自己想干的事情得找个方法把它实现你的方法是我把我自己演示成男生然后我就安全了我觉得这是方法中的一种可能是当时的我觉得最轻松方便又好用的方法你是怎么突然决定要出国留学的呀你刚才也说你之前其实也是想着要考大学突然转变了轨道对这个我觉得就是人生中的冥冥之中的一个很小的决定因为当时在高中看来是有三条路嘛第一条路就是升学但是刚才也说了就是在我的同班同学面前我觉得自己就是一个渣渣就是一种不上不下哎呀叫我在在在花一点心思去提升自己的成绩对不起我真的做不到就是就是我没有办法做 [30:00] 不相信不认同的事情而学校的很多事情里面有一部分我是真的我不知道我为什么要干这个事情 所以我提不起劲 提不起劲我就学不好比如说当时我就学了一些就可能我比较喜欢像是数学啊物理啊这样的学科我就觉得我还是能够享受这个学习的过程剩下还有一些像生物和化学我相对而言就弱一点要背哎对然后当时就是成绩就怎么都上不去嘛然后学校的老师或者同学或者家长也会劝你说好好加油把这个短板给补了你还可以冲一冲我就想说我为什么要加油为什么要补这个短板为什么要冲一冲我不干了还不行我不认同这个事情所以当时有这个嗯思考在的话我就很难就是通过升学这个路去上到像清华北大这样好的学校然后还有一个契机是当时就是因为非常喜欢打游戏就是非常叛逆嘛就是人家在盛学高中好好学习我在盛学高中天天就是看小说打游戏然后偶尔接触到了一个叫雨雪的游戏当时打的时候每个人都有中二的年纪当时打的时候惊为天人觉得哇我超喜欢古龙的小说这个游戏非常完美的诠释了就是古龙小说的一种互动史应该是怎么样的所以当时就非常崇拜这个雨写的创始人Sofran E然后当时因为崇拜他所以又去了解了一下他的生平发现他是他好像是清华大学的我说是第一次我在一个比较叛逆的道路上走着走着发现人家是正规科班出身的一个大神我就那看来上清华北大还是非常的有吸引力的但是因为自己的这个水平可能不太能够上上去然后当时就想到走竞赛保送这条路但是因为竞赛保送当时保送的话是去中科大这样的地方中科大在我爸妈看来是非常好一个好大学并且离家特别近在我看来是非常不好因为它是一个好大学但离家非常近所以就不能离家近不能离家近所以就想着说想要去一些更远的地方然后刚好当时了解到是雨写的创始人他去了耶鲁去留学就想说我也可以就是去留学吧然后就跟家里人商量然后就这么很偶然的就突然一下在Guarden中间点转变成了要不咱们去留学吧因为我是一个古龙的粉丝嘛所以他就是一种一种想象中的一种社会的一种剪影而且因为这个剪影非常的纯粹还有很多人的爱恨情仇都定格在最浓的那一瞬间所以在游玩这个故事场景的时候会得到一种非常大的心理满足这种游戏的受众会是男孩这是我的偏见是吗我不知道该不该叫他偏见我觉得也许是也许你把这个统计学揉碎了来看说不定他的这个更多的玩家确实是男玩家但可能在我心里并没有这种天生的就是这个游戏就该是什么行为的人去玩这种想法他击中你的是什么呀这个游戏我觉得它柔和了几个我非常感兴趣的元素第一个是它的美术风格我觉得人...是生来体验的我觉得这是我对人文的这些着迷的一个很重要的点就是你是来体验很多不同的东西它能够通过这个场景的设置以色调和这些非常阴郁的和你现在生活完全不一样的一个世界快速的把你拉到一个完全不同的一种可能性中我觉得这个是非常吸引人的就是人可能就寻求就是很多人会寻求不同的体验有些人喜欢做学生做那个事我觉得就是游戏是其中的一种非常快捷方便的把你拉到平时一个小卖铺卖家这不是之前那个什么分手厨房啊你还可以在游戏里进行餐馆你可以体验很多不同的人生所以我觉得这个是capture了一种就如果我去成为一个武侠是什么感觉然后另外的话是他的这个哎呀谁不中二呢都当时这种台词就觉得哇好酷啊这个台词就是你还记得吗不太记得清了但我也许有一些东西太羞耻了因为已经忘记了但是对这种对这种嗯非常纯粹的情绪的碰撞令我非常着迷就是有一种你背负着血海深处你说我们在现代社会你怎么会背负一个就大部分人吧怎么会背负一个血海深处这个就可以在游戏里体验就当时因为对喜欢这个有不自觉的去靠近吧就是可能潜意识里也有想过将来有一天如果我呢我创作一个自己的内容会非常的开心那看看别人这些已经创作出我非常喜欢的内容的人之前的路径是怎么走的我们也可以向他靠近一点所以你没有想过一个科学家的成长路径是怎么发展你也没有想过一个企业家的成长路径是怎么发展的在构思的时候原来这个游戏制作人的成长路径是怎么发展的那你为什么没有去做游戏呢对我觉得写小说是我创造的一种宣泄的方式而做现在这一行人工智能做研发 [35:00] 追求效率的一种体现吧就是我骨子里你看在大学中换的这些专业其实我觉得这些专业都非常的有助于写小说内容只是最后自己发现自己真正想做这种工作的成就感有很大一部分来源于就是我把一个别人做不到的事情做到了或者说别人做这个事情我做得更好这种思维不好说是不是因为在国内这种教育体系下有一种还是有点竞争的一种思维在里面但确实是能从这种想把事情做得更好这件事里面得到回报你到了美国以后有发生什么变化你有经历过文化冲击没有我觉得有非常大的文化冲击你的性格又发生了怎么样的塑造嗯 我觉得有两点吧第一是在之前生活的环境来看比较的稳定所以对周边的社会的人缘之间的关系是比较稳定的太稳定了以后你其实感觉不到它的存在就是你是出了国以后开始接受到了一个完全不同的社会社会关系需要找你这个人在这个社会中的定位就开始重新思索就是我以前好像不用做这个事情我现在要做就是我不太清楚这个人说话的时候他有什么含义吗因为以前你已经在那个社会里生活了很久你就非常的自然而然而现在到了一个完全全新的环境不自觉的去调整并且也使得你能够稍微就是客观一些的审视之前所处的社会环境和你这个性格我对我性格的自我的认知很多时候是到了不同的环境冲击下才得以显现的然后另外一部分是因为美国社会还是一个比较注重这个presentation吧就是你如何去表达自己我觉得核心一点可能是说他们最终是想把这些孩子培养成一个有领导力的一些人就是他可以通过缠住他的梦想来号召很多人去和他一起完成梦想这和创业者这种企业家精神是有一些不谋而合的在我那个上的大学里面是有很多这样相关的活动还包括课程里面的设置都是在鼓励这件事情发生而我当时作为一个非常内向的人诈一道这个环境以后就有一种哎对没办法 只能多说点话了要不然的话真的不知道自己在干什么就是不就是经过这样的一个环境所设置的这种关卡的走动开始真的变成比较能跟别人说话的类型如果你和高中的我说话可能会发现我这个人就不爱说话但是你和现在的我交流我觉得我是在交流这方面有了很大的提升嗯你有觉得两个社会的文化的基础有什么不一样吗你刚才觉得在之前的成长环境里面你能感受到很多的不公平那你到了美国之后呢不公平依然存在只不过我觉得...如果社会之前经过非常高速的发展因为我后来还去英国留学,所以把中国美国英国放在一个轴上面来看的话会得到一个非常有意思的一个感觉就是中国社会咱们父母那辈的人可能会有很多的动荡和机会和一些变革吧就是大家有时候会开玩笑说就是你往上数三倍谁不是这个田里种地的人呢是吧然后美国社会呢相对中国社会而言我觉得是有一些些这种阶级固化的一些因为毕竟是一个运行了200年的资本社会资本的得利是比作为一个人来得利要快一些他们是有这种积累而英国社会又是一个非常极端的就我在英国社会的时候就感觉到了这种社会相对更加固化以后造成的人们之间的关系和你所处的这个社会阶层和你的这个喜好品味的一个非常大的影响谢谢大家我觉得中国在这个轴上可能是相对而言在当时是最百花其放的那美国和英国呢我觉得英国可能在这条轴上相对而言是最保守的而美国是有一些保守但是都到硅谷来了大家好像又抛弃了之前的那些旧的东西在这里又开始开创新的东西你看你成功从家里逃离出来了你成功的离家万里之远你得到你想要的了吗我觉得在内心世界上在离开的时候并没有很大的目的性说自己一定要拿到一个什么东西是在路上才慢慢发现自己要做的事情并且我还是非常喜欢现在自己投身的这个行业和这份工作也这是对技术是有信仰的吧可以这么说你为什么后来从经济学回到了计算机去了人工智能这个转变是怎么发生的我觉得也是有很多巧合的因素就命运是一条冥冥之中的线我只能得到这个点在当时大学的时候在经济系读然后就是觉得做的事情虽然是学的知识非常有意思但是做的事情好像就是把一些 [40:00] 数字融合在一起跑一跑报表这种分析可能没有满足我所以当时就是开始探索就是在大学能够做些什么别的事情然后很巧合的是大一的时候去了一个实验室做研究就坦白来说当时的我完全大一对在大一的时候去实验室做研究坦白来说大一就去实验室了是的因为很少见对因为当时在美国在我们那个学校非常流行就是职业发展就有一种美国人的卷就是你大一的时候就会灵魂指吻你大学毕业后想干什么赶紧想好每天都要为这个东西做努力所以当时大一就开始参加一些什么职业的交流啊就开始搞搞自己的简历就从大一就开始弄简历我觉得我大一好像是入学第二个月就开始在网上到处去投简历大一写啥呀大一就是之前因为就是搞竞赛所以有竞赛同学其实有一个健谈同学听我想法的在我们高中过程中他就做了一个小软件还是卖钱我当时也参与了就帮助了他的这些开发然后我们也拿了一些就是小孩子小家小闹的一些就是钱让自己觉得能从自己的技能中获得一些回报所以这些东西都可以写在简历里因为你是就是想办法向别人证明就是你是一个信的过的人可以做很多事情我觉得其实是现在的就孩子呢其实也完全是有可能就是比如说之前OperNIA是有高中生去发paper的这个先例我觉得现在孩子们完全是可能做到这点所以当时的大一我就去找到了在我们学校的一个计算机的组的实习然后当时非常幸运的遇到了成为我就是学术路上第一个导师的学姐她叫李博她后来毕业以后去芝加哥大学当教授现在也在硅谷其实做创业公司当时呢她选择我的原因我不太清楚具体的我挺喜欢博弈论这个东西而当时他这个课题是一个叫做adversary machine learning就是敌对的机器学习它是需要有一些对抗的这个博弈论的思想在里面所以就通过我学的这个比较吵架的这个东西就跳到了就是经过这个点的连接跳到了一个稍微不同的方向然后当时在学姐指导下就是比较幸运的就写出了一篇paper然后也得到了发表所以我其实大二大三的时候就因为有了这么一篇就是第一作者的这个论文发表后面在博士申请的过程中就得到了一些助力博弈论吸引的是什么你为什么对博弈论非常感兴趣然后又通过博弈论去做人工智能这个很有意思这个连接点感觉非常微弱但是它好像又存在嗯就是粗暴一些的归类的话博弈论中间可能经常会说如果是两个人在玩游戏他们是对抗的关系那他们两个人都要做到自己范围内的最好但是在互相对抗的过程中他们可能达到了一个平衡你可能可以通过一些事情来引导他们使得他们的对抗过程达到平衡是最优的我觉得这个点其实是很多经济现在这种市场竞争关系的一个诠释嘛就是你需要在市场中大家都去卷然后卷到最后就会卷到一个其实对整个社会发展有益的一个平衡点然后把这个思想其实放到机器学习里面它也是有应用的当时差不多20应该是2016年左右是对抗神经网络出现了其实对抗神经网络也是有非常多的这个博弈论的元素在里面它是需要有一个就是生成的和一个评判的他们俩就是互相在玩这个游戏声称的人就打个不恰当的比方就在做假钞然后评判的人就需要分辨就是你做这个钞票他究竟是真钞还是假钞在这个过程中就最后可能会引导这个生成的人不断的去生成一个越来越像真钞的假钞而对抗的人最后就是当然当他们真的完全无法分辨的时候他就没办法他就怎么靠猜所以大家通过这个思想就是在当时创造了一批就是图像生成的技术都是靠这个生成器去生成一些看上去像真实世界的假钞就是这种假照片但是这个逐步对抗的过程中这个照片就会真的照片没有差别所以使得这个身上的照片看上去更加的真实所以这个博弈论我觉得应用其实在机器学中是非常的广一直到今天嗯我觉得在机器学系的安全和怎么样帮助机器的这个就是不管是思考方式还是生成方式更像人类都是有挺广的应用的你真正开始做人工智能的研究除了本科做过一篇论文以外是在博士了对吧是的你博士之后的学术路线是怎么展开的你的主线是什么嗯我在博士期间也换了一些方向,因为当时第一篇论文发表的是一个偏博弈论的这么一篇文章,所以在刚入学的时候,我以为我做的是这个偏理论的机器学习,但是当时做着做着之后就发现自己其实更喜欢做应用。所以后面就去做了机器人这么一个引用在机器人过程中呢我自己的研究路线其实是从模仿学习开始然后最后做到了强化学习这个模仿学习我感觉要形容的话其实就是 [45:00] 就人家已经知道了怎么做一个事情所以他给你提供了一个样例你就想办法去超出这个样力来这是模仿学习但是随着模仿学习的研究的不断的深入我就觉得有些不满足了我觉得就是如果你永远只是在照抄别人的话你其实不能够现在也很经常讲不能够有创新啊不能够有突破啊所以就转入了强化学习强化学习更强调的是怎么样通过你自己的这个探索去突破原来的这个表现把这个上限推得更高我觉得这个其实也和性格是有一点相贴切的所以现在的我更多的是做强化学习在你开始研究机器人的时候当时的主流是什么样的呀你这个研究方向是一个主流的还是一个边缘的我觉得在2017年它是一个新兴但博士很大众的一个方向就是把机器学习放到机器人上面包括我自己去找到的实验室的和他的老师他们都是更加偏向传统这一派系的因为机器人其实发展到现在发展了几十年了然后也有很多很成功的应用比如说大家会笑话说我们都让火箭上天了都可以在这个火星上开发探索这些都有用了很多机器人的技术然后传统派系在2017年左右把传统派系更多讲究的是一个落定规划和控制问题就其实这个我觉得是非常符合我们人的一些直觉的就是你做一个事情你就先规划一下我要做第一步第二步第三步分别是什么然后把它们连在一起形成一个完整的计划计划了以后再由这个控制去慢慢的给它执行保证你在每一步上都不输错都能够贴切的完成而且2017年呢因为我是从机器学习开始起家的所以我当时就在想说这种去学习我能不能把机器人的这种聪明台制也不是再靠我去给它制定什么规矩而是从数据中直接获得这个想法呢和我这个所处的这个传统偏传统方法的一些实验室就是是比较比较小众的在我们实验室就是只有我一个人做这种类似的方向就是你导师不是做这个的我导师不是做这个的我导师他他是传统派系的一个做路径规划有很多工作做控制就是他是一个怎么说的全战系的人物就是传统的机器人实验室他是从卡莱西梅隆那个派系出来的他们就很强调说你每个人都要做全站就是你要会造机器人你要会知道怎么把机器人搭在一起这个机器人的一些什么动力学分析你也会做然后你还会做路径规划还会做这个控制然后还会让他做一些事情最后你在这一条整个链条上面你可以选一些你比较喜欢的点去深入他是很强调就是一个人就是在一个最极端的情况下是可以一个人完成几乎所有的任务的所以他在培养学生的时候也是照这个路子走就我其实很感激就他对我的这种培养让我觉得我对机器人上下游的一些事情是有一些了解都深入吧但至少就是差不多测合是能用的然后在他的学研室里做机器学习我觉得他的那态度也是非常有意思的因为当时机器学习刚刚开始就大家做的事情还非常的就怎么说naive就是比起传统机器人都能够上天了你这个机器学习刚刚起步做的什么任务看上去其实也比较的幼稚吧但是当时导师在交流的过程中就是忌讳给我指出就是很多现在做的这些任务其实以前都有人有更好的方法解决是这么解决的你要去学习一下你要再继续学习的这个做的过程中同时也就是知道以前的人是怎么做这个方法的就他给了我很好的这个台阶让我去在他基础上去学习同时他也会就让我有一个比较开放的一个想法就是我会把很多机器学习的想法带给他然后告诉他我觉得就不停的在这种一问一答中对抗的就搞明白了就是我为什么这么相信机器学习在机器人因为传统方法中的这些我觉得是太依赖expert专家的这个东西我们积极学习我觉得一个很大的使命就是让专家从这个机器学习的这个冬天消失就是机器可以自己学习这是一个使命你的导人是那个C的对吧对你如果是一个机器学习的信仰者你为什么会进他的组呢好以及你是怎么开始对机器学习非常感兴趣就是对这种数据驱动的机器学习因为懒因为这个事情其实有点有意思我觉得知其然不知虚所以然嗯是一个非常微妙的一种状态,可能大家有些人会在有些在有一些问题上大家也会想要打破砂锅问到底,但是在优化问题里面,大家都很想优化,我觉得性格上是有一个想要更好更强的一个部分的,在优化过程中有一类优化问题就是黑核优化问题,你也别管你也别问他到底怎么样就给了一个非常好的解。 [50:00] 反正你只要知道你如何设计一套系统让它能提供一个比较好的解你不需要知道这个系统最后是怎么运行的其实这也是我觉得2016-17年左右就是自然语言系的一个很大的争论就是传统的自然语言会使用语意啊结构啊就这种更贴近人是怎么理解语言是怎么运作的就把语意分成很多不同的部分是需要很多专家去了解学会然后再想办法把它自动化喂给机器而后来的数据驱动的话就是完全也不能说就是没有受到之前工作的影响但确实它的运作方式彻底的改变变成了从数据中直接学中间的这些步骤都可以略掉就变成了端道端我觉得机器人可能也是要走一下这样的路嗯那你为什么会进一个传统的组没有选择呀因为当时机器人不是一个特别流行的一个选择在201617年其实机器人的发展历史的话大概也就是50年而且机器人是一个非常非常烧钱的一个领域当时我们的一个内部笑话就是看隔壁一个非常牛逼的自然预言的老师的组他是耶金卓他其实做了很多就是common sense就NLP的贡献当时他们那个组2017年就开始做了很多数据集然后说就从来没有人烧这么多钱在数据机上我就说数据机烧了多少钱20万美金哎呀20万美金我的天哪你在这边买一个机器人要多少钱你知道吗你这个机器人换了以后要修了多少钱你知道吗所以多少当时2017年隔壁组有一个shadowhand50万美金还是100万美金来着然后修了以后就大家自己大家现在让这些博士生宝宝现在这个屋子里面先想办法修好不要把它返场一返场就是十几万没了就当时还有Berry看的也是就是一个就多关也不是多关节吧就是一个三个纸的一个绳区的一个手当时是十几万美金一个他坏了也是修起来够强要半天就当时的这种硬件的成本和这个需要一些专家的这个知识的知识时代当时我觉得机器人不是一个特别流行然后人数也比较少非常昂贵当时都买什么硬件啊当时逐渐开始有人买弗兰卡这个硬件因为当时Franca就是我们是相对而言最便宜的你现在这个时间点看Franca你也觉得好贵哦怎么这个我忘了当时拿的价格是多少但是反正就是几万美金嗯他就号称是最便宜的嗯嗯现在还是有人用弗兰卡因为我知道之前弗兰卡被一家中国公司收购了还挺唏嘘的就是大家也不知道以后弗兰卡会不会挨出了一个中国版可能就几千美刀说不定就可以了因为现在很多中国的硬件应该都是在就是一万美金左右上下的价位吧就是单纯从手臂的角度上来说其实还不到十年的时间对吧从你开始赌博到现在是的你是哪个年度过的我是17年入学的17年入学其实这里我们也讲到了机器人历史能不能从你的视角来给我们回顾一下你说的这个过去50年的机器人的历史我的视角可能不完整我就尽量复述一下我感受到或者我接触到的一些比较有代表性的研究人员我觉得机器人的发展是可能绕不开第一个就是坎内基美东大学的一些发展坎内基美东大学是有一个自己的机器人研究所的这个研究所大概是在79年八几年的时候开始建立所以至今大概是40多年的时间当时就是他们开始研究了怎么样让机器人就通过感知去看然后做一个决策去斗所以我觉得这个看家动的这个结合就是从他们开始就是慢慢的变得非常的popular就是非常流行起来然后当时他们也发展出了很多不同的分支就不管是就是让机器人能够去决策以后就把它放到真实的环境中去做一些灾后救援还有当时就是2000年左右的这个自动驾驶当时CMU卡拉基面龙大学在这个里面一名惊人就突然一下就大家都觉得自动驾驶可以开始做就当时04.05年的这个DARPA自动驾驶的比赛刺激了后面很多的自动驾驶公司的大概06年那一步开始创立我觉得这个也是非常有激励的然后后面的话呢坦内金面龙大学我觉得有发展一些就现在对我们最相关的话可能是就是有一些机器学习的学者也有一些操纵系的就是manipulation就是用手就机械手去做一些事情的学者也有一些是就是研究如何机器和人的生活中共存其中可能比较有代表性的话就操纵系因为它是算是我的祖师爷所以对他的了解要多一些他的名字叫Mike Mason他现在是还在互联网上活跃他有一个个人的博客会写一些就是他对操纵系的看法他其实最有名的一句话是就是他觉得我们现在强调了很多灵巧 [55:00] 他觉得是不是从你这个手指和你的硬件的关节构造而是从你这个大脑如何去操控一个即使很简单的一个结构也能做到一些很复杂的任务他觉得灵巧的关键不在于这个手本身而在于大脑我觉得我的研究也有很多受到他的影响因为我在博士期间也是筷子机器人就是又一双筷子做的结果所有的事情是我当时的一种想法然后他当时代书的学生也就是我的导师就是Sit Srinivasa所以他嗯就C的话他会做了很多路径规划就也是做了很多就是啊有一个什么机器人酒保就是你怎么样去拿一些不同的就杯子啊或者可乐然后再把它递给人这样的一些研究嗯然后除了这个派系以外当时凯拉吉梅龙发展啊当时那个腿啊和生物的这些机器人是有很多人研究的就是Matt Mason祖师爷他还有另外一个弟子叫桑贝桑贝他做的就是一个生物狗就是当时MIT Cheetah就是他开始做他在Matt Mason这里学但他其实并没有就做操纵系他就去做一些就是生物激励的一种形态所以他就做了狗他去MIT当教授以后就做出了这个mini chita这么一个非常有影响力的工作可能说是现代的这些机械狗的奠基人然后其他以外然后做腿的话还有一个比较知名的学者可能就是Mark Rebert他是Matt Mason的同期他去做了波士顿动力也是先做狗但是他走的这个路线可能是传统派系的一个极致因为当时他做之前的话大家其实觉得就很多事情是受到电机的限制他就想做非常好的电机能做大家想都不敢想的事情他确实做到了我觉得他做的这个在忘了是什么年份了但当时他作为世界上第一个就是能够红红翻的机器人影响了一批的学者然后我觉得你是CMU这个派系的对吧我觉得虽然我不在CMU读博但你可以看到就是我的学术族谱是很多受到这边传统派系的影响的然后在另外一边的话我觉得派系上可能还有机器学习这个派系因为机器学习的话我也不清楚就是更早的事情可能明斯基他是一个MIT的学者他可以认为是现代机器学习的一个创始人但是在我这个年代当我开始学习的时候我们机器学习的入门教材都是看Android NG吴恩达他的在线的网课这就是我大学时候去了这个实验室在融入智能里面他们好像也属于两个派系的其实可能是的但是对我来说就是更早的事情可能我都没有那么多的关注了就在我看来我能看到到部分就是我们就是1415年开始做人工智能那就是学姐就告诉你了这是一个教材先把这个教材读懂稿会就开始跟着吴文达的网课去学习然后吴文达的一个博士生是Peter Abil他是应该是最早的一个把机器学习放到机器人这个领域上的一个比较先驱的教授他现在是在伯克里做教授依然是一个活跃的研究员吧他现在应该也同时在亚马逊担任一个把他们这个研究部门的一个领导的一个职务然后Peter Bill他当时做了好像是做了一个就是会飞的这个飞行器然后它有了搭载的这个机器学习算法因为他做的这个工作的年份比较早我现在其实对他更多的了解是他后来的学生就是Sergei Lewine他的工作我觉得Peter和Sergei这两个人可以说是把强化学习在机器学习中就是比较发扬光大的因为他们的这个发表的数量非常的多然后Sergei呢现在也是我在派的算是我的汇报对象吧他是创始人对他是派的创始人之一他也负责了很多我的派现在做很多情话学习的工作所以是和Sergei一起做的Sergei当时在很有意思啊,Surgic他自己 PhD 学的其实不是机器人,是 Graphics,是做这个图像的,然后当时在Peter Abil手下读博士后的时候才转型就我还挺欣赏就是大家从一个领域做了以后就转型到另外一个领域我觉得你能转过来或者你想转过来肯定是有很多你的想法所以Sirker当时应该是有很多想法他就做了强化学习这些课件其实当我开始读博士的时候我对于机器学习的很多就是没有什么教材都是看Serge的视频然后看他们的一些讨论包括看他的论文然后看他们组的一些对话来学习的然后Sergey他后面也有他的合作者Chelsea就Chelsea和Sergey都是派的联合创始人我觉得他们俩都是对现代机器学习到机器人应用做出了非常多的贡献就不管是就是学习的算法还有包括就是硬件的设计都是有很多贡献Cirgate和Chelsea他们是什么共识关系此前如果我没有记错的话,应该Cerge是Celsea,Sontime,就是collaborate [60:00] 或者slash办一个advisor应该可能也许就是Chelsea的postar是和Serge读的然后他们后来一起创业的做了派对他们俩之间的学术关系非常好就是我觉得他们俩非常的同频在公司他们其实也是经常在一起讨论问题这两个人有意思吗有什么有意思的观察没有Serge是个科幻小说重度迷我不知道就是别人读派的paper有没有发现就派很多paper上面会有一个来自科幻小说的一个引用全都是Serge写的就他就他会去思考这些事情然后有人说过他非常会写论文标题是的我觉得他是一个讲故事非常强的教授同时呢他就是内部效法可能就是说Sergei就像Sergei GPT一样在这个人工智能切GPT出现之前Berkeley的人就已经用上了Sergei GPT你的论文写的怎么样把草稿就直接发给SergeiSergei就给那里一个就是超级Polish超级好的一个版本返回给你而且又快又好就像就是切GPT的前身版只是切GPT出来了他也不能和Sergei GPT在论文修改方面相提并论这是一个笑话吧然后翘翠的话他是一个非常discipline就是非常就每天他都会四点钟起床然后去游泳然后有一个小时就他是一个对自己的一个生活我觉得非常有规划非常inspiring而且他是一个我觉得有动物性直觉的一个人就是和他聊很多就机器人的具体的一些动作和表现他有非常多的就非常快的一个就是说他觉得这个事情是什么样的然后这个你们有非常多的这种直觉性的推理能够感受到就是他对这些动作任务有很深的认知比如说呢更多直觉性的推理比如说就有一有一段时间里Charlesey是负责管派的这个数据收集的就他对数据收集到底来收集什么样数据我觉得他有很深的理解我其实后面谈派林那时候也可以多说一些派林的很多任务是有乔西在后面推动就是他觉得能做因为当时其实大家是不知道能不能做的所以他们俩是互补的吗我觉得可以是可以是什么认为的他们的工作关系嗯谢谢大家这一派别还有其他人没有刚才说了温达以及他的言识我觉得现在的机器学习机器人其实挺百花齐放的然后包括了有另外一些派系啊比如说就从菲菲她带了很多学生也投身了机器人的研究比如说可能现在这个时间点上大家比较看得见的有朱玉可啊和金范呀他们现在是在都是菲菲的学生都在领导毕业以后都玉可是当了教授然后现在他们在领导这个英伟达的gear lab在英伟达就是主管就如何做机器人然后包括我觉得现在其他就是华人学者比较有名的可能有宋舒染还是我非常尊敬的一位女学者然后苏树远其实之前他做他们有做这个嗯做这个diffusion policy是树然组出来的然后ACT和这种aloha是chelsea组出来的我觉得这个都是对现在的机器学习机器人的形态产生了重大影响的里程碑式的paper然后其他的还有CMU派系其实也有很多现代的机器学习的人我觉得可能比较visible的应该是两个人一个是Depart还有一个是Abinov其实Abinov是一个自立比较老的教授他是之前做这个视觉出身然后他有非常多天马前空的想法我跟他就之前短暂的合作过一阵子就几年前我就感觉到他是一个无法预测他下一秒会说什么然后有的时候我觉得他看的东西就非常有创造性比如说他其实很早之前就想做一个就是自学习的这个机器人比如他当时做视觉就说了就是视觉我们经常说只能受到数据的限制那咱们就做一个就不要数据形成我们就把它放到机型上让机型去户外去各种收数据这样不就可以打通就我觉得它做的东西是有一种就是几乎野生般的说就是将来最后可能还真就是这个形态这种感觉然后包括他其实就大家现在可能更熟悉Yumi就是作为一个机器人说数据的一个手段其实很早之前就是阿比纳也做过另外一个就是叫做我忘了它起的是什么名字反正它当时就说了我们就去亚马逊上买一个五刀一个的东西这个东西呢就是一个就是很长的一个杆然后这个杆的末端是一个小夹爪然后你按这个杆他就会夹转给他夹住他说我们就是这个杆去收拾这个数据跟现在的优美又一曲同工之妙然后当时迪帕克是后来加入CMU的迪帕克他其实之前做过Curiosity就是好奇心驱动的强化学习所以他其实我们在谈他的这个以前的工作时候更多是把他规律到做强化学习很出名的这个学者之一然后迪帕克和阿比南现在是共同创造了Skilled也是硅谷非常有影响力的 [65:00] 一家机器人公司也是做去世智能的大脑嗯他和你们一样都是做大脑的对嗯都是做大脑创业公司然后还有一些大公司也在做大脑对 我觉得是你很有意思啊你是从前面这个控制或者叫传统派别跳到了这个机器学习的派别对吧然后现在机器学习的派别似乎是硅谷这些涌现出来的创新公司更多的人现在好像是主流这一波最流行的是机器学习机器人但其实我觉得这个博弈关系肯定历史上一直在发生变化对吗就是两派你讲讲这个我觉得历史上的关系的话就机器人其实大家做了这么久而且我相信很多做机器人都有信仰就是什么东西能让信仰成真不同的世纪都有不同的大家叫Hive吧就是这一波可能是积极学习其事也是我们现在投身的这一波之前还有一些做Slam的甚至包括我觉得之前做自动驾驶也是算然后更多之前还有Planning Control做到极致我觉得波士顿动力也是一个代表就是这些都是不同的思想的碰撞要将把这件事情做成嗯在你入学的那个时候,前面这一个派别是占据根主导的力量。应该是我觉得当时去当时去就是传统机器人的一些大会比如说像IROS或者EQR这些会发paper发论文就觉得大家做的跟我做都不一样我们做的算比较小众的东西那你有想过转过去吗因为你导师就是做这个的这倒没有吧我觉得我相信我做的东西所以我做起来快乐所以我相信我们做的这个行业即使导师他会有的时候会就是批评或者指出他批评你什么呢比如说比如说有一部分机器学习当时就是还比较受限嘛算法比较受限他就在模拟器里跑比较多它在真机上面就不是很能跑得起来老师就说那你们这样就满足的话是不行的那就不够好你看我们传统的派系所有东西都能上真机你要把你们这个东西放上真机它是一种就是指明了就是发展的时候该如何思考到底怎么样有用这件事情上面走得比较早吧因为可能对当时还是一个新兴的领域来说如果去一个专门研究新兴领域的时候可能没有那么多的去想落地想怎么样表现好这个事情但是因为导师是从传统化出身的他们这些衡量指标很多影响到了我你们两个会有一些争执吗经常会啊因为夕阳不一样信仰不一样想法不一样包括像我们这种喜欢偷懒嘛你看我做机器学习的一个很大原因就是如果一个事情我不需要理解它的原理我就能做出来我还是做出来对不对老师就会觉得这个不优雅而且就是没有什么保障我说优雅我们保证不了但是保障我们可以再多做一点研究看看能不能给大家再搞上保障所以它是有一个本质性的就是对于解决问题的一个方法的喜好吧我觉得我就是那种黑猫白猫抓到老鼠就是好猫的这类所以什么黑核优化我说黑核优化非常好你只要你能够把你这个任务定义的非常好咱们就黑核优化老师就会觉得你这个利益的这个作用这什么摩擦力的建模你都不太懂你怎么就在做这个任务我说说不定这个任务不需要你懂这些呢都能把这个任务做成就怎么样让这个信息的流动变得更加的轻松是我觉得我们的一个主旋律所以你很大的一个驱动力是实用我觉得是实用而且而且是一种是一种信仰吧就怎么把它做出来我要在当下时间点选一个我觉得最有可能做出来的方法我不太相信传统方法里面我觉得就是我们应该都能benefit就是从传统方法中受益但我不觉得就是我们就用创造网马就够了我觉得这个是大家其实比较有共识的就是他如果把所有的问题都出现为一个投入和产出这个曲线的话传狼方法是一个你投入多少你的产出比较清晰的一条线因为当时机器人动物机器人比如说工程的动力吧他们做这个后空翻是非常非常非常牛逼的因为当时都没有人敢做也没有人敢想他们做出来的但他们代价是很多很多的工程师不停的去调试这个参数去适配他们想做的这个任务就做到他们想做这个效果你再做一个新的人物你还是得有这么大的一个投入想把它做出来而我觉得机器学习的算法就是第一是我们不要工程师来做对吧我们就通过各种各样的设置然后算法自己来做你作为一个工程师你的工作量就小了比如说现在的这些很多比较酷的这些跑酷的这些视频可能就工作量和那个年代就不可同日而语了呀然后第二个就是一旦一些事情就是需要更少的人力去做以后我觉得就是交互也会发生变化怎么样让普通人都能够交互比如说现在这种AI智能体的发展我觉得可能刚出现的时候还是一种比较小众的你要用因为它有时不好用你要作为一个专家知道怎么去做的 [70:00] 用才能用得更好我觉得机器人现在也有点处在这个状态就是从头上可能可以跑但是你可能需要专家来大概了解他跑的一些问题是什么然后提前做一些修正才能跑得更好但我觉得总体的发展趋势是让一个普通人也可以非常自然的去和这个智能体交互得到他想要的一个结果我有一个地方比较好奇因为我觉得在传统派别主导下的机器人发展当时吉大臣的一个构型好像就是狗这个是为什么呀当然我相信他们肯定觉得狗不是最终的那个构型但为什么那个时候和时间段大家都觉得应该去做一只狗呢这个我真的不知道得问桑贝但是我觉得看到一个狗跑起来我作为一个机器人的从业人员我也觉得有非常的受到启发而我觉得这一波就是大概在17年到20年因为我们的在华大有很多不同的实验室有隔壁实验室他们是做狗做的很多的就狗作为一个硬件平台他的可获得性相对而言还不错其实我觉得可能比机械币还要获得为什么系嗯就操纵系的一个绕不开的难题就是刚才导师说的这些问题就是我不知道这个摩擦力就其实每一个物体它都有可能不同的摩擦力这个话筒呀我们自己的衣服呀还有这些褶皱呀就千千万万的事情就很难去建模然后如果用传统思想去做的话你都要建模你不清楚你的行为会有什么后果的话你怎么能把这个问题解决我觉得是传统的一个比较大的思路也是一种就是模型就是叫物理模型做的算法的一个思路而狗的话它的这个接触更多的是一个顺势的就是我这个腿在这个地上跑我就要碰了一下然后很多时候它是不太需要你详细的去搞明白就是我的这个腿在这个地上的摩擦里所以我觉得这个问题的需求就是狗可能需要更少的这个物理知识而操控器需要更多的物理知识所以造成了操纵器做出来比较好的东西嗯相对而言给我而言可能要少一些当时嗯我们刚刚讲这两个派别嘛,机器学习什么时候开始占据主流的,是从哪一年是这个转换点,哪一年从本来宣示一个小边缘的一个方向,然后变成相对大家更运投资源更关注的一个方向。我觉得...身在此山中很难讲清楚但是...差不多就是疫情那会儿吧第二第三年的时候我当时刚加入实验室的时候做了一些比较平安理论的工作然后也是在模拟系中跑所以导师就说了在模拟系中跑最好有什么用呢要上真机我就大概在18年的时候开始就从头弄了一个机器人就做了一个筷子机器人是我买了这个组件组装然后搭起来然后给他写系统给他写许多我让他跑起来后面还给他做了很多建模的工作然后当时开始做这个做的有一些成功了以后就是把这条路打通了那实验室的人可能就能够同学交流就能看到就是说哦如果有一个新的方法它有可能成功我们在做我们的问题时候就要去积极的去尝试拥抱这种新方法所以当时实验室里其他人的项目都或多或少也不是说我直接参与可能都给他们一些反馈就是说实验室里有一个人在做这个喂食的项目可能就是说有些人他生活不太能自理我们怎么样就是通过一个机械的一个轮椅他搭载了一个机械臂他可以去给这个食物来给你喂食他们本来的这条流程是非常传统的就是你先搞明白就是下面要吃一个果切这个切了一半的果子在哪里它的路径是这样我们路径规划过去然后一个什么样的路径把这个果切插到这个叉子上面然后再一个什么样的路径给它喂到这个人就这一套思维比较传统但是他们是有一些可能一些限制的比如说这个果切的位置在哪里他们是就是依赖于这个竞争机视觉的后面他们就会想说那机器学习在机器人上可能可以做的话我们可不可以把这一端就不光是用一个视觉别人训练好的神经网络我们也积极的去尝试就是让这个机器人自己去机器学习一样去设置就是去学习或者发现一些更好的路径啊所以逐渐开始我觉得大家也会讨论就是应用到不同的问题上的可能性逐渐开始就接受你当时为什么会做一个筷子机器为什么喜欢这个动作当时我忘了是怎么回事就是跟导师谈聊天的时候突然就发了一条暴论就是说我用筷子能做90%的问题90%是桌面的问题还是什么问题就是夹和放这种问题我一直是之前是有一些觉得筷子好难筷子只有两个指点对就是因为我觉得用筷子能做的话其实如果算法在筷子上都能成功那它说明在其他方法 [75:00] 可能更容易的成功就是要做就做一个非常难成功的东西把它做成功我觉得剩下的就可能就是一些工程问题就是这种做研究的思路也是我自己比较喜欢的吧就是你做一个非常难的问题然后当时就是中文老师聊天你也知道我们这个派系其实是非常相信简单的机械手的尤雅所以当时就他打了一个赌就是说不是不二吧就问他说我想做一个自己的机器人他就说你想不想跟别人一起做这个轮椅机器人我就说轮椅机器人虽然很好但是他们的这套系统已经写完了这个系统太传统了我觉得他不是很适合我想做这个机器学系我想自己弄一套东西他说那要不你可以自己从头搭一个你想搭什么然后我就看了一圈我就说我们要做一些草剩非常难的就是比如说之前美国电影里面其实是有什么筷子加苍蝇这种对中国武术的无限畅想所以我导致他是一个印度人他就说哎搞一个这种你能把它做出来就可以毕业了我说那就好你就开始干然后就从这个实验室的在仓库里面捡了一个就是别人其实之前用过后面就没有什么用的一个机械的一个组装部件然后我们就可以自己自由组装我其实很喜欢这种自由度所以开始做起了快的机械人后来做到什么程度了后来做什么程度我觉得应该就比较有代表性的工作有两点吧第一点是做模仿学习当时就是想办法让这个块的机器人做一些非常非常精细化的模仿学习的任务其实背后的就是想法是这样子就是记忆学习它是一个天生就带有泛化性的一个希望的一个东西就是大家都说如果经济学体在问题A上能守过那它就能够比较无缝的衔接到问题的23456但这个时候传统派的人可能就会说你的问题A解决了吗你的问题A做到了什么效果就是如果机器学习的终点是一个什么都能做但什么都做不好的机器人这显然是不够的对所以我当时就想说那我就先在问题A上面把它做到极致当时呢我搭的一个机器人哎不好意思我们是手工搭的也没有针对很深厚硬件背景所以它显然不是就是按照传统的人来看的话不是一个最好的机器人的形态然后里面的很多这个力啊或者调的可能都没有调的特别好我当时就说如果没有数据驱动的话我就偏要在市场面做出来因为我相信数据驱动因为数据驱动一个很大的一个验证点就是当时我搭完以后我就跟老板说了这个东西一定能做出来为什么呢因为我虽然用这么一条不是很准的一个机器人但是如果我作为一个人去摇操纵这个机器人的话他再不准了我都能让他做到筷子加小球这么一个就是我们老板他也不那么会用筷子他自己用筷子他都做不到这个但我可以操纵了这么一个不准确的机器人去做到这件事情我就跟他说你看硬件已经搭完了然后硬件你觉得不太好有点嫌弃没关系只要他的这个操纵算法是和我一样聪明的操纵算法他就应该能用这个筷子去加起这个小球即使他的每一个关节上都有一些蹭字不起的怪怪的挑战或者一些backlash这种就不太准确的东西所以当时就打了这个读以后第一篇工作其实是2018年19年就做出来了可以用筷子去夹这个小球虽然这个问题这个做出来的方法是有很多的就模块化的东西现在看来都有点过时了比如说当时是需要有一个外在的一个系统去搞明白小球在哪然后在这边再极致性的去抓那个小球现在可能都更加的断倒断了然后做完这个工作以后就跟导师说我觉得不够因为我夹的还是慢了一点毕竟我是要操作这个机器人我就时时刻在调整自己的动作就我是在尽力的就花费了好多的精力去给机器人提供一个非常高质量的数据让他能够更好的学习但这样的话太累了我们懒人怎么能做这种事情呢我们要让他自己去探索去发现怎么样超越我给他的这些数据让他做得更好所以后面的话工作重心就转到了强化学习开始做了让机器人去在现实生活中做这个事情不断的去练习通过练习归因来让它变得更好我觉得这个是有点像可能之前会看一下奥运冠军的访谈有看他们的训练就来激励自己就觉得要想做好一件事情尤其是这种动作型的事情你确实就得适配就搞出一个策略它最适合你的机体并且就不断的锻炼你的机体让你就是刻出一个肌肉记忆嘛对人来说对肌肉学习来说我觉得其实就是一个枪杀学习的过程嗯所以你是做了这个筷子项目之后才去转向了强化学习把中心对 我就是从理论的机器学习开始做然后不太满足于理论想做应用然后做了应用以后第一个算法其实是一个模仿学习的中枢算法只能在simulatory 在模拟器里跑一跑然后后面不满意做了真机做真机开始做模仿学习 做强化学习最后这个强化学习的工作其实可以在空中有一个非常会晃动的小球人夹都有点难度但是我可以用这个机械手去给它夹住因为它还是夹一个玻璃球这种准确度 [80:00] 确度确实比一般的机器学习的任务要求已经高出很多了我们后面还会再来聊强化学习啊我们现在先回来讲讲继续讲讲这两个派系这两个派系你觉得他们互相之间有比识恋或者某种程度的价值观的冲撞吗体现是什么呢我觉得彼时恋我觉得大家可能或多或少都是有一些觉得你做你最相信的东西别人的东西你可能没那么相信你相信的话你就是做了这种感觉因为在今天可能Motion Learning已经变成了一个相对来说共识了我不知道在当时他们真实的状态是什么样的以及你说机械学习和传统这种方法哪个是更优雅的呢这个评判标准是什么呢我觉得优雅是很主观的在当时那个年代我记得就是在我读博过程中我们是从一个比较比较新兴的一个分支逐步变成了一个大家比较愿意接受的一种算法在当时是有一些质疑的声音我觉得他们质疑其实也非常的正确他们问的是一个基于事实的比如说那个你什么东西都能做但什么东西都做不好那么要这个算法的用处是什么这是一个我觉得在当年非常有意义的一个concern就当时大家做很多东西你往前看的时候是不明白往后看的时候可能才发现能够溯源到某些代表性的或者有贡献的作品而当你决定下一步做什么的时候你夹到这个目的我觉得我自己的研究吧起码是有受到这个这种思想的启发就是我想让积极学习在一个问题上至少能做到极致这样别人在把它泛化的过程中可能会有一些比较简单因为它可以从我的这个经验中直接放到别的任务上泛化和表现的冲突还是最核心的一点吧即使到今天我觉得这一这个质疑依然没有完全消失甚至包括我们作为从业人员也是在一直思考一个传统的机器人的一个链条在工厂比如说造车你要把这个用一个很大的机械臂把这个玻璃给放到这个车上去这是一个传统已经做的非常成熟的成功率稳定性速度都非常有保障的一个问题你现在用戏学习拿到的这种算法和表现和传统相比的话可能暂时还没有人能够说我们这个鲁棒性是和传统那么一样的话我觉得直到今天都还是一个研究的前沿性的一个问题然后另外可能当时我觉得还有一个比较有意思的就是我不知道你我听说过一位学者叫吉坦者吉坦者他是Berkeley的一个做Computer Vision很有贡献的教授他之前说了一个很有名的话这个话太好玩了Robotics is far too importantto be left就是说机器人太重要了我们不能只让搞机器人这帮人来搞我们也得搞这个话其实有很多不同的诠释方法一个不太友善的诠释方法可能是说机器人太重要了这帮搞机器人都不行我们得我们上才能把它搞出来但我觉得也有一个比较友善的诠释方法可能是要想把机器人搞出来必须得有不同行业的人群测群力我觉得这对当今的机器人大模型发展是有启示性的比如说我是一个比较传统的派系出身的我可能很多会关注这个动作机械本身还有这个表现的精英求精我也会做算法但是在我的领域之外有很多这种做这种视觉的人他们有一些更多的就是如何引入更多的数据如何训练更多的数据的经验包括做这种大语言模型的人他们有更多的大模型学业精炼我觉得机器人的成功一定是一个各行各业都放到一起来就是有软件算法不同的行业的训练有大模型然后也有硬件甚至包括这种产业链才有可能把机器人做出来你说这个传统派和继续学习的派系他们在美国的这个分布是有具体效应的吗偶然性的是有一些的因为西海岸这边就是斯坦福伯克利这个硅谷的旁边的两家大学都是有很多 machine learning 的我觉得东海A也是有但是东海岸的传统派可能更加的根深蒂固一些就是从最早的这个派系发展当然就是现在的卡拉吉梅隆和MIT这两所学校他们有很多传统派的学者也有很多就是信心的学者大概就是最近五年招过去的还有一个比较好玩的事情是大家不管在哪儿做好像最近这两年都是在往硅谷这个地方跑我有很多朋友啊不管是在波士顿那边上创业啊或者说在那边当教授啊他们很多人也在其他的公司领了一些职位而且这些公司的办公室都在硅谷从一个边缘学派到一个现在更主流的学派作为Machine Learning我能理解大家都在往这边聚拢 [85:00] 那个传统派别他们已经认为就是信仰应该发生转变了还是说我还坚持自己的信仰我觉得有两点吧一点就是我觉得很多人都在积极的拥抱和探索就是相当于你本来有一个工具需要可以做很多事情现在别人告诉你他们也有一套工具箱而且很激动的一个工具箱你不一定就是赞同他们说的就是这工作箱有什么激动然后现在你可能看到一些东西以后你是愿意去转变说这个工作箱可能很激动我们怎么把它探索实验起来你有可能是做结合也有可能换方向也有可能就是你又开放了一个新的方向我觉得这个是时时刻刻都在发生的另外一遍的话我觉得传统派的人其实他们我觉得是有非常多的这种专家的洞察了因为很多传统派的人为了把他们的任务做好都是经历过非常多的就是硬件转化啊或者说这些就不同的工程的体炼就是他们如果能够在很多现有的项目中分享一些见解的话我觉得他们讲的都非常有道理比如说昨天晚上其实我还正在读一个博客博客上面就在说了这些电机的一些问题然后这个博客的作者也在末尾就是他是一个搞机器学籍出身的然后在研究奠基让他也感谢了很多传统派的一些教授在CMU的教授对他的一些知道你看硅谷现在还有很多新的公司刚才你说了Skilled和Pi这是两家在硅谷创业做进行大脑的公司创业公司然后还有另外一些创业公司比如说Figure比如说OneX比如说Dyna能不能讲讲他们的创始人的来历然后以及他们分属于哪些派别他们的由来和历史好的 我只能分享一下就我理解到的一些就是接触到的一些事情我感觉像Pi和Skilled两家都是有比较的浓厚的数人创业的这个标签因为两家的创始人和联创都是在学校当教授而且有些是就是比较高产的教授两家的口号也是有些类似都是想做聚身智能的一个通用的大模型的大脑然后在区别上来说呢其实一方面我觉得在应用上面派更多考虑是一个双臂操纵就是还是想把操纵这么一个问题给解决因为可能我觉得在派加入的学者我都觉得就之前在移动方面取得了很多很好的成果我们现在应该想想怎么样在拿东西放东西这个方面取得很好成果因为你可以暴论暴论就是你如果能把pick and place这么一个拿放的问题解决你可以把整个生活中所有的家务都干掉你不就是抓放抓放吗然后你可以抓这个东西放那个东西或者有一些路径轨迹的限制但是这是一个大类非常值得解决的问题另外一方面我觉得在scale的话相对而言他们有一些更多的就是腿人形和狗的一些探索我觉得这个是相对而言更多的他们的构型更完整一些这倒不一定因为现在人型机器人如何装操控系其实是没有解决的一个问题他们有很多就是他们现在能看到视频里的话相对而言他们的操纵的这个任务都比较简单然后他们更多的强调就是一个移动性我觉得并没有完整嘛因为现在我觉得并没有看完事统一到一个好的一种构型他又能做很好的移动又能做很好的操控所以大家各有侧重然后其他的公司的话我觉得就不得不提一提很早之前就在做人型的公司我觉得其实特斯拉在2021还是2020年的这些就是Elon Musk的一些话语肯定是激励到了不少人就是让大家当时的一些应典人就已经开始有这个热潮去做人型然后Figure的话是应该是2022年开创的一家人型机器人公司然后他的Founder就就我所知的话并没有一个技术背景他是有之前成功创业的一些经历我觉得是很有意思的一个人因为他能在2022这个时间点做一个他都不是那么熟悉的一个新的领域因为他相信这个我觉得这是非常有意思的一件事情然后相对而言OneX的话我听说是创始人其实是深耕了这个机器人的这种奠基因比较独特然后Diana的话她的创始人是因为这个单大创始人他们是相当于是认识的他们是有一些创业的背景也有一些技术的背景我觉得如果用一个标签去形容他们的话可能他们是更强调商业部署落地的当然我觉得现在一个拒绝场景比如说我们都看过他那个叠衣服的场景对就比如说我觉得如果看看他们在2024 2025年期间所发表出来一些东西的话可以形容为就是有没有可能就是机器学习已经可以进加落地并创造一些商业价值同时这个商业价值可能能给他们带来一些就部署上的优惠 [90:00] 是就以后随着这个机器人大模型的这个能力越来越上可能大家也会慢慢的从研究端转到部署端可能他们就是做部署端比较早的一类然后其他的其实也有因为当时我觉得是2023年到2015年是井喷式的机器人创业吧就不得不提2023年初的这个黄埔军校机器人的黄埔军校应该还是谷歌的这个研究所因为当时其实时间点非常有意思2021还是2022年切GPT出来了效果太好了其实动摇了很多人的这个想法使得当时就是做什么东西这个课题是有很大的一个变化的然后包括谷歌当时也是做了一个比较大的动作就是把他们的机器人的部门给就是变相的削减了一下就是为了给他们做大模型可能抽一点人过去但这个其实也蛮影响大家做机器人的研究所以很多人就趁这个机会出来创业了Pi的创始人就是都是在谷歌之前做的那Scale的话其实他们两创始人之间是在Meta是有研究员的职位的Figure One X应该也吸纳了不少从这一波里面出来的人然后还有比较值得关注的当时还有两家公司也是从这一波里面出来一个是叫Generalist AI一个是叫Sunday Robotics这两家公司的一个比较共通的点是他们都相对其他公司更多强调了用Yumi作为数据采集的一个手段优品的话呢是是这两家公司的创始人其实当年是在一个paper上这个paper就是Yumi这篇paper他就说了我们可以做一些设计好的一个爪子人就可以抓着这个爪子去自己生活的这个世界里面采集各种各样的数据然后并且证明了这个爪子收到的数据是可以迁移到一个机器人的一个上面的所以他们两家公司不约二统的都相比其他公司更加重视这方面的发展然后我觉得可能Generless AI就会稍微偏重工业化场景应用一点这是从他们发放的视频里推测的然后可能相对的话他们发的视频就更多的有一些就是家用的这个场景体现就机器人也比较可爱的就目前是看到比较可爱的机器人后面是几家公司我们能理解是做硬件的公司吗因为你们那两家是大脑公司还有Google特斯拉也是大脑公司对吧特斯拉我估计它的硬件也不错创业是一直在变的所以很难用今天的思维去想明天的事但就现在这个快照来看的话Pi肯定是更加注重大脑我相信Skilled也注重大脑但是Skilled大家创业公司其实都比较神秘也不知道它就得做什么然后特斯拉的话大家一般谈起还都会认为它的硬件是很强的毕竟它有这么多的钱去烧发不是一个很容易用的上手不像软件我觉得软件其实相比二眼反而是容易上手的一个东西硬件的话它的产业量啊它的这个迭代速度呀包括它里面的工程师啊我觉得这个都不是一天而起的特斯拉之前有造车的经历造机器人方面大家都觉得它肯定是有优势的Figure也是一个造机器人Figure1X都是造人型机器人可能区别就是Figure用的是电机R1X用的是这种省区的方式Generes和Sunday的话我相信其实现在就包括设计Dyna就大家可能或多少都会开始设计就是如何弄一个更好的硬件出来但是你说造硬件到什么地步可能没有一个能看得清的一个说法之前不是有一个笑话就是如果你是一个认认真真真的想把事情干成的机器学习的一个学者的话你真得造自己的硬件因为市面上没有一家是真的拿来就能用完美符合了你所想要的应用场景转音的一体谢谢大家软硬一体我不知道但硬件其实本身都没有没有达到这个地方硬件我们等会也会主重来聊到其实我觉得硬件有一个我的很简单的构想就是到底有哪家公司能给我一台我可以把它发到人家里去我就有一个人在后面遥控它但他真的能把我家里我想做的事情都做到而且它不坏它很稳定我觉得如果能到这一步才是算我觉得硬件的第一个版本才是真正出来的我记得你上次跟我聊还聊了好多比如说花衬衫Oh my god这是一个好好玩的梗这个是博士顿动力的创始人Mark他在我脑子变成了一些二次元的画像Oh my god就是你们这些人行业的各个人物对他其实是一个非常有个性的人他现在你去见到他的话他就是一个白发老头穿这个花衬衫他其实一直在公共场合都是以花衬衫的形象出现包括他给波士顿动力后面的ANU所涉及的这个对付 [95:00] 就是一个夏威夷化衬衫这个来源其实是他在年轻的时候据说谣传在当时那个年代做研究交流还是一个比较严肃正经就是不可有丝毫卸载的事情所以当时他这个人穿着一个衬衫什么的还是一个反正不太那么严肃的一个衣服去参加这个会议就被别人讲了别人说了你怎么可以穿这样的一个东西有点不太尊重然后他从此以后就我就要穿这个而且要推广然后大家都可以穿这个所以他现在的形象就是我觉得他是有一个叛逆精神在身上的是不是还有一个非常飘逸的阿贝纳刚才好像已经讲到了一些就是阿贝纳他思想非常的天马行空他其实有影响也有华人的学者是他的学生现在也成为了比较知名的教授王小龙他现在在UCSD做教授他是阿贝纳的学生阿贝纳当时是挺有意思的他做的事情就是感觉打一枪然后你还没明白这枪是什么意思后面才发现还真的有点意思他就是一个天马行空的就是你跟他开会的时候都不知道他下一句会说什么的这么一个人会说什么让人很出乎意料的吗对他的思维就像是一个点的一个跳跃性的思维哦这里面你有最崇拜的一个学者吗我觉得我能够欣赏大家的优点但是我还是比较崇拜什么游戏创作这个小说现在人这个只是生活生活和工作分开嗯哪个是生活我觉得人文故事是生活工作是一种优化是一种很纯粹的就是把大家的好给吸纳在一起的这种态度嗯你平时会跟比如说大模型的研究员有一些接触吗你会觉得机器人的里面的人和大模型的人会有什么不一样我觉得接触是肯定要接触的我也能越来越多的感受到确实要是要把机器人做成是得在一个团队的环境里是得吸纳大家的所长有各行各业的人加入才能把它做成功而不同之处的话我觉得比如说就这么讲吧我们有个机器人他收了一条数据大模型的人可能就会想说咱们收个100万条这样的数据怎么样然后我们就可以拿到一个数字然后有这个数字以后我们就会让这个数字变得越来越好然后作为一个更多搞传统机器人出身的人我们可能会先想的就是这条数据长什么样呀我要来看一看它的这个动作它做这个东西甚至包括它这个当时的硬件条件硬件环境的这些设计就是你能看到就是相对而言我觉得做传统机器人出身机器学习的学者会更多的在意就是这种物理的动作而大模型出身的学者呢他们经常会比较飘逸的说哎呀现在这个信息好像不够全他们想要加一条进去或者补一条进去我觉得这个可能是你做很多次机器人你会习惯了现在机器人的一些感知的一些系统而大模型的人可能更多能跳出这个框架去思考我们现在要什么样一个信息想把真身做成我们刚才说了很多创业公司其实硅谷的大厂做机器人也很值得关注比如说NV点比如说Google还有Tesla他们的Bats有什么不一样吗我们其实刚才顺着把每一个机器人公司的Bath都有讲一遍Bet我觉得我不能替别人公司讲我只能讲讲我自己的Bet但是从你能观察到的公开信息来说我觉得特斯拉是专家人型吧它应该是人型港最激进的一家公司因为就拿最简单的事情来决定手手这个事情呢 我有我的相信嘛我现在觉得手是一个有了会非常好但现在正在没有也没有关系 不是必要的但特斯拉他就更加的强调说我们要搞一个终极形态我们一定要把这个机器人的方方面面做都会人形上他们是有很强烈的一个人形的一个信仰的而谷歌 我觉得他们因为有自己的大模型JeminaeGamonite他们做的比较成功的比如说有多模态能力Gamonite的多模态能力比如说图像生成和图像修改是现在大家都比较津津乐道也会在日常中使用的可能对他们来说机器人也可以是这个模态的一部分会给他这个模态提供一些空间感知空间规划或者空间控制的一个能力所以我觉得他们在也许啊我猜的他们在这个走机器人路径的时候是更多是想着说机器人如何成为这个多么太大模型的一个部分而英伟达的话江福的笑话就是英伟达做所有事情都是为了外卡所以他们有很多就需要烧很多卡才能完成的一些项目比如说像世界模型这样的项目但是通过这个过往的经历一次又一次证明有些时候真的就是数据多了卡多了效果就上去了所以大家很期待就是他们这样做能做出什么就是可能一些计算力更大的一些更加简单粗暴也是一种美我觉得但是其实做的时候可能每个学生也要发挥自己的一种设计的长处在英伟达做研究会不会卡 [100:00] 痛远我当然是这么猜的啦OK在这种不同的重心和选择之下哪个公司它的不同的软硬件方案是什么样呢我觉得硬件方案大家多少不会那么公开的讲你只能从他的视频里推测为什么这个是更保密的呀我觉得硬件...其实我也不知道但确实大家在公司工作或的话都得遵循公司的一些保密原则吧硬件是更保密的我觉得软件其实也很保密派应该算是一个比较独特的地方就是在这里我们还是有一些血术界的影响觉得要分享啊发表啊也是你研究的一个部分其他公司的话就我目前的感知觉得没有这么的开放吧甚至包括派的办公室也没有那么严的安保就是有的时候就可以带一些同行的朋友去看一看就这种思想的碰撞嗯其他的公司我觉得嗯就在硬件上我觉得人型和非人型可能是一个比较直观的一个bet比如说像特斯拉Figure 1X都是比较强烈的在bet人型的但是你说他们做的和其他人做的一个最大不同可能就是有没有这个腿是一个然后也有人认为是就是你有了腿因为你是个人型而我们这个世界是为人而设计的所以你做出了人型机器人后它在这个世界里一定是最自然的通用性更好对通用性更好这是一些人的信仰然后另外一些就是非人型的信仰我觉得其实可以分为两派吧实用派还有狂野派你们是哪个我个人是实用派家口也派因为可以展开说一下就是实用派的话其实我们会觉得这个机器人不一定非要是人型他就能做很多事情了对吧而且人型的机器人的很多问题也许别人可以解决我们可以后面再跟上我们现在觉得现阶段最重要的问题之一就是它的能力它的表现它的操控一些的这个东西它不需要一个人性它就可以做而且甚至如果你做得好的话你已经可以去做这件事情了在现实生活中去部署啊做一些所以我们对人性在实用的角度上来觉得在现阶段没有那么的有必要而狂野派呢这就海了去了呀你看啊我们这么多年有车这个东西车是有轮子的自然界中优优独播剧场——YoYo Television Series Exclusive这么一个东西但其实现在车上或者大街上或者全世界那么多条公路都是为了让车能跑得更好而设计的就可能有一种信仰是说如果真的是一个有用的一种形态的话大家将来会为了这个形态去改变你所生存的这个环境比如说适配我觉得这个是可一成一个并且黄野派他们为什么要有两只手四只手好不好三只手好不好或者说你这个下面下面这个轮子你好多轮子都可以就是他可以充分发挥想象去想有没有可能就是有一种就是生物的自然界的演化链出过来的一个形态它其实是最好的一个形态然后你这个形态做了以后因为机器人它是可以换的你的手坏了可以换我个人就是比较相信也许就一个成熟的机器人的形态就是它的动态组装性就有可能将来的机器人它就随时随地都可以把自己的身体的一个部件给换掉换成一个更适合的东西就像他的工具一样对所以你的实用派加狂野派是怎么回事你想象中的构型应该是什么样的现在想不了太多现在就想把现在这个构型表现做好因为派是要追求做通用大脑那直觉来看要做通用大脑它就应该适配一个更通用的构型而人好像就是那个最通用的构型因为也刚才也说的就是现实世界各个东西都是为人来设计的那为什么你们要选择的是既要做一个通用大脑又不选择一个人型呢我觉得通用大脑的通用大家可能有不同的诠释做一个具体的构型的通用功能是通用的一种做法而做很多构型都可以受益的一个大脑是另外一种做法而且也没有人说就是你做很多构性都能收入的大脑它就不能在人情上面做只是每个阶段有可能的点你们希望覆盖的构型更广阔就不只是人没错就是Pi的模型都是在不同形态的数据上面训练并且可以在不同形态的机器人上面使用只是现在可能能看到的只是这么几个具体的构型但其实没有放弃就是说这个大脑得在不同的机械上面都能用起来因为这个人操控的道理是一样就是我作为一个人类我去要操纵一个机械开挖掘机或者是去操纵这个这个腿怎么踢或者说这个一个机械手他怎么去做这件事情我都是由一个我的大脑 [105:00] 包装了这么多不同的构性我觉得这个才是通用大脑最本质的一个定义而不是说就是我去做了一个人型的大脑它就是通用大脑嗯那是不是比如说做一个人型在这个构型之下做一个通用大脑人型的相对任务是更复杂的你做完这个复杂任务你可以放话到其他的形态更容易呢我觉得任务的复杂性是可以抽开好几个层面的比如说人型它因为关节多所以你要同时控制这么多关节是有一些难度但是你做的具体的任务任务的难度我觉得和人情是可以完全不相关的就像我之前说的我们其实非常相信一个任务比如说就假设你要组装这个麦克风这个步骤应该很多你用人形来做你用一个更加简单的双背机器人来做它都是完成一个很难的任务我觉得在现阶段对我个人来说完成这个很难的任务比你用什么构型更重要甚至我个人觉得你用简单的构型做出了一个更复杂的任务的话将来你再去控制人形做这个应该会更简单因为你更复杂的构型可以提供的功能可能是更多的它的操控虽然难但它的这个灵活度这确实是有些关节上灵活度的东西它可能更简单所以如果我能用一个简单的构型去做成一个非常复杂的任务我觉得它将来能够迁移到人形的概率也是非常大而像比如Skilled他做的通用大脑是要匹配一个通用的人形对吗其实我们并不理解他这么多的技术细节吧只能是从他的视频里推送就是他们有很多就是因为他们可能更相对而言更靠近商业部署一侧所以他们有一些移动的需求所以他们可能现阶段就已经开始做了一些人性和狗的这种东西嗯你看派其实...我们也有一些就最近的一些发布是说了就是派有一些partner就是有一些合作伙伴的机器人公司就包括之前一直也一直没有停止过就是帮助合作伙伴的这些机器人不管是不是人型啊还是什么其他的形态用上我们的这个大模型去做一些事情嗯谢谢大家因为现在我们管这些组织都叫FrontierLang那你能不能讲讲在机器人领域你觉得机器人的Frontier Lab的Frontier体现在哪里啊哪些指标能够来描述这个Frontier我觉得前言Frontier方方面面啊咱们要走的路还挺长的我觉得其中一个比较切身感受的是这个evaluation吧就是评估这个问题其实我觉得NLP是走过这条路自然语言他们当年就是生成了一段话叫你来给他打分你怎么打分也是一个不容易的事情但是在机器人这边呢就更加糟糕的一点就是你还得在机器人上跑你才能知道他做了一个什么事你才能给他打分就不光这个分有点难打而且你还得受到这个机械这个物理的限制很多时候呢就是只是一些变化什么的可能你自己不知道然后它就会影响你的这个模型表现我相信就是在最终的成品那个阶段应该是不太怕这些细微的改变或者说一些比如说你要拿这个杯子对不对假设我们现在做这个任务就是拿这个杯子你把杯子放在这个桌子的任何一个地方是一种这个这个扰乱他的一种方法就看他是不是每个地方都拿起来你还要看这个不同的光照你还要看不同的背景你还要看这个桌子高度甚至可能不是一个桌子而是一个柱子处着你能不能拿起来或者这个杯子才有自己的角度就是有这些无穷尽的一些就是初始条件很有可能就是都会影响到你最终的表现所以你在评估的过程中你是希望能够把这些东西都给评估出来但现实生活中呢你又就你又不一定能够那么的好的掌控所以评估现在是一个问题评估的问题就直接导致了你对前沿的一个认知就不像其他的领域它是有一个英雄榜一样的存在就是我们现在发了一个超级大的数据每个模型都来在这上面跑一跑跑马场看看哪个马赛马谁是第一名你是能够比较主观比较比较客观清晰的看到在这么一个事情上一个确定的结果而在机器人谈论前沿比较难的一个原因就是因为这个评估太难了导致你很难就是彻底的去评估它就包括每一个公司我相信内部都有一个评估的一套东西可能这些东西就是你的注重点它的注重点都不一定一样但是退一步讲我也觉得这个是暂时的吧我觉得最后做出来的应该是不会太担心这个事情可能现在大家还在探索怎么样做的更加的路棒和宽泛嗯所以现在这个frontier还是很难定义的我觉得可以看到一些算法可以看到一些算法的表现就是怎么说呢可能是就是一个最核心的部分大家都看见然后随着它向着更前沿的方向迈进以后就变得越来越有些乱就需要你能从分乱中找到一个清晰的线 [110:00] 你相信让你把这个图给夯视夯视了以后可能大家都有了一个共识这样的话才会知道这是一个就是比较确定的东西就有一种背诺就感觉特别前沿东西你都没有办法去定义因为不好说就是谁谁在哪个保单上面跑到了多少因为这个是所以这个是前沿就没有这种东西来依据所以现在其实大家的方向是分散的就是都在朝不同的方向在发展不知道哪一条线是那条大道大家还没有统一到那条大道上去嗯我觉得确实在研究的角度看问题的角度想要做的任务上来说是分散且百花齐放的但我觉得在宏观上面来说其实每个人的命题都是类似的吧如何让一个机械的成体他在现实生活中做一个任务或者做很多任务他的表现好只是你这么宏大的一个命题得有一个抓手开始做每个人选的抓手可能不太一样我们绝大部分人都没有机会去看过一个机器人的完整的产现能不能从你的内部视角给我们讲讲一台机器人是怎么诞生的机器人是怎么诞生的我觉得这个命题还是可以讲到原子级别但是我这个人的工作的范围也是比较有限我就从我认知的范围里讲一讲就是如果一个电机已经被知道出来了那么我要做的事情其实就是因为电影机它就是一个会动的一个关节吧可以这么理解这个会动的关节你就把它连在一起它就成了一条机械臂你看你人的手臂其实是有非常多的关节和更多细小的肌肉而现在的机器人的这个形态就是几个比较大的关节可能比较流行的就是六个关节或者七个关节组成了一条手臂然后这条手臂就可能差不多是按照你人的活动方式来对照的因为机械手基本的会有一个大的一个肘关节然后会有一个腕关节然后包括有个肩关节就这个都是比较通用的你就把关节放在它想要的位置然后做一些三级打印件或者金属件或者魔神给你想象的形状把它们固定的组装起来这样每个关节动的时候剩下的就会跟着动所以就成了一条非常原始的机械臂在机械臂能够组装到一起以后你其实要为它写一些就是系统和驱动的东西比如说最低层次的话其实都是通电啊或者气压啊就是你给它发了一个什么信号然后它就会收到这个信号就会做一些动作然后很平常的一种操控手段就是用一个位置操控是我希望这个关节现在是一个什么90度角把它变成一个180度角我就会发送这个它需要在关节的层面把上层发给他的这个讯号转换成一个他能够真正执行的这个东西这个就是叫底层控制然后再往上一层你怎么决定你要发什么样的这个位置讯号这个很有可能就是需要你有一个大脑看到当前的这个任务然后决定为了做这个任务我要在桌上拿一个东西我得先把手抬起来它是要需要呃你也是个人然后理解你的这个关节 然后去做一个把这个关节往上抬的这么一个决策再发给这个机械的这个关节在关节再执行执行以后就有新的一个场景了新的场景大家就看了我现在已经在柱子上面了我要做下面有个动作的话可能就是往右往左我觉得这个是一种两层式的一个思想吧就是有一个大脑来做一些决策做成了一个你能听得懂能执行然后也能够比较方便我们去做一些调试的一个东西然后同时呢它也有一个更底层的东西去把它翻译成一个物理世界更原始的一个东西嗯那接下来我们来讲讲派的工作和你在派的工作嗯嗯你刚才讲到机器人公司其实现在各个公司的主线和抓手是不一样的能不能先纵览一下派的主线和抓手是什么好的我觉得要了解派的工作可能一个比较好的方法是看派的几篇就是主线发表之所以说主线发表是因为我们觉得主线发表的这个命题是可以推动整个领域往前进的其中有三篇主线发表现在第一篇是派林它的关键词应该就是能力第二篇是π0.5它的关键词是泛化然后最近的这篇是π0.6星它的关键词是表现就是在派林刚开始做的时候我觉得是大家都非常的激动可以用有了一个非常好的架构然后可以用一个大模型的思路去做机器人但没人能知道做成什么样也不知道能做成什么事当时在2024年初派创立就想做一些之前做不到的事情但是具体要把这些做不到的事情给做出来就是派林的这种旅程 因为其实派林做了三个任务 第一个是 [115:00] 大家可能比较熟悉的就是点衣服我觉得我们应该是在2024年发表2024年11月的点衣服是一个让人比较耳目一新之前从来没有看到过这种级别的这个任务的表现然后第二个是叠箱子叠箱子叠纸盒子也是一个哇这个东西真的能做吗我们不知道我们来做一做看然后当时还有这当时还有第三个就是busting就是去桌子上去抓拿放但是你需要就是前所未有的这个悟起得多养性却都能够处理的很好所以这三个任务当时是奠定了我觉得是奠定了就是大模型能在这些前面想都不敢想的任务上表现成什么样的一个基石所以注重的是表现然后第二个任务呢派0.5是泛化犯法的意义其实我觉得至今也是存在的就是如果你大模型训练出来以后一个机器学习的根本问题就是这个所谓的in-domain和out-of-domain就是你是一个数据内的和数据外的如果你训练好了以后只能在数据内的这个范围里表现得好达到数据外里面就没有用的话那你这个影响不就很有限吗所以就很强调这个范化就假设你做了一个任务它是在这个房子A里面收集的你把它放到一个房子B放到房子C或者说你要探索就是你要多少个房子100个房子1000个房子你在这些房子里你才能在第101个房子里面得到一个很好的效果所以派零年五的出身我觉得是想要探索就是我们的大模型能不能够泛化并且泛化的一些条件是什么同时当时因为派林和派林.5之间也是有一些其他的发表可以我们等会再说一下就提升了大模型的一些表达能力和分层能力使得它能够实现这样的一个泛化所以当时我们是在很多Airbnb里面收集了数据到这些别人的家里因为是走出去了就不是我们控制的一个办公室的一个场景不是谁控制的一个工厂的场景而是真的就是杂乱无章的别人的家里面去做了一些日常的任务做了这么一个数据收集并且研究就有了这些数据以后到新的家里面或是什么样当时一个比较令人振奋的一个点其实是大概说了应该我记得paper里写了应该是有一百个家然后在你在试试把这里面的这些加给去掉你看你去到什么地步它有增长就是我们感觉这个许多是放缓的就是可能也不需要真的在世界上所有人的家里面都收了数据以后才能在他们家里面干活你实际上是有一个数字你可能说到那个以后就可以了就是我觉得这个是泛化比较令人振奋的就是你in distribution这个数据内是有一个尺寸的达到这个尺寸其实或许就够了派0.5的标题好像很有趣叫开放世界泛化模型是的这是Servie Polish过的标题吗标题其实大家我怎么觉得Celsea是出了这个标题Celsea出了对 但是每一篇Favor你看应该都有一个科幻小说的一个引用这都是Serg也写的派林和派林念舞是什么潘灵和潘灵电舞的科幻小说的引用吗我不记得这个只有Serge记到然后后面到了拍0.6这也是一个我觉得我们所有的需要回答的问题吧表现就是又回到之前的这种如果你做什么东西都可以但做什么东西都比较半调子那么这个模型的用处究竟是什么所以π0.6的出现其实就是想回答假设我们现在真的想做一点事情就想把它做好我们到底怎么样把它做好所以是提升这个表现而且拍0.6我觉得这也是就是我参与非常高的一个项目因为我们是情况学学的团队这个是我们的第一篇工作发表出来嗯强调了很多的方法上的简洁性但是在最后的表现上更多的是强调如果有一个智能体它差不多可以在一个任务上做了的话你就去收集它的体验数据让他在真实事业中去收集他的体验把这个数据放回他的训练池中他其实可以达到比之前比你之前那些固定手的数据更好的效果我觉得它对于我们数据收集是有相当大的启示意义什么叫体验数据啊就是它自己去做这件事情收到的数据就是平时我们收这个真机数据的时候是有一个手臂比如说我家有一个手臂我就给你看在这个桌子上面我简单就可以通过咬操纵就让他干一些事情你说到数据呢其实是就是这么一个机器绑在这个桌子上然后做了一个任务他其实可以不咬操纵他可以让他自己去坐做了以后他可以把这些数据都收集起来就是数据的来源其实可以很宽泛我觉得之前其实很多人会说就是我们机器人领域都靠人来要操纵的话就数据收集又慢又不好我觉得是可以再提升一点但确实是有这么一个隐患就是以后可能不能够完全通过这种 [120:00] 收到所有想要的数据我觉得经过Pi06这篇项目以后我们也有了很大的感触觉得机器人自己的数据也会可以非常的强因为它的起点是人给它设置的但是如果要超越这个起点还是得机器人在环境中去动作包括我个人是比较bullish就是比较暴论的坚信就是将来机器人的价格就是应该又便宜然后又方便很有可能就是很多人现在对于数据的一些就是担忧在时间的长河里其实都不重要因为你可以让机器人这么多的机器人在部署的过程中收到数据都来来为我所用哦 是吗派灵道是一个基础模型这个星号的意思是你把最后的那个成品就是你的这些数据放回了你的模型之中但是真集收集数据不是说很贵吗诶如果谢谢大家就是如果你可以自己叫rollout你不就相对便宜了吗就是真机数据贵我觉得分为好几个方面对不对一个是你首先要有一个真机平台然后你要把这生机平台放在家里你还要维护这个生机平台同时呢你还要问问一个人让这个人来做一些任务同时还要跟这个人做交流还要做有些规划就是一个非常复杂的一个管理的一个问题但我觉得就是如果机械的价格降下来的话就在这个过程中我个人认为现在的比较大的大头其实是管这个人去收到你想要的这个数据但如果你可以把就是数据的操纵源这个给放在一边而是换上你已经训好的一个大模型让大模型在这里跑其实你数据的成本应该是能降很多的硬件也需要降低成本吗硬件我觉得永远都是可以再便宜一点再稳定一些现在比起五年前肯定是便宜了很多的关于数据我也听说就是错误数据其实是好数据就是错误之后再纠错的数据我觉得这个是动作的一部分还是踏心的一部分就是这个思想其实是大概是在最早的这个模仿学习里就有很多模仿学习的一个很严重的问题就是就是积累的错误可能每一步骤的微小错误不断的放大以后会让机器人到达一个他完全没想过的一个非常糟糕的情况就是人收集数据中不会碰到的情况而一旦机器人进入到这个情况以后他有可能就不知道该怎么样修正他的路线去完成这个任务这个技术问题是有一整套的修复方法的因此很多人收出去的时候都会很强调说我们不光要收一个完美的人的数据同时也要收很多机器人进入到了一个不好的情况以后怎么样修复怎么样继续去完成这个任务的一种修正数据确实修正数据对于一个机器大模型的表现很重要但是再次强调就是修车数据也可以通过机器人自己跑来收这就是强化学习的一个比较本质性的东西现在金奇灵与关于数据问题大家有人相信真机数据有人相信仿真数据你持有哪一派观点黑猫白猫抓到老鼠就是好吗什么数据真的好用就相信谁而且是一个practically的好用就比如说最本源我是相信真机数据的但确实我们要承认真机数据的价格在现在这个阶段比较数据要贵但是如果你用就假设你有个budget你有一个十万美金你用这十万美金收多少真机数据你用这个十万美金收了多少好就是仿任器的数据可能数字量是不一样因为budget是固定的数字量是不一样但是另外一方面就是数据的质量数据的意义数据谁能够让你这个模型做得更好我个人觉得如果你只有仿真数据的话你应该不太好做有一些任务因为它没有to seem to real gap我觉得不光simile的场景很难的比如说你要用仿真去做一个叠衣服的仿真这应该是依然是一个半前沿问题半前沿是因为我现在没有看到一家能够做得非常好就是谁在仿正期里面做好这个训练以后加一点点真心数据就能让它表现很好我觉得现在不在这个地方但是也有一些人认为这是可以达成的所以他们在积极推动这种前言所以是一个半前言就是谁也不清楚会不会两三年里有人做了还真的把它做通了它可能就是一个非常强有力的一个说出去的一种方法但现在2026年的快照你要是想做一些跟软性柔性衣服摩擦力还有这些就是这种物理性质非常复杂的东西你在仿仁器里面其实你可能都没法搞出这么一个仿仁器来所以你都没法收这个数据就是我觉得是要非常强调就是你到底能收到什么样的数据去思考而不是只看我们有一千万个小数的数据我们怎么怎么样很有可能这一千万小时数据都是garbage 垃圾数据 那就没有什么用的对于叠衣服这个场景 是不是真机数据 [125:00] 很好用那它是可以采集的就是你说体验数据我觉得现在相对而言DF最简单粗暴就是踩真机数据甚至包括你看啊就是我们都有开源模型的就是我们开源模型应该是也有一些DF的能力在里头的你也可以拿它去作为一个数据的起点都是可以的嗯但你要做的是一个通用大脑而不是这样就是实现一个场景任务的因为场景任务其实你做强化学习就可以了然后你通过采集真机数据而且这个场景是相对固定的是有限的这是一套可行的流程但它不是全部的对但是如果你的目标是一个通用的大脑那你需要的是和现实世界交互的所有的非结构化的数据是你所需要的那如果当你需要的是一个这么大量这么丰富的数据的时候那你应该bet的是真机数据还是仿真数据还是莫中混合体嗯我觉得大家的目标是一致的是想做一个能在现实场景中能在很多不同的场景中做很多不同的任务且表现都好的一个智能体但是要做到这个智能体真的需要所谓所有的数据嘛就是尤其有一些数据它的相关性是需要考证是需要人去研究的我觉得这个就是希望在一个美好的梦想世界里肯定是所有数学都能有个最适合它的使用方法但现在我觉得现状来看政绩数据目前我觉得是不太可取代的哦尤其是你肯定能找到一些任务他不需要正绩数据他就可以做得很好这肯定是可以找到的但是因为我们的目标正是因为我们的目标是要做到最后场景里的所有任务所以我觉得目前正绩数据还是不可取代的嗯好在场景上,为什么你们做派领的时候选择的是叠衣服叠箱子这项场景啊?就是常见很酷真的非常久具有可放话性OK嗯当时像就是泛化性在派林这个时间段更多的是由这个就清理桌面这个任务来承担因为泛化性的话清理桌面的这些道具我们是有几百个就是随便让他们去收啊然后就换各种东西就是发挥他们自己的就是收数据的这些人自己的想象力去搞一些这个事情然后当时我也参与了负责这边的一些策略的设计然后其他两个任务的话呢首先是有泛滑性的因为泛滑性它也不是一个单一的标准它是有很多不同的细节其中在叠衣服这个任务上你看啊就是衣服它的状态是千千万万的对不对你这个衣服上多了一个折那边衣服拐了一下这其实都是一个不同的状态你说到的状态不管怎么样还是一个有限的数字你没有办法去覆盖所有这些衣服可能的状态但你如何保证你还是能把这个任务完成其实已经开始需要一些反发性了然后其次就是你还有不同的衣服这是一个红色的那是一个绿色的就这些不同的衣服也是一种方法甚至包括就是后期我们在座的这个派零六星里面的这个更多衣服的点就是开始叠不同种类的衣服它是另外一条泛化的一个标准所以我不认为这些任务没有反化性只是他们探索的反化性是不一样的一个东西因为当时不知道他能做能不能做出来这些任务的一个原因就是因为知道叠一幅可能会遇到各种各样你不在数据里的一个情况你究竟能不能就是做好它你会这样想就是前面这个衣服不管它是什么衣服我第一步其实都想摸到它但是你怎么保证你的模型做到这个事你还是得上身体看一下它确实能够去开始跌你刚刚也说到没有公司现在评估都是不一样的作为派来说你们的评估是什么样的那些指标来评估你们还确保你们在你们的驻航道上我觉得指标又快又好肯定是abstractly抽象地说就是就是我们的目标但是评估要需要一个数字的话你看派灵六星里面就提出了surput就是固定时间内的成功的亮我觉得这个可能跟我现在的思想就比较相符因为这就是我们提的嘛就是希望你在做任务的时候考虑到你到底花了多久时间去完成这个任务这个任务完成度究竟是好不好甚至包括其实也有一些更加细分的就是一个任务的成功和失败的定义是是我们就是有打磨过就是想因为你一个人在做任务或者要一个机器人做任务过程中你其实有很多隐含的含义就到底怎么样去保证你最后的打模型能够完全的理解人的意思我觉得也是一个开放性的一个研究的课题就是他做任务真的是人想让他做的这个任务而这个派06星里面的这个throughput比较好玩的一点就当时就是其实是有个目标的就是开箱之前是有这个目标就是我们的研究员呃肯定是比不上我们的数据收集员在做这个任务上因为数据收集员他们非常喜欢非常习惯了用这个机械人我们就问了那我们能不能做一个机器人比这些数据数据其实说的东西要快要好最后我 [130:00] 是在起码在第一夫这个温柔上确实是clearly的达成了就是最后这个机器人的表现是超越了他一开始的这个人即使是最好的数据收集员的这个起点嗯你觉得派的工作其他工作还有什么值得讲的吗派的研究其实是业界公认做得非常好的我觉得中间有一些研究也非常的有启发性我觉得做研究这个事情其实就是不停的哎前浪派后浪前浪死在沙盘上但是你能够打一朝浪出来还是很有启发性可以为后浪做很多贡献比如说派你看派零到派零零五中间是有两篇我觉得很有意思的工作放出来的一篇是这个Fast它是在研究了啊就是从一个大模型训练的角度上来说你现在也要要去预设一个动作怎么样表达这个动作就是动作有没有一个很优化的表达空间所以FARS这篇paper呢就提出了我们之前用的这些这个扩散模型Diffusion Policy他们的表达是这样的一种表达但其实他可以去学一种表达动作的一个方法然后发现如果大模型就是在这个空间里做预测的话它会有一些性能上的提升啊还有一些方法性的保证啊所以这种也是一个非常重要的一种基础性研究然后另外一篇paper当时是叫做Hi Robot就是想的是人和这个机器人的交互就是人可能会说一个语言去让机器人去完成但机器人如果只是一条到头就彻底端到端的话很有可能在一个长达十分钟的任务里他会有些迷失他不知道现在该干什么所以High Robot就是第一次开始就是非常正式的说这个应该是一个分层的就是有一个比较高层次的这个Policy它会去把你说的这个任务转换成一个更加具体的可执行的更短一些的小任务然后再就这个比较低层次的就是执行端就他们俩其实都是在同一个模型里但是给这个模型进行了一个输出的分层嗯然后在派0.5到派0.6星中间应该有不少发表但因为当时我在忙着搞这个派0.6星可能有一些疏漏的地方我觉得现在回头来看比较有意思的几个发表分别有这个OlympicsOlympics这个发表呢是我们公司一个内部的一个好玩的活动就是会不定期的让研究员和数据收集的组成小队去玩一个奥林匹克就看谁能够操作机器人去做一些很难很难搞很想都不敢想的一些任务因为毕竟是人在操作嘛其实这个可以非常大程度的去推这个绑嘴就是推你现在不说什么大木星你就让人来操作他能够操作完成什么任务能不能把你想到的所有任务都真的完成因为你人手能完成的话其实能不能完成我觉得这是一个非常好的一个活动所以我们当时就从这个活动里诞生了就是Olympic这篇 paper也是有专门的负责人去思考就是如何完成一些之前别人提出过的就是觉得对之前非常难的并且在用人操纵数据完成了以后再让我们的大模型去做去学习然后发现取得了就是成功的完成了一些大家之前觉得会非常难的一些动作嗯然后还有你们完成了什么动作这里面有什么好玩的我觉得比较好玩因为我这个人很喜欢这个高精度的任务嘛就是拿出一个钥匙然后就开这个锁这种任务同时也是有一个什么我觉得有个开门开门这个任务其实我就是刚刚我们在做硬件硬件的时候我也是就是头几个就是去赶紧去尝试一下硬件能做到什么地步的人当时我就觉得开门这玩意真的太难了我在那好像搞了二十多分钟我才终于想明白我怎么样用这个机器人的这个形态去让他开出这个门来但是这边他们就可以做了以后发现其实首先这个策略是可以优化的并且这个策略优化轨或机器人是可以成功的自主去完成的这也是一个我觉得就是说起来好像也没那么难但绝对没那么简单的一个任务嗯然后派零点六星到现在的话我们应该是正在一系列的发表过程中把这个上次刚刚发了叫做Partner因为我们希望做成一个通用的大模型它是可以在很多不同的场景和不同的机器人上跑的所以Pi也是有一些和其他的机器人公司的合作的在这个partner的这个release中就谈到了我们和这个一家叠衣服的公司和一家这个打包的公司的合作就是他们跑的其实都是我们训练的或者说用了我们的这种东西的一个大模型在他们这个更加切近商业落地的一个场景就你看到就是我们公司自己目前没有很多就是商业落地的这个想法但是其实有在帮助其他已经在上线落地的机器人公司去做他们的事情也是在变相推动我们的这个研究的前沿前进 [135:00] 并且我确实认同就是这个partner的方法是有在触碰了一些机器人的本质问题你看从我们开始搞机器人研究的那个时代你干啥事都是你要知道找谁而且他会懂你才能开始做就是你写个软件现在是分分钟的事情你上网问一下CGBT然后可能这个AIA键或者Cloud就我帮你写很多东西就是你作为一个开发者作为一个研究员你有很多的就已经做好的事情可以供你趋势而机器人之前我觉得就是不管是硬件的造还是软件想让他做一个差不多项目像样的东西都是非常复杂的我们可能是希望在以后就是你这个人买了一个机器人的一个硬件的一个乐高玩具拼装以后你可以直接插入我们的大模型他也可以做很多事情了只希望把这个开从机器人从零开始做到就是第1个赛中间时间给速断我有一个问题啊因为你提到你们的硬件有很多的partner并不是说境界有很多partner,而是我们公司和其他公司有一些partner的合作。那你们自己会做硬件吗你们做的有多深啊这个有一些内容不太方便透露但是我们在派06星中使用的这个硬件其实是我们自己弄的一个硬件它有优化一些就是不管是稳定性啊还是就是方便这个任务比如说其实你看到就是大家现在批评夹爪批评这个简单手机器人就会说了这个简单的时候你抓杯子你不会把杯子抓破了吗但我们为了做这个咖啡机这个我们就把我们做这个机器人它是一个可幻的带点可换的这种家转为了做咖啡你是需要一个另外一个家转它其实成本都不高然后换起来也很简单但是但是你是有这种研发以后你才会感觉到就是什么是一个比较本源的问题什么是一个其实很简单就可以解决的问题因为我问这个问题是我知道有的机器人公司他们为了就是做一个更通用的机器人他会让他的硬件为了软件优化70%到80%硬件会一直在为软件去做优化你们会这样做吗我觉得硬件你去说是为软件油化不如说是为最后的任务和表现和能做什么在优化嗯我觉得这个应该大家都在做吧因为确实市面上没有一个已经定型的结束了的硬件的形态可以停止这种优化因此我觉得大家应该都在不停的去干这件事情有人说Pi在机群领域其实就是想要对标OpenEye在大约模型领域如果这样对比的话Pi现在发表到了Pi06星你觉得它能对标GPT级啊这个问题好难回答哦因为我确实认同我觉得派一部分的构式成为一个Romotics界的OpenAI成为一个通用大模型的创造者嗯至于我们现在大模型发展到哪里了我觉得你每天在这看你就看到这些不好的东西我每天看到都是说这个表现没有很完美那个表现也不行我们要怎么把它搞得更好这个是我比较每天日常里会想的东西或者说就是本源的像一些就是这个模型是不是还有一些大的变革才能达到我真正想要的一个效果所以我觉得我们还没有到但我觉得我们在靠近了你觉得什么时候能到GBT1啊我觉得这是因为起点不一样就是NLP的起点我在2017年刚赌博说就短暂的做过一阵子NLP哎呀当时可好笑了你知道吗我当时在想说好这个自然语言生成感觉不太行呀我怎么训练出来的东西天天就在那就在那儿写莎士比亚嘛他就天天在那啧啧啧因为这是一个概率学上最容易predict就是能预测一个单子他还不停地预测这个单子就天天就跟我说我说这没用啊是不行然后人家跟我说他们在用强化学习做这个大语言模型我就说喜欢学习也很难搞的你把这个特别难搞的A和特别难搞的B合到一起你这能做成功吗我完全不懂然后到了19年20年别人就做成功了就说这个你看做的多好当时...就能够感觉到问题是有一些不一样的吧当时我从自然语言转换到了机器人说的第一自然语言里面你可以顺生很多文字你怎么跟这个文字打分怎么知道什么是你想要的文字很难所以当时觉得自然元素情况学习会很难就是因为觉得这个打分太还含糊了不是那么的清晰当然后来有很多就随着更多数据集的出现他们也不断的建立了新的标关所以他们这个标准可能会有那么一阵子出现变得清晰的过程然后另外一方面是觉得当时做机器人好玩因为机器人可以做很多task很多任务这个任务都是你可以拍摇到想一个新的任务然后再做我觉得这 [140:00] 乐趣是这些人里面一个非常tricky的点因为自然语言很多时候你可以用以言去描述你想要他做的这个任务对吧你可以说我今天有个问题给你我想你给我写这个代码然后你可以不断的去补充就自然语言的这种跟智能体交流你想他做的事情是什么事情是一个非常天然的一种交互方式而机器人其实我觉得在这个VLA model出现之前就没有很天然的这种方式即使现在VLA model出现了我们也是在探索就是为什么就我是一开始完全没有用过VLA model然后现在其实反而是有一点欣赏VLA model就是因为如果我跟这些Cloud agent呢提的很多要求都是用语言来表述的那是不是我跟机器人也可以通过语言来提这个要求然后这个语言的要求就会影响到就是你在没有那么多数据情况下你可以完成一个确定任务其实这是技术的一个优势我觉得在自然领域界没有那么多数据情况下完成一个具体自然领域任务其实是有点难的我们现在就相当于是在数据量与对方这个业界完全无法比拟的情况下其实你已经做了很多东西出来了所以我觉得这些非常有意思的点嗯如果我们往后推演一步,你看今天的大模型发展,这些模型公司慢慢都变成应用公司,因为大家发现模型是商品化的,它会慢慢的统一和统治化,所以最后大家构筑商业化的不同和互乘核都是通过一个不一样的应用来进行选择。我觉得如果放到机器人这个领域来,是不是今天你们出发可能是一个通用大脑,但慢慢可能也会做成不一样的产品形态。然后没有公司的产品现在是不一样的我觉得也许会我觉得大模型现在是依然有很多的竞争在竞争中刺激了很多的研发刺激了大家对一个更好大模型的追求我不太确定就是像OpenA的国家对的这个产品难道就不能拿来做写代码了吗以前也是可以的我不知道他们现在研发了哪一步或者怎么样只是最近可能大家都是在用Cloud Code的这么一个AI工具做但是他们因为都是一个多功能的达模型我觉得没有任何事情告诉我是他们根本上做不了这个东西只是你说这种就是产品形态开始发生的一些分析分化嗯嗯我觉得也许是可能的但也许一种可能的形态就是有一些人是专门做大脑还有一些人他们专门做就是这个场景的商业化和为了这个场景的商业化所做的很多事情甚至他们最后也可以插入这个别人公司的大脑所以这是一种可能存在的形态你觉得机器人会出现一个独立于大语言模型的独立的大脑吗据我所知大部分的团队还是在基于一个多么泰模型上去做后训练做一个机器人的大脑你觉得一个独立的大脑就是说要专门的为机器人大脑去做预训练中训练后训练它是一个自闭环的完整体系吗我觉得是有可能的但同时可能也有一派人的认为是说所有这些东西都可以归到一个模型吧而且这个模型还没有被创造出来我觉得从这个角度上来说确实就是如果有一天就是有这么一个模型它能拿到所有的我们能想得到的模态和做这些自动化上的必要的任务不管是寓言沟通图像编辑什么视频生成或者说机器人的操控它也可以是一种可能性那个时候也许其实也在训练里了从你们那部看现在看到Skinning Law的迹象了没有嗯 我觉得scaling law是一个非常tricky的话题因为scaling也有很多就像泛化有很多不同的衡量包装银行Skilling也有很多不同的衡量标准就是每次当我看到有一些就是over simplified就有点过度简化的这种陈述的时候我都是会有一点觉得不够太细节比如说Skilling你看在潘灵.5里面做的就是你在十个房子里面收的数据你到第十一个房子里面你能跑起来过你的表现是在哪里比起你说了一百个房子以后你再到这个房子里来是不是有一些涨进那你再说一千个房子会不会其实其中就没有那么大我觉得这可以看作是scaling law的一种探索方法吧就是我们要收多少个房子才能够在下一个新房子里取得一定的成果同时你收过多少个房子以后这个新成果可能就就是提升就没有那么明显了我觉得这个在帕零六泰林五给我感觉是它确实是可能可以摸得到的一个有限数据可以达到的地方嗯但是我觉得我们现在数据量还是太少了肯定还是要再基金一些我觉得会好玩嗯你的算力够吗三里多么我觉得算力够不够是看你们这人喜不喜欢干活你们这人都特别喜欢干活的话算力永远不够永远都可以有新的想法想法新的事情和创新的模型你们那人卷不卷我觉得大家你从一个工作时长的角度上来看的话是很多但其实这并不是他强行要求的 [145:00] on year. in the company to what's going on? 还相对而言比较自发的就是今天在公司吃完晚饭 哎又又跟这个人开始草温起了一个什么话题 就想往下再走一走再看一看啊 所以有的时候大家可能工作还是挺长时间的在哪儿 甚至包括周末有不少人会去公司 也是相对而言比较自发性的 就是觉得哎下周想出什么一个结果 那今天就把时间跑好 Or just like a thought, that's a good idea. You know, they're not working at a job, right? Milla. You may not have a question. Your typical day is what kind of? So I... HIDE研究员 每个人都不一样 其实 甚至包括有些人他们住在南湾 然后要来就丁山这个城里 他们每天来回开的时间可能就三个小时的车 Thank you. Like I was a little bit of a little bit. So I basically, I don't know if I was a little bit of a job, but I wouldn't have to work in the office. I would have to work in the house before I was working in the office. And then it's almost in the middle of the day And then I'm going to go to the morning. I'm going to go to the next two or three. I'm going to go to the morning. I'm going to go to sleep in the morning. You don't have to use it to record it I don't know what to do. 就是继续他的工作 就是相对而言是一种比较自由的氛围 让你决定什么样的工作方式是最适合你的 同时公司也可能希望 大家变成了一个团队以后 可以拧到一起 发挥作用 那你们会有例会这种吗 Ah,最早是有的,就刚刚来公司的时候,这个律会给我这个夜猫子带来了非常大的困扰,因为律会是每天早上10点钟到公司,大家轮流说一句话自己在干什么,因为当时公司就有20个人。 But I told the CEO, 怎么十点这么早啊 我们能不能改到下午 然后他就很震惊地看着我说他们最早是八点 后面退到九点 然后退到十点 怎么我还嫌十点也早啊 Thank you. And then, after the company, I think the number of people's numbers increase in the management process is needed. So now, there's no such a Just every day there's a meeting. There's a meeting with the meetings and the meetings. There's a meeting with the meetings. Now there's a meeting. 现在我的旗感 It's about 70 people. 体感 体感 因为我也没有天天在那说我们公司有多少人 有几层楼啊 We're still in the first place. This is the place I think really is... 第一它是非常有创业氛围的 This one is more of a simple, and we have all the equipment and equipment. But in the other hand, the building is a little too much. The building is really a little too low. This thing can be recorded in our meeting room. There's a two-voltage test test kit. This is the second-to-air quality test. In the meeting room, there are over 3 or 4 people. There are times when you're going to be a red color. Then you can't open the door. You can open the door. You can open the door. You can open the door. You can open the door. You can open the door. You can open the door. You can open the door. You can open the door. You can open the door. But in the new office, you can open the door. You can open the door. I think it's hard to find a very good company. We have some kind of硬件. I was like, I don't have my own 呃 办公室里是有机器人的 你还有一些什么用电用网的一些需求 就是想到一个非常合适的地方没有那么简单 你们的组织和文化是什么样的呀 Hmm. I think it's a lot of work. 大家都比较踊跃地去做一些自己觉得非常重要的事情,然后同时,嗯。 尽可能的就毕竟创业嘛就是你们都是有一些股份然后也是有一些steak在这个公司里面你是希望公司变得很好其实有的时候不是你的就是氛围内的身影会去想要去做好 And also, our company is a more open-minded area of research. So, I and another one will be a group of students, and some交流会. Just like, "Dubes! ". um, 比如说我们现在想做一个项目,比如说这个派零六星,派零六星其实是去过两次这个读书会的,就首先一次就是给大家讲一讲,我们现在想要探索这个问题,这个问题以前的人的发表和东西都做到什么地步了,然后我们觉得它的应用就是会有一两个人主讲,然后其他人可以问问题啊,或者会甚至质疑啊,都是可以的,就是看怎么样能让大家尽量的在这个课题上感到同样的激情,然后同时有几个人主要去负责去做, 其实又上了一次读书会给大家焦虑一下现在做这个地步了你们觉得怎么样然后有一些比较天把行空的读书会比如说Cloud agent出来了然后就疯狂的就在读书会里面说 [150:00] 到底谁是我们公司最能用不好的agent的人赶紧上他上台讲一讲就怎么用然后大家就可以超完作业就是这种分析要超了什么唱到什么就是我确实在我当时在埋头干一些别的事情就没有怎么关注到然后他们跟我们介绍了一下他们怎么用这个Cloud Agent我都听完以后哇 惊了我就说哇 这个确实是生产力的飞跃式进步就是大概最近两周我就是把自己的整个工作的这条流程都改了一下就觉得哇 现在跟一年前也完全不一样的一种工作思路了能工作到你之前工作的多少倍啊你的一天的工作量我觉得效果上来说嗯我觉得应该有个三四倍吧但是研究嘛就是一个不停的打一枪看看这个子弹落在了哪里调整这个子弹嗯我觉得不是你疯狂的打枪就能够打中什么东西还是需要一些人的input你们CEO的管理方式是什么样的CEO的话是Carl Hossman他是他其实在公司主管的方向并不是那么的侧重研究因为研究方面的事情更多是由Sergey和Chelsea来负责所以我和他打了交道并没有那么多他管了一些公司的基础架构你可以认为就是我们公司里面有很大的一份工作是研究但也有很大的一份工作是如何保障这个研究能够高效快速的进行下去Karl是有主要是很多负责在这个方面上他就是Sam Altman那个角色类似于可能也会未来会做一些双眼化如果需要的话他们怎么想的其实我在2024年就是刚刚他们开创了以后就是说要不要去聊聊我就问他们你们现在做人行吗你们现在要做什么双眼画吗我当时感受到的氛围就是确实我们不做人心因为他们要说做人心我就不来了你知道吧为什么我当时感受到的氛围就是确实我们不做人心很担心就是不同背景的人去做人型的比如说现在人型公司的做人性你就不来了神奇啊因为我觉得人型是一个非常值得研究的问题但绝对不是我现在最想研究的问题而且如果他们做人型我就会担心他们的研究重心就变成了如何做一个更好的人心机器人而我的研究重心就是做更好的任务我个人是非常相信不需要人情就做出很好的任务的而且不需要人情就能使用派的角度出发更快的做出来比如说你看现在点衣服什么的都是我们先做好了蝶衣服蝶盒子啊还不过先做咖啡啊都是你先做好了他不需要人心他就可以做而且我觉得有更多非常多的任务都是可以无穷无尽的任务等着我去做呢我要是把时间和精力都花在了就是怎么样让人机精神跑得更好上来说他不是我这个人的工作重点就我觉得是一个Taste的问题那如果让任务更通用你未来的硬件是多样化的吗还是它可以统一到一个硬件上我觉得也可能是我觉得现在我们作为一家通用大模型公司比较考究的其实就是它在不同的机械上的表现它在不同的居身的上面的表现就是你不追求未来的世界所谓的机器人就是人形机器人那种统一的美感对吗你觉得他随便都可以我这个人最喜欢的就是宠物机器人我有一个朋友他说他要创业创这个宠物机器人我一听可来劲我就恨不得要不是因为现在做的事情也是很想做的事情我还不如加入他呢因为我就会觉得就每个人在机器人这个领域里面都是有非常多分杂的线的有意思宠物机器人宠物机器人想做哪种宠物啊嗯什么种物都想做宠物实在是太可爱了我觉得这是人文的情绪价值大家活在这个世界上的一些意义我觉得陪伴是一个方向说了很久派啊你当时为什么加入派啊当时也是好凑巧啊因为我其实整个博士期间一直坚定的以为我要想去当教授但是一直很害怕当教授因为教授要写好多这个什么Funding Proposal就是吸金申请我一听到这个funding proposal我就觉得我想解决问题我不想考这些事情可能这也是我的还需要修炼的一个部分但是当时切齐屁横空出世我有一排大腿决定问了我现在可以去当教授了我不怕了我用切GPT帮我写这些仔细申请就可以了但是在我其实经历了一整轮的教职面试中间就有一些感触很有意思因为我之前的研究其实没有很多大模型我虽然做了很多机器学习包括各种机器学习方法研究但我用的模型都比较小这个跟我们实验室的氛围和我们当时拿到的计算资源也是有一定的关系大家可能说把这个任务做到就好不要想太多就是其他的事情所以当时注重的点没有那么多大模型在教师申请的过程中我也是以一个更加偏向传统的一个故事在史上上找这个教制然后能越来越感受到大家对于这个大模型的热情就包括我自己其实也是有非常大的好奇心然后又因为非常巧合的就是Sergé他有一个学生 [155:00] A wieszek. Ta... Zobacz, zb. ihołego do władzy, to jest to ja to do tego, a także został zb. Wiem, w tym roku, nie jest to w tym, że to roboty learning for manipulatory. Abyśek zadajechów, że to ja, "Wieżdżak, zauważył, zauważył, zauważył" "Grywało się, zauważył" To znaczy, że to są to jego uczestnicy To one方面, to też zainteresować mnie. To też zainteresować mnie. Wydaje się, że mamy zainteresować mnie. Wydaje się, że zainteresować mnie. Wydaje się, że zainteresować mnie. Gain, dokon网络 wc.com. Zobaczcie, że to jest to co, co? Wszystko to jest najlepsze. Wszystko to jest najlepsze. Wszystko to jest najlepsze. Wszystko to było na wyświetlenie. 非常强烈的求证 包括大家在 我在看别人的paper 看别人发表的时候 也是会经常比较喜欢 打破杀破破跟老底的那种 甚至有时候我就自己做一遍 看看是什么样子 Aby Shekka, wziął miłego, bardzo się zaskocznie. WSERVYSZE w tym roku, w tym roku, Wiem, że to jest to miejsce. Nie ma mnie to powiedzieć, że to jest to miejsce. to我 to my face to my face to the world i feel to me a lot of阻力 i was wondering what to do them to do what to do to do them oh you're like this is like this is like this to be a true choice so at the time I was very curious I said you can do this and then you can do this Wiem, że to się nie zauwało, w tym momencie, to nie jest zauwałeś, ale nie jest zauwałeś. Wiem, że to się nie zauwałeś, w tym momencie, to jest zauwałeś. Kolejne w ramach Co nie jest dobrego. Więc to jest to pytanie. Właśnie to nie ma w tym samym zainteriem. Właśnie to nie ma w tym samym zainteriem. Do,有的paper是有一点这个感觉的 当然也可能是大家的想法不同 但是我肯定是希望找一个和我的想法比较贴切的 然后我觉得当时和派人交流 我觉得大家还是非常求证 所以就 To wystarczająco. Wielkie wystarczająco. Dziękuję. Wszystkie inne rzeczywistości, nie jest to ważne. W tymczasem, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja, to ja. KONIEC Zaw教师的最后 To wzięło się, że... Wszystkie prawa zastrzeżone. 但我没想到 就是这波来的还挺快的 To to, to, to, to, to, to, to, to, to jest to bardzo wierzę. Podczas roku w studiłem w CSUS, Wiem, że to są zauwałeś, że to są do教授. Ba ba ba ba. - A tyłek, że to jest prawo? - Tak, tak, tak. [160:00] 拿到了剑桥教师包括我自己也是心里非常感谢我觉得剑桥的人文的这个属性和我个性非常的结合我觉得在那里就可以又做研究又写小说在这里的话写小说就是哎晚上睡不着就要写两笔吧哦那这个很有意思你为什么在最后一刻齐勒尔建桥来了派嗯这个和学术界的运作方式和工业界的运作方式或多或少有一些关系我在学术界我觉得有一个比较大的问题其实是你是学生来来走走美国的学术界大概是尤尼亚只为英国更短,三年我当时就会想说一个学生来如果我想给他一个放手去做做一些比较开创型的工作三年他够不够因为我当时你可以看到我是一个半道出家的博士生我不像现在很多非常优秀的本科生他们本科就做了非常多相关的研究他们到他们开始读博士的时候我觉得都已经非常了解自己的行业我觉得如果我要去招学生的话我会非常喜欢这种学生但我也可能也会喜欢一些就是敢于就抛弃自己之前做的东西去探索一个新的东西的学生而只给他三年只给他五年甚至是不是会时间不够然后一个学生来了做了一个项目以后再走可能你一个东西开了一个头我觉得这个这种模式在现在这个环境下可能确实不一定都能做到我想做的一个东西同时呢就是在工业界做的话会有更多的不管是算力数据还有硬件的知识你可以看到机器人它是一个非常多元化的就比如说我做的时候我做的其实我PhD成长读了七年第一年第二年你可以认为砍掉的话跟我后面做的事情也没什么关系但就是我觉得对我后面做的事情有帮助然后我开始搞真机就搞真机这个事情就很麻烦就是我从开始想搭机器人到这个机器人差不多能动大概三个月的时候是第一次就是机器人差不多整体都跑通了然后六个月才真正把腰操动这个玩意给全部定下来都是我一个人做的很慢在后续的做的火的过程中肯定也有不可避免的因为是个权战就这个战哪里坏了你得自己想在学术界这种相对而言更加单打独斗需要有需要比较大东西的东西你就做不了所以我觉得这个是拍张视最大的吸引力就是我其实没有真的在一个大公司的齐心协力的合作下去做而我也确实承认我觉得这是必要的说到博士我突然在想不是是越快便越好吗嗯你看我读了七年你问我这个问题就是你说到七年我在想这个问题因为有人可能从第一天就会想我要几年闭眼我觉得跟性格有很大的关系吧我认识很快毕业的也认识像我这样我们华大的记录是九年我刚进校第一天我就认识了这个在学校待了八年的人他是第九年毕业的但是我觉得和自己生活状态有关系我在读博秋学期间做的很多项目我都非常喜欢所以没有觉得时间过得很慢没有很焦虑就为了毕业很焦虑没有为毕业很焦虑也没有觉得就是我没有毕业是个什么样的一个事情就是可能更多的是比较纯粹的去想说我现在做了一个问题上一个问题我学到了什么下一个问题我想做什么是一个很灵贯很快乐的一个过程同时当时博士期间单打独特的项目有个好就是你想休息就可以休息我想干了就可以干就你可以卷到半夜我就超级夜毛子我当时就是一般是中午下午开始干活然后干到晚上四五点因为可以免费停车然后干完了还能去一个24小时的营业的炸鸡店吃两口炸鸡就非常快乐的一种生活同时也可以就是觉得最近好像做了一个角度非常深入但是就是思维很迷茫我们去休息一下我有一两个项目其实都是我在圣诞节度假的就突然有一天突然灵光一现就觉得要做这个是有很大的自由度而我见到的很多就是三年四年就毕业的博士生他们确实可能比刚接下来我来说的话要非常更加明确自己要想要做什么我的话更多的是尝试换一直到最近可以说我的职业才真正的有一些稳定下来嗯你觉得在派工作和在Google工作的区别可能会是什么样他们都在做机器人大脑而派的人当然也是从Google出去的我没有在Google的研究部门工作过我在那边做过软件的实习当时我还是一个本科生嘛去了Google以后就觉得非常快乐因为Google就像是一堆软件工程师为自己所搭的一个乐园我是在Google那边开始第一次学怎么写TensorFlow和就是大规模的一些神经网络的学书因为之前都是手挫就是你会从头开始写一个什么CNN怎么反推的你会从头到尾都自己写然后到了Google才发现有这个别人做好的一个酷我就掉上这个酷就行了哇这么方便吗我赶紧学一下怎么弄的嗯所以我相信Google是有一个工程师的这种基因在里面让我当时的我对它就非常的我觉得现在它还有体现就是比如说他们做的研究 [165:00] 他们做的多模态他们做的这种TPU这种架构都是有着一种工程师的优化的思想在里面而在派的话说到底它是一个创业公司我可以非常轻松的跟我想聊的人开始聊天可以 move fast可能你昨天有个想法今天说一说明天就变成了一个项目还有包括凯琳六星她的这个中间有一段就是突然一下非常大的转变就是我们说我们要收EVDATA我们现在收的这个评测data的量是这个量但是如果我们想要达到我们想要的地方可能需要这个量怎么样很快的给它拍插达到这个效果我觉得这个可能是我们比Google我想象中要多的快很多的地方嗯你说你现在的研究方向稳定下来就是稳定到了强化学习不一定是强烧学习而是做机器人并且想怎么把机器人做得更好而且是一个比较通用与惊吓得更好这个是比较稳定的方向强化学习只是这个阶段的一种研究的重心但我不觉得它是一个定义你研究生涯的一个东西你这强化学习对于机器人来说意味着什么它解决的是本质的问题吗我觉得情报学习是一个非常本质的一类问题也就是说一个人如何通过体验变得更好这个问题从所以传统教科书上的解释强化学习其实就是解释这个巴普洛夫的狗这个狗他做了一个事情你就给他一个奖励他从此就知道这个事情是个好事情我要多做就是通过这种奖励和惩罚的方式去让一个智能体做一个对你来说更好的一个动作但情花学习呢 它嗯在算法上来说我觉得是有一些东西我包括每天都会就感觉他跟我这个人进化就是人的自我的提升和进化学是有很多关系的就不管你是从一个非常具体的一个动作比如说你是一个想象中文你是一个想要学习攀岩或者游泳的一个人然后你怎么样做得更好你就是不断地去做这件事情我觉得这个追求极致是情怀学习一个非常强烈的一个因素就是不停的去练同时呢强化学习其实还有一个很重要的部分是探索探索我觉得它是可大可小的可能是说我这个肌肉些微的往左移一下我的表现打网球表现会更好这是一种探索也可以说是我现在做这个研究我想怎么把这个机器人做好我现在探索的是一个方向我也可能将来会换一个方向它也是一种我觉得它是不光是一个具体问题具体场景其实也是一个通向通用的一条路比如说现在我觉得大语言模型里面应该有不少人都在使用前华学习来帮助提升他们的大语言模型其实也是有一个大语言模型的基础上让他不停的去试去看去给反馈如何从这个反馈中得到更进一步的提高是一个很整的命题吧嗯我使我觉得前华学习嗯具体的技术也有很多是可以讲的部分如果你有兴趣我们也可以多深入一下我觉得情话学习是有几个模块的就是每个情话学习系统都是把这些模块拼起来其中一个模块可能就是这个探索模块就是如果你想要做一件更好的事情你得做一些你以前没做的事情你怎么样选一个更有可能成功的视频去探索是探索模块我觉得这个方面其实咱们现在做的不是特别多但它是一个永恒的命题就是米耶是选一个小的改动还是大的改动包括你怎么改动都是一个算法需要我觉得在最后的大模型态里面它其实应该对于探索是有一个非常清晰的想法现在的大模型可能还不具备这么一个非常主动的探索的一个能力因为探索实在就影响到了如果你选的好你研究路线选的好你可能做了这一个研究就已经有很多好的事情发生如果你这个研究很不幸的就是选到了一些就是比较难搞的一些东西那你比较做很多它就有极度的影响到了你学习和进步的这个效率问题随时探索问题然后第二个我觉得强方学习比较有意思的问题就是归因就可能你要让你们家宠物做一个什么好事就可能他做了一系列的事情然后你就给他一个奖赏他其实是需要知道就到底哪个事情是这一次得到好奖赏的一个决定性因素这个也是嗯他灵柔心是有些探索的就是你收集了这么多的这个部署的数据究竟哪一条部署数据里面的哪一个步骤你做得好让你整条数据得到一个关键性的一个奖赏你可以看到在Pi06星里面我们可能比较强调了这个Support的一个速度和质量从智能体的角度上来看就是他做了很多事做了不停地做了这么多次然后我们设计这个算法帮助他从这么多次经验中找到就是这条数据里面狭子垃圾但这个地方是精华你以后多做这个精华所以这个归因我觉得是情话学习的一个就像人的这种总结反思一样一种可以长期持有的能力就不管是在微观上这一步骤在做改一下去 [170:00] 更好还是宏观上来说有这么些策略其实这个策略是最好的然后同时强化学习也有着我觉得有一个本源性问题是我们其实教科书上不怎么讲的就是这个问题的定义你可以看到在这个大语言模型里面你要什么问题你一般都用口述给他抛出了一个问题可以说你的这个问题涵盖了很多他需要知道就是他这个你的这个问题就定义了他这个任务而在机器人界目前还没有这种清晰的一个联系包括这个VLA模型也只是开了一个头说我想让你跌衣服其实你可以千千万万不同的方式跌衣服对不对你怎么知道他要你跌衣服到底是要跌成什么样子在课本里强化学习是要用一个奖励函数去抓住这个东西可能这个奖励函数就设计成了一个如果你真的按照它的意思底了它就给你一个很高的奖赏就给你一块肉奖励你这个狗狗做得好如果你做的不好他就给你一个惩罚但实际上设计实用的来说设计这个奖励函数是非常难的因为之前有人做过很多就是在模拟器里做强化学习比如说用强化学习去打这个超级玛利奥你有一个分数对不对你就换这个分数就好了这是一个现成的奖励函数但实际上即使是这样的情况下他有可能会我们就说就是abuse就滥用这个奖励他就发现了有一个bug就超级玛丽奥一个bug有了这个bug以后前方学籍就发现了就疯狂的做这个bug他就会跳一个小人然后直接通过了所有的关卡并且数发现了一函数达到最大值我把想令韩叔给你优化出来了你还有什么可说的我已经做到你想要我做的事情了但是实际上这个奖励函数一开始设计的就不对所以我觉得情话休息的一个工作目标吧也是一个很重要的事情其实就是把人想要他做的事情和机器能够理解的这种奖励函数紧密地结合在一起同时也希望这样一个设计是可以泛滑可以卤棒的谭姐也提到强盘学习需要奖励信号但是很难写奖励函数这个你们有什么发现吗怎么能给一个任务写清新的奖励函数我觉得就是在我看来它不是一个写奖励函数的问题而是向智能体传达你让它做什么的问题奖励函数可能更多的是一种表现方式比如说你看现在NLP他们之前应该也有时候我们探索过就怎么给它写一个价值函数就做了这个好就是更高的分做了那个不好就是更低的分但其实有一段时间在在自然语言中的前话学习最有用的东西就是可验证的一个任务这个可验认的任务是可以独立于一个所谓奖励函数存在的它就是一个要你写编程你这个编程能跑能跑的话他就是非常确定的知道他是好我觉得是传递好坏不一定需要奖励函数而且我相信就传递好话的这个任务的话是需要一些就是人的这种common sense这种浅知识啊或者说通用知识啊同时也是一个我觉得是一个非常flexible问题吧就我个人比较相信就是好的奖励函数是可以因地之以的它也不一定是一个奖励函数的一个形式在存在更多的就是你给了这个模型的信息和表达去让它理解因为我前两天聊了一个嘉宾他是做AFO map他们核心想优化的就是模型的可验证性这个会不会对我觉得是学历队伍是都有启发的对因为机器人他也有一个很好玩的问题就是咱们也没有那么多的任务是非常清晰的说成功和失败都非常简单跳出来你可以比如说就是这个杯子放在另外一个桌子上也许是的但这也是一个非常限定就是你当到了一个限定的环境以后你可能就比较容易写出这个降临函数而你在一个非常通用的层面你其实很难写出一个通用的函数或者你的任务比较难比如说像叠衣服这种任务叠衣服叠的好不好老师我都不怎么点衣服所以我在点衣服的这个任务设计过程中我就有一个比较清洁的就是因为我从来不点衣服所以我可以很纯粹的从机器人任务的角度来说设计这个东西但是设计出来的美人观点也是不一样的你刚刚提到Celsea对于一些任务的设计很有common sense所以我觉得它又非常的下不定推审你们再举个例子就比如说叠衣服这个东西是有很多不同的策略对不对你人来叠你可以对它从两边叠成这个或者你也可以就是四方方的叠我是用语言都很难描述这不同的方式是怎么在叠但你可以想象它有不同的叠法那么哪些叠法甚至包括这个叠法好像机器人身上哪一个是好的我觉得有一些人确实是能够很快速的嗯直觉性的搞明白就这个点跟那个哦也是有差距的或者说像我们会经常看一些就是机器人中间做的任务就会去就是斩钉接线说这个任务就是可以做说看起来很难我觉得Chall C有很强的这样的东西或者说他也会觉得这个数据好这种直接来源于什么来源于对机器人理解思考是有的然后理解也是有的但是也有可能就是和每个人看问题的一些看重的东西吧 [175:00] 你觉得VLA会是一个终极的架构吗它会怎么演化在未来我觉得这种interact的方式是可能可以的尤其是在我天天成为了cloud code的众多用户以后我以前是有一点怀疑的我说我这个人比较内向的就没有那么喜欢说话有很多事情是不是不用说话表达会是更好的表达而且包括说话有很多时候比如说就是我想让你帮我把我家的这个说法收拾一下他没有办法capture我所有的意思就是我可能说的是你把垃圾掉一下呀然后这本书柜正关起来或者这样或者那样的一些单纯又以无法捕捉到的重点但是我发现了这些Cloud Agents就改变了我对这种交互方式的想象就是你是可以说话他可能捕捉不了所有的重点但你也可以用说话给他提供更多的context让他自己去搜索或者指定计划就是说话确实是一个非常强的逻辑思维和推理而我也越来越觉得逻辑思维推理对机器人是很重要的所以我觉得VLA中的L还是有很大作用的只是VLA现在的这个架构可能还是比较原始的一个架构它虽然有这个language但它并没有很多的去探索就是language和动作的一些非常细微的事情比如说language的层面更多的都是给这个衣服它也没有很详细的描述说这个衣服叠的时候这个步骤怎么怎么样我觉得这都是未来的探索方向就是可能会有一些更加就不光是从输出端是动作啊或者加一些video或者加一些oxygen loss在输出端可能也会比它更多的context使它能像现在的大语言模型一样就take in much context我们刚刚其实也讨论了一点数据问题我想继续就这个话题再深入讨论一下你刚才说过你们其实BAT算是真基数据是一部分真基数据占有很重要的一部分那硅谷其他的这些frontier lab他们在数据的选择上有什么不一样吗真机数据是一个共识吗我不太清楚别人有没有共识或者是怎么想的我只能从我接触到的信息来看的话比较明显的有一些人觉得我们可以把这个模拟系列的东西做得更好做得更有用我觉得这也是一个非常值得探索的区域可能如果他们现在工作重点是这个的话他们可能就对专题数据没有相对上也没有那么看重了或者说也有一些人觉得我们就用一些人手直接说的像这种污密的数据就是人可以非常自然的在自己生存的空间中去说很多数据而且它的效率速度可能比你非要搞一个机器人进他们家然后再说要轻松快一些我觉得这也是大家不同的想法吧就是他有一个重点但是可能因为我是真机数据的信仰派所以我会觉得就以后肯定还是要真机数据因为你都不数了你可以收真机数据了那为什么不用呢所以我觉得对真机数据的如何用了够好的研究应该是不会停止的你不觉得真机数据更实用我觉得就不光是使用而且是最后当你真的做完了这个问题的时候你机器人真的进到人家里以后你就是会有很多真机数据了呀嗯我相信这个是我们共同想要的一个未来所以这个未来里就是会有很多种基础数据的你觉得什么样的数据是好数据啊现在这个定义也没有很很统一对我觉得它不是一个学术能够清晰的解决的一个问题我觉得是有一些不同的维度的吧比如说这个数据它做的是什么一个任务这个任务你看啊如果我这个任务就是在空中摘挥挥手这可能就没有什么意思但如果这个任务是跳舞或者说随着这个这个胳膊要怎么去往动它是一个更有意义的任务所以我觉得这个是维度之一就是任务本身或者说叠衣服啊叠箱子啊还是拿水杯这些都是不同的类伪的任务同时呢就是在做任务过程中我觉得是有一个叫做动作的质量的这个可能就是就是如果机器人能做成这样我就觉得他做完了他做的极端了他这样的奥林匹克运动员那种表现就已经超越人体极限了这个是有动作质量你也可能收到一条质量不那么好的数据可能就是为了拿这个杯子先晃晃悠悠晃晃悠悠的再去拿可能就没有那么好所以这种动作质量也是一个维度同时我觉得就是动作的覆盖度吧就从一个数据集就刚才可能讲的是具体一两条数据从一个数据集的讲座上来说的话你说了拿水瓶的这个任务呢等那么多条数据它的这个覆盖度到底有多少它有多少不同的场景它有多互相之间的不同就比如说刚才说的泛花里的每一条维度其实可能都是你说出去的时候就可以考虑到的一个就覆盖度的一个维度然后最后嘛我觉得就是数据提供的是一种信息如何能够在以团数据里挖掘更多的信息包括不限于 [180:00] 是我收到了这个拿水杯的数据我是怎么拿这个水杯的就水杯在哪然后这水杯长什么样其实它都是一个隐藏在里面的信息如果我们有一些标签在这些信息室上的话我们也可以就这些标签再进行一些学习所以我觉得就是数据集它的标签标注力也是非常重要嗯有一种说法是说通用大模型团队更关心在基础能力层面实现ZeroShot就是零样本的放话也就是在没有见过具体任务的情况下他仍然能work而不是说我见过这个数据我才知道而机器人或应用导向的团队往往更关注某个具体场景具体本体具体任务能跑通这两类需求本身是完全不一样的你同意这个观点吗我觉得是相辅相成就确实这两个工作的重心可能乍一看没有什么关系但我觉得互相之间是可以相辅相承因为对就是怎么抽象的说呢就是我觉得这些人在研究方面是有两个很大的主题的一个就是他的表现究竟如何做到完满还有一个就是如何在一个全新未知的领域下做出一个像模像样的东西可能这就对应着你刚才所说的一个具体场景场景下的优化做到完满和一个zero shot零样本泛化到一个全新环境而我在实习做的过程中呢时常会感觉到如果你能在一个场景中做得完满你可能可以在其实更多的场景都达到更好的效果这些东西都会帮助你做一个更高质量的模型而更高质量的模型它不只是在你这两个任务上表现得更好它在很多相关或者相似性的问题上它也会表现得更好就具体的任务表现的更好是可以提升模型整体的能力的对这个是我比较坚信的在这样的一个过程中呢你可以说就是对具体任务的具体表现的研究是可以可以可以使这个大模型的整体研究受益同时呢我觉得就大模型在新的任务新的环境下的表现如果能够稳步提升到一个差不多的情况的话你也可以马上开始用一些就是更具体的提升手段我觉得这两个就是互相之间左脚踩右脚踩右脚看看能不能上天吧这个是左脚和右脚一个通用的能力一个是具体的任务对你觉得哪个脚可能现在跑得快一点我觉得像在派这样的公司还是很均衡的在发展的因为它是一个非常本源的一个研究型公司它是希望把研究路上的重要的问题都解决了怎么提高这种Zero-Shall能力啊因为具体场景可能是通过枪梭学习那零尚耀能力呢我觉得比较明显的一些回答可能是像架构呀架构研究预训练研究是很重要的同时数据也是很重要的你可以看比如说像这些具体上显的数据其实也是能够提升这些大模型的能力的在架构上有人觉得下一代架构可能是世界模型我觉得现在世界模型也没有一个说法说它就一定长什么样大家应该都是在探索不停地在探索架构到底应该长什么样我每次聊机器人都觉得机器人还好早啊谢谢大家觉得离我们真正想造的这种新城大海确实还有一些距离但是能够每天每个月都感到一些稳步的提升这种感觉我觉得在做研究里其实很难得的你是哪一年加入的派啊25年24年24年怕是24年三月创的我是三月跟他们聊了然后6月我毕业就去了你觉得24年和25年过去这两年每一年在机器人领域最重要的体身是什么呀我不好说在机器人领域的提升吧我相信肯定有很多其实很重要工作只是我现在不知道而已很常见在研究中只是我自己的体感的话我确实觉得派的主要脉络从能力泛化到表现上来说这条路每次我们走的时候都有一些新的发现新的提升是以前是对一些我觉得领域需要回答的关键问题给了一份就是第一版的答卷吧我相信其实我们做的很多事情也是会不停的在回顾在进一步提升嗯我其实确实觉得有一些我们做的事情也许已经有一些商业化的价值了这个是以前的我可能觉得还有些遥远但现在感觉其实还挺近的比如说工厂嘛这个倒不一定是工厂吧就是工厂是一种可控环境的一个代表因为你可以通过控制环境来让它更适配你现在能做的哪里我觉得这是一个比较自然的一种应用场景我不太清楚这里面的商业家 [185:00] 究竟有多少只是从表现的情况上来说的话我觉得是你有应用的可能性的嗯有什么样的任务是24年初做不了24年底可以做的25年初做不了25年底可以做的我觉得二十年初的时候你跟别人说你要叠一个衣服而且把它买垒成一堵而且这个衣服还因为衣服是你很难控制的一个东西嗯二四年初反正我当时觉得点衣服是我非常想做的一个东西但我是不知道能不能做出来然后包括当时就搞箱子还有甚至包括就是在那里做那个桌上清理桌上清理是真的搞了很多就是我们觉得他做不了的东西就是他究竟能不能做当时就已经发现了其实很多没见过的东西他也能做所以当时就已经有很清晰的一种之前的不确定性逐渐变成了一个看得到的成功并不能说我们保证百分百成功但它是有成功的可能性我觉得这个进步非常的重要然后25年就是首先我们自己做的是派05和派06星都是在25年做的嘛一个是进到Airbnb里去一个是就是对具体的部署任务要求它的表现提升到一个就是纯靠数据数据很难达到的一个地方我觉得都验证了一些就不管是说你要多少个Airbnb才能在下一个中得到一个好的出事成果还是说你部署的时候到底能不能因为我们是从一个很实用的角度来考虑问题的我们在比如说做folding task做这个dateif task中我们不是说就是我们收了十小时的dateif数据然后就去硬做枪画学习我们是真的把这个东西做到了我们觉得说出去赢就再说更多数据都没得搞了的情况下再开始想说我们用这个强化学习的方法去搞能不能再进一步我觉得这个frontier是通过做这样的项目摸得更清楚了然后别的公司我觉得也有很多很有意思的事情比如说之前看他们见面来的发布就感觉他们的这种空间的理解和空间的认知而且他们也不是一个单独的Wallax的模型有的是一个更多模态大模型的一个能力这种感受就是哇这个这种空间能力显然对Robotics是非常重要其实他们现在没有一个特别的一个task来展现它我也相信他们将来可能会有一些发展还有可能之前因为做强化学习也会关注一些非常具体的强化学习的项目比如说别人都在用强化学习做一些什么非常具体的问题就不管是在制造业还有组装这些问题我觉得都是很有启发你对2026年在机器人领域的预期是什么有什么可以值得期待的嗯我觉得肯定今年能有更多就是令人比较惊叹的demo出来但是demo本身就是看是一回事就是了解背后的到底是什么进步是另外一回事我觉得今年肯定有就不管是人型来做操控系的任务其实我觉得是挺成熟的一种可以开始探索的一种应用了然后其次就是在模型方面我觉得模型架构应该大家都会就是有些大的变化吧你觉得机器人领域应该跟自动价值领域去对标还是应该跟大模型领域去对标我觉得更像大模型就我其实觉得自动驾驶有比我们难有比我们简单的地方嗯比我们来的地方在于街道驾驶的stick他都潜在危害因子是很大的如果你做错了一个决策那可是人命啊就是是很严肃的一个问题所以他对于表现完满的这个要求是极度的高我觉得在我们这个领域就我们日常生活的一些任务或者说工厂任务的一种商业化道路上我们其实都不需要那么一个级别的完满所以我觉得这个是自动驾驶比我们要难得多的一个部分他们是真的得有一个非常强有力的保证而相对的我觉得他们比我们来说比较简单的部分你看自动驾驶的话它这个控制器的问题其实是几乎没有的呀就是我在这个车子上面跑可能现在还有就跑一些雨雪天啊这个道路泥宁啊这种问题是一个控制系的一个底层控制问题他们更多的问题都是在决策方面就是你下面要怎么开同时他们的决策的空间我觉得相对而言复杂度要稍微小一些吧不像你看我们在这个操纵系的这个任务里面经常谈到的就是我不仅要操纵这个多关节的一个比较复杂的机械必须完成一个任务它要达到这个我想它达到一个地方这个就是一个操组器的问题了你可能载重完以后或者是摩擦力导致的你可能不能完美的去哦贴合你想让它造的地方所以这种操纵性问题是比达难一点同时它在决策方面的话你要叠这个衣服你这种手腕的转你到底怎么转到底想怎么转它有很多这种复杂的特别不一样的一些动作在里面你都得能够搞定所以我觉得这是 [190:00] 它的难点好吗不难的点而跟大模型相比呢我觉得大模型是它和我们一起同工之妙就是大模型它可以瞎说他稍微犯犯错了大家都很习惯了嘛你就是会胡说八道对吧我们不会全信你的所以他的这个完满我觉得是不需要做的像自动驾驶那么的严苛同时呢在这个探索方面我觉得他们就是你看把它们当成一个智能体他们的这个动作空间是输出每个字符也可以说说输出一种策略就他们的动作空间也是一个高度抽象化的就所以需要很多多样性的一个动作空间所以我觉得对于我们现在的机器人来说我们是来讲准是尖的但同时可能目前的发展阶段和大模型更再贴合一些吧我觉得自动压史现在发展的挺好的呀都已经跑上了嘛所以他们更多的就是在如何就是就就是体会完满并且降低成本就其实在高度就是这种策略规划上面的问题就是从A点到B点好像也不需要太多的说什么C点到D点就不行了这种机器人或自动架是谁神自己啊嗯在我看来就是一个比较平行化的问题因为它是有两个问题的特性嗯就是以往的这种路径规划和控制的话可能更贴合现在有某些自动驾驶公司的一个路径吧可以看作是它的一个英勇但现在因为我们已经不再用这种范式了转到另外一种新的范式的探索我觉得就有一点平行空间的感觉嗯但是互相之间是能学习的因为也有人在用机器学习做自动驾驶我们也会从他的这个他的这个部署的这个体验中得到一些灵感吧就比如说他们如果跑了这么多台车然后拿到了这么一个数字然后他们想要再提升安全性他们是怎么做的他们的一些基础架构包括自动驾驶界其实对于模拟器用的应该是很多的而我们机器人尤其是操纵器还没有这么一个可以跟它对等的模拟器的出现这个是不是有一些歧视意义谢谢做驾驶模拟器是谁的做我觉得首先几家公司头部公司应该都有自己的都有自己的模仿同时也有那么一两家就是公开的专门做这个的公司你可以付费使用而且自动驾驶的数据量好大所有的机器人公司都在争夺的一个北京新指标是谁能够做出第一个出货的进入家庭的机器人这是一个隐形的大家在争夺的方向我觉得是一个隐形的方向因为家中的问题非常的多和复杂所以如果你不你觉得你lost了你的方向你就想一想我们现在机器人还能不能做家中这个问题应该有很多问题都是做不到的你怎么把它做到就是一种很自然而然的一种想的研究了一种方法家中的问题呢还有好几个难的维度吧我觉得第一个是它的环境的复杂性确实是没有两个人的家和卧室是完全一样的你必须要泛化性过了一个很强的放花钱的保证才有可能就是到了一个新的我世界能够就是我们现在作为一个叠被子我们承认我们跌位子不是百分百不是说你到一个新的家都能够跌就是因为这个每一个新的环境的复杂度在那儿同时呢就是家中的任务的动作复杂性很高因为人在家中其实承担了这个家务啊他的各种各样边边管管的东西啊我觉得就是我列一箩筐可能都列不完就咱们在这坐个谈个两个小时可能都没给它彻底给他写清楚就是这些动作加上这个环境就已经是给他从这个机器人表现方面提了很高的要求了同时呢他还需要就是家用机器人如果作为一个产品商用化来存在的话他对于硬件的稳定性和人交互的安全性也是有很高的要求就是硬件的话我不知道现在有哪家公司的硬件是能够在一个人家里跑个一个月而且不光是就是站那站一个月开机做了各种各样的任务一个月然后可能有一些比如说我平时走路有时候还会给桌子腿办一下就这些损伤他该怎么样去承担去稳定然后并且就是如果你在一个人的环境中和人互动的话也会有很多危险或者说你这个就是这个可能就是我看特斯拉Optimus情天出我看最害怕的就是他说在我家里摔了就我该花多少钱绣我家地板呢或者他摔在我身上我岂不是就是那个什么了我好害怕呀所以我看到这样的话我就会觉得其实我们距离一个优秀的form factor一个真正的巨神可以在人身边工作的巨神还是有一点距离的嗯是不是长小点就好我觉得小就是比如说像雨树的这种机腕的这个小孩一样的身高确实就是给我一种他没有那么大的威胁性然后可能他也轻一点就轻就是整个机子清了以后它能做的事情它的耗电量还包括完全学会我觉得都是瞬间就有很大提升但是就是小的话其实他们也会有一些其他的问题吧比如说他这个人情的一个很大的说法就是说你人可以做的事情其实小以后 [195:00] 这些人做事你就做不了了那你还怎么用这些人的数据也是另外一个话题了嗯你看今年的春晚雨数非常的火中国的机器人非常火你在大洋彼岸怎么看中国的机器人的发展你觉得它跟美国的趋势相同和不同是什么嗯我觉得在一两年前想看到这种级别的demo就只是想想而已能看到他真的把它做出来还是非常激动的我觉得他能够做出来就是有算法提升也有硬件实力在里头我觉得这种硬件实力可能是现阶段看中美的产业对比的话最直观地感到中国在这上面是有领导力统治力的就是很难想象有一家机器人公司他组装好一台机器人然这里面没有一个零件是中国的我这是不太可能真的我觉得中国有产业链制造业的这个优势实在是太大而且到现在的我都不知道美国人要追的话该怎么追同时呢就是因为这个硬件迭代就可能他拿着现有的算法序里商业落地端已经有就也是有一些优势的还有什么不同吗或者相同我觉得像派这样的公司还是比较独特的我都不少说它是一个中美的不同还是怎么就是它是一个很偏向研究的一家公司就是暂时情况下我们应该是完全不考虑商业化因为觉得那可能是一个destruction分析这个其实也是有一些历史原因吧我不知道历史原因是什么就是Peter Abil他不是Sergy Levin的导师吗Peter Abil他是有过两次创业经历的一次他非常成功的做了一个给学生作业打分的一个现在基本美国大学都在用我上大学也用这一套系统然后同时呢他还创立了一家机器人创业公司叫Covariant他在2015年还是2016年就创立了这么一个公司说要做机器人的通用的自己学习的一套放在而他们公司在发展过程中可能在某个时间点开始就比较深耕这个物流啊仓储啊机器人从大模型开发的角度上来看从回头来看会觉得这其实是对他们开发大模型的一个奋心就因为这个投入虽然肯定是做出了很多成果但是在大模型这边就觉得因为过早的去商业化而失去了就是这种通用繁华性反而把精力放在了很多这种商业化的相关事情上没有真的去追溯本源的问题所以派我觉得是有受到这段精力的影响就是比较的强调说我们不要太想这种商业化的事情不要就是为了就是挣钱或者说去把这个商业闭环打通去做很多可能说对研究没有帮助的事情大家还是很纯粹的说我们要做一个研究把它表现做得最好上电话事你可以后面再想我觉得这个和我听说的一些中国公司的逻辑是不太一样的就是中国公司可能从商业逻辑上来说更强调实用主义和商业的各回本吧但即使在美国对派这样的公司在硬件上投入不够或者在硬件上没有优势的话长期来看会不会成为一个问题啊我觉得这看你是怎么理解硬件的投入和表现的吧我觉得我们没有无限的钱所以我们在每个方面都投入不够你知道那个OpenAI它现在扔了多少钱吗我们每天看这个钱就觉得好眼红哦我们也想有这么多的投入我们有这么多投入以后我们软件变得更好算法变得更好算力变得更好数据变得更好哪都好所以不够是没有止境的我觉得都可以投更多相对而言的话可能就是现在的产业优势在应接方面是在中国它有很强大的供应链你可以定制一个机器人他有很多的电机的选择呀机器人的形态选择啊都是有比较成熟的一个方案的所以这个是他的优势我觉得大家其实也都有在看就怎么样弄一个最适合自己的机器人的硬件吧我觉得这其实大家都在做只是因为缺少了产业链制造业的这一环可能在做的过程中它的迭代速度会变慢啊或者有些事情可能如果你做得更快有更多就是可供你驱使的机械会不一样我觉得这个确实是对迭代的研究的迭代速度肯定是会产生影响但同时另外一方面硬件毕竟不是一个解决的问题就它是一个相对而言可能没有软件那么严重的问题因为现在你搭一个硬件是可以搭起来的你想它做一点有意义的事很难所以这是软件的最大的问题而硬件的话属于你搭起来是可以搭起来动也可以动但是不是说你已经把硬件做完了呀就还是有发展的空间我觉得这个其实创新永远是威士术你不知道有没有可能他做出了一个就是很简单的一种硬件它非常适合现在的算法没人说得清由硬件的劣势更好抹平还是软件的劣势更好抹平过去几年的发展来看都好莫屁 [200:00] 大家永远都是在这样对中国团队来说它其实followPi就好了因为你们很多论文都是公开的是的我觉得我们有很多论文是公开的Google不一定是公开的对吧Tesla不一定是公开的但是他们可以follow你们Google就算公开了你想追上Google你还得先顺应一个像Jemyni这样尺寸的大模型出来这已经是一个bar我觉得同样的逻辑也适用于像Pi这样的公司所以说公司不断的积累它最后就算告诉你它怎么做的你不一定有那么多东西可以去找可以去就是可以去给它match上但是竞争永远都是存在的我相信肯定做还是有人能够MH上然后嗯硬件方面的话我觉得其实你看美国现在的产业链你会觉得这个硬件哎 简直就是不知道该怎么说了你只能寄希望一创新了你们公司其他人会很关注中国机器人的发展吗我觉得都很关注这是一个不可忽视的一个部分那比如说你们最近会讨论关于中国的什么话题呢比如说语书春晚那个表演我们就在这个公司的群里面发了呀大家就会讨论啊说这个东西可能是怎么做的呀甚至最近的读书会我还想说要不要请一些这方面的专家的朋友来给我们讲一讲因为我们不怎么做人形也不怎么做这个local motion问题也可以请他来教一教我们这个东西里面发展是怎么样的我觉得这些都是都是大家会不停的去看到更新更好的东西然后去学习去看看有没有启发可不可以用到我们现在做的事情上面不管是帕海西大公司应该都是一样的他们是怎么做的你们从外部视角看他们是怎么做的吗嗯这个确实最近有几篇新的论文出来可能可以解释他们的一些做法好我不知道你知不知道哦石冠亚是一个CMU的教授他之前在华大都不是后的时候和他成为了朋友从他身上学到了很多local motion的一些东西他们组组已经发了这个Omni Target我们可以从早期发展稍微梳理一下大概是在1819年那会儿我稍微关注过一下他们是怎么做的很多时候呢是希望他走路然后走路可能有一个步态所以你就是把它分成可以简单粗暴的分为一个high level高层的告诉你我大概想让你变成这个样子和low level去执行我怎么样变成这个样子步态的话可以是一个走路可以是一个红帆可以是一个跳舞而执行端的话它以前可能就是不停地去控制现在的话可能可以配合强化学习来达到你想要的这个步态嗯谢谢大家强化学习很重要强化学习在local motion界确实取得了相当大的成功你觉得美国对硬件的投入够吗重视渡工吗嗯我觉得很多在美国的从业人员应该都会同意说我们的硬件还有很大改进空间嗯那特斯拉是怎么做到的呢特斯拉~首先它很神秘啊我们其实并不清楚它的硬件里面的技术体积嗯他不会和我们说这些事情你说是机器人是吧他还有车呀他在美国硬件做得很好而且是有一个笑话我不知道是不是真的只是一个笑话说特斯拉最牛逼的工厂是在上海开的哪样就是高相对而言确实它是已经有一部分制造业的吧我觉得这个和这和美国教育体系也是有关系的呀你看他的教育里面的专业和就业途径他这个产业的以往的缺失也导致了他这个专业就不会火没有那么多人学那就缺失了一批人才那他怎么样去弥补这个事情是很难的不是一两年就可以投入回去的我觉得他现在可能更多的是网络说很多移民是不是一些类似的技能他必须是一个移民国家可不可以通过所以引进这些缺失的人才补上一些产业力但美国这地方就是修地点战略的修了这么多年他究竟都是什么事情我们也不好判断你觉得人工智能最后会拥有意识吗机器人会拥有意识吗好抽象的一个命奇啊你知道每次当我看到什么有一个机器人他的意识觉醒了他要毁灭人类我都想说这也真的很希望有人给我解释一下意识是怎么诞生的因为我们只是一些就是生活学小白但是会去听一些这种科普啊就非常想搞明白怎么样就从一些好这个物理啊化学啊这堆东西里面突然就诞生了意识这么一个我都不知道还是怎么代表出来的一个东西我觉得如果我们认为机器人产生的意识是像人类这样的意识的话我其实因为有点悲观了我想说就是这真的有可能吗但是如果你把意识定义的很宽泛就比如说我现在跟AI聊聊天他给我的感觉说他像个人他就够了的话那你也不能说他没有意识嗯但是也许在将来大家可能更期待是一种我也不知道他太智能了吗所以他显得像有意识就真的是对我来说讲不清的一个话题但是是科幻小说非常好的一个素材 [205:00] 机器人种族会是什么样的我觉得机器人种族可有意思我其实一直很想做的就是机器人可以造自己我觉得这个是机器人发展的一个可能会是一个里程碑吧因为它就像一个种族是有延续性的是可以通过自我的一种繁殖我觉得机器人能够组装造自己就是一种繁殖的体现所以也是我非常想做的一个课题也是我当时去找教主的时候我就说我是非常想做这件事情的机器人的种族我觉得第一我非常喜欢就是机器人哪里坏了就可以修你看我之前这个拍眼衰了以后就是因为这个某一个部位受伤就得在家待着很久而机器人就可以换掉呗换掉然后可以拆然后可以改变形态我觉得这是一种非常自由自在的一种存在方式然后机器人想咋样就咋样对想打样就咋样甚至你可以就是像特休斯的传那个希腊故事一样我把这个机器人从头到脚都换成了另外一个零件甚至模型也可以换它还是原来那个器人嘛其实在我们公司的发展过程中就是有这种本来是有编号的就是这是一个机器人它的编号是这个然后通过不断的修和改它已经完全不是原来那个它了他好像跟那个原来他的唯一联系就是他们编号是一样的但是里头全都换掉了我们就说要不要给他起个新的名字啊不然好复杂还经常要说这个机器人在某个时间点前是这么个东西后面是这么个东西嗯机器人种族我觉得也许是会成为激情人种族的一个伦理的就是之前什么我的上一辈做的这个事情跟我没有关系因为我们已经从头到脚的没有一个零件是一样的机器人了然后这个伦理审查委员会就来看这个机器人是不是真的从头到脚里面每一个零件都是换新的你觉得机器人种族是人族的延续吗机器人会是人类做最后一件事情吗最后一件事情我确实希望我们做的很多事情是可以提升生产力使得你可以做到很多原来需要人做的事情然后你一个人就可以做但是我相信人类的创造力是无穷的好我不觉得我们活着是为了提升生产力我觉得我们活着更多的是爱与死吧是文学作品中永恒的话题我觉得其实是在一个生产力高度发达的年代应该也有人想要做一些不一样的东西想去探索一个还没有做出来东西该怎么做所以我不觉得机器人会是最后一个造物但是延续我就是觉得一个比较浪漫的想法是虽然我们生命是很短暂的只有100年放在就是人类历史放在宇宙历史上就是微小到布置的一起但是是不是有可能造出一个东西它可以看到宇宙的镜头看到宇宙的镜头嗯我不知道这个时间跨度是多大但是可能我们活不到这个时候了Motion Learning这种方法机器学习这种方法来训练机器人因为你也说到它跟上一代人非常的不一样它是一个黑盒你觉得在这种训练机器人价值观背后让你对与人和机器人有什么新的感悟没有嗯它是黑盒但是它因为是从一个数据出来的东西它是有限制的它是Bounded bythe objective that you define它是一个很数学化的一个东西所以它虽然是一个过于期的对它是一个构成无法理解的黑盒但是他是在数学脚内上可以解释的一个东西我觉得在训练机器人的过程中谢谢大家有什么感悟的话,可能一方面……好就一方面会觉得嗯确实就是能够发挥我这个特别想偷懒的天性吧如果一件事情可以让鸡旋来带我做我会想方设法让这个机身来帮我做这不就挺好的就是你有个智能体它也许还没有到完全体他已经可以做些事情我就想办法把这个事情给利用起来来提升我的生产力可以让我少干点活我觉得这个是我对于人类文明的偷懒我甚至可以暴论一下是不是偷懒就是人类文明一个本质的追求就提升生产力和偷懒是一个东西然后其他的话我觉得在很多时候在我现在的工作中是没有什么人文的存在或者说因为我每天讲的是一些非常物理化的科幻化的一个东西我也会感觉就是我会和一些其他搞人文的小说创作艺术创作的一些朋友聊天他们也会很好奇问问这个机器人的进展我也会很自己作为一个用户的好奇吧是不是有一天我们创造出了这些智能体啊他也能够进行某种意义上也说超越他的就是离开了他的创作者就是我们对一些创作那天会发生什么我不知道一直他会搞一个二维码然后他们每个人都觉得每个 [210:00] 人都觉得二月妈没急了然后你在这里看了以后就有一种不明所以的感觉嗯当机器人有一天实现了你准备去干嘛实践了简小说吧回家写小说做一个游戏创造一个非常能贴合我的喜好的一个故事把它分享给别人看看有没有其他人喜欢这个东西罗贝尔文学奖看看充击一下啊你现在脑子里有这样的一个故事吗我觉得是构思小说确实是一直没有停止过的写不写出来是另外一回事托庚是经常有的但是构思一些故事不管是和我们现在生活非常贴切还是说非常天马行空的想象真的机器人解决以后的社会形态是一直都有存在的这包括就是生产力极大的爆炸以后一个人就假设在现在这个年代就有生产力极大爆炸的话那确实可能家里就终于不用被前来看望的爸妈吐槽说你家里怎么这么乱这么脏不想干的事情都可以丢给别人干丢给别的机器人去干然后也可能会就是比如说现在在艺术创作中比如说朋友会去做一些销售模艺品就我觉得可能就更多的是你有这个概念然后你可以把这些知情端的事情全部都有交给机器人来完成这些也是一个方向然后可能更远一些的生产力爆炸可能有个资源以后自己可以造一个城堡到哪个乡村去邻居你看网上有些古堡拍卖才几万美金这个就可以买一个什么两百年没有修过的古堡你现在没有人买是因为太麻烦了要修要找很多专业我觉得就是一个很有意思的特点可能是现在社会里面很多工种是一个特殊的工种你花了很多你作为人的这个时间去锻炼一个技能然后你有很多的知识但机器人或者人工智能它作为一个大模型或者通用的一个东西还是可以随时的切换比如说将来可能修房子就真的就是有两个修房子机器人他们什么都能做让他们可以互相配合就把现在需要找不同工种我们完成的这个事情给干掉了可能我们现在做研究也是有点类似的你以前可能做研究会找一个专门的这个A人负责这个东西他可能有些洞察力但你现在就问同一个模型他可以达到所以我觉得将来就是如果每个人都有了可支配的一些就是这种通用生产力而且每一个具体的任务它就都是专家级别的话那就是真的能够到达生产力爆炸能够做很多现在想都不敢想的一些事情可以创造更好的游戏和小说了哦你喜欢的小说的世界观是什么样的呀有两个类吧第一类是在一个完全不同的科幻环境下探索了一些人缘时间的关系第二类是一个拿着一个魔幻的题材但是把它放到了我们现代的生活之中举个例子的话可能第一类之前看过一个修真小说但是是在宇宙里搞科技发展就很抽象这个命题既讲出来我都觉得好像很乱七八糟的样子但他其实探索的其实是一个就是女主角作为这个穿越者来到了这么一个未来的世界感受到就未来世界的这个社会制度以后她想要改变这个制度她做的很多事情我觉得这个是和我们非常遥远但是在未来也许有一天某一个人就会有这样的一种一种困境一种英雄的旅程什么样的社会制度把它改写成什么样的社会制度在它那个社会制度里它有很多性别对立的元素存在就是男性和女性的分工完全不一样女性的分工呢是因为他们所拥有的一些就天生就有一个就是自己的一个宇宙空间所以他们被塑造成了一种类似看起来似乎是女尊的一种世界里但实际上女主不觉得这是一个好的世界毕竟她也是从我们这个世界出去她可能天山就不认同这种世界观但在那个已经成型的社会观里面每个人生来要做什么事情都是从小到大的细节教育观点社会塑造非常强烈的他想要反抗这样的社会塑造他想要创造一个大家就可以自由选择的一种东西他在这里如何就是召集盟友就是让大家愿意追随他和他一起做这个事业是一个很有意思的旅程拜拜然后另外一些的话就是这类似的这种科幻小说我看的还挺多的就是非常喜欢这种然后另外一类的话我觉得就是魔幻主义吧比如说看这个现代社会打工人怎么又兼职武林王主就是有一种就是两种完全不同的世界观的碰撞一方面是一个你生活息息相关的好的地方你都能理解痛的地方你也能感受到另外一方面是一个你可能 [215:00] 小时候会非常喜欢的那种跟我们巴肝打不着的一种完全不同的世界但是在一部作品里面把两部世界融合在一起让你感受到它们之间的一些共同性还是挺有意思的比如说我之前因为经常打游戏打网游然后网游里面可能是需要组队的就担任了一段时间的队长去负责组队沟通还有处理一些鸡毛蒜皮的事情或者说团队的时候进度遇到的问题你需要去安抚或者说给大家打鸡血这其实跟现代公司的这些项目管理是有非常多一句同工之妙的你是虚无主义的信仰者吗什么理解虚无主义我觉得我很难在看到一个具体的意义的陈述的时候认同它人或者是为了什么我觉得是一个无解的命题所以当别人可能会试图说服我说某个东西很有意义的时候我要是想要打破砂锅问到底我就会能够得出一个结论就是其实没有什么意义所以这是我稀有主义的一个部分那人活着意义是什么呢就没有意义我觉得不需要回答这个问题那每天激励你过每一天的内心的那个动力是什么呀我觉得从某个意义上来说我是很幸福的因为我在做自己最想做的事情所以你是没有预期也没有目标我还挺喜欢乔布斯之前的讲话人生有可能是有很多点当你在走过的时候他们看上去毫不相关但也许有一天他们是可以连起来的线啊我并不觉得我走的每一个点需要一个马上就能阐述得清楚的目标来吃懂但是在某种意义上来说现在我的人生的图景走到今天已经能看出一些奇奇怪怪的点连成了一条线形成了我这个人的力全你能对未来有某些点的预测吗点的预测就未来时空的一些可能新的预测我的这个人的点的预测我就非常想做一些就我比较感兴趣的课题啊并且希望把它们做成一个就是五年前我想都不敢想的东西我觉得如果能做到这个我会非常快乐所以这是我在接下来五到十年的一个期望也有可能就是技术发展的非常快我也想开始做一些更加落地的项目因为觉得这个东西好玩我觉得预期是无穷的但是最后随着时间的推演你会把这些东西收敛到一个更加确定的道路上所以我很难现在给你一个我以后要去做这个我反而都说如果做这个就会很好这种思想是更多的就在工作中我们是非常确定的夏古总这个那我们进入最后的一些问题我们或许每一位嘉宾推荐一部一本人生之初要真的对你的人生有过非常重要的影响你会推荐哪一个嗯觉得有非常多的书都影响到了我但是现在可能偶尔会思考的这本是 distinct about umConstructional Social Taste它是一个法国哲学家写的一本关于这个社会的阶层和每个阶层的这个喜好就包括人生活中的衣食住行方方面面他认为是有很多是经由现在的社会所塑造的我为什么推荐这本书是因为我觉得就是通过看这本书让我对于我所喜好的一些东西和我有多少喜欢是我自己喜欢有多少喜欢是社会的塑造的喜欢产生了更多的认知而在现在这个社会在硅谷我觉得是充实着一种对于生产力的崇拜的就是也许我们没有这个书中所描写的那个社会的那种就是贵族的打这个球呀骑这个马呀是一种更高贵的运动在那个年代他们可能会追求一些我们现在不太认同的就是价值观什么是更好什么是更什么是没有那么好但我们现在其实我觉得也是有一种新的价值观甚至我觉得这个价值观也只是一个变化中的缩影我觉得这是我的人文主义的东西在告诉我虽然我是在工作中这么热衷的去优化生产力虽然整个硅谷他已经放弃了什么对衣服啊对穿着啊的这些讲究他讲究的是什么效率讲究的是这个精简讲究的是创造他何尝不是这个社会价值观的一个部分呢你小时候想离开家乡谢谢大家想远离家乡然后我觉得是非常好奇外面的世界有什么来到外面的世界,那在今天此刻你在硅谷 [220:00] 那硅谷其实是统治化的它是高度竞争的高度竞争的你有什么想法反抗的吗我时常觉得这是一个很有意思的点小时候搞竞赛吧会学到一些算法贪心算法核动态规划算法是两个常备放在一起比较的东西它计算法呢就是说我在每一个时间点上我都要做最优化的一个决策我要做当下的最好而动态规划算法呢就会告诉你就是如果你有一些全局的视角你就会发现每一步都做最好的决策并不能让你达到全局的最优解我是非常的喜欢这个逻辑的信息了所以很多时候我觉得就像赛翁师嘛殷师霍福吧一时的成功失败还有优化还有没有做到极致其实并不能代表着长期最后的结果因为我们没有一个人有着全能全知的视角所以即使是在追求优化的道路上我有的时候觉得就做了九分留一分是可以的而我自己的这种求学路程啊跟我一样的东西啊可能也在很多人看来就是从来不把事情做到最后我觉得也许机器人会是我第一次觉得我们得把这个事情做到最后但之前的那么多没有做到最后的东西才让我走上了今天这条路我觉得这个和硅谷这种很多时候很多人都是从很早之前就走上了同一条路一直在上面竞争是有一些本质性的不太一样的嗯一个全球范围内你喜欢的食物优优独播剧场——YoYo Television Series Exclusive我们是炒蛋我们希望在这个人工智能快要来的时候留下一些人类的日常生活的印记一个全球范围内你喜欢的地点地点吗我我非常喜欢爱丁堡这是我在英国留学的短暂的半年里应该是最喜欢的城市了可能以前的我因为比较喜欢一个人待着呀而且其实现在大都市很多时候是一样的就没有那么的感受到我走入了一个完全不同的物理空间我整个人的状态都会发生如此大的改变因为爱玲堡这个城市有非常多的古建筑也保存的非常好并且它也没有那么多就是大都市的那种喧嚣感吧就它甚至有点像旅游城市大家都是去看那个古堡的但是在那种城市有一种慢下来的感觉有一种就是思考人就是历史这么沉重的一个东西放在你眼前然后你在这个转瞬的一瞬间你想做一个非常大的一个动态一个变化但是就在这些承重历史面前这个动态变化究竟最后会去哪里你是不知道的只是站在承重之内只是站在这个历史的这个地方能感到一种就是很安稳的感觉吧所以是我非常喜欢的一个地点一个少女人知道但是非常重要的知识点嗯我可以讲一些就是生理知识相关的吗可以对这个是我上大学的时候和朋友聊天才发现的就是就是女性朋友们可能有一些误解觉得嗯就是有一个叫处女膜这个东西它会在就是第一次的时候会破裂会流血就变成了一个就是大家非常相信的一个真理了但其实在医学方面它是有一个医学的名称叫做阴道瓣它并不是意味着你的这个第一次体验也并不一定会流血这是一个我当时和朋友沟通我们也是恶补了一下这些生理知识才发现我们对于自己的身体构造有着这么多的缺失在你看来影响机器人进程的论文谢谢大家谢谢大家好多的网啊千GPT也极大的影响了机器人的进程呢嗯真的有太多的我 我觉得很难就是一个吧 我觉得从数发展上来看的话最近影响很多就包括这一代模型的电机比如说像Diffusion Policy啊这种就扩散式的还有之前就是Transformer ACT这样子开始用这个Transformer架构做还包括更早我觉得有很多对模仿学习和情话学习的本源性研究都影响到就是现在大家在做什么基于你当下的认知一个关键的重要的Fact是什么我觉得其实我们进入家中不一定是以产品的形式只是更多一些探索形式没有那么的远吧比如说机器人进入家中对比我一开始想象的可能要近一些我们工作室叫语言及世界工作室当你第一次听到这个名字的时候你在想什么嗯 [225:00] 语言及世界我可能下意识的就是把它诠释成了语言就是全世界然后我就会有一些跳跃的想到这不就是刚中之道吗就是咱们其实生活在一个有所有感官连接的一个东西就是你所感官就掌握着你对这个世界所有的认知完全也可以想象我们活在一个巨蛋的模拟器里你的眼睛鼻子耳朵都插了一个信号源的这个信号源想跟你输什么就输什么结束了也会现在研究期间研究期的话大家会说就是代语言模型它是一个纯语言交互的就之前的那一代纯语言交互的话它是不是不能理解真实世界不能够把他所听到的一个概念而放到政治世界中就是这么一个水杯这个水杯其实是有很多物理性质都不能够Capture不能够去捕捉不能用言语去描述我觉得也是这样的反思变相促成了多模态的研究吧所以我们生活在一个巨大的模拟器里面吗如果模拟器就是视线的话那好像模不模拟没有什么差别微信主义好