节目的开篇勾勒出了硅谷当下最炙手可热的具身智能独角兽——Physical Intelligence（Pi）。成立仅仅两年时间，Pi 的投后估值便已突破 50 亿美元，被行业内外寄予厚望，视为“机器人领域的 OpenAI”。作为团队的核心研究员之一，柯丽一鸣（Kay Ke）专注于强化学习方向，并深度参与了 Pi 历代核心模型的研发。然而在顶尖硬核科研的另一面，柯丽一鸣有着极具反差的人文底色：她是一位业余科幻网文作者。
在访谈的前瞻片段中，柯丽一鸣抛出了几个令人耳目一新的硬核观点。她直言 Pi 并不打算跟风去做人形机器人：“确实我们不做人形，因为他们要说做人形我就不来了，你知道吧。”对她而言，机器人研究中最迷人、最具里程碑意义的命题，在于机器人的“自我繁殖”——即机器人能够亲手制造和组装自己。她认为这标志着机器人开始具备如同物种一般的族系延续性。谈及 Pi 已经开源与发布的模型演进，她用三个关键词作了高度提炼：$\pi_0$ 代表“能力”，$\pi_{0.5}$ 代表“泛化”，而后续的 $\pi^*_{0.6}$ 则聚焦于“表现”。同时，她也强调硅谷团队对中国机器人产业的突飞猛进保持着极高的关注度，认为那是绝对不容忽视的一股力量。
柯丽一鸣首先介绍了自己跨越工科与文艺的双重生活。在 Pi 的日常中，她致力于通过强化学习让机器人更快、更好地执行复杂任务；而在科研的高压之外，文字创作成了她安放情绪和人文表达的避风港。在她看来，研究具身智能与撰写小说之间存在着惊人的同构性：两者都极端依赖创造力与执行力。做研究需要针对当下机器人尚且做不好的盲区构思天马行空的全新算法，然后一行行敲下代码将其工程化落地；写小说同样是在脑海中先浮现出一个尚未存在于世的故事命题，随后一字一句地码字构筑世界。
随着人工智能深入现实，人与人的协作关系也在被重塑。柯丽一鸣剖析了自己的性格特质：她自认是一个相对内向的人，在科研风格上往往习惯“先把头埋在洞穴里自己深思一会儿”，等想清楚了再探出头来与他人交流碰撞。在攻读博士学位期间，她习惯于扮演一名“独狼玩家”，凭借个人强悍的探索与执行力，拉上一两个人的小队伍就能直捣黄龙解决某个具象的技术点。然而加入 Pi 之后，面对研发通用机器人大脑这一浩大工程，必须依赖跨领域精英高度协同的大兵团作战，人与人之间的连接骤然变得无比紧密。
有趣的是，最近硅谷爆发的 AI 编程智能体（如 Claude Code 等工具）却再度打破了这种协作范式。柯丽一鸣观察到，在如今的工程日常中，当需要调用某个特定模块时，工程师原本需要去找该模块的人类负责人沟通方案，而现在大家下意识的反应往往是直接把需求抛给 Claude Code 等代码助手。AI 智能体成为了人与人沟通的前置中介，原本依赖人类交流的摩擦成本被大幅抹平。在她们内部的工作流中，一个人往往同时掌控着三四个 Agent 并行干活，这反过来又在一定程度上解构了传统团队里人际交往的紧密程度。
柯丽一鸣对此打趣道：“我干嘛不直接问这个 Claude Code 呢？我可以通过和这个 AI 智能体的交流，把以前我需要和人交流的这个方面给他拿掉了。”
除了操作流派，CMU 还延伸出了极具影响力的腿足生物流派：
1. Matt Mason 的另一位高徒金相培（Sangbae Kim），毕业后执教 MIT，打造了开创现代四足机器人先河的 MIT Cheetah（猎豹）；
2. 与 Matt Mason 同期的 Marc Raibert 创立了波士顿动力（Boston Dynamics），凭借极致的电机工程与动力学控制，创造出首个完成高难度后空翻的双足机器人，将传统控制派推向了绝顶。
谈及业内的传奇人物，柯丽一鸣聊起了波士顿动力（Boston Dynamics）创始人 Marc Raibert 的经典“花衬衫”梗。在她的脑海中，这些行业宗师都已经变成了生动的二次元画像。Marc Raibert 如今是一个顶着满头白发、无论去哪儿都穿着夏威夷花衬衫的老头，甚至连后来为波士顿动力 AI 设计的队服也是夏威夷花衬衫。这个习惯源于他年轻时的叛逆：传闻在那个学术交流极度严肃、容不得半点轻慢的年代，他穿了一件不那么正经的衬衫参会，遭到同行批评“不够尊重”，于是他心一横，决定从此以后不仅自己非穿不可，还要大力推广让大家都能穿。
针对“做通用大脑为何不直接选用最通用的人形”这一疑问，柯丽一鸣给出了 Pi 对“通用大脑”的深刻定义：
> “作为一个人类，我去操纵一个机械，我不管是开车、开挖掘机，或者是去操纵这个腿怎么踢，或者说一个机械手它怎么去做这件事情，我都是由一个我的大脑去操纵这么多不同的构型。我觉得这个才是通用大脑最本质的一个定义，而不是说我去做了一个人形的大脑它就是通用大脑。”
subgraph TopLevel["顶层控制：通用大脑"]
A["多模态环境感知\n(视觉输入 / 任务指令)"] --> B["高层决策规划\n(如：判断先抬臂、再抓取)"]
end
subgraph BottomLevel["底层控制：驱动与关节"]
B --> C["关节控制指令\n(如：将角度从 90° 变为 180°)"]
C --> D["系统驱动转换\n(电流 / 气压信号控制电机)"]
D --> E["多关节机械臂执行动作\n(肩、肘、腕等关节联锁运动)"]
end
随后，Pi 推出了 Partner 计划。柯丽一鸣指出，团队希望打造出的基础通用大模型能够落地到各行各业以及不同形态的设备上，因此 Pi 选择与各类外部机器人公司深度合作。这些合作伙伴自带贴近商业与市场的应用场景和工程团队，可以直接使用 Pi 的模型或在其上进行训练部署。在商业化层面，Pi 本身不直接扑向纷繁琐碎的终端业务，而是通过赋能合作伙伴，借助实际场景的反哺推动自身科研。在柯丽一鸣看来，过去的机器人研究门槛极高，软硬件链条极度碎片化；现在 Pi 试图通过模型能力，让开发者“买了一台机器后，能把机器人从零做到第一个 sign 的时间给缩短”。
Pi 内部有一项由柯丽一鸣和同事自发组织的传统——内部读书会（Reading Group）。读书会通常有两种形态：
- **项目研讨论坛**：以 π0.6* 为例，整个研发周期内曾两次登上读书会。第一次是在项目开跑之初，主讲人系统梳理该问题的学界历史沿革和现有瓶颈，接受全场所有人的轮番追问与严苛质疑，把所有人的兴奋点调动在同一频道；第二次则是在模型接近成熟收官阶段，再次上会向大家交代最新进展。
- **技术工具“抄作业”会**：在 Claude Code 等 AI 工具爆火时，团队迅速组织专场，让公司内最擅长使用的同事上台实机演示。柯丽一鸣起初并未留心，听完之后直呼“惊了”。她立即重构了自己过去两周的日常科研工作流，生产效率直接跃升了三到四倍。不过她也清醒地指出，做科研就像“不停地打一枪看看子弹落在了哪里并调整弹道”，仅靠疯狂扫射是不够的，真正的核心仍需要人类研究员的深度思考。
聊到管理架构时，柯丽一鸣介绍 CEO Karol Hausman 扮演着类似 OpenAI 首席执行官 Sam Altman 的统筹角色，主抓公司宏观运转、商业对接与底层工程基建保障，确保研究能够高效推进；而核心科研路线则由学术泰斗 Sergey Levine 和 Chelsea Finn 亲自坐镇。
柯丽一鸣透露，2024 年公司刚创立时她与团队交流，第一句话问的就是：“你们现在做人形吗？你们现在要做什么商业化吗？”在得知 Pi 坚决不做人形后，她才放心加入。她坦言：
> “如果他们做人形，我就会担心他们的研究重心就变成了如何做一个更好的人形机器人，而我的研究重心就是做更好的任务。”
谈及在 Pi 与在 Google 工作的差异，柯丽一鸣结合自己本科时在 Google 做软件实习的经历进行了对比。在她眼里，Google 就像是一群顶级软件工程师为自己打造的梦幻乐园。在去 Google 之前，她所有的深度学习代码都是“纯手搓”——从底层一步步手写卷积神经网络（CNN）的前向传播与反向推导；到了 Google 才惊叹于成熟的基础设施与现成工具库（如 TensorFlow），调个库就能跑大规模神经网络训练。Google 的工程师基因极强，从 TPU 架构到底层系统优化，都带有极致的工程审美。
```mermaid
flowchart LR
accTitle: Core Modules of Reinforcement Learning in Robotics
accDescr: Diagram showing the cycle of task definition, active exploration, credit assignment, and policy update.
subgraph ProblemSetup["问题与目标设定"]
A["任务与奖励信号传达<br/>(Task Definition)"]
end
subgraph ActionLoop["交互与反思循环"]
B["主动探索模块<br/>(Exploration)"]
C["部署与环境交互<br/>(Rollout / Interaction)"]
D["归因反思模块<br/>(Credit Assignment)"]
end
谈到 Pi 联合创始人、斯坦福大学助理教授 Chelsea Finn，柯丽一鸣对其敏锐的科研直觉（Intuition）深表钦佩。叠衣服有左右对折、上下折等无数策略，Chelsea 往往能够凭借极强的直觉迅速断定哪一种折叠策略更适合机器人的本体动作，或者在一堆看似杂乱的数据中一眼挑出高质量样本，甚至面对一个外表看似极难的任务斩钉截铁地判断“这个任务一定能做出来”。
---
`02:55:00` VLA 架构的未来演进：从原始交互到 Context 与推理
随着日常频繁使用 Claude Code 等智能体工具，柯丽一鸣对人机交互的认知发生了改变。过去生性内向的她一度怀疑语言的必要性，认为很多物理操作根本无法通过语言穷尽描述（例如“把书房收拾一下”，隐藏着垃圾扔哪、书柜关紧等海量隐式细节）。但现代代码智能体展现的能力让她意识到，自然语言是构建深度逻辑思维与复杂推理的绝佳载体。
谈到技术公开与竞争，针对张小珺提出的“中国团队是否只要紧跟 Pi 的公开论文即可”的问题，柯丽一鸣表示公开算法只是第一步：正如 Google 即使开源或公开论文，其他团队依然需要耗费巨资先预训练出 Gemini 级别的基础底座模型一样，Pi 积累的模型规模、工程细节和专有数据也是高门槛。但学术交流永远是双向激荡的，Pi 内部也极其密切关注中国的进展。宇树机器人在春晚的表演视频当天就在 Pi 的内部公司群掀起热烈讨论，团队甚至在读书会中探讨邀请外部学者讲解双足运控（Locomotion）。
谈及使用深度机器学习训练机器人的感悟，柯丽一鸣指出，模型尽管表面是“不可解释的黑盒”，但其本质牢牢受限于数学优化的目标函数（Bounded by the objective that you define），是在数学链条上可推演的对象。对她个人而言，这一研究最大的驱动力来自于人性中想要“偷懒”的天性：
> “我甚至可以暴论一下，是不是偷懒就是人类文明一个本质的追求？提升生产力和偷懒是一个东西。”
[0:00] 大家好我是小俊今天我们的嘉宾是硅谷机器人公司Physical Intelligence派的研究员柯利一鸣派是一家专注于研究机器人大脑的明星创业公司成立仅两年 头后估值已经超过了50亿美元是这个赛道最受瞩目的独角兽之一部分业界人士对他的期望是成为机器人领域的OpenAI柯利一鸣在派主要负责强化学习方向的研究在科研之余呢他也追求在工作和人文表达之间找到平衡所以一余时间他也会写写小说这让今天的聊天变得更有意思了那节目中我们详细的聊了聊机器人的江湖 普系 门派与主角们全球的机器人团队都非常关注派在机器人大脑上的开源工作克里一鸣也详细地阐述了他们的研究思路与技术细节从派0到派0.5再到派0.6星但由于我们这期节目的录制时间相对比较早所以尚且还没有囊括进他们的最新模型派0.7嘉宾关于这个工作的技术讲解呢我会补充在show notes里那接下来就是我对克里一鸣的访谈期待2026年我们和AI共同进步。确实我们不做人心因为他们要说做人心我就不来了你知道吧我其实一直很想做的就是机器人可以造自己我觉得这个是机器人发展的一个可能会是一个里程碑吧因为它就像一个种族是有延续性的是可以通过自我的一种繁殖我觉得这些人能够组装造自己就是一种繁殖的体现第一篇是派灵它的关键词应该就是能力第二篇是派0.5它的关键词是泛化然后最近的这篇是拍《0.6星》他的关键词是表现你们公司其他人会很关注中国机器人的发展吗我觉得都很关注这是一个不可忽视的一个部分我们今天的嘉宾是硅谷机器人公司Physical Intelligence派的研究员K,柯立一鸣,然后Physical Intelligence是一家在硅谷机器人大脑的探索上非常有名的一家公司,不过前两天我跟K聊天,发现他除了是一个researcher之外呢,他业余也是一个网文写手,那K你要不先来自己介绍一下自己。能够更快更好的去完成任务然后业余的时间我是非常喜欢人文啊艺术啊这些东西写小说也是一种可能表达这种情绪的方法很高兴今天能有这样一个机会梳理一下自己在研究中的想法和大家分享你觉得做机器人和写小说有什么共通之处我觉得...都是有一些创造力的需求的比如说这个机器人他现在完成很多任务还不够好你需要想一些新的方法而写小说呢可能你真正想写的那个故事还没有被写出来你也是需要把它创造出来很多时候需要一些比较天马行空啊这样的想法另外呢也是有一种执行力吧像我在做研究过程中其实经常是有了一个想法以后慢慢的把这个想法落地工程这样的责代码这样的事情而且小说有的时候是有了一个命题就为了让读者感受到这个命题开始一个字一个字的在哪里马对我很好奇啊,你平时写什么小说,然后你在小说里有藏着一个跟硅谷机器人公司内部的叙事不一样的一个,世界观吗?平时写的比较多的是科幻小说这个也是我最爱读的小说分类之一科幻小说的话我觉得肯定是和我们现在生活的这个硅谷现在所属这个时代有一些关系因为我在科幻小说中比较痴迷的一些类型都会涉及到两个命题吧第一个是生产力变化以后人们的生活是怎么改变的第二个命题是在和我们的社会风暴很不一样的这种未来啊科幻的社会里面人之间的关系是怎么样的因为我觉得在第一个命题上面可能和我的工作会更相关一些吧工作时候就经常会考虑到我们做这些人工智能的研究做这个机器人是一种自动化能够把很多现在人做的事情给自动化的提升一下效率以后人去做什么样的事情是一个其实每天都会想的一个命题第二种呢可能是因为我觉得人与人之间的关系是一个自古永远的
[5:00] 很不变的话题在写小说过程中你可能也会去读别人的小说啊也会和几千年前的这些生活在不同世界的人他们的一些思想产生过敏我觉得应该是有一些人性之类的东西即使是在生产力大幅度变化的未来科技社会也会流传下去所以在AI这个时代在机器人马上就要进入我们的生活的这个时代你觉得人会发生什么变化人和人之间的关系会发生什么变化而且现在不是人和人之间的关系还有人和机器人之间的关系会发生什么变化我觉得这是一个就是正在梳理中还没有一个很确切的结论的话题因为一谈到人和人的关系就是我是一个相对而言比较内向的人你可以从每一个人不同的研究风格中稍微感受到一些就风格的话很多时候是我先想把自己就是埋在一个洞穴里面先埋头撕一会儿但是为了不要变成一个闭门造车的人你肯定还是要把头从这个土里拿出来然后去到这样的场合和别人去交流去碰撞一下思想然后接下来真的定下来一个命题以后去执行这个执行我一直觉得嗯以前的话我在PhD期间读博期间是一个比较独狼的一个玩家,就是你有一想法,你想要去实现,说干就干呗,中间遇到了什么问题,我们可以自己去上网去探索,去学习,我们可以通过提升自己的技能,组织一个比较小的队伍去解决这个问题。而从读博毕业以后呢,加入到了这么一家初创公司,做机器人的巨神智能的大脑,一个比较深切的感受就是,有一些事情是得在一个团队的协作中才能完成之前读博的一种项目呢可能它的这个规模是比较小的要解决的问题是比较具体的而现在为了要做成这个通用的大脑你是需要团队中每个人都在自己比较擅长的事情上发挥作用所以是一种就是为了完成一个任务啊要大家起心协力这中间的很多人与人之间的这个关系联系会比我之前的那种可能要紧密一些同时呢我在想就如果生产力变化以后因为最近硅谷不是有很多这种cloud code可以自动帮你编程的这种小工具人与人之间的这个关系好像又可以不用那么紧密了因为有的时候我与其是去问这个我现在要做的这个项目需要用到某一个模块这个模块的负责人我去直接跟他说一下我们这个是怎么回事问他可不可行我干嘛不直接问这个Cloud Code呢我可以通过就是呃和这个AI的一个智能体的交流把以前我需要和人交流的这个方面给他拿掉了就是减少了我对这个的依赖甚至包括我们现在很多自己的工作流程也是一个人掌控着三四个agent然后让agent去干很多活这个有一些改变了团队协作的中间人与人之间的关系所以你在跟人沟通之前会先去找Cloud Code的没错然后Cloud Code成了人和人中间的那个环节没错我觉得这个关系就是有我在构思一些小说的时候是会受到这个关系的启发比如说一个是想法是说现在在一个比较信息爆炸的时代我觉得现在可能已经有人是这样子的信息爆炸的时代以后以前你的很多讯息都是我一个人去浏览一个好如烟海的这个互联网信息但是有没有可能就是我有一个小bot就他可以把互联网上所有的这些信息就看得比我快看得比我多然后又了解我的喜好以后全部揉碎了给我吃给我再喂给我同时呢就如果以后真的大家都变成了默认的模式就是有你的bot去爬这个信息去分解这个信息的话可能以后没有这个bought你就很难在浩如烟海的互联网里面生存了因为你这个人能够看到信息就变得非常的有限然后另外一种可能是我觉得生产力的进步吧我这个人因为之前是独狼玩家嘛所以会就畅想一些就是非常适合独狼玩家的一些生存方式比如说像啊天怨木歌啊就一个人的这种乡村生活啊大家会在YouTube上也会看一看这样的类似的博种我会畅想一下说哎呀我这个将来就是到了一个远离人烟的地方去生活然后这种生活现在的话叫我我肯定不敢去我会觉得要干好多事情要脱离这个现代社会的这种基建的支持去干这么多事情一个人类我能做到这些事情吗我这个烧水啊弄饭啊这些可能现在还有一些基建但是家里这些家务啊还有各种各样就是我不想干的事情我怎么能够再远离人间的方式下把它干出来会想到就是我们现在正在做机器人比较近期一些的应用可能就是说能够把我不想做的事情给他做掉但是以后更多的畅想是说如果真的有一天
[10:00] 全机器人的这个技术能够飞速发展的话可能你现在需要拜托很多人比如说修水管这是一个美国社会永恒的难题修水管你现在是需要依赖人的但将来也可能是机器人来解决甚至包括你现在做的很多项目就是随着这个智能体的发展以前可能是需要你拉一个人的团队以后可能是拉一个人工智能或者机器人的团队甚至就是像现在的我们去看很多一千年前的原始社会可能会觉得他们生产力之道也没有那么发达如果我们在一千年后再看的话说明他们看我们也是原始收回他们那个时候每一个人能够拥有的这个生产力都相当于现在每一个国家能够拥有的生产力我觉得这个可能独狼玩家会挺快乐的那人和人的关系会变得更加的松散我觉得是可以让人和人的之间的关系变得更加松散可能在原始社会一个人在广袤的大自然里面独自去狩猎生存的话是比较难而现在的话找一个地方埋起来好像把自己头埋起来好像没有那么大的问题但将来也许可能在宇宙中你可以探索你说不定可以就是发现了一个小星球你就直接在这个星球上面定居你就可以搞很多机器人来帮你在这个荒芜人烟的星球上面搞好基建,你可以建很多你想建的,你想建高楼大厦啊,你想造这个内来都可以成功,我觉得还蛮有意思的。所以脱离一切的外部的条件限制,你自己是希望能够回到洞穴里去的是吗?为什么呢我觉得...并不是完全是说彻底的活在洞穴之中但是人对于自己的这个空间吧是会有一些追求的作为一个内向的人我觉得我的回复能量的方式其实是一个人静静然后在一个硅谷这么一个非常喧嚣非常无时无刻都有新的讯息涌入的一个环境里面能够找一个空间去自己静静其实比我以前的这种生活是有一些难度的所以可能对这个找一个洞穴啊稍微待一阵子产生了一些向往但我也认为就是人还是社会性动物吧在洞穴里待久了可能像我这样的人也会想要走出来再看一看说到这个还挺有意思我记得有一个老师他说他对于他下一代的小孩不和人谈恋爱了只跟机器人谈恋爱一点惊讶都没有现在你能接受这个事情吗我觉得我还挺接受的因为我是老二次元了就我的生活中是有不少这样的朋友他们的生活方式可能和老一辈的那种观念是很不一样但是因为他们一起熟悉了很久的朋友我甚至能够理解他们做的这些不想和人类谈恋爱的选择或者他们自己在社交方面的一些偏好以及包括大家对纸片人二次元的这种造物的喜爱也是有参与一些这种二次元的同好活动的哪些文学作品 影视作品或者各种各样的文艺作品有对你的机器人的思考有过帮助和影响吗嗯我觉得一时半会很难指出哪一个具体的作品但我们也许在谈话过程中会出及一些别的我都可以分享但是我觉得现在有一些或者说之前看到的一小类的文学作品中描绘的这种人工智能的毁灭世界的这个这个命题让我觉得有一些从现在的角度以我有限的视角来看会觉得不太可能吧现在会走到这一步吗所以会有一些反思就是我们真的会就是开发出一个智能体然后不知道怎么的它的可能诞生的使命是帮助人类但最后它存在的客观意义上却变成了就是与人类变成了一个对立的关系我觉得现在的我是很难想的但是因为一直没有想通为什么这个逻辑是成立的所以一直都在想为什么这个逻辑不成立呢我觉得以现在的就是2026年我们弄一个快照看看现在的状况了我会觉得现在智能体干的最坏的事情是什么我知道好像前几天有一个什么人把很多的权限给了一个智能体让他帮自己清邮箱结果这个智能体得到了这个权限以后就把他的邮箱全都删了删的快差不多了就是他的命题就是给这个智能体的任务是得到了执行但智能体的执行并没有和他真正想要的这个任务我觉得这个问题是确实存在,但现在智能体得到的权限承担的责任,以及它能做的事都比较有限。就得到权限的话,很多时候大家都是会prompt,就是你现在不清楚的话,你先别慌着动,先跟人确认一下。
[15:00] 今年去受伤受伤的过程中我就是到处求医问药但美国这个社会的医疗是有一些难的这个时候我就会把我的一些医疗的资讯发给这个智能体去让他给我解答但是其实在这个解答过程中我也不会真的就彻底的相信说我也不可能说这个AI跟我说什么我就信什么对吧我肯定还是要把它带到一个人类专家的面前去跟他确认因为我不觉得就是如果我真的基于他的这个推荐做了一个什么事的话他是能够承担责任的就承担责任这个方面我觉得现在他承担的责任还非常有限而在这种这种人类社会里面就是谁能够承担责任才会建立一个信任我觉得这种信任还是在演化的过程中还没有到我们就完全相信一个智能体给他那么多的权限然后最后是他现在能做的事情我觉得也比较有限比如说我们机器人我们有的时候行业内部笑话这个笑话可能已经有一点过时了这是大概三四年前和一个快要毕业的同学在聊天我们就在吐槽说我们就每天都在做什么呢就是让这个机器人把一个红色的方块蓝色的方块上这不是三岁小孩都会做的事情吗我们天天就在这花了五年时间读了一个博士然后教机器人做的可能也许或者还没有三岁小孩好还不如适合我啊人类的学习速度是非常快所以我觉得这三点因素导致了在我看现在的智能体我是不太相信他能够在现在这种节点上做到跟人类的对立面这种嗯因为写小说和写网文其实都要从现实世界有很多的取材很多是取材于生活我没有看过你的小说因为你不告诉我你的网名但是我很好奇您会把你在派的工作经历的哪一个部分作为素材提取出来放到虚构的作品里去我其实是一个工作和生活分的相当开的一个人我觉得在派的工作经历肯定是影响了我的思考比如说你对技术发展到哪一步了以及技术发展中的一些嗯就是quarky比如说比较特殊的一些东西会有更多的一些思考就比较具体的思考而我的网文很多时候就天马行空哎呀在网上保护好自己的身份以后想写啥不是挺好的吗所以你们告诉我们的网名是什么不行救命啊马甲马甲保护好嗯那我们接下来聊聊你的成长吧因为我发现很多硅谷的人都是从小受益于竞赛的一群人我感觉这个还挺多见的那么讲讲你的成长经历你是通过竞赛改变命运的人吗你能算这个类别吗我觉得是而且当我在成长的过程中有一些感触但甚至都没有现在的感触那么的深 我觉得我人生中是有一些关键的节点 或多或少都受到了我搞信息学竞赛这个影响其实我小时候出生在安徽省 然后上学呢是在安徽省的五湖市 这是一个可能互联网上大家了解它都是因为五湖起飞这么一个网络用语 但它其实是一个城市这个城市呢它就客观来说的话它的教育资源什么的可能和大城市啊比如说上海啊这样地方还是有一些差距但是非常凑巧的是我们这个城市有一个很优秀的信息学的一个竞赛老师他当时是在我们城市那边做学生的时候因为一些事故受了伤然后失去了双手所以这一个遭遇呢让他最后在就业的时候可能影响到了他让他选择就是回到这个家乡去当了一个计算机老师但是因为他这个人非常的聪明和优秀所以他在这个投身计算机教育的过程中就是他处理他是江涛老师我甚至跟他都没有真正的面对面的交流过但是我觉得我是有从他的很多这种贡献中受益的就是他在我们那个城市开设了比较系统的竞赛的这种七次培养什么意思呢就是像我们小时候会上的那种奥数班嘛就是在我们那个城市其实是非常正规的有信息学奥三班他就是个兴趣班你家小宝宝几岁啊我是八岁去学的这个东西当时我们小孩子也没有想太多只是觉得可以玩电脑了太高兴了只要不要我去学一些正儿八经的东西让我去玩一些不那么正儿八经的东西我都是非常高兴的所以在这个过程中就无意之中打下了一些后来就编程的基础并且一步一步的去走上了竞赛的道路然后在成长过程中呢我也是探索过其他的职业发展的比如说我大学其实学的是心理学最后又转成了经济学。大学本科是经济学?
[20:00] 心理学我是心理学开始的对我的大一因为美国大学他是可以换专业的嘛我的大一的选择的专业其实是心理学在学过了一些心理学以后感觉到了第一学的东西非常有趣第二我实在是不太适合做心理学为什么我觉得有时候人是有一些打破砂锅问到底的这种性格在我身上如果在学心理学的过程中呢就会有一种这个玩意儿他说的非常的有道理但是如果我想打破砂锅问到底的话我也许可以做但是很多年以后或者说做一些别的事情不够直接可能我们对于就是解决问题解决一个非常具体的问题是有一种痴迷的所以当时又去学了经济学就是想要了解一下自己生活的这个世界但是最后转回了计算机还是那个原因就是觉得这个能够帮助我了解这个世界但不能帮助我了解我在这个世界中想做些什么事情所以最后还是转回了一个相对而言更理工科的这个计算机的这个道路所以你整个大学经历了两次换转业对然后在这个成长的过程中能够探索其他的行业再回到计算机我觉得真的是因为就是非常的非常的感激就是小时候有这些竞赛的这个辅助竞赛对你性格影响大吗其实不是很大因为我搞竞赛的时候还是那种比较优先的因为小时候对我来说只是一个兴趣版本而已我们就是觉得这个东西好好玩因为刚开始学的时候是学logo语言它不是像现在这样都是打文字它是一个图形的一个界面作为一个小学生看到这么一个计算机它可以画画然后你就让他画各种各样好好玩的画当时就觉得非常的高兴所以在竞赛的过程中我对于计算机编程的体感一直是非常快乐的当时还有一本教材是中学生学C语言其实这可能是我这辈子唯一就认真读完的就编程教材后来的话都是网上献学献卖因为在读这个教材过程中作为一个小孩子他接触编程我觉得真的是有一种就是思维会不太一样吧就他会用讲故事方法教你很多编程的原理比如说地规啊就是跟灯神去许愿然后许了一个以后让他再给你三个愿望就我说这些东西都非常的自然而然的就能够融入到我的生活之中把它有一些内化了所以在这个层面上就搞竞赛或者说很早的去学习编程这件事情对我的思维有一些影响但可能是比较润物细无声的我并没有感觉到他对我的这种性格造成了一些就是非常明显非常突然的那种变化你小时候是一个很乖的小孩还是一个叛逆的小孩是一个男孩很乖但实际上很叛逆的小孩有多叛逆我都记得我我小时候上小学的时候第一天我爸妈不知道怎么想的给我捡了一个板寸头然后当时你知道小学生的话你去一个小女生然后留着一个板寸头然后大家就会笑话你我就记得上学学的第一天我是哭着上学的因为被大家嘲笑而内心无法忍受就是不知道该怎么处理这种事情就哭了可能是我小学哭得最惨的一次然后当我小学毕业的时候已经变成了学校里的大姐大就是有什么想法我们可以坐下来的坐着聊聊不行的话就把你打扶虽然就是使用暴力不是一个很好的事情只是在小学那个环境下我感觉我你能明显看到我的一些性格上有一些那么一个不太服的这种方面你是怎么在小学那个环境里面从一个第一天哭鼻子小女孩变成一个大姐大的我知道别人都叫你科姐对吧对就是我朋友对我的称呼从小学一直到高中都是这样我觉得可能就是我觉得性格上有一些就是路见不平一声吼的这种因素在里面吧会有一些对公平啊正义啊这种事情的一种追求然后也会去在小学时候也会去想办法完成这种事情比如说小学的时候会看到有一些人在欺负别的人我就会说你在干嘛你不行我们就来打一打你这样不行就会去达到一种心中的一种正义的状态在你心中有什么是别人觉得可以接受但你觉得是触发了你对这个世界不公平不正义的感知然后你要反抗呢我觉得生活中确实没有那么多事情是绝对的公平甚至公平的定义都很模糊吧可能不同的人有不同的想法我只是一个尽量在自己的力所能及的范围内维持一种公平有的时候我觉得每个人也没有什么权利去要求另外一个人一定要按照他的想法去做但是在这层之上有什么东西是我觉得他还是比较有普世价值的可以这么去想的我觉得一方面
[25:00] 一方面可能是我觉得有些心痛吧就是教育资源这个方面当我出了国以后会有一些感慨就是我在国内受教育的这段过程中其实是曾经觉得我想上一下清华北大这样的学校会想去考但是因为我在安徽省其实安徽省的话是每一万个人里面可能有三个人四个人能够上到清华北大我觉得我当时上的是竞赛班在高中然后也是从传统的升学道路里面一步一步学出来的我也不是一个特别优秀的那种优秀到骨子里就是真的非常热爱学习花很多时间去学习的我都是一个竞赛班里面就是中等我喜欢的事情就多学不喜欢的事情就少学的那种学生所以我知道我可能就除非我转了姓然后特别用功才有可能拼一拼这个一万个人里面的三四个人而当我出来以后会发现其他一些的省份可能确实有一些教育资源上的优势吧比如说在大城市的话可能会有这个一万个人里面有八十个人都能上清华北大这种数字在安徽是想都不敢想的会觉得是有一些资源分配上的事情但是可能在现在这个时间点上更多的能够想的是如何通过创造更新的生产力来在某个层面上抹平这些公平吧所以你觉得你不是这种激烈教育的优胜者我对我的同班尤其是初中高中的这些同班同学报以崇高的敬意我实在是没有办法像他们这样的卷因为我们是竞赛班竞赛班上的大家我觉得都非常的努力都非常的知道自己想要什么不像我这种从小就有点虽然看着很乖我是不会做一些特别坏的事情但是我也没有那么的乖学习这个东西我就学我自己想学的就好了所以在这种环境下我觉得抱着这样心态确实是没有办法和这种特别优秀和专注的同学们相比你想说做最判逆的一件事情是什么最叛逆的事情我觉得因为做叛逆事情太多了你是很难评出一个最叛逆的事情前三吧前三名前三名其实我到高中的时候又把我的头发剪成了板寸因为当时就非常想去东南亚去旅行看一看然后觉得自己一个人在东南亚可能不太安全就把头发剪成了板寸然后整个人打扮了就是一个非常男孩子的样子这样走在大街上可能大家也会就是该怎么说呢就是去就是可以可以用总结吧就是可能是在东南亚背包的这段经历相对而言是比较叛逆的因为它是一个没有明显的目的也没有明显的目标也不知道它对我的人生有什么影响但是就是非常的想做但其实还比较幸运的是就家里人也没有那么的强烈的反对他们只是觉得好奇怪怎么做这个事情保护好自己的安全然后每天就是不停的骚扰我说就赶紧劝回来劝回来不要再搞这些奇怪的事情你们是高级去的东南亚那个就是高二底就当时其实就是已经想着要不要出国了因为之前是在走升学的这种高中所以没有知道自己是要出国的就差不多是一个很快的一个思想上的转变然后目标上的转变然后稍微去执行了半年然后突然就发现自己还是有点闲的时间当时就想说要做点什么就去了都南亚背包因为之前非常的喜欢有几本这个印度的神话相关的小说开始迷上了这个印度的宗教的建筑就想跑过去看一看去了多久去了大概两个星期一个人去的吗对我一开始但是我后面我爸爸妈妈也来找我了他们可能还是有点不太放心所以你是为了去多南亚所以把头发紧成板村为了自己安全我觉得这个是但其实头发紧成板村非常的方便因为我之前在在我成长的这个初中高中的这个过程中我的朋友们其实都知道我是一个非常不修边幅的人什么头发打理啊梳头发这个衣服的扣子啊就是我到班上上学到班上以后就是班上有一些跟我关系比较好的女同学就会来帮我稍微打理一下仪表因为实在是看不下去了我在想你去东南亚把头发剪成板寸是不是潜在内心是有一种不安全感的很难描述但是因为会不自觉地认为就是如果可以像一个就是像一个外表像男生的话大家可能就没有那么多的不好的想法就可以提前保护自己这样的想法你觉得这种不安全感它可能来自于哪里呢我觉得社会中的认知就是新闻啊或者说很多听到的事情会让大家作为一个女生觉得自己处境会有一点点处在被就是更可能受到侵害的这个位置上所以就会想起
[30:00] I'll... I can't think about what to do I think your choice is very interesting because there are people who are not sure that I don't go to the same place That's safe. I'm in the house. That's what I'm going to do. You need to find a way to make it. Your way to make it to me as a male. 然后我就安全了 I think this is the way I think it's the way I feel. how to use the method. You were supposed to decide to go to school. You said you were supposed to go to school. You were supposed to start studying the school. You had to turn the wheel. 对这个我觉得就是人生中的冥冥之中的一个很小的决定因为当时在高中看来是有三条路嘛第一条路就是升学但是刚才也说了就是在我的同班同学面前我觉得自己就是一个渣渣就是一种不上不下哎呀叫我在在在花一点心思去提升自己的成绩对不起我真的做不到就是 I don't know what I can do. I don't know why I'm doing this. So I don't have to do it. I don't have to do it. For example, I was taught some I like physics and physics and physics. I think I can enjoy the learning process. I have some of the things that I have to do with the things that I have to do with the things that I have to do with. 哎 对 然后当时就是成绩就怎么都上不去嘛 然后学校的老师或者同学或者家长也会劝你说 好好加油 把这个短板给补了 你还可以冲一冲 我就想说我为什么要加油 为什么要补这个短板 为什么要冲一冲 我不干了还不行 我不认同这个事情 所以当时有这个嗯 I think Thank you. 评论了古龙小说的一种互动式应该是怎么样的。所以当时就非常崇拜这个雨写的创始人Sofran E。然后当时因为崇拜他,所以又去了解了一下他的生平,发现他是 It's like a Chinese university. I was in a bit of a more than a way. I found that people are a great master of the world. I was like, "I'm a Chinese university." It's a very... There's a lot of inspiration. I thought I could go to school and talk to people. And then I would like to talk to people. And then I would like to go to the garden. And then I would like to go to school. And then I would like to go to school. I'm a fan of my friends. So I'm a fan of my friends. a It's a kind of a social scene of a movie. And because this film is very simple, it has been a lot of love and love and love. It was in the most intense moment. So in playing this story, you will get a huge amount of energy. This game of the game is a lot of men. What is my opinion? I don't know if it's not a good thing. I think it's maybe you can see the rule of the theory. It's not a good thing. It's not a good thing. But in my mind, 并没有这种天生的 就是这个游戏就该是什么行为的人去玩 这种想法 他击中你的是什么呀 这个游戏 I think it has a few things I'm very interested in. The first is its art style. I think people... is something to experience. I think this is my way to people's mind. It's a very important point. You can experience many different things. It can be through the environment and setting, and you can see the very well-being of the world and you're in a different world. I think this is a very different thing. I think this is very interesting. It's a very interesting thing. I think this is a very interesting thing. I think this is a very interesting thing. I think it's a very interesting thing. I think it's a very interesting thing. I think it's a very interesting thing. I think it's a very interesting thing. I think it's a very easy thing to do. The shop is a small shop. 外加之前的分手厨房 你还可以在游戏里进行餐馆 你可以提议很多不同的人生 所以我觉得这个是capture了一种 just if I become a teacher, what kind of feeling is that? And then, the other thing is that, who is this, who is this one? I thought, wow, this word is cool. You remember? You remember?
[35:00] 不太记得清了但我也许有一些东西太羞耻了已经忘记了但是对这种对这种嗯非常纯粹的情绪的碰撞令我非常着迷就是一种你背负着血海深仇你说我们在现代社会你怎么会背负一个就大部分人吧怎么会背负一个血海深仇这个就可以在游戏里体验就当时因为对喜欢这个有不自觉的去靠近吧就是可能潜意识里也有想过将来有一天如果我能我创作一个自己的内容会非常的开心那看看别人这些已经创作出我非常喜欢的内容的人之前的路径是怎么走的我们也可以向他靠近一点所以你没有想过一个科学家的成长路径是怎么发展你也没有想过一个企业家的成长路径是怎么发展的在构思的是哦原来这个游戏制作人的成长路径是怎么发展的那你为什么没有去做游戏呢对我觉得写小说是我创造的一种宣泄的方式而做现在这一行人工智能做研发可能是对我这个人追求效率的一种体现吧就是我骨子里你看在大学中换的这些专业其实我觉得这些专业都非常的有助于写小说内容只是最后自己发现自己真正想做这种工作的成就感有很大一部分来源于就是我把一个别人做不到的事情做到了或者说别人做这个事情我做得更好这种思维不好说是不是因为在国内这种教育体系下有一种还是有点竞争的一种思维在里面但确实是能从这种想把事情做得更好这件事里面得到回报你到了美国以后有发生什么变化你有经历过文化冲击没有我觉得有非常大的文化冲击你的性格有发生怎么样的塑造我觉得有两点吧第一是在之前生活的环境来看比较的稳定所以对周边的社会的人缘之间的关系是比较稳定的太稳定了以后你其实感觉不到它的存在就是你是出了国以后开始接受到了一个完全不同的社会社会关系需要找你这个人在这个社会中的定位就开始重新思索就是我以前好像不用做这个事情我现在要做就是我不太清楚这个人说话的时候他有什么有什么含义吗因为以前你已经在那个社会里生活了很久你就非常的自然而然而现在到了一个完全全新的环境不自觉的去调整并且也使得你能够稍微就是客观一些的审视之前所处的社会环境和你这个性格我对我性格的自我的认知很多时候是到了不同的环境冲击下才得以显现的然后另外一部分是因为美国社会还是一个比较注重这个presentation吧就是你如何去表达自己我觉得核心一点可能是说他们最终是想把这些孩子培养成一个有领导力的一些人就是他可以通过缠住他的梦想来号召很多人去和他一起完成梦想这和创业者这种企业家精神是有一些不谋而合的在我那个上的大学里面是有很多这样相关的活动啊还包括课程里面的设置都是在鼓励这件事情发生而我当时作为一个非常内向的人诈一道这个环境以后就有一种哎是不是没办法只能只能多说点话了要不然的话真的不知道自己在干什么就是不就是经过这样的一个环境所设置的这种关卡的走动开始真的变成比较能跟别人说话的类型如果你和高中的我说话可能会发现我这个人就不爱说话但是你和现在的我交流我觉得我是在交流这方面有了很大的提升嗯你有觉得两个社会的文化的基础有什么不一样吗你刚才觉得在之前的成长环境里面你能感受到很多的不公平那你到了美国之后呢不公平依然存在只不过谢谢大家我觉得如果社会之前经过非常高速的发展因为我后来还去英国留学所以把中国美国英国放在一个轴上面来看的话会得到一个非常有意思的一个感觉就是中国社会咱们父母那辈的人可能会有很多的动荡和机会和一些变革吧就是大家有时候会开玩笑说就是你网上数三倍谁不是这个田里种地的人呢是吧然后美国社会呢相对中国社会而言我觉得是有一些些这种阶级固化的一些因为毕竟是一个运行了200年的资本社会资本的得利是比作为一个人来得利要快一些他们是有这种积累而英国社会又是一个非常极端的就我在英国社会的时候就感觉到了这种社会相对更加固化以后造成的人们之间的关系和你所处的这个社会阶层和你的这个喜好品味的一个非常大的影响谢谢大家嗯我觉得中国在这个轴上可能是相对而言在当时是最百花其放的那美国和英国呢我觉得英国可能在这条轴上相对而言是最保守的
[40:00] 而美国是有一些保守但是都到硅谷来了大家好像又抛弃了之前的那些旧的东西在这里又开始开上新的东西你看你成功从家里逃离出来了你成功的离家万里之远你得到你想要的了吗我觉得在内心世界上在离开的时候并没有很大的目的心说自己一定要拿到一个什么东西是在路上才慢慢发现自己要做的事情并且我还是非常喜欢现在自己投身的这个行业和这份工作也这是对技术是有信仰的吧可以这么说你为什么后来从经济学回到了计算机去了人工智能这个转变是怎么发生的我觉得也是有很多巧合的因素命运是一条冥冥之中的线我只能得到这个点在当时大学的时候在经济系读然后就是觉得做的事情虽然是学的知识非常有意思但是做的事情好像就是把一些数字融合在一起跑一跑报表这种分析可能没有满足我所以当时就是开始探索就是在大学能够做些什么别的事情然后很巧合的是大一的时候去了一个实验室做研究就坦白来说当时的我完全大一对在大一的时候去实验室做研究坦白来说大一就去实验室了是的很少见对因为当时在美国在我们那个学校非常流行就是职业发展就有一种美国人的卷就是你大一的时候就会灵魂指纹你大学毕业后想干什么赶紧想好每天都要为这个东西做努力所以当时大一就开始参加一些什么职业的交流啊就开始搞搞自己的简历从大一就开始弄简历我觉得我大一好像是入学第二个月就开始在网上到处去投简历大一写啥呀大一就是之前因为就是搞竞赛所以有竞赛同学其实有一个建议同学听我想法的在我们高中过程中他就做了一个小软件还去卖钱我当时也参与了就帮助了他的这些开发然后我们也拿了一些就是小孩子小家小闹的一些就是钱让自己觉得能从自己的技能中获得一些回报所以这些东西都可以写在简历里因为你是就是想办法向别人证明就是你是一个信的过的人可以做很多事情我觉得其实是现在的就孩子呢其实也完全是有可能就是比如说之前open AI是有高中生去发paper的这个先例我觉得现在孩子们完全是可能做到这一点所以当时的大一我就去找到了在我们学校的一个计算机的组的实习然后当时非常幸运的遇到了成为我就是学术路上第一个导师的学姐她叫李博她后来毕业以后去芝加哥大学当教授现在也在硅谷其实做创业公司当时呢她选中我的原因我不太清楚具体的我挺喜欢博弈论这个东西而当时他这个课题是一个叫做adversary machine learning就是敌对的机器学习它是需要有一些对抗的这个博弈论的思想在里面所以就通过我学的这个比较吵架的这个东西就跳到了就是经过这个点的连接跳到了一个稍微不同的方向然后当时在学姐指导下就是比较幸运的就写出了一篇paper然后也得到了发表所以我其实大二大三的时候就因为有了这么一篇就是第一作者的这个论文发表后面在博士申请的过程中就得到了一些助力博弈论吸引的是什么你为什么对博弈论非常感兴趣然后又通过博弈论去做人工智能这个很有意思这个连接点感觉非常微弱但是它好像又存在嗯就是粗暴一些的归类的话博弈论中间可能经常会说就是如果是两个人在玩游戏他们是对抗的关系那他们两个人都要做到自己范围内的最好但是在互相对抗的过程中他们可能达到了一个平衡你可能可以通过一些事情来引导他们使得他们的对抗过程中达到平衡是最优的我觉得这个点其实是很多经济现在这种市场竞争关系的一个诠释嘛就是你需要在市场中大家都去卷然后卷到最后就会卷到一个就是其实对整个社会发展有益的一个平衡点然后把这个思想学放到机器学习里面它也是有应用的当时差不多20应该是2016年左右是对抗神经网络出现了其实对抗神经网络也是有非常多的这个博弈论的元素在里面它是需要有一个生成的和一个评判的他们俩就是互相在玩这个游戏声称的人就打个不恰当的比方就在做假钞然后评判的人就需要分辨就是你做这个钞票它究竟是真钞还是假钞在这个过程中就最后可能会引导这个生成的人不断的去生成一个越来越像真钞的假钞而对抗的人最后就是就当他们真的完全无法分辨的时候他就没办法他就怎么靠猜所以大家通过这个思想就是在当时创造了一批就是图像生成的技术都是靠这个生成器去生成一些看上去像真实世界的假钞就是这种假照片但是这个逐步对抗的过程中这个照片就会真的照片没有差别所以使得这个身上的照片看上去更加的真实
[45:00] 这个博弈论我觉得应用其实在机器学中是非常的广一直到今天嗯我觉得在机器学习的安全和怎么样帮助机器的这个就是不管是思考方式还是生成方式更像人类都是有挺广的应用的你真正开始做人工智能的研究除了本科做过一篇论文以外是在博士了对吧是的你博士之后的学术路线是怎么展开的你的主线是什么嗯我在博士期间也换了一些方向因为当时第一篇论文发表的是一个偏博弈论的这么一篇文章所以在刚入学的时候我以为我做的是这个偏理论的机器学习但是当时做着做着之后又发现自己其实更喜欢做应用所以后面就去做了机器人这么一个引用在机器人过程中呢我自己的研究路线其实是从模仿学习开始然后最后做到了强化学习这个模仿学习我感觉要形容的话其实就是就人家已经知道了怎么做一个事情所以他给你提供了一个样例你就想办法去超出这个样力来这是模仿学习但是随着模仿学习的研究的不断的深入我就觉得有些不满足了我觉得就是如果你永远只是在照抄别人的话你其实不能够就现在也很经常讲过不能够有创新啊不能够有突破啊所以就转入了强化学习强化学习更强调的是怎么样通过你自己的这个探索去突破原来的这个表现去把这个上限推得更高我觉得这个其实也和性格是有一点相贴切的所以现在的我更多的是做强化学习在你开始研究机器人的时候当时的主流是什么样的呀你这个研究方向是一个主流的还是一个边缘的我觉得在2017年它是一个新兴但博士很大众的一个方向就是把机器学习放到机器人上面包括我自己去找到的实验室的和他的老师他们都是更加偏向传统这一派系的因为机器人其实发展到现在发展了几十年了然后也有很多很成功的应用比如说大家会笑话说我们都让火箭上天了都可以在这个火星上开发探索这些都有用到很多机器人的技术然后传统派系在2017年左右把传统派系更多讲究的是一个落定规划和控制问题就其实这个我觉得是非常符合我们人的一些直觉的就是你做一个事情你就先规划一下我要做第一步第二步第三步分别是什么然后把它们连在一起形成一个完整的计划计划了以后再由这个控制去慢慢的给它执行保证你在每一步上都不输错都能够贴切的完成而且2017年呢因为我是从机器学习开始起家的所以我当时就在想说剧中去学习我能不能把机器人的这种聪明台制也不是再靠我去给它制定什么规矩而是从数据中直接获得这个想法呢和我这个所处的这个传统偏传统方法的一些实验室就是是比较比较小众的在我们实验室就是只有我一个人做这种类似的方向就是你导师不是做这个的我导师不是做这个的我导师他他是传统派系的一个做路径规划有很多工作做控制就是他是一个怎么说的全战系的人物就传统的机器人实验室他是从卡莱西梅隆那个派系出来的他们就很强调说你每个人都要做全站就是你要会造机器人你要会知道怎么把机器人搭在一起这个机器人的一些什么动力学分析你也会做然后你还会做对定规划还会做这个控制然后还会让他做一些事情最后你在这条整个链条上面你可以选一些你比较喜欢的点去深入他是很强调就是一个人就是在一个最极端的情况下是可以一个人完成几乎所有的任务的所以他在培养学生的时候也是照这个路子走就我其实很感激就他对我的这种培养让我觉得我对机器人的上下游的一些事情是有一些了解都深入吧但至少就是差不多凑合是能用的然后在他的实验室里做机器学习我觉得他的态度也是非常有意思的因为当时机器学习刚刚开始就大家做的事情还非常的就怎么说就是比起传统机器人都能够上天了你这个机器学习刚刚起步做的什么任务看上去其实也比较的幼稚吧但是当时导师在交流的过程中就是忌讳给我指出就是很多现在做的这些任务其实以前都有人有更好的方法解决是这么解决的你要去学习一下你要再继续学习的这个做的过程中同时也就是知道以前的人是怎么做这个方法的就他给了我很好的这个台阶让我去在他基础上去学习同时他也会就让我有一个比较开放的一个想法就是我会把很多基金学习的想法带给他然后告诉他我觉得就不停的在这种一问一答这种
[50:00] 就搞明白了就是我为什么这么相信机器学习在机器人因为传统方法中的这些我觉得是太依赖expert专家的这个东西我们积极学习我觉得一个很大的使命就是让专家从这个机器学习的这个中间消失就是机器可以自己学习这是一个使命你的导日是那个C的对吧对你如果是一个机器学习的信仰者你为什么会进他的组呢对以及你是怎么开始对机器学习,非常感兴趣,就是对这种数据驱动的机器学习。因为懒。因为这个事情其实有点有意思我觉得知其然不知其所以然嗯是一个非常微妙的一种状态可能大家有些人会在有些在有一些问题上大家也会想要打破砂锅问到底但是在优化问题里面大家都很想优化我觉得性格上是有一个想要更好更强的一个部分的在优化过程中有一类优化问题就是黑合优化问题你也别管你也别问他到底怎么样就给了一个非常好的解反正你只要知道你如何设计一套系统让它能提供一个比较好的解释你不需要知道这个系统最后是怎么运行的其实这也是我觉得2016 17年左右就是自然语言系的一个很大的争论就是传统的自然语言会使用比如语意啊结构啊就这种更贴近人是怎么理解语言是怎么运作的就把语意分成很多不同的部分是需要很多专家去了解学会然后再想办法把它自动化为给机器而后来的数据驱动的话就是完全也不能说就是没有受到之前工作的影响但确实它的运作方式彻底的改变变成了从数据中直接学中间的这些步骤都可以略掉就变成了端道端我觉得机器人可能也是要走一下这样的路嗯那你为什么会进一个传统的组没有选择呀因为当时机器人不是一个特别流行的一个选择在201617年其实机器人的发展历史的话大概也就是50年而且机器人是一个非常非常烧钱的一个领域当时我们的一个内部笑话就是看隔壁一个非常牛逼的自然预言的老师的组他是耶金锤他其实做了很多就是common sense就NLP的贡献当时他们那个组2017年就开始做了很多数据集然后说就从来没有人烧这么多钱在数据机上我就说数据机烧了多少钱20万美金哎呀20万美金我的天哪你在这边买一个机器人要多少钱你知道吗你这个机器人换了以后要修了多少钱你知道吗所以多少当时2017年隔壁组有一个shadowhand50万美金还是100万美金来着然后修了以后就大家自己大家现在让这些博士生宝宝现在这个屋子里面先想办法修好不要把它返场一返场就是十几万没吧就当时还有Barrit Hand的也是就是一个多关也不是多关节吧就是一个三个纸的一个绳区的一个手当时是十几万美金一个它坏了也是修起来够强要半天就当时的这种硬件的成本和这个需要一些专家的这个知识的知识时的当时我觉得机器人不是一个特别流行然后人数也比较少非常昂贵当时都买什么硬件啊当时逐渐开始有人买弗兰卡这个硬件因为当时Franca就是我们是相对而言最便宜的你现在这个时间点看Franca你也觉得好贵哦怎么这个我忘了当时拿的价格是多少但是反正就是几万美金他就号称是最便宜的嗯嗯现在还是有人用弗兰卡因为我知道之前弗兰卡被一家中国公司收购了还挺唏嘘的就是大家也不知道以后弗兰卡会不会挨出了一个中国版可能就几千美刀说不定就可以了因为现在很多中国的硬件应该都是在就是另外美金左右上下的价位吧就是单纯从手臂的角度上来说其实还不到十年的时间对吧从你开始读博到现在是的你是哪一年度播的我是17年入学的17年入学其实这里我们也讲到了机器人历史你们从你的视角来给我们回顾一下你说的这个过去50年的机器人的历史我的视角可能不完整我就尽量复述一下我感受到或者我接触到的一些比较有代表性的研究人员我觉得机器人的发展是可能绕不开第一个就是坎南基美东大学的一些发展坎南基美东大学是有一个自己的机器人研究所的这个研究所大概是在79年八几年的时候开始建立所以至今大概是40多年的时间当时就是他们开始研究了怎么样让机器人就通过感知去看然后做一个决策去动所以我觉得这个看家动的这个结合是从他们开始就是慢慢的变得非常的popular就是非常流行起来然后当时他们也发展出了很多不同的分支就不管是就是让机器人能够去决策以后就把它放到真实的环境中去做一些灾后救援还有当时就是2000年左右的这个自动驾驶当时CMU凯来基美容大学在这个底面一名精人
[55:00] 就突然一下就大家都觉得自动驾驶可以开始做就当时04.05年的这个DARPA就是国防部的这个自动驾驶的比赛刺激了后面很多的自动驾驶公司的大概06年那部开始创立我觉得这个也是非常有激励的然后后面的话呢坎南基面龙大学我觉得有发展一些就是现在对我们最相关的话可能是就是有一些机器学习的学者也有一些操纵系的就是manipulation就是用手就机械手去做一些事情的学者也有一些是就是研究如何机器和人的生活中共存其中可能比较有代表性的话就操纵系因为他是算是我的祖师爷所以对他了解要多一些他的名字叫Mike Mason他现在是还在互联网上活跃他有一个个人的博客会写一些就是他对操纵系的看法他其实最有名的一句话是就是他觉得我们现在强调了很多灵巧他觉得是不是从你这个手指和你的硬件的关节构造而是从你这个大脑如何去操控一个即使很简单的一个结构也能做到一些很复杂的任务他觉得灵巧的关键不在于这个手本身而在于大脑我觉得我的研究也有很多受到他的影响因为我在博士期间也就是筷子机器人就是又一双筷子做几乎所有的事情是我当时的一种想法然后他当时代书的学生也就是我的导师就是Sit Srinivasa所以他嗯就C的话他会做了很多路径规划就也是做了很多就是啊有一个什么机器人酒保就是你怎么样去拿一些不同的就杯子啊或者可乐然后再把它递给人这样的一些研究然后除了这个派系以外当时卡拉吉梅龙发展当时那个腿啊和生物的这些机器人是有很多人研究的就是Matt Mason祖师爷他还有另外一个弟子叫桑贝桑贝他做的就是一个生物狗就是当时MIT Cheetah就是他开始做他在Matt Mason这里学但他其实并没有做操纵鞋他就去做一些就是生物激励的一种形态所以他就做了狗他去MIT当教授以后就做出了这个mini-chita这么一个非常有影响力的工作可能说是现代的这些机械狗的奠基人然后其他以外然后做腿的话还有一个比较知名的学者可能就是Mark Rebert他是Matt Mason的同期他去做了波士顿动力也是先做狗但是他走的这个路线可能是传统派系的一个极致因为当时他做之前的话大家其实觉得就很多事情是受到电机的限制他就想做非常好的电机能做大家想都不敢想的事情他确实做到了我觉得他做的这个在忘了是什么年份了第一个就是能够护空翻的机器人告诉大家这个事情其实能做影响了一批的学者然后我觉得在你是CMU这个派系的对吧我觉得虽然我不在CMU读博但你可以看到就是我的学术族谱是很多受到这边传统派系的影响的然后在另外一边的话我觉得派系上可能还有机器学习这个派系因为机器学习的话 我也不清楚就是更早的事情 可能明斯基他是一个MIT的学者 他可以认为是现代机器学习的一个创始人但是在我这个年代 当我开始学习的时候 我们机器学习的入门教材都是看AndroidNG 吴恩达他的在线的网课这就是我大学时候去了这个实验室 在荣州智能里面他们好像也属于两个派系其实可能是的但是对我来说就是更早的事情可能我都没有那么多的关注了就在我看来我能看到到部分就是我们就是一四一五年开始做人工智能那就是学姐就告诉你了这是一个教材先把这个教材读懂搞会就开始跟着吴文达的网课去学习然后吴文达的一个博士生是Peter Abil他是应该是最早的一个把机器学习放到机器人这个领域上的一个比较先驱的教授他现在是在伯克利做教授依然是一个活跃的研究员他现在应该也同时在亚马逊担任一个把他们这个研究部门的一个领导的一个职务然后Peter Bill他当时做了好像是做了一个就是会飞的这个飞行器然后它有了搭载了这个机器学一些算法因为他做的这个工作的年份比较早我现在其实对他更多的了解是他后来的学生就是Sergei Lewine他的工作我觉得Peter和Sergei这两个人可以说是把强化学习在机器学习中就是比较发扬光大的因为他们的这个发表的数量非常的多然后Sergei呢现在也是我在派的算是我的汇报对象吧他是创始人对他是派的创始人之一他也负责了很多我在派现在做很多情话学习的工作所以是和Sergei一起做的Sergei当时在很有意思啊 斯尔格他自己 PhD 学的其实不是机器人是 Graphics 是做这个图像的
[60:00] 然后当时在Peter Ebel手下读博士后的时候才转型就我还挺欣赏就是大家从一个领域做了以后就转型到另外一个领域我觉得你能转过来或者你想转过来肯定是有很多你的想法所以Serge当时应该是有很多想法他就做了强化学习这些课件其实当我开始读博士的时候我对于机器学习的很多就是没有什么教材都是看Serge的视频然后看他们的一些讨论包括看他的论文然后看他们组的一些对话来学习的然后Sergate他后面也有他的合作者Chelsea就Chelsea和Sergate都是派的联合创始人我觉得他们俩都是对现代机器学习到机器人应用做出了非常多的贡献就不管是就是学习的算法还有包括就是硬件的设计都是有很多贡献Sergate和Charlie他们是是什么共识关系此前如果我没有记错的话应该Sergei是ChelseaSontime就是collaborator或者slash办一个advisor应该可能也许就是Chelsea的postar是和Sergei读的然后他们后来一起创业了做了派对他们俩之间的学术关系非常好就是我觉得他们俩非常的同频在公司他们其实也是经常在一起讨论问题这两个人有意思吗有什么有意思的观察没有Curgy是个科幻小说重度迷我不知道就是别人读派的paper有没有发现就派很多paper上面会有一个来自科幻小说的一个引用全都是Curgy写的就他就会他会去思考这些事情然后有人说过他非常会写论文标题是的我觉得他是一个讲故事非常强的教授同时呢他就是内部效法可能就是说Sergei就像Sergei GPT一样在这个人工智能切GPT出现之前Berkeley的人就已经用上了Sergei GPT你的论文写的怎么样把草稿就直接发给SergeiSergei就给了一个就是超级Polish超级好的一个版本返回给你而且又快又好就像就是切GPT的前身版只是切GPT出来的他也不能和Sergei GPT在论文修改方面相提并论这是一个笑话吧然后枪碎的话他是一个非常discipline就非常就每天他都会四点钟起床然后去游泳然后有一个小时就他是一个对自己的一个生活我觉得非常有规划非常inspiring而且他是一个我觉得有动物性直觉的一个人就是和他聊很多就机器人的具体的一些动作和表现他有非常多的就非常快的一个就是说他觉得这个事情是什么样的然后这个你们有非常多的这种直觉性的推理能够感受到就是他对这些动作任务有很深的认知比如说呢动作直觉性的推理比如说就有一段时间里CeoC是负责管派的这个数据收集的就他对数据收集到底来收集什么样的数据我觉得他有很深的理解其实后面谈派林的时候也可以多说一些派林的很多任务是有乔西在后面推动就是他觉得能做因为当时其实大家是不知道能不能做的所以他们两个是互补的吗我觉得可以是可以是什么认为的他们的工作关系这一派别还有其他人没有刚才说了温达以及他的演示我觉得现在的机器学习机器人其实挺百花其放的然后包括有另外一些派系比如说就从菲菲她带了很多学生也投身了机器人的研究比如说可能现在这个时间点上大家比较看得见的有朱玉可和金范他们现在是在都是菲菲的学生都在领导毕业以后都玉可是当了教授然后现在他们在领导英伟达的gear lab在英伟达就是主管就如何做机器人然后包括我觉得现在其他就是华人学者比较有名的可能有宋舒染还是我非常尊敬的一位女学者然后宋舒染其实之前他做他们有做这个做这个diffusion policy是舒染组出来的然后ACT和这种aloha是chelsea组出来的我觉得这个都是对现在的机器学习机器人的形态产生了重大影响的里程碑式的paper然后其他的还有CMU派系其实也有很多现代的机器学习的人我觉得可能比较wisible的应该是两个人一个是Depart还有一个是Abinov其实Abinov是一个资历比较老的教授他是之前做这个视觉出身然后他有非常多天马其空的想法我跟他就之前短暂的合作过一阵子就几年前我就感觉到它是一个无法预测它下一秒会说什么然后有的时候我觉得它看的东西就非常有创造性比如说它其实很早之前就想做一个就是自学习的一个季节比如它当时做视觉就说了就是视觉我们经常说只能受到数据的限制那咱们就做一个就不要数据限制我们就做把
[65:00] 放到机器人上让机器人去户外去各种收数据这样不就可以打通就我觉得他做的东西是有一种就是几乎野生般的说就是将来最后可能还真就是这个形态这种感觉然后包括他其实就大家现在可能更熟悉Yumi就是作为一个机器人说数据的一个手段其实很早之前就是阿比纳也做过另外一个就是叫做我忘了他起的是什么名字反正他当时就说我们去亚马逊上买一个五刀一个的东西这个东西呢就是一个就是很长的一个杆然后这个杆的末端是一个小夹爪然后你按这个杆他就会夹转给它夹住他说我们就是这个杆去收拾这个数据跟现在的优美又异曲同工之妙然后当时迪帕克是后来加入CMU的迪帕克他其实之前做过Curiosity就是好奇心驱动的强化学习所以他其实我们在谈他的这个以前的工作的时候更多是把它归类到做强化学习很出名的这个学者之一然后迪帕克和阿比纳斯现在是共同创造了Skilled也是硅谷非常有影响力的一家机器人公司也是做居身智能的大脑他和你们一样都是做大脑的对都是做大脑的创业公司大公司也在做大脑对我真的是你很有意思啊你是从前面这个控制或者叫传统派别跳到了这个机器学习的派别对吧然后现在机器学习的派别似乎是硅谷这些涌现出来的创新公司更多的人现在好像是主流这一波最流行的是机器学习机器人但其实我觉得这个博弈关系肯定历史上一直在发生变化对吗就是两派你讲讲这个我觉得历史上的关系的话就机器人其实大家做了这么久而且我相信很多做机器人都有信仰就是什么东西能让信仰成真不同的世纪都有不同的大家叫hive吧就是这一波可能是积极学习其事人也是我们现在投身的这一波之前还有一些做slam的是包括我觉得之前做增加时也是算然后更多之前还有planning control做到极致我觉得波士顿动力也是一个代表就是这些都是不同的思想的碰撞要将把这件事情做成在你入学的那个时候前面这一个派别是占据根主导的力量应该是我觉得当时去当时去就是传统机器人的一些大会比如说像Iros或者Equia这些会发paper发论文就觉得大家做的跟我做都不一样我们做的算比较小众的东西那你有想过转过去吗因为你导师就是做这个的这倒没有吧我觉得我相信我做的东西所以我做起来快乐所以我相信我们做的这个行业即使导师他会有的时候会就是批评或者指出还批评你什么呢比如说比如说有一部分机器学习当时就是还比较受限嘛算法比较受限他就在模拟器里跑比较多它在真机上面就不是很能跑得起来老师就说那你们这样就满足的话是不行的就不够好你看我们传统的派系所有都能上真机你要把你们这个东西放上真机我觉得它是一种就是指明了就是发展的时候该如何思考到底怎么样有用这件事情上面走得比较早吧因为可能对当时还是一个新兴的领域来说如果去一个专门研究新兴领域的时候可能没有那么多的去想落地想怎么样表现好这个事情但是因为导师是从传统化出身的他们这些衡量指标很多影响到了我你们两个会有一些争执吗经常会啊因为信仰不一样信仰不一样想法不一样包括像我们这种喜欢偷懒嘛你看我做积极学习的一个很大原因就是如果一件事我不需要理解它的原理我就能做出来我还是做出来对不对导师就会觉得这个不优雅而且就是没有什么保障我说优雅我们保证不了但是保障我们可以再多做一点研究看看能不能给大家再搞上保障所以它是有一个本质性的就是对于解决问题的一个方法的喜好吧我觉得我就是那种黑猫白猫抓到老鼠就是好猫的这类所以什么黑核优化我说黑核优化非常好你只要只要你能够把你这个任务定义的非常好咱们就黑核优化导师就会觉得你这个利益的这个作用这什么摩擦力的建模你都不太懂你怎么就在做这个任务我说说不定这个任务不需要你懂这些的都能把这个任务做成就怎么样让这个信息的流动变得更加的轻松是我觉得我们的一个主旋律所以你很大的一个驱动能力是实用我觉得是实用而且而且是一种是一种信仰吧就怎么把它做出来我要在当下时间点选一个我觉得最有可能做出来的方法我不太相信传统方法里面我觉得就是我们应该都能benefit就是从传统方法中受益但我不觉得就是我们就能穿到画画就够了我觉得这个是大家其实比较有共识就是他如果把所有的问题都出向为一个投入和产出这个曲线的话传狼方法是一个你投入多少年
[70:00] 感触比较清晰的一条线因为当时机器人动物机器人比如说工程的动力吧他们做这个后空翻是非常非常非常牛逼的因为当时都没有人敢做也没有人敢想他们做出来的但他们代价是很多很多的工程师不停的去调试这个参数去适配他们想做的这个任务就做到他们想做这个效果你再做一个新的人物你还是得有这么大的一个投入想把它做出来而我觉得机器学习的算法就是第一是我们不要公事人事来做物我们通过各种各样的设置然后算法自己来做你作为一个工程师你的工作量就小了比如说现在的这些很多比较酷的这些跑酷的这些视频可能就工作量和那个年代就不可同日而语了呀然后第二个就是一旦一些事情就是需要更少的人力去做以后我觉得就是交互也会发生变化怎么样让普通人都能够交互比如说现在这种AI智能体的发展我觉得可能刚出现的时候还是一种比较小众的你要用因为它有时不好用你要作为一个专家知道怎么去用才能用得更好我觉得机器人现在也有点处在这个状态就是从头上可能可能可以跑但是你可能需要专家大概了解他跑的一些问题是什么然后提前做一些修正才能跑得更好但我觉得总体的发展趋势是让一个普通人也可以非常自然的去和这个智能体交互得到他想要的一个结果我有一个地方比较好奇因为我觉得在传统派别主导下的机器人发展当时吉大臣的一个构型好像是狗这个是为什么呀当然我相信他们肯定觉得狗不是最终的那个构型但为什么那个时候时间段大家都觉得应该去做一只狗呢这个我真的不知道得问桑贝但是我觉得看到一个狗跑起来我作为一个机器人的从业人员我也觉得有非常的受到启发而我觉得这一波就是大概在17年到20年因为我们的在华大有很多不同的实验室有隔壁实验室他们是做狗做的很多的就狗作为一个硬件平台它的可获得性相对而言还不错其实我觉得可能比机械币还要好获得为什么系嗯就是操纵系的一个绕不开的难题就是刚才导师说的这些问题就是我不知道这个摩擦力就其实每一个物体它都有可能不同的摩擦力这个话筒呀我们自己的衣服呀还有这些褶皱呀就千千万万的事情就很难去建模然后如果用传统思想去做的话你都要建模你不倾诉你的行为会有什么后果的话你怎么能把这个问题解决我觉得是传统的一个比较大的思路也是一种就是模型就是叫物理模型做的算法的一个思路而狗的话它的这个接触更多的是一个顺势的就是我这个腿在这个地上跑我只要碰一下然后很多时候它是不太需要你详细的去搞明白就是我的这个腿在这个地上的摩擦里所以我觉得这个问题的需求就是狗可能需要更少的这个物理知识而操控器需要更多的物理知识所以造成了这操纵器做出来比较好的东西嗯相对而言狗而言可能要少一些当时嗯我们刚刚讲这两个派别嘛,机器学习什么时候开始占据主流的,是从哪一年是这个转换点,哪一年从本来宣示一个小边缘的一个方向,然后变成相对大家更运投资源更关注的一个方向。我觉得...身在此山中很难讲清楚但是...差不多就是疫情那会儿吧第二第三年的时候我当时刚加入实验室的时候做了一些比较偏理论的工作然后也是在模拟器中跑所以老师就说在模拟器中跑最好有什么用呢要上真机我就大概在18年的时候开始就从头弄了一个机器人的做了一个筷子机器人是我买了这个组件组装然后搭起来然后给他写系统给他写虚拟我让他跑起来后面还给他做了很多建模的工作然后当时开始做这个做的有一些成功了以后就是把这条路打通了那实验室的人可能就能够同学交流就能看到就是说哦如果有一个新的方法它有可能成功我们在做我们的问题时候就要去积极的去尝试拥抱这种新方法所以当时实验室里其他人的项目都或多或少也不是说我直接参与可能都给他们一些反馈就是说实验室里有一个人在做这个喂食的项目可能就是说有些人他生活不太能自理我们怎么样就是通过一个机械的一个轮椅他搭载了一个机械臂他可以去给这个食物来给你喂食他们本来的这条流程是非常传统的就是你先搞明白一个果切这个切了一半的果子在哪里它的路径是这样我们路径规划过去然后一个什么样的路径把这个果切插到这个叉子上面然后再一个什么样路径给它喂到这个人就这一套思维比较传统但是他们是有一些可能一些限制的比如说这个国家
[75:00] 且的位置在哪里他们是就是依赖于这个竞争机视觉的后面他们就会想说那机器学系在机器人上可能可以做的话我们可不可以把这一端就不光是用一个视觉别人训练好的神经网络我们也积极的去尝试就是让这个机器人自己去机器学习一样去设置就是去学习或者发现一些更好的路径啊所以逐渐开始我觉得大家也会讨论就是应用到不同的问题上的可能性逐渐开始就解说你当时为什么会做一个筷子机器为什么喜欢这个动作当时我忘了是怎么回事就是跟导师谈聊天的时候突然就发了一条暴论就是说我用筷子能做90%的问题90%是桌面的问题还是什么问题就是夹和放这种问题我一直是之前是有一些觉得筷子好难筷子只有两个指点对就是因为我觉得用快速能做的话其实如果算法在快速上都能成功那它说明在其他方法上可能更容易的成功就是要做就做一个非常难成功的东西把它做成功我觉得剩下的就可能就是一些工程问题就是这种做研究的思路也是我自己比较喜欢的吧就是你做一个非常难的问题然后当时就是中原导师聊天你也知道我们这个派系其实是非常相信简单的机械手的要优雅所以当时就他打了一个赌就是说不是不二吧就问他说我想做一个自己的机器人他就说你想不想跟别人一起做这个轮椅机器人我就说轮椅机器人虽然很好但是他们的这套系统已经写完了这个系统太传统了我觉得他不是很适合我想做这个机器学习我想自己弄一套东西他说那要不你可以自己从头搭一个你想搭什么然后我就看了一圈我就说我们要做一些嘈讽非常难的就是比如说之前美国电影里面其实是有什么筷子加苍蝇这种对中国武术的无限畅想所以我导致他是一个印度人他就说哎搞一个这种你能把它做出来就可以毕业了我说那就好你就快干然后就从这个实验室的这仓库里面捡了一个就是别人其实之前用过后面就没有什么用的一个机械的一个组装部件然后我们就可以自己自由组装我其实很喜欢这种自由度所以开始做起了快的机械后来做到什么程度了后来做什么程度我觉得应该就比较有代表性的工作有两点吧第一点是做模仿学习当时就是想办法让这个块的机器人做一些非常非常精细化的模仿学习的任务其实背后的就是想法是这样的就是记忆学习它是一个天生就带有泛化性的一个希望的一个东西就是大家都说如果机器学习在问题A上能成功那他就能够比较无缝的衔接到问题的23456但这个时候传统派的人可能就会说了你的问题A解决了吗你的问题A做到了什么效果就是如果机器学习的终点是一个什么都能做但什么都做不好的机器人这显然是不够的对所以我当时就想说那我就先在问题A上面把它做到极致当时呢我搭的一个机器人哎不好意思我们是手工搭的也没有针对很深厚硬件背景所以它显然不是就是按照传统的人来看不是一个最好的机器人的形态然后里面的很多这个力啊还有什么条的可能都没有条特别好我当时就说如果我们有数据驱动的话我就偏要在市场面做出来因为我相信数据驱动因为数据驱动一个很大的一个验证点就是当时我搭完以后我就跟老板说了这个东西一定能做出来为什么呢因为我虽然用这么一条不是很准的一个机器人但是如果我作为一个人却以遥操纵这个机器人的话他再不准了我都能让他做到筷子加小球这么一个就是我们老板他也不那么会用筷子他自己用筷子他都做不到这个但我可以操纵了这么一个不准确的机器人去做到这件事情我就跟他说你看硬件已经打完了然后硬件你觉得不太好有点嫌弃没关系只要他的这个操纵算法是和我一样聪明的操纵算法他就应该能用这个筷子去加以这个小球即使他的每一个关节上都有一些这样蹭字不起的乖乖的一个挑战啊或者一些backlash啊这种就不太准确的东西所以当时就打了这个读以后第一篇工作其实是2018年19年就做出来了可以用筷子去夹这个小球虽然这个问题这个做出来的方法是有很多的就模块化的东西现在看来都有点过时了比如说当时是需要有一个外在的一个系统去搞明白小球在哪然后在这边再极致性的去抓那个小球现在可能都更加的断倒断了然后做完这个工作以后就跟导师说我觉得不够因为我夹的还是慢了一点毕竟我是摇操动这个机器人我就时时刻在调整自己的动作就我是在尽力的就花费了好多的精力去给机器人提供一个非常高质量的数据让他能够更好的学习但这样的话太累了我们懒人怎么能做这种事情呢我们要让他自己去探索去发现怎么样超越我给他的这些数据让他做的更好所以后面的话工作重心就转到了强化学习开始做了让机器人去在线路上
[80:00] 我做这个事情不断的去练习通过练习归因来让它变得更好我觉得这个是有点像可能之前会看一下奥运冠军的访谈有看他们的训练就来激励自己就觉得要想做好一件事情尤其是这种动作性的事情你确实就得适配就搞出一个策略它最适合你的机体并且就不断的锻炼你的机体让你就是刻出一个肌肉记忆嘛对人来说对机器学习来说我觉得其实就是一个枪化学习的过程嗯所以你是做了这个筷子项目之后才去转向了强化学习把中心对我就是从理论的机器学习开始做然后不太满足于理论想做应用然后做了应用以后第一个算法其实是一个模仿学习的中枢算法在只能在simulatory在模拟器里跑一跑然后后面不满意做了真机做真机开始做模仿学习做强化学习最后这个强化学习的工作其实可以在空中有一个非常会晃动的小球就人夹都有点难度但是我可以用这个机械手去给它夹住因为它还是可以夹一个玻璃球这种准确度就这种准确度确实比一般的机器学习的任务要求已经高出很多了我们后面还会再来聊强化学习啊我们现在先回来讲讲继续讲讲这两个派系这两个派系你觉得他们互相之间有比识恋或者某种程度的价值观的冲撞吗体现是什么呢我觉得彼时恋我觉得大家可能或多或少都是有一些觉得你做你最相信的东西别人的东西你可能没那么相信你相信的话你就去做了这种感觉因为在今天可能Motion Learning已经变成了一个相对来说共识了我不知道在当时他们真实的状态是什么样的以及你说机械学习和传统的这种方法哪个是更优雅的呢这个评判标准是什么呢我觉得优雅是很主观的在当时那个年代我记得就是在我读博过程中我们是从一个比较比较新兴的一个分支逐步变成了一个大家比较愿意接受的一种算法在当时是有一些质疑的声音我觉得他们质疑其实也非常的正确他们问的是一个基于事实的比如说那个你什么东西都能做但什么东西都做不好那么一要这个算法的用处是什么这是一个我觉得在当年非常有意义的一个concern就当时大家做很多东西你往前看的时候是不明白往后看的时候可能才发现能够溯源到某些代表性的或者有贡献的作品而当你决定下一步做什么的时候你达到这个目的我觉得我自己的研究吧起码是有受到这个这种思想的启发就是我想让积极学习在一个问题上至少能做到极致这样别人在把它犯化的过程中可能会有一些比较简单因为它可以从我的经验中直接放到别的任务上泛化和表现的冲突还是最核心的一点吧即使到今天我觉得这一这个质疑依然没有完全消失甚至包括我们作为从业人员也是在一直思考一个传统的机器人的一个链条在工厂比如说造车你要把这个用一个很大的机械臂把这个玻璃给放到这个车上去这是一个传统已经做的非常成熟的成功率稳定性速度都非常有保障的一个问题你现在用戏学习拿到的这种算法和表现和传统相比的话可能暂时还没有人能够说我们这个鲁棒性是和传统那么一样的话我觉得直到今天都还是一个研究的前沿性的一个问题然后另外可能当时我觉得还有一个比较有意思的就是我不知道你我听说过一位学者叫吉坦者吉坦者他是Berkeley的一个做Computer Vision很有贡献的教授他之前说了一个很有名的话这个话太好玩了Robotics is far too importantto be leftfor a bodist就是说机器人太重要了我们不能只让搞机器人这帮人来搞我们也得搞这个话其实有很多不同的诠释方法一个不太友善的诠释方法可能是说机器人太重要了这帮搞机器人都不行我们得我们上才能把它搞出来但我觉得也有一个比较友善的诠释方法可能是要想把机器人搞出来必须得有不同行业的人群测群力我觉得这对当今的机器人大模型发展是有启示性的比如说我是一个比较传统的拍戏出身的我可能很多会关注这个动作机械本身还有这个表现的精英球精我也会做算法但是在我的领域之外有很多这种做这种视觉的人他们有一些更多的就是如何引入更多的数据如何训练更多数据的经验包括做这种大语言模型的人他们有更多的大模型学业经验我觉得机器人的成功一定是一个各行各业都放到一起来就是有软件算法不同的行业的训练有大模型然后也有硬件甚至包括这种产业链才有可能把记性做出来你说这个传统派和继续学习的派系
[85:00] 他们在美国的这个分布是有聚集效应的吗偶然性的是有一些的因为西海岸这边就是斯坦福伯克利这个硅谷的旁边的两家大学都是有很多missure learning的我觉得东海A也是有但是东海岸的传统派可能更加的根深蒂固一些就是从最早的这个派系发展当然就是现在的卡拉吉梅隆和MIT这两所学校他们有很多传统派的学者也有很多就是信心的学者大概就是最近五年招过去的还有一个比较好玩的事情是大家不管在哪做好像最近这两年都是在往硅谷这个地方跑我有很多朋友啊不管是在波士顿那边创业啊或者说在那边当教授他们很多人也在其他的公司领了一些职位而且这些公司的办公室都在硅谷从一个边缘学派到一个现在更主流的学派作为Machine Learning我能理解大家都在往这边聚拢那东海岸的那个传统派别他们已经认为就是信仰应该发生转变了还是说我还坚持自己的信仰我觉得有两点吧一点就是我觉得很多人都在积极的拥抱和探索就是相当于你本来有一个工具需要可以做很多事情现在别人告诉你他们也有一套工具箱而且很激动的一个工具箱你不一定就是赞同他们说的就是这工作箱有什么激动然后现在你可能看到一些东西以后你是愿意去转变说这工作箱可能很激动我们怎么把它探索实验起来你有可能是做结合也有可能换方向也有可能就是你又开放了一个新的方向我觉得这个是时时刻刻就在发生的然后另外一遍的话我觉得传统派的人其实他们我觉得是有非常多的这种专家的洞察了因为很多传统派的人为了把他们的任务做好都是经历过非常多的就是硬件转化啊或者说这些就不同的工程的提炼就是他们如果能够在很多现有的项目中分享一些见解的话我觉得他们讲的都非常有道理比如说昨天晚上其实我还正在读一个博客博客上面就在说了这些电机的一些问题然后这个博克的作者也在末尾他是一个搞机器学籍出身的然后在研究奠基让他也感谢了很多传统派的一些教授在CMU的教授对他的一些指导嗯你看硅谷现在还有很多新的公司刚才你说了Skilled和Pi这是两家在硅谷创业做进行大脑的公司创业公司然后还有另外一些创业公司比如说Figure比如说OneX比如说Dyna能不能讲讲他们的创始人的来历然后以及他们分属于哪些派别他们的由来和理事我只能分享一下就我理解到的一些就是接触到的一些事情我感觉像Pi和Skilled两家都是有比较的浓厚的学术人创业的这个标签因为两家的创始人和联创都是在学校当教授而且有些是就是比较高产的教授两家的口号也是有些类似都是想做聚身智能的一个通用的大模型的大脑然后在区别上来说呢其实一方面我觉得在应用上面派更多考虑是一个双臂操纵就是还是想把操纵这么一个问题给解决因为可能我觉得在派加入的学者我都觉得之前在移动方面取得了很多很好的成果我们现在应该想想怎么样在拿东西放东西这个方面去的很好成果因为你可以暴论暴论就是你如果能把pick and place这么一个拿放的问题解决你可以把整个生活中所有的家务都干掉你不就是抓放抓放吗然后你可以抓这个东西放那个东西或者有一些路径轨迹的限制但是这是一个大类非常值得解决的问题另外一方面我觉得在skill的话相对而言他们有一些更多的就是腿人形和狗的一些探索我觉得这个是相对而言更多的他们的构型更完整一些这倒不一定因为现在人型机器人如何装操控系其实是没有解决的一个问题他们有很多就是他们现在能看到视频里的话相对而言他们的操纵的这个任务都比较简单然后他们更多的强调就是一个移动性嗯我觉得并没有完整嘛因为现在我觉得并没有可恶统一到一个好的一种构性他又能做很好的移动又能做很好的操控所以大家各有侧重然后其他的公司的话我觉得就不得不提一提很早之前就在做人型的公司我觉得其实特斯拉在2021还是2020年的这些就是Elon Musk的一些话语肯定是激励到了不少人就是让大家当时的一些应典人就已经开始有这个热潮去做人型然后Figure的话是因为是2022年开创的一家人型机器人公司,然后他的Founder就就我所知的话并没有一个技术背景,他是有之前成功创业的一些经历,我觉得是很有意思的一个人,因为他能在2022年,
[90:00] 时间点做一个他都不是那么熟悉的一个新的领域因为他相信这个我觉得这是非常有意思的一件事情然后相对而言玩X的话我听说是创始人其实是深耕了这个机器人的这种奠近因为他们说做神区的神区的人形机器人比较独特Dyla的话他的创始人是因为这个单大创始人他们是相当于是认识的他们是有一些创业的背景也有一些技术的背景我觉得如果用一个标签去形容他们的话可能他们是更强调商业部署落地的当然我觉得一个具体的场景比如说我们都看过他那个叠衣服的场景对就比如说我觉得如果看看他们在2024 2025年期间所发表出来一些东西的话可以形容为就是有没有可能就是机器学习已经可以进加落地并创造一些商业价值同时这个商业价值可能能给他们带来一些就部署上的优势就以后随着这个机器人大模型的这个能力越来越上可能大家也会慢慢的从研究端转到部署端可能他们就是做部署端比较早的一类然后其他的其实也有因为当时我觉得是2023年到2025年是井喷式的机器人创业吧就不得不提2023年初的这个黄埔军校机器人的黄埔军校应该还是谷歌的这个研究所因为当时其实时间点非常有意思2021还是2022年切GPT出来了效果太好了其实动摇了很多人的这个想法使得当时就是做什么东西这个课题是有很大的一个变化的然后包括谷歌当时也是做了一个比较大的动作就是把他们的机器人的部门给就是变相的削减了一下就是为了给他们做大模型可能抽一点人过去但这个其实也蛮影响大家做机器人的研究所以很多人就趁这个机会出来创业了Pi的创始人就是都是在谷歌之前做的那Scale的话其实他们两创始人之间是在Meta是有研究员的职位的Figure One X应该也吸纳了不少从这一波里面出来的人然后还有比较值得关注的当时还有两家公司也是从这一波里面出来一个是叫Generalist AI一个叫Sunday Robotics这两家公司的一个比较共通的点是他们都相对其他公司更多强调了用Yumi作为数据采集的一个手段优品的话呢是是这两家公司的创始人其实当年是在一个paper上这个paper就是Yumi这篇paper他就说了我们可以做一些设计好的一个爪子人就可以抓着这个爪子去自己生活的这个世界里面采集各种各样的数据然后并且证明了这个爪子收到的数据是可以迁移到一个机器人的一个上面的所以他们两家公司不约二统的都相比其他公司更加重视这方面的发展然后我觉得可能generalist AI就会稍微偏重工业化场景应用一点这是从他们发放的视频里推测的这个场景体现甚至包括他们的这机器人也比较可爱的目前是看到比较可爱的机器人后面这几家公司我们能理解是做硬件的公司吗因为你们那两家是大脑公司还有Google特斯拉也是大脑公司对吧特斯拉我估计它的硬件也不错创业是一直在变的所以很难用今天的思维去想明天的事但就现在这个快照来看的话Pi肯定是更加注重大脑我相信Scale的也注重大脑但是Scale的大家创业公司其实都比较神秘也不知道它去得做什么然后特斯拉的话大家一般谈起它都会认为它的硬件是很强的毕竟它有这么多的钱去烧发不是一个很容易用的上手不像软件我觉得软件其实相比二眼反而是容易上手的东西硬件的话它的产业量啊它的这个迭代速度包括它里面的工程师我觉得这个都不是一天而起的特斯拉之前有造车的经历造机器人方面大家都觉得它肯定是有优势的Figure也是一个造机器人Figure1X都是造人型机器人可能区别就是Figure用的是电机R1X用的是这种省区的方式Generes和Sunday的话我相信其实现在就包括设计Dyna就大家可能或多少都会开始设计就是如何弄一个更好的硬件出来但是你说造硬件到什么地步可能没有一个能看得清的一个说法之前不是有一个笑话就是如果你是一个认认真真真的想把事情干成的机器学习的一个学者的话你真得造自己的硬件因为市面上没有一家是真的拿来就能用完美符合了你所想要的应用场景转音的一体谢谢大家
[95:00] 软硬一提我不知道但硬件其实本身都没有没有达到这个地方硬件我们等会也会着重来聊到其实我觉得硬件有一个我的很简单的构想就是到底有哪家公司能给我一台我可以把它发到人家里去我就有一个人在后面遥控它但它真的能把我家里我想做的事情都做到而且它不坏它很稳定我觉得如果能到这一步才是算我觉得硬件的第一个版本才是真正出来的嗯因为我记得你上次跟我聊还聊了好多比如说花衬衫Oh my god这是一个好好玩的梗这个是博士顿动力的创始人Mark他在我脑子变成了一些二次元的画像Oh my god就是你们这些人行业的各个人物对他其实是一个非常有个性的人他现在你去人家见到他的话他就是一个白发老头穿这个花衬衫他其实一直在公共场合都是以花衬衫的形象出现包括他给博士顿动力后面的AI所涉及的这个对付都是一个夏威夷化衬衫这个来源其实是他在年轻的时候据说谣传在当时那个年代做研究交流还是一个比较严肃正经就是不可有丝毫现在的事情所以当时他这个人的穿着一个衬衫什么的还是一个反正不太那么严肃的一个衣服去参加这个会议就被别人讲了别人说你怎么可以穿这样的一个东西有点不太尊重然后他从此以后就我就要穿这个而且要推广然后大家都可以穿这个所以他现在的形象就是我觉得他是有一个叛逆精神在身上的是不是还有一个非常飘逸的阿贝纳刚才好像已经讲到了一些就是阿比奈布他思想非常的天马行空他其实有影响也有华人的学者是他的学生现在也成为了比较知名的教授王小龙他现在在UCSD做教授他是阿比奈布的学生阿比奈布当时是挺有意思的他做的事情就是感觉打一枪然后你还没明白这枪是什么意思后面才发现还真的有点意思他就是一个天马行空的就是你跟他开会的时候都不知道他下一句会说什么的这么一个人会说什么让人很出乎意料的吗对他的思维就像是一个点的一个跳跃性的思维这里面你有最崇拜的一个学者吗我觉得我能够欣赏大家的优点但是我还是比较崇拜什么游戏创作这个小说现在这个只是生活生活和工作分开哪个是生活我觉得人文人文故事是生活工作是一种优化是一种很纯粹的就是把大家的好给吸纳在一起的这种态度你平时会跟比如说大模型的研究员有一些接触吗你会觉得机器人的里面的人和大模型的人会有什么不一样我觉得接触是肯定要接触的我也能越来越多的感受到确实要想把机器人做成是得在一个团队的环境里是得吸纳大家的所长有各行各业的人加入才能把它做成功而不同之处的话我觉得比如说就这么讲吧我们有个机器人他收了一条数据大模型的人可能就会想说咱们收个一百万条这样的数据怎么样然后我们就可以拿到一个数字然后有这个数字以后我们就会让这个数字变得越来越好然后作为一个更多搞传统机器人出身的人我们可能会先想的就是这条数据长什么样呀我要来看一看它的这个动作它做这个东西甚至包括它这个当时的硬件条件硬件环境的这些设计就是你能看到就是相对而言我觉得做传统机器人出身机器学习的学者会更多的在意就是这种物理的动作而大模型出身的学者呢他们经常会比较飘逸的说哎呀现在这个信息好像不够全他们想要加一条进去或者补一条进去我觉得这个可能是你做很多次机器人你会习惯了现在机器人的一些感知的一些系统而大模型的人可能更多能跳出这个框架去思考我们现在要什么样一个信息才能把这些事情做成我们刚才说了很多创业公司其实硅谷的大厂做机器人也很值得关注比如说NV点比如说Google是的还有Tesla他们的Bath有什么不一样吗我们其实刚才顺着把每一个机器人公司的Bath都有讲一遍Bath我觉得我不能替别人公司讲我只能讲讲我自己的Bath但是从你能观察到的公开信息来说我觉得特斯拉是专家人形吧它应该是人形港最激进的一家公司因为就拿最简单的事情来决定守守这个事情呢我有我的相信吗我现在觉得手是一个有了会非常好但现在正在没有也没有关系不是必要的但特斯拉他就更加的强调说我们要搞一个终极形态我们一定要把这个机器人的方方面面做都会人形上他们是有很强烈的一个人形的一个信仰的而谷歌我觉得他们因为有自己的大模型Jeminai
[100:00] 前面是他们做的比较成功的比如说有多模态能力见面带的多模态能力比如说图像生成啊和图像修改是现在大家都比较津津乐道也会在日常中使用的可能对他们来说机器人也可以是这个模态的一部分会给他这个模态提供一些就是空间感知啊空间规划啊或者空间控制的一个能力所以我觉得他们在也许啊我猜的他们在这个走机器人路径的时候是更多是想着说机器人如何成为这个多么太大模型的一个部分而英伟达的话江福的笑话就是英伟达做所有事情都是为了外卡所以他们有很多就是需要烧很多卡才能完成的一些项目比如说像世界模型这样的项目但是通过这个过往的经历一次又一次证明有些时候真的就是数据多了卡多了效果就上去了所以大家很期待就是他们这样做能做出什么就是可能一些计算力更大的一些更加简单粗发也是一种美我觉得但是其实做的时候可能每个学生也要发挥自己的一种设计的长处在英伟达做研究会不会卡更重远我当然是这么猜的了OK在这种不同的重心和选择之下美国公司它的不同的软硬件方案是什么样呢我觉得硬件方案大家多少不会那么公开的讲你只能从他的视频里推测为什么这个是更保密的呀我觉得硬件...其实我也不知道但确实大家在公司工作或的话都得遵循公司的一些保密原则吧硬件是更保密的我觉得软件其实也很保密派应该算是一个比较独特的地方就是在这里我们还是有一些血术界的影响觉得要发动文响啊发表啊也是你研究的一个部分其他公司的话就我目前的感知觉得没有这么的开放吧甚至包括派的办公室也没有那么严的安保就是有的时候就可以带一些同行的朋友去看一看就这种思想的碰撞嗯其他的公司我觉得嗯就在硬件上我觉得人型和非人型可能是一个比较直观的一个bet比如说像特斯拉Figure 1X都是比较强烈的在bet人型的但是你说他们做的和其他人做的一个最大不同可能就是有没有这个腿是一个然后也有人认为是就是你有了腿因为你是个人型而我们这个世界是为人而设计的所以你做出了人型机器人后他在这个世界里一定是最自然的通用性更好对通用性更好这是一些人的信仰然后另外一些就是非人型的信仰我觉得其实可以分为两派吧实用派还有狂野派你们是哪个我个人是实用派加狂野派因为可以展开说一下就是实用派的话其实我们会觉得这个机器人不一定非要是人型他就能做很多事情了对吧而且人型的机器人的很多问题也许别人可以解决我们可以后面再跟上我们现在觉得现阶段最重要的问题之一就是它的能力它的表现它的操控一些的一个东西它不需要一个人性它就可以做而且甚至如果你做得好的话你已经可以去做这件事情了在现实生活中去部署啊做一些所以我们对人性在实用的角度上来觉得在现阶段没有那么的有必要而狂野派呢这就海了去了呀你看啊我们这么多年有车这个东西轮子的自然界中其实没有这么一个但其实现在车上或者大街上或者全世界那么多条公路都是为了让车能跑得更好而设计的就可能有一种信仰是说如果真的是一个有用的一种形态的话大家将来会为了这个形态去改变你所生存的这个环境比如说适配我觉得这个是可一成的一个并且黄野派他们为什么要有两只手啊四只手好不好三只手好不好或者说你这个下面下面这个轮子你好多轮子都可以就是他可以充分发挥想象去想这有没有可能就是有一种就是生物的自然界的演化链出不来的一个形态它其实是最好的一个形态然后你这个形态做了以后因为机器人它是可以换的你的手坏了可以换我个人就是比较相信也许就一个成熟的机器人的形态就是它的动态组装性就有可能将来的机器人它就随时随地都可以把自己的身体的一个部件给换掉换成一个更适合的东西就像他的工具一样对所以你的实用派加狂野派是怎么回事你想象中的构型应该是什么样的现在想不了太多现在就想把现在这个构型表现做好因为派是要追求做通用大脑那直觉来看要做通用大脑它就应该适配一个更通用的构型而人好像就是那个最通用的构型因为也刚才也说的就是现实世界各个东西都是为人来设计的那为什么你们要选择的是既要做一个通用大脑又不选择一个人型呢我觉得通用大脑的通用大家可能有不同的诠释做
[105:00] 一个具体的构型的通用功能是通用的一种做法而做很多构型都可以受益的一个大脑是另外一种做法而且也没有人说就是你做很多构型都能受益的大脑它就不能在人情上面做只是就是说你们希望你们需要覆盖的构型更广阔就不只是人没错就是不派的模型都是在不同形态的数据上面训练并且可以在不同形态的机器上面使用只是现在可能能看到的只是这么几个具体的构型但其实没有放弃就是说这个大脑得在不同的机械上面都能用起来因为这个人操控的道理是一样就是我作为一个人类我去也要操纵一个机械我不管是开车开挖掘机或者是去操纵这个这个腿怎么踢或者说这个一个机械手他怎么去做这件事情我都是由一个我的大脑去操纵这么多不同的构型我觉得这个才是通用大脑最本质的一个定义而不是说就是我去做了一个人型的大脑他就是通用大脑那是不是比如说做一个人型在这个构型之下做一个通用大脑人型的相对任务是更复杂的你做完这个复杂任务你可以放话到其他的形态更容易呢我觉得任务的复杂性是可以抽开好几个层面的比如说人型它因为关节多所以你要同时控制这么多关节是有一些难度但是你做的具体的任务任务的难度我觉得和人型是可以完全不相关的就像我之前说的我们其实非常相信一个任务比如说就假设你要组装这个麦克风这个步骤应该很多你用人形来做你用一个更加简单的双背机器上来做它都是完成一个很难的任务我觉得在现阶段对我个人来说完成这个很难的任务比你用什么构型更重要甚至我个人觉得你用简单的构型做出了一个更复杂的任务的话将来你再去控制人形做这个应该会更简单因为你更复杂的构型可以提供的功能可能是更多的它的操控虽然难但它的这个灵活度这确实是有些关节上灵活度的东西它可能更简单所以如果我能用一个简单的构型去做成一个非常复杂的任务我觉得它将来能够迁移到人形的概率也是非常大而像比如说Skilled它做的通用大脑是要匹配一个通用的人形对吗其实我们并不理解它这么多的技术细节吧只能是从他的视频里推送就是他们有很多就是因为他们可能更相对而言更靠近商业部署一侧所以他们有一些移动的需求所以他们可能现阶段就已经开始做了一些人情和狗的这个东西你看派其实我们也有一些就最近的一些发布是说了就是派有一些partner就是有一些合作伙伴的机器人公司就包括之前也一直没有停止过就是帮助合作伙伴的这些机器人不管是不是人型还是什么其他的形态用上我们的这个大模型去做一些事情因为现在我们管这些组织都叫Frontier Lab那你能不能讲讲在机器人领域你觉得机器人的Frontier Lab的Frontier体现在哪里哪些指标能够来描述这个Frontier我觉得前沿Frontier方方面面啊咱们要走的路还挺长的我觉得其中一个比较切身感受的是这个evaluation吧就是评估这个问题其实我觉得NLP是走过这条路自然语言他们当年就是生成了一段话叫你来给他打分你怎么打分也是一个不容易的事情但是在机器人这边呢就更加糟糕的一点就是你还得在机器人上跑你才能知道他做了一个什么事你才能给他打分就不光这个分有点难打而且你还得受到这个机械这个物理的限制很多时候呢就是只是一些变化什么的可能你自己不知道然后它就会影响你的这个模型表现我相信就是在最终的成品那个阶段应该是不太怕这些细微的改变或者说一些比如说你要拿这个杯子对不对假设我们现在做这个任务就是拿这个杯子你把杯子放在这个桌子的任何一个地方是一种这个这个扰乱它的一种方法就是看它是不是每个地方都拿起来你还要看这个不同的光照你还要看不同的背景你还要看这个桌子高度甚至可能不是一个桌子而是一个柱子处着你能不能拿起来或者这个杯子才有自己的角度就是有这些无穷尽的一些就是初始条件很有可能就是都会影响到你最终的表现所以你在评估的过程中你是希望能够把这些东西都给评估出来但现实生活中呢你又就你又你又不一定能够那么的好的掌控所以评估现在是一个问题评估的问题就直接导致了你最前沿的一个认知就不像其他的领域它是有一个英雄榜一样的存在就是我们现在发了一个超级大的数据
[110:00] 每个模型都来在这上面跑一跑跑马场看看哪个马赛马谁是第一名你是能够比较主观比较比较客观清晰的看到在这么一个事情上一个确定的结果而在机器人谈论前沿比较难的一个原因就是因为这个评估太难了导致你很难就是彻底的去评估它就包括每一个公司我相信内部都有一个评估的一套东西可能这些东西就是你的注重点它是注重点都不一定一样但退一步讲我也觉得这个是暂时的吧我觉得最后做出来的应该是不会太担心这个事情可能现在大家还在探索怎么样做的更加的路棒和宽泛嗯所以现在这个frontier还是很难定义的我觉得可以看到一些算法可以看到一些算法的表现就是怎么说呢可能是就是一个最核心的部分大家都看见然后随着它向着更前沿的方向迈进以后就变得越来越有一些乱就需要你能从分乱中找到一个清晰的线然后你相信然后你把这个图给夯视夯视了以后可能大家都有了一个共识这样的话才会知道这是一个就是比较确定的东西就有一种背诺嘛就感觉特别前沿的东西你都没有办法去定义因为不好说就是谁谁在哪个网单上面跑到了多少因为这个是所以这个是前沿就没有这种东西来依据所以现在其实大家的方向是分散的就是都在朝不同的方向在发展不知道哪一条现在是那条大道大家还没有统一到那条大道上去嗯我觉得确实在研究的角度看问题的角度想要做的任务上来说是分散且百花齐放的但我觉得在宏观上面来说其实每个人的命题都是类似的吧如何让一个机械的成体他在现实生活中做一个任务或者做很多任务他的表现好只是只是你这么宏大的一个命题得有一个抓手开始做每个人选的抓手可能不太一样我们绝对一部分人都没有机会去看过一个机器人的完整的产现能不能从你的内部视角跟我们讲讲一台机器人是怎么诞生的哦机器人是怎么诞生的我觉得这个命题可以可以还是可以讲到原子级别但是我这个人的工作的范围也是比较有限我就从我认知的范围里讲一讲就是如果一个电机已经被制造出来那么我要做的事情其实就是因为电影机它就是一个会动的一个关节吧可以这么理解这个会动的关节你就把它连在一起它就成了一条机械臂你看你人的手臂其实是有非常多的关节和更多细小的肌肉而现在的机器人的这个形态就是几个比较大的关节可能比较流行的就是六个关节或者七个关节组成了一条手臂然后这条手臂就可能就差不多是按照你人的活动方式来对照的因为这些手基本的会有一个大的一个肘关节然后会有一个腕关节然后包括有个肩关节就这个都是比较通用的你就把关节放在它想要的位置然后做一些三级打印件或者金属件或者磨成很想象的形状把它们固定的组装起来这样每个关节动的时候剩下的就会跟着动所以就成了一条非常原始的机械臂在机械臂能够嗯组装到一起以后你其实要为他写一些就是系统和驱动的东西嗯比如说最低层次的话其实都是通电啊或者气啊就是你给他发了一个什么信号然后他就会说这个信号就会开始做一些动作然后很平常的一种操控手段就是用一个位置操控是我希望这个关节现在是一个什么90度角把它变成一个180度角我就会发送这个它需要在关节的层面把上层发给他的这个讯号转换成一个他能够真正执行的这个东西这个就是叫底层控制然后再往上一层你怎么决定你要发什么样的这个位置讯号这个很有可能就是需要你有一个大脑看到当前的这个任务然后决定为了做这个任务我要在桌上拿一个东西我得先把手抬起来它是要需要呃你也是个人然后理解你的这个关节然后去做一个把这个关节往上抬的这么一个决策再发给这个机械的这个关节在关节再执行执行了以后就有新的一个场景了新的场景大家就看了我现在已经在住在上面了我要坐下面有个动作的话可能就是往右往左我觉得这个是一种两层式的一个思想吧就是有一个大脑来做一些决策做成了一个你能听得懂能执行然后也能够比较方便我们去做一些调试的一个东西然后同时呢它也有一个更底层的东西去把它翻译成一个物理世界更原始的一个东西嗯那接下来我们来讲讲派的工作和你在派的工作嗯嗯你刚才讲到机器人公司其实现在各个公司的主线和抓手是不一样的能不能先纵览一下派的主线和抓手是什么好的我觉得要了解派的工作可能...
[115:00] 一个比较好的方法是看派的几篇主线发表之所以说主线发表是因为我们觉得主线发表的命题是可以推动整个领域往前进的其中有三篇主线发表第一篇是派林它的关键词应该就是能力第二篇是派林.5它的关键词是泛化然后最近的这篇是派林.6星它的关键词是表现就是在派林刚开始做的时候我觉得是大家都非常的激动可以用有了一个非常好的架构然后可以用一个大模型的思路去做机器人但没人能知道做成什么样也不知道能做成什么事当时在2024年初派创立就想做一些之前做不到的事情但是具体要把这些做不到的事情给做出来就是派林的这种旅程因为其实派林做了三个任务第一个是大家可能比较熟悉的就是叠衣服我觉得我们应该是在2024年发表2024年11月的叠衣服是一个让人比较耳目一新之前从来没有看到过这种级别的这个任务的表现然后第二个是叠箱子叠箱子叠纸盒子也是一个哇这个东西真的能做吗我们不知道我们来做一做看然后当时还有这当时还有第三个就是busing就是去桌子上去抓拿放然后但是你需要就是前所未有的这个物体的多样性却都能够处理的很好所以这三个任务当时是奠定了我觉得是奠定了就是大模型能在这些前面想都不敢想的任务上表现成什么样的一个基石所以注重的是表现然后第二个任务呢Pi0.5是泛化泛化的意义其实我觉得至今也是存在的就是如果你大模型训练出来以后一个机器学习的根本问题就是这个所谓的in-domain和out-of-domain就是你是一个数据内的和数据外的如果你训练好了以后只能在数据内的范围里表现的好达到数据外里面就没有用的话那你这个影响不就很有限吗所以就很强调这个泛化就假设你做了一个任务他是在这个房子A里面书记的你把它放到一个房子B放到房子C或者说你要探索就是你要多少个房子100个房子1000个房子你在这些房子里都收好数据以后你才能在第101个房子里面得到一个很好的效果所以派零点五的出生我觉得是想要探索就是我们的大模型能不能够泛化并且泛化的一些条件是什么同时当时因为派零和派零点五之间也是有一些其他的发表可以我们等会再说一下就提升了大模型的一些表达能力和分层能力使得它能够实现这样的一个泛化所以当时我们是在很多Airbnb里面收集了数据到这些别人的家里因为是走出去了就不是我们控制的一个办公室的一个场景不是谁控制的一个工厂的场景而是真的就是杂乱无章的别人的家里面去做了一些日常的任务做了这么一个数据收集并且研究就有了这些数据以后到新的家里面表现会是什么样当时一个比较令人振奋的一个点其实是大概说了应该我记得paper里写了应该是有一百个家然后你在试试把这里面的这些加给去掉你看你去到什么地步它有增长就是我们感觉这个许多是放缓的就是可能你不需要真的在世界上所有人的家里面都说了数据以后才能在他们家里面干活你实际上是有一个数字你可能说到那个以后就可以了就是我们觉得这个是泛化比较令人振奋的就是你in distribution这个数据内是有一个尺寸的达到这个尺寸其实或许就够了派零年五的标题好像很有趣叫开放世界泛化模型是的这是Cervie Polish过的标题吗标题其实大家我怎么觉得Chelsea是出了这个标题对但是每一篇Favor你看应该都有一个科幻小说的一个引用这都是Cervie写的派零和派零年五是什么派零和派零年五科幻小说的引用我不记得这个只有Cirget知道然后后面到了Pi0.6这也是一个我觉得我们Fill的需要回答的问题表现就是又回到之前的这种如果你做什么东西都可以但做什么东西都比较半调子那么这个模型的用处究竟是什么所以Pi0.6的出现其实就是想回答假设我们现在真的想做一点事情就想把它做好我们到底怎么样把它做好所以是提升这个表现而且拍0.6我觉得这也是就是我参与非常高的一个项目因为我们是强化学籍的团队这个是我们的第一篇工作发表出来强调了很多的方法上的简洁性但是在最后的表现上更多的是强调如果有一个智能体它差不多可以在
[120:00] 一个任务上做了的话你就去收集他的体验数据让他在真实世界中去收集他的体验把这个数据放回他的训练池中他其实可以达到比之前比你之前那些固定手术数据更好的效果我觉得它对于我们数据收集是有相当大的启示意义什么叫体验数据啊就是它自己去做的这件事情收到的数据就是平时我们收这个真机数据的时候是有一个手臂比如说我家有一个手臂我就给你看在这个桌子上面我简单就可以通过咬操纵就让他干一些事情你说到数据呢其实是就是这么一个机器绑在这个桌子上然后做了一个任务他其实可以不咬操纵他可以让他自己去坐做了以后他可以把这些数据都收集起来就是数据的来源其实可以很宽泛我觉得之前其实很多人会说就是我们机器人领域都靠人来要操纵的话就数据收集又慢又不好我觉得是可以再提升一点但确实是有这么一个隐患就是以后可能不能够完全通过这种方式收到所有想要的数据我觉得经过Pi06这篇项目以后我们也有了很大的感触觉得机器人自己的数据也会可以非常的强因为它的起点是人给它设置的但是如果要超越这个起点还是得机器人在环境中去动作包括我个人是比较bullish就是比较暴论的坚信将来机器人的价格就是应该又便宜然后又方便就是很多人现在对于数据的一些就是担忧在时间的长河里其实都不重要因为你可以让机器人这么多的机器人在部署的过程中收到数据都来来为我所用哦 是吗潘灵灵是一个基础模型这个星号的意思是你把最后的那个成品就是你的这些数据放回了你的模型之中但是真机收集数据不是说很贵吗如果...谢谢大家如果你可以自己叫rollout你不就相对便宜了吗就是增积数据贵我觉得分为好几个方面对不对一个是你首先要有一个增积平台然后你要把这个生机平台放在家里你还要维护这个生机平台同时呢你还要问问一个人让这个人来做一些任务同时还要跟这个人做交流还要做一些规划就是一个非常复杂的一个管理的一个问题但我觉得就是如果机械的价格降下来的话就在这个过程中我个人认为现在哦比较大的大头其实是管这个人去收到你想要的数据但如果你可以把就是数据的操纵源这个给放在一边而是换上你已经训好的一个大模型让大模型在这里跑其实你数据的成本应该是能降很多谢谢大家硬件也需要降低成本吗硬件我觉得永远都是可以再便宜一点再稳定一下现在比起五年前肯定是便宜了很多的关于数据我也听说就是错误数据其实是好数据就是错误之后再纠错的数据我觉得这个是动作的一部分还是踏心的一部分就是这个思想其实是大概是在最早的这个模仿学习里就有很多模仿学习的一个很严重的问题就是就是积累的错误就可能每一步骤的微小错误不断的放大以后会让机器人到达一个他完全没想过的一个非常糟糕的情况就是人收集数据中不会碰到的情况而一旦机器人进入到这个情况以后他有可能就不知道该怎么样修正他的路线去完成这个任务这个技术问题是有一整套的修复方法的因此很多人说出去的时候都会很强调说我们不光要收一个完美的人的数据同时也要收很多机器人进入到了一个不好的情况以后怎么样修复怎么样继续去完成这个任务的一种修正数据确实修正数据对于一个机器大模型的表现很重要但是再次强调就是修车数据也可以通过机器人自己跑来说这就是强化学习的一个比较本质性的东西嗯现在金星铃鱼关于数据问题大家有人相信真机数据有人相信仿真数据你持有哪一派观点黑猫白猫抓到老鼠就是好吗什么数据真的好用就相信谁而且是一个practically的好用就比如说最本源我是相信真机数据的但确实我们要承认真机数据的价格在现在这个阶段比较数据要贵但是如果你用就假设你有个budget你有一个十万美金你用这十万美金收多少正级数据你用这个十万美金收了多少就是仿真器的数据可能数字的量是不一样因为budget是固定的数字的量是不一样但是另外一方面就是数据的质量数据的意义数据谁能够让你这个模型做得更好我个人觉得如果你只有仿真数据的话你应该不太好做有一些任务因为它没有seem to real gap我觉得不光Simple to Real Cap试着Simple的场景很难的比如说你要用仿真去做一个叠衣服的仿真这应该是依然
[125:00] 是一个半前沿问题半前沿是因为我现在没有看到一家能够做得非常好就是谁在仿正器里面做好这个训练以后加一点点这些数据就能让它表现很好我觉得现在不在这个地方但是也有一些人认为这是可以达成的所以他们在积极推动这种前沿所以是一个半前沿就是谁也不清楚会不会两三年里有人做了还真的把它做通了它可能就是一个非常强有力的一个说出去的一种方法但现在2026年的快照你要是想做一些跟软性柔性衣服摩擦力还有这些就是年就是wisati就是这种物理性质非常复杂的东西你在仿仁器里面其实你可能都没法搞出这么一个仿仁器来所以你都没法收这个数据就是我觉得是要非常强调就是你到底能收到什么样的数据去思考而不是只看我们有一千万个小数的数据我们怎么怎么样很有可能你这一千万小时数据都是garbage垃圾数据那就没有什么用的对于叠衣服这个场景是不是真技术就更好用那它是可以采集的,就是你说的TN数据我觉得现在相对而言DF最简单粗暴就是采真机数据甚至包括你看到就是我们都有开源模型的就是我们开源模型应该是也有一些DF的能力在里头的你也可以拿它去作为一个数据的起点都是可以的嗯但你要做的是一个通用大脑而不是这样就是实现一个场景任务的因为场景任务其实你做强化学习就可以了然后你通过采集真机数据而且这个场景是相对固定的是有限的这是一套可行的流程但它不是全部的对但是如果你的目标是一个通用的大脑那你需要的是和现实世界交互的所有的非结构化的数据是你所需要的那如果当你需要的是一个这么大量这么丰富的数据的时候那你应该bet的是真机数据还是仿真数据还是莫中混合体嗯我觉得大家的目标是一致的是想做一个能在现实场景中能在很多不同的场景中做很多不同的任务且表现都好的一个智能体但是要做到这个智能体真的需要所谓所有的数据尤其有一些数据它的相关性是需要考证是需要人去研究的我觉得这个就是希望在一个美好的梦想世界里肯定是所有数据都有用所有数据都能有个最适合它的使用方法但现在我觉得现状来看真机数据目前我觉得是不太可取代的好就尤其是你肯定能找到一些任务他不需要正绩数据他就可以做得很好这肯定是可以找到的但是因为我们的目标正是因为我们的目标是要做到最后场景里的所有任务所以我觉得目前正绩数据还是不可取代的嗯好在场景上为什么你们做派领的时候选择的是叠衣服叠箱子这项个场景啊就是场景很酷真的非常有可放话性OK嗯当时像就是泛化性在派林这个时间段更多的是由这个就清理桌面这个任务来承担因为泛化性的话清理桌面的这些道具我们是有几百个就是随便让他们去收啊然后就换个人的东西就是发挥他们自己的就是说数据的这些人自己的想象力去搞一些这个事情然后当时我也参与了负责这边的一些策略的设计然后其他两个任务的话呢首先是有泛滑性的因为泛滑性它也不是一个单一的标准它是有很多不同的细节其中在叠衣服这个任务上你看啊就是衣服它的状态是千千万万的对不对你这个衣服上多了一个折那边衣服拐了一下这其实都是一个不同的状态你收到的状态不管怎么样还是一个有限的数字你没有办法去覆盖所有这些依附可能的状态但你如何保证你还能把这个任务完成其实已经开始需要一些反发性了然后其次就是你还有不同的衣服这是一个红色的那是一个绿色的就这些不同的衣服也是一种方法甚至包括就是后期我们在座的这个派灵六星里面的这个更多衣服的叠就开始叠不同种类的衣服它是另外一条泛化的一个标准所以我不认为这些任务没有反化性只是他们探索的反化性是不一样的一个东西因为当时不知道他能做能不能做出来这些任务的一个原因就是因为知道叠一副可能会遇到各种各样你不在数据里的一个情况你究竟能不能就是做好它你会这样想就是前面这个衣服不管它是什么衣服我第一步其实都是要摸到它但是你怎么能保证你的模型做到这个事你还是得上身体看一下它确实能够去开始跌你刚刚也说到没有公司现在评估都是不一样的作为派来说你们的评估是什么样的那些指标来评估你们还确保你们在你们的主航道上我觉得指标就快又好肯定是abstractly抽象地说的就是就是我们的目标但是评估要需要一个数字的话你看Pi06心里面就提出了surput就是固定时间内成功的料我觉得这
[130:00] 这个可能跟我现在的思想就比较相符因为这就是我们提的嘛就是希望你在做任务的时候考虑到你到底花了多久时间去完成这个任务这个任务完成度究竟是好不好甚至包括其实也有一些更加细分的就是一个任务的成功和失败的定义是我们就是有打磨过就是想因为你一个人在做任务或者要一个机器人做任务过程中你是有很多隐含的含义就到底怎么样去保证你最后的打磨性能够完全的理解人的意思我觉得也是一个开放性的一个研究的课题就是他做的任务正是人想让他做的这个任务而这个派06星里面的这个throughput比较好玩的一点就当时就是其实是有个目标的就是开箱之前是有这个目标就是我们的研究员肯定是比不上我们的数据收集员在做这个任务上因为数据收集员他们非常喜欢非常习惯了用这个机器人我们就问了那我们能不能做一个机器人比这些数据收集员其实说的东西要快要好最后我觉得是在起码在第一夫这个温柔上确实是clearly的达成了就是最后这个机器人的表现是超越了他一开始的这个人即使是最好的数据设计员的这个起点你觉得派的工作其他工作还有什么值得讲的吗派的研究其实是业界公认做得非常好的我觉得中间有一些研究也非常的有启发性我觉得做研究这个事情其实就是不停的前浪派后浪前浪死在沙盘上但是你能够打一朝浪出来还是很有启发性可以为后浪做很多贡献比如说派你看派零到派零零五中间是有两篇我觉得很有意思的工作放出来的一篇是这个FAST它是在研究了就是从一个大模型训练的角度上来说你现在要去预测一个动作怎么样表达这个动作就是动作有没有一个很优化的表达空间所以FAST这篇paper就提出了我们之前用的这些这个扩散模型Diffusion Policy它们的表达是这样的一种表达但其实它可以去学一种表达动作的一个方法然后发现如果大模型就是在这个空间里做预测的话它会有一些性能上的提升啊还有些方法性的保证啊所以这种也是一个非常重要的一种起初性研究然后另外一篇paper当时是叫就Hi Robot就是想的是人和这个机器人的交互就是人可能会说一个语言去让机器人去完成但机器人如果只是一条到头就彻底端到端的话很有可能在一个长达十分钟的任务里他会有些迷失他不知道现在该干什么所以HIGH ROBOT就是第一次开始就是非常正式的说这个应该是一个分层的就是有一个比较高层次的这个POLICY他会去把你说的这个任务转换成一个更加具体的可执行的更短一些的小任务然后再有这个比较低层次的就执行端就他们俩其实都是在同一个模型里但是给这个模型进行了一个输出的分层然后在派0.5到派0.6星中间应该有不少发表但因为当时我在忙着搞这个派0.6星可能有一些疏漏的地方我觉得现在回头来看比较有意思的几个发表分别有这个OlympicsOlympics这个发表呢是我们公司一个内部的一个好玩的活动就是会不定期的让研究员和数据收集的员组成小队去玩一个奥林匹克就看谁能够操作机器人去做一些很难很难搞很想都不敢想的一些任务因为毕竟是人在操作嘛其实这个可以非常大程度的去推这个bundry就是推你现在不说什么大模型你就让人来操纵他能够操纵完成什么任务能不能把你想到的所有任务都真的完成因为你人手能完成的话机器人能不能完成我觉得这是一个非常好的一个活动所以我们当时就从这个活动里诞生了就是Olympic这篇paper也是有专门的负责人去思考就是如何完成一些之前别人提出过的就是觉得对机器人非常难的并且在用人操纵数据完成了以后再让我们的大模型去做去学习然后发现取得了就是成功的完成了一些大家执行值得会非常难的一些动作然后还有你们完成了什么动作这里面有什么好玩的我觉得比较好玩因为我这个人很喜欢这个高精度的任务就是拿出一个钥匙然后去开这个锁的这种任务同时也是有一个什么我觉得有个开门开门这个任务其实我就是刚刚我们在做硬件硬件的时候我也是就是头几个就是去赶紧去尝试一下硬件他能做到什么地步的人当时我就觉得开门这玩意这太难了我在这好像搞了20多分钟我才终于想明白我怎么样用这个机器人的这个形态去让他开出这个门来但是这边他们就可以做了以后发现其实首先这个策略是可以优化的并且这个策略优化过以后机器人是可以成功的自主去完成的这也是一个我觉得就是说起来
[135:00] Yeah. It's not a difficult task, but it's a difficult task. And then the next one, we're going to be in a series of the series of the series. 上次刚刚发了叫做partner because we hope to make a big way of using a large model, it is possible to be in many different places and different equipment on the other side. So Pi is also working with other machine companies. In this partner release, we talked about the uh one of the companies and one of the companies that they have a team of work. They are actually doing our training training or using our own things. in their own business, they are more close to the market. So you can see that our company has no many things that are in the business. But it actually helps And the other companies that are already in the business of the company, are also in the way to push our research. 并且我确实认同就是这个partner的 方法是有在触碰了一些机器人的本质问题吧 你看从我们开始搞机器人研究的那个时代 哇 你干啥事都是你要知道找谁 而且他会懂你才能开始做 就是你你写个软件现在是分分钟的事情 你上网问一下sgbt 然后可能这个ai agent或cloud 就我帮你写很多东西 就是 you as a developer, as a research team, you have many This is a good thing to do. It's a good thing to do. And in the machine, I think it's a good thing to do. It's a good thing to do. It's very complicated. We hope that after you buy a machine, you can just use a good thing to do. I hope 把这个 从机器人从零开始做到 就是第一个sign 时间给速短。 I have a question, because you mentioned that you have many partners It's not that there are many partners, but we also have partners with other partners. 那你们自己会做硬件吗 你们做的有多深啊 This is a bit of a bit of information, but we have a 6th century using this machine. It is a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. It has a bit of a machine. 带点可换的这种家转 为了做咖啡 你是需要一个另外一个家转 他其实成本都不高 然后换起来也很简单 但是 You can feel like this is a more original problem. very clear to the problem. Because I'm wondering, I know there are a lot of machine companies, they are for a more efficient machine, they will allow their hardware to 70% to 80%, they will always be able to use hardware. You would like to do that? I think 硬件, you should say is for the software, but for the final task and performance? and can do what is in a way. I think this is what we all do. Because it's not a certain way. 结束了的硬件的形态可以停止这种优化因此我觉得大家应该都在不停的去干这件事情有人说派在机群领域其实就是想要对标open eye在大约模型领域如果这样对比的话派现在发表到了派06星 You think it can be a GBT-GPG? Yeah. This question is very difficult. I think I think it's a good question. The goal is to become a robotics company, to become a creative tool, 至于我们现在大模型 发展到哪里了 I think that's what I'm looking for. 本源的像一些就是这个模型是不是还有一些大的变革才能达到我真正想要的一个效果所以我觉得我们还没有到 but I think we're in the middle of 1. You think what's going on to GPD? I think it's because of the game is not the same NLP的起点 我在2017年 刚赌博说 短暂的做过一阵子NLP 当时可好笑了 你知道吗 我当时在想说 No. This natural language is not a good thing. I'm not a good thing. 预算这个单子就天天跟我说 自我说这没用啊 是不行 然后人家看
[140:00] 或者说他们在用强化学习做这个大语言模型我就说喜欢学习也很难搞的你把这个特别难搞的A和特别难搞的B合到一起你这样能做成功吗我完全不懂完全不懂啊然后到了19年20年别人就做成功了就说这个你看做的多好嗯当时...就能够感觉到问题是有一些不一样的吧当时我从自然语言转换到了机器人说的第一自然语言里面你可以顺生很多文字你怎么跟这个文字打分怎么知道什么是你想要的文字很难所以当时觉得自然元素消化学习会很难就是因为觉得这个打分胎太含糊了不是那么的清晰当然后来有很多就随着更多数据集的出现他们也不断的建立了新的标关所以他们这个标准可能会有那么一阵子出现变得清晰的过程然后另外一方面是觉得当时做机器人好玩因为机器人可以做很多task很多任务这个任务都是你可以拍老段想一个新的任务然后再做我觉得这个乐趣是自然语言很多时候你可以用眼去描述你想要他做的这个任务对吧你可以说我今天有个问题给你我想你给我写这个代码然后你可以不断的去补充就自然源的这种跟智能体交流你想他做的事情是什么事情是一个非常天然的一种交互方式而机器人其实我觉得在这个VLA model出现之前就没有很天然的这种方式即使现在VLA model出现了我们也是在探索就是为什么就我是一开始完全没有用过VLA model然后现在其实反而是有一点欣赏VLA model就是因为如果我跟这些Cloud Agent 呢提的很多要求都是用语言来表述的那是不是我跟机器人也可以通过语言来提这个要求然后这个语言的要求就会影响到就是你嗯在没有那么多数据情况下你可以完成一个确定任务其实这是机器人的一个优势我觉得在自然语言界没有那么多数据情况下完成一个确定自然语言任务其实是有点难的我们现在就相当于是在数据量与对方这个业界完全无法比拟的情况下其实你已经做了很多东西出来了所以我觉得是非常有意思的点如果我们往后推演一步你看今天的大模型发展这些模型公司慢慢都变成应用公司因为大家发现模型是商品化的它会慢慢的统一和统治化所以最后大家构筑商业外的不同和互乘盒都是通过一个不一样的应用来进行选择我觉得如果放到机器人这个领域来这个通用大脑在慢慢可能也会做成不一样的产品形态然后没有公司的产品现在是不一样的我觉得也许会我觉得大模型现在是依然有很多的竞争在竞争中刺激了很多的研发刺激了大家对一个更好大模型的追求我不太确定就是像OpenAI的对的这个产品难道就不能拿来做写代码了吗以前也是可以的我不知道他们现在研发了哪一步或者怎么样只是最近可能大家都是在用Cloud Code的这么一个AI工具做但是他们因为都是一个多功能的大模型我觉得没有任何事情告诉我是他们根本上做不了这个东西只是你说这种就是产品形态开始发生了一些分析分化我觉得也许是可能的但也许一种可能的形态就是有一些人是专门做大脑还有一些人他们专门做就是这个场景的商业化和为了这个场景的商业化所做的很多事情甚至他们最后也可以插入这个别人公司的大脑就是一种可能存在的形态你觉得机器人会出现一个独立于大语言模型的独立的大脑吗据我所知大部分的团队还是在基于一个多么泰模型上去做后训练做一个机器人的大脑你觉得一个独立的大脑就是说要专门的为机器人大脑去做预训练中训练后训练它是一个自闭环的完整体系吗我觉得是有可能的但同时可能也有一派人的认为是说所有这些东西都可以归到一个模型吧而且这个模型还没有被创造出来我觉得从这个角度上来说确实就是如果有一天就是有这么一个模型它能拿到所有的我们能想得到的模态和做这些自动化上的必要的任务不管是预言沟通图像编辑什么视频生成或者说机器人的操控它也可以是一种可能性那个时候也许其实也在有些人里了从你们内部看现在看到Scanning Law的迹象了呢嗯 我觉得scaling law是一个非常tricky的话题因为scaling也有很多就像泛化有很多不同的衡量包装银行scaling也有很多不同的衡量标准就是每次当我看到有一些就是over simplify就有点过度简化的这种陈述的时候我都是会有一点觉得不够太细节比如说scaling你看在盘零零雾里面做的就是你在十个房子里面收的数据你到第十一个房子里面你能跑起来过
[145:00] 你的表现是在哪里比起你说了一百个房子以后你再到这个房子里来是不是有一些涨进那你再说一千个房子会不会其实其中就没有那么大我觉得这可以看作是scaling law的一种探索方法吧就是我们要收多少个房子才能够在下一个新房子里取得一定的成果同时你收过多少个房子以后这个新成果可能就就是提升就没有那么明显了我觉得这个在帕零六泰林五给我感觉是它确实是可能可以摸得到的一个有限数据可以达到的地方嗯但是我觉得我们现在数据量还是太少了肯定还是要再寄进一间我觉得会好玩嗯你的算力够吗算力多吗我觉得算力够不够是看你们这人喜不喜欢干活你们这人都特别喜欢干活的话算力永远不够永远都可以有新的想法想法新的时间和穿新的模型你们那人卷不卷我觉得大家你从一个工作时长的角度上来看的话是很多但其实这并不是他强行要求你在公司要待到什么点而是还相对而言比较自发的就是今天在公司吃完晚饭又跟这个人开始草闻起了一个什么话题就想往下再走一走再看一看所以有的时候大家可能工作还是挺长时间的在哪甚至包括周末也有不少人会去公司也是相对而言比较自发性的就是觉得下周想出这么一个结果那今天就把时间跑好或者说就是突然来了一个想法那就深夜聊天呗聊你们往都是没有加班公司的对吧没有啊你们一般早起晚讲你的Tikko Day是什么样的呀做一个Hide研究员每个人都不一样其实甚至包括有些人他们住在南湾然后要来旧金山这个城里他们每天来回开的时间可能就三个小时的车像我的话我是比较夜猫子所以我基本上白天我就算起了我可能不会一带工作我在家里以前工作一段时间给自己一个洞穴的时间然后差不多是中午过去然后到了晚上我要是兴致来了可以干到非常晚可能会干到晚上两三点啊这种才回家一般是一两点回家写了现在睡前再干一会儿嗯对然后你们都不用打卡这个我们没有打卡这个东西对甚至有些人他可能家里有些事情啊比如说其实这边有研究员他们正在生小孩他们就在家里就是可以直接待很久但大家也会他也会有就是继续他的工作就是相对而言是一种比较自由的氛围让你决定什么样的工作方式是最适合你的同时公司也可能希望就是大家变成了一个团队以后可以拧到一起发挥作用那你们会有立会这种吗最早是有的就刚刚来公司的时候这个立会给我这个夜猫子带来了非常大的困扰因为立会是每天早上10点钟到公司大家轮流说一句话自己在干什么因为当时公司就有20个人哦但是当时我就跟CEO说怎么十点这么早啊我们能不能改到下午然后他就很震惊地看着我说他们最早是八点后面退到九点然后退到十点怎么我还嫌十点也早啊拜拜对然后呢后来的话随之公司我觉得人数增加的管理方法可能是需要改变所以现在的话就没有这种就是每天都有例会只是有一些就是研究的会啊和每个课题自己组织的一些会现在多少人了现在我的旗感可能是大概70个人吧体感体感因为我也没有天天在那说我们公司有多少人有几层楼啊我们现在还在我们最初的那栋楼里待着这栋楼我觉得真的是第一它是非常有创业氛围的就是这种楼它比较的朴素的然后我们来了以后就把所有的这个硬件软件啊都带进来了但是另外一方面就现在人实在有点太多了这个楼里真的有点走不下我们这东西可以播吗就是我们的会议室里面有一个二氧化碳检测器嗯这本二氧化碳检测器在这个会议室里面的人超过大概三四个人以后有的时候就会突然一下跳成红色警戒然后这个时候就没办法就会把这个门打开然后接着干你可以说明该换办公室了确实大家都非常期待能不能换到一个新的办公室但在旧金山在创业氛围如此浓厚的情况下没时间我觉得挺难找到一个非常适合我们这样公司的一个办公室因为我们也有一些硬件的这个人说我们有自己的办公室里是有机器人的你还有一些什么用电用网的一些需求就是想到一个非常合适的地方没有那么简单你们的组织和文化是什么样的嗯我觉得现在还没有一个章程去非常详细的规定它但是可以看到公司现在发展了快有两年了它是有一些自发性的一些文化的因素在里面的它整体而言我虽然也没有在其他创业公司待过但感觉我这个应该就是我想象中的创业氛围了吧你看这个大家都比较踊跃的去做一些自己觉得非常重要的事情然后同时嗯尽可能的就毕竟创业嘛
[150:00] 有一些股份然后也是有一些steak在这个公司里面你是希望公司变得很好其实有的时候不是你的就是氛围内的神言会就想要去做好然后同时我们公司比较特殊的因为是比较开放的研究氛围所以是就我们我和另外一个人会组织一下读书会啊和一些交流会啊就是可能读书会就比如说就是嗯比如说我们现在想做一个项目比如说这个派零六星派零六星实际上是去过两次这个读书会的就首先一次就是给大家讲一讲我们现在想要探索这个问题这个问题以前的人的发表和东西都做到什么地步了然后我们觉得它的应用就是会有一两个人主讲然后其他人可以问问题啊或者会甚至质疑啊都是可以的就是看怎么样能让大家尽量的在这个课题上感到同样的激情然后同时有几个人主要去负责去做然后做到后面快成熟之前其实又上了一次读书会给大家焦虑现在做这个地步了你们觉得怎么样然后有一些比较天马行空的读书会比如说Cloud Agent出来然后就疯狂的就在读书会里面说到底谁是我们公司最能用Cloud Agent的人赶紧上他上台讲一讲就怎么用然后大家就可以抄还作业就是这种分析能抄掉什么创造什么就是我确实在我当时在埋头干一些别的事情就没有怎么关注到然后他们跟我们介绍了一下就他们怎么用这个CloudAgent我都听完以后哇 惊了我就说哇这个确实是生产力的飞跃式进步就是大概最近两周我就是把自己的整个工作的这条流程都改了一下就觉得哇 现在跟一年前也完全不一样的一种工作思路了能工作到你之前工作的多少倍啊你的一天的工作量我觉得效果上来说我觉得应该有个三四倍吧但是研究嘛就是一个不停的打一枪看看这个子弹落在了哪里调整这个子弹嗯我觉得不是你疯狂的打枪就能够打中什么东西还是需要一些人的input你们CEO的管理方式是什么样的CEO的话是Carl Hossman他是他其实在公司主管的方向并不是那么的侧重研究因为研究方面的事情更多是由Sergey和Chelsea来负责所以我和他打的交道并没有那么多他管了一些公司的基础架构你可以认为就是我们公司里面有很大的一部分工作是研究但也有很大的一部分工作是如何保障这个研究能够高效快速的进行下去Karl是有主要是很多负责在这个方面上他就是Sam Altman那个角色类似于可能也会未来会做一些商业化如果需要的话他们怎么想的其实我在2024年就是刚刚他们开创了以后就是说要不要去聊聊我就问他们你们现在做人型吗你们现在要做什么双业化吗嗯我当时感受到的氛围就是确实我们不做人心因为他们要说做人心我就不来了你知道吧为什么其实是很担心就是不同背景的人去做人型的比如说现在人型公司的做人性你就不来了神奇了因为我觉得人形是一个非常值得研究的问题但绝对不是我现在最想研究的问题而且如果他们做人形我就会担心他们的研究重心就变成了如何做一个更好的人心机器人而我的研究重心就是做更好的任务我个人是非常相信不需要人情就做是很好的任务的而且不需要人情就能使用派的角度出发更快的做出来比如说你看现在点衣服什么的都是我们先做好了叠衣服 叠盒子还不过先做咖啡都是你先做好了他不需要人心他就可以做而且我觉得有更多非常多的任务都是可以无形无形的任务等着我去做呢我要是把时间和精力都花在了就是怎么样让人机精神跑得更好上来说他不是我这个人的工作重点就我觉得是一个TES的问题那如果要任务跟通用你未来的硬件是多样化的吗还是它可以统一到一个硬件上我觉得也可能是我觉得现在我们作为一家通用大模型公司比较考究的其实就是它在不同的机械上的表现它在不同的居身的上面的表现就是你不追求未来的世界所谓的机器人就是人形机器人那种统一的美感对吗你觉得他随便都可以我这个人最喜欢的就是宠物机器人我有一个朋友他说他要创业创这个宠物机器人我一听可来劲了就恨不得要不是因为现在做的事情也是很想做的事情我还不如加入他呢因为我就会觉得就每个人在机器人这个领域里面都是有非常多分杂的线的有意思宠物机器人宠物机器人想做哪种宠物啊嗯什么种物都想做宠物实在是太可爱了我觉得这是人文的情绪价值嘛就大家活在这个世界上的一些意义我觉得陪伴是一个方向说了很久派啊你当时为什么加入派啊当时也是好蹭跷啊因为我其实整个博士期间一直坚定的以为我要想去当教授但是一直很害怕当教授因为教授要写好多这个什么Funding Proposal就是吸金申请我一听到这个Founding
[155:00] 我就觉得我想解决问题我不想考这些事情可能这也是我的还需要修炼的一个部分但当时切齐屁横空出世我有一拍大腿决定吻了我现在可以去当教授了我不怕了我用CHGPT帮我写这些仔细申请就可以了但是在我其实经历了一整轮的教职面试中间就有一些感触很有意思因为我之前的研究其实没有很多大模型我虽然做了很多机器学习包括各种机器学习方法研究但我用的模型都比较小这个跟我们实验室的氛围和我们当时拿到的计算资源也是有一定的关系大家可能说把这个任务做到就好不要想太多就是其他的事情所以当时注重的点没有那么多大模型在教师申请的过程中我也是以一个更加偏向传统的一个故事在史上找这个教制然后能越来越感受到大家对于这个大模型的热情就包括我自己其实也是非常大的好奇心然后又因为非常巧合的就是Sergé他有一个学生就是Abeshik他毕业以后来到了华大就是我就读的学校并且成为了我的小老板因为我们华达以前没有一个真正意义上就是专门做robotic learningfor manipulation这个话题的人然后RBC一来以后我就说哎呀我做的跟你说方向好近啊我们一定要天天交流然后我们就天天交流然后顺便就是就成为了也算是办法他的学生可以就一方面就是他也会用方定来支持我的项目另外一方面我们的我觉得我们的合作挺紧密然后有很多相似的想法就是跟我老板的交流完全不一样老板更多的是上一个就是干这种对抗网络里面的一个critique他就说了你现在生成了这个东西但是你要达到更好这个标准才行而阿贝姐跟我的合作方式的话就更加的是我们两哎呀我有这个想法哎呀我有这个想法我们把这个想法揉一揉哎呀不行再生出了三四个又有的新想法然后那种方式对研究更好啊我觉得都有是最好的我真的是黑猫白猫抓的老鼠就是好猫因为我觉得和我自己的导师那么多年的合作让我有一种求真嗯就是非常强烈的求证就是包括大家在我在看别人的paper看别人发表的时候也是会经常比较喜欢打破杀布和闹底的那种甚至有时候我就自己做一遍看看是什么样子而Abyshek给我一种他非常跳脱的一种就创造力吧就是确实之前想的时候很多时候我一个人想在洞穴里面待了一阵子但是如果要真的做成我们得退一步然后思考然后到底发生了什么然后去比较漫无目的的去漫想我觉得两者结合是很好的但是因为当时RPC是Circet的学生人和Sugit在连创的时候阿贝谢可能就跟他说了就是就是有这么一个人他要毕业了他是做这个的然后Sarget就说可以去聊聊然后本来也没想去聊聊因为我听说了才要去创业我说这好像跟我没什么关系但后来又转念一想觉得Sarget他毕竟是一个学术界里非常有影响力的教授我去听一听跟他第一次就是真的面对面就要深入的去交流一下他到底在想什么也挺好的然后当时就是去朋友家玩在湾区玩的路上顺便去派就当时他们刚创立一周内吧我就去那边坐了一下看了一下我不知道那就是那是个面试他们没有人跟我说这是个面试我就很做了一种有这个人在这做这个挺有意思的你们在做什么然后他们后来给我的反馈是就是他们是我觉得他们面试我的过程中感受到了莫大的阻力因为我不停地在问他们你们在干什么哦哦你是这样的是这样吗对可能也是一种求知吧所以当时我就特别好奇我说你们在做这个然后这个这个任务是怎么想的我来多了解一下然后他们想的是我是来找你们辨试的应该是我来问你们怎么变成了你变我们但那时就就是聊完了一下以后觉得就没有记述之前肯定是有很多猜想但没有一个能确定然后聊过了以后觉得这帮人还是挺求真的我觉得学术界有很多发表有的时候会让我这个实用主义派觉得有一些无奈吧就比如说你要做一个问题想把它做得更好你会说之前做做不更好的一个原因是这个原因所以我们就说了这个问题有的时候它逻辑不一定那么通顺所以你可能不认为所以为了资源其说对有的paper是有一点这个感觉的当然也可能是大家的想法不同但是我肯定是希望找一个和我的想法比较贴切的然后我觉得当时和派点交流我觉得大家还是非常求真所以就他们就给了一个offer然后我也很莫名其妙我就觉得确实挺好的非常感谢但是我还是在找教职offer有吸引力吗嗯我觉得是一个机会吧我觉得offer具体的内容并不是最重要的对当时的我来说这个offer代表的是我能和一个已经曾经做过非常多成功工作的一个团队然后他们里面每个人和我交通都非常和我的交流沟通都挺愉快的和他们去共事到达一个新的平台可以做很多不同的事情这个才是offer我觉得最重要的部分所以当时的一个团队
[160:00] Прочула... Звучит музыка. То есть, что тут у меня есть и не было. Я думаю, что это очень важно. Но я не думаю, что это очень быстро. То есть он уже не может быть. Мы сейчас этот этот, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас, как мы сейчас. Это очень элитный решение. В детстве я говорю, что я хочу стать учительом. Блаба ба ба. И找到教职, да? Да, я очень очень хотел бы сделать это. Я очень хотел бы сделать это. Я думаю, что в этом случае можно делать это. Я думаю, что в этом случае можно делать это. Я думаю, что в этом случае, я думаю, что я буду делать это. О, на это очень интересно. Вы почему на最后一刻, если я стал кем-чужой, вот, пай. Ммм. Это и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные, и учебные. В США Униа. Только в Индии, 3 года. Я думаю, что у меня есть учитель, если я хочу сделать это, чтобы я хочу сделать, чтобы я хочу сделать более высокий работой, 3 года. Паку-паку. Потому что То есть, в яхт-хлородке, я учил 7 лет. Первый год, второй год, можно сказать, что я снять сходу, я не могу понять, что я снять сходу, но я снять сходу, я снять сходу, я снять сходу, это очень сложно. в В следующем году в прошлом году, Это не так, чтобы не было. Это не так, чтобы не было. Это не так, чтобы не было. Недси шоу. В школе это более чем-то, Важно, что нужно большее, то не так. Поэтому это пайдон, что я из-за моего большого возраста. Я вообще не знаю, что в этом случае, В этом году я думаю, что это очень важно. Что это, я думаю, что это большее, чем большее, чем большее. Ты знаешь, я читал 7 лет, ты спросил меня. Ты знаешь, я думал, я думал, что это вопрос. Потому что у меня есть один день, я думаю, что я хочу учитать. Я думаю, что это связано с тем, что это связано с тем, что я очень многое отношения. Я очень многое отношения, я очень многое отношения. Я очень многое отношения, я очень многое отношения. Я очень многое отношения, я очень многое отношения. Я очень многое отношения, но я очень многое отношения. Думаю, я очень люблю. Поэтому я не думаю, что время было очень много. Не очень много, потому что я не был виноват. Не был виноват, потому что я не был виноват. Какого-то, какого-то, очень глубоко, но思考 очень迷茫, мы будем отдать. Я у меня два два дня, которые я встал в Сент-Наджи, я у меня встал в день, я у меня встал в день, я просто делал это. У меня есть очень большая自由ность. И я видел, что в 3-4 году в школе, они могут быть очень сильным.
[165:00] 更加明确自己要想要做什么我的话更多的是尝试换一直到最近可以说我的职业才真正的有一些稳定下来嗯谢谢大家你觉得在派工作和在Google工作的区别可能会是什么样他们都在做机器人大脑而派的人当然也是从Google出去的我没有在Google的研究部门工作过我在那边做过软件的实习当时我还是一个本科生嘛去了Google以后就觉得非常快乐因为Google就像是一堆软件工程师为自己所搭的一个乐园我是在Google那边开始第一次学怎么写TensorFlow和就是大规模的一些神经网络的训练因为之前都是手挫就是你会从头开始写一个什么CNN怎么反推的你会从头到尾都自己写然后到了Google才发现有这个别人做好的一个酷我就掉完这个酷就行了哇这么方便吗我赶紧学一下怎么弄的嗯所以我相信Google是有一个工程师的这种基因在里面让我当时的我对它就非常的喜欢我觉得现在它还有体现就是比如说他们做的研究他们做的多模态他们做的这种TPU这种架构都是有着一种工作室的优化的思想在里面而在Pi的话说到底它是一个创业公司我可以非常轻松的跟我想聊的人开始聊天可以 move fast.可能你昨天有个想法今天说一说明天就变成了一个项目还有包括凯琳六星她的这个中间有一段就是突然一下非常大的转变就是我们说我们要收EVDATA我们现在收的这个评测资料的量是这个量但是如果我们想打到我们想要的地方可能需要这个量怎么样很快的给它排查打到这个效果我觉得这个可能是我们比Google我想象中要做的快很多的地方你说你现在的研究方向稳定下来就是稳定到了强化学习不一定是强化学习而是做机器人并且想怎么把机器人做得更好而且是一个比较通用语境下来更好这个是比较稳定的方向强化学习只是这个阶段的一种研究的重心但我不觉得它是一个定义你研究生涯的一个东西你这强化学习对于机器人来说意味着什么它解决的是本质的问题吗我觉得强强学习是一个非常本质的一类问题也就是说一个人如何通过体验变得更好这个问题从所以传统教科书上的说解释强化学习其实就是解释这个巴普罗夫的狗这个狗他做了一个事情你就给他一个奖励他从此就知道这个事情是个好事情我要多做就是通过这种奖励和惩罚的方式去让一个智能体做一个对你来说更好的一个动作嗯但情话学习呢他嗯在算法上来说我觉得是有一些东西我包括每天都会就感觉他跟我这个人进化就是人的自我的提升和进化学是有很多关系的就不管你是从一个非常具体的一个动作比如说你是一个想象着我你是一个想要学习攀岩或者游泳的一个人然后你怎么样做得更好你就是不断的去做这件事情我觉得这个追求极致是强化学习一个非常强烈的因素就是不停的去练同时呢强化学习其实还有一个很重要的部分是探索探索我觉得它是可大可小的可能是说我这个肌肉些微的往左移一下我的表现打网球表现会更好这是一种探索也可以说是我现在做这个研究我想怎么把这个机器人做好我现在探索的是一个方向我也可能将来会换一个方向它也是一种探索我觉得它是不光是一个具体问题具体场景其实也是一个通向通用的一条路比如说现在我觉得大语言模型里面应该有不少人都在使用千花学习来帮助提升他们的大语言模型其实也是有一个大语言模型的基础上让他不停的去试去看去给反馈如何从这个反馈中得到更进一步的提高是一个很久的命题吧嗯我实际上我觉得千花学习嗯具体的技术也有很多是可以讲的部分如果你有信息我们也可以多深入一下我觉得情话学习是有几个模块的就是每个情话学习系统都是把这些模块拼起来其中一个模块可能就是这个探索模块就是如果你想要做一件更好的事情你得做一些你以前没做的事情你怎么样选一个更有可能成功的视频去探索是探索模块我觉得这个方面其实咱们现在做的不是特别多但它是一个永恒的命题就是米耶是选一个小的改动还是大的改动包括你怎么改动都是一个算法需要我觉得在最后的大模型态里面它其实应该对于探索是有一个非常清晰的想法现在的大模型可能还不具备这样一个非常主动的是探索的一个能力因为探索直接就影响到了如果你选的好你研究路线选的好你可能做了这一个研究就已经有很多好的事情发生如果你一个研究很不幸的就是选到了一些就是比较难搞的一些东西那你比较做很多它就有极度的影响到了你学习和进步的这个效率问题随时探索问题然后第二个我觉得强方学习比较有意思的问题就是归因就可能你要让
[170:00] 你们家宠物做一个什么好事就可能他做了一系列的事情然后你就给他一个奖赏他其实是需要知道就到底哪一个事情是这一次得到好奖赏的一个决定性因素这个也是他林柔欣是有些探索的就是你说起了这么多的这个部署的数据究竟哪一条部署数据里面的哪一个步骤你做得好让你整条数据得到一个关键性的一个奖赏你可以看到在Pi06星里面我们可能比较强调了这个Support一个速度和质量从智能体的角度上来看就是他做了很多事做了不停地做了这么多次然后我们设计这个算法帮助他从这么多次经验中找到就是这条数据里面狭子垃圾但这个地方是精华你以后多做这个精华所以这个归因我觉得是情话学习的一个就像人的这种总结反思一样是一种可以长期持有的能力就不管是在微观上这一步骤我再改一下就会更好还是宏观上来说有这么一些策略其实这个策略是最好的然后同时强化学习也有着我觉得有一个本人性问题是我们其实教科书上不怎么讲的就是这个问题的定义你可以看到在这个大语言模型里面你要什么问题你一般都用口述给他抛出了一个问题可以说你的这个问题涵盖了很多他需要知道就是他这个你的这个问题就定义了他这个任务而在机器人界目前还没有这种清晰的一个联系包括这个VLA模型也只是开了一个头说我想让你叠衣服其实你可以千千万万不同的方式叠衣服对不对你怎么知道他要你叠衣服到底是要叠成什么样子在课本里强化学习是要用一个奖励函数去抓住这个东西可能这个奖励函数就设计成了一个如果你真的按照它的意思底了它就给你一个很高的奖赏就给你一块肉奖励你这个狗狗做得好如果你做得不好它就给你一个惩罚但实际上设计实用的来说设计这个奖励函数是非常难的因为之前有人做过很多就是在模拟器里做强化学习比如说用强化学习去打这个超级玛利奥你有一个分数对不对你就优化这个分数就好了这是一个现成的奖励函数但实际上即使是这样的情况下他有可能会我们就是说就是abuse就滥用这个奖励他就发现了有一个bug就超级玛丽奥一个bug有了这个bug以后强化学籍就发现了就疯狂做这个bug他就会跳一个小人然后直接通过了所有的关卡并且数发奖励还说达到最大值我把想令韩州给你又划出来了你以为还有什么可说的我已经做到你想要我做的事情了但实际上这个奖励函数一开始设计的就不对所以我觉得情话学习的一个工作目标吧也是一个很重要的事情其实就是把人讲他做的事情和机器能够理解的这种奖励函数紧密的结合在一起同时也希望这样一个设计是可以泛华可以卤棒的谭姐也提到强谈学习需要奖励信号但是很难写奖励函数这个你们有什么发现吗怎么能给一个任务写清新的奖励函数我觉得就是在我看来它不是一个写奖励函数的问题而是向智能体传达你让它做什么的问题奖励函数可能更多的是一种表现方式比如说你看现在NLP他们之前应该也有时候我们探索过就怎么给它写一个价值函数就做了这个好就是好的就是更高的分做了那个不好就是更低的分但其实有一段时间在在自然语言中的钱花学习最有用的东西就是可验证的一个任务这个可言认识的任务是可以独立于一个所谓奖励函数存在的它就是一个要你写编程你这个编程能跑能跑的话他就是非常确定的知道他是好我觉得是传递好坏不一定需要奖励函数而且我相信传递好话的任务的话是需要一些人的common sense这种浅知识或者说通用知识同时也是一个我觉得是一个非常flexible问题我个人比较相信好的奖励函数是可以应力置疑的它也不一定是一个奖励函数的形式在存在更多的就是你给了这个模型的信息和表达去让他理解嗯因为我前两天聊了一个嘉宾他是做AFO map他们核心想优化的就是模型的可验证性这个会不会对我觉得是对我是都有启发的对因为机器人他也有一个很好玩的问题就是咱们也没有那么多的任务是非常清晰的说成功和失败都非常简单跳出来你可以比如说就是这个杯子放在另外一个桌子上也是是的但这也是一个非常限定就是你当到了一个限定的环境以后你可能就比较容易写出这个降临函数而你在一个非常通用的层面你其实很难写出一个通用的函数或者你的任务比较难比如说像叠衣服这种任务叠衣服叠的好不好老师我都不怎么点衣服所以我在点衣服的这个任务设计过程中我就有一个比较清洁的就是因为我从来不叠衣服所以我可以很纯粹的从机器人任务的角度来说设计这个东西但是设计出来的每个观点也是不一样的你刚刚提到Celsea对于一些任务的设计
[175:00] 没有可能是所以我觉得它又非常的下不顶推审你们打举个例子就比如说叠一份这个东西是有很多不同的策略对不对你人来叠你可以对它从两边叠成这个或者你也可以就是四方方的叠我是用语言都很难描述这不同的方式是怎么在叠但你可以想象它有不同的叠法那么哪些叠法甚至包括这个叠法好像机器人身上哪一个是好的我觉得有一些人确实是能够很快速的嗯直觉性的告明白就这个叠跟那个哦点是有差距的或者说像我们会经常看一些就是机器人中间做的任务就会就会去就是斩钉接线说这个任务就是可以做虽然看起来很难我觉得Chall C有很强的这样的东西或者说他也会觉得就是这个数据很好这种直接来源于什么我觉得思考是有的然后理解也是有的但是也有可能就是和每个人看问题的一些看这种东西吧你觉得VLA会是一个终极的架构吗它会怎么演化在未来我觉得这种interact的方式是可能可以的尤其是在我天天成为了cloud code的众多用户以后我以前是有一点怀疑我说我这个人比较内向就没有那么喜欢说话有很多事情是不是不用说话表达会是更好的表达而且包括说话有很多时候比如说就是我想让你帮我把我家的这个书房收拾一下他没有办法capture我所有的意思就是我可能说的是你把垃圾掉一下呀然后这本书柜正关起来或者这样或者那样的一些单纯又以无法捕捉到的重点但是我发现了这些Cloud Agents就改变了我对这种交互方式的想象就是你是可以说话他可能捕捉不了所有的重点但你也可以用说话给他提供更多的context让他自己去搜索或者执行计划就是说话确实是一个非常强的逻辑思维和推理而我也越来越觉得逻辑思维推理对机器人是很重要的所以我觉得VLA中的L还是有很大作用的只是VLA现在的这个架构可能还是比较原始的一个架构它虽然有这个language但它并没有很多的去探索就是language和动作的一些非常细微的事情比如说兰鬼的层面更多的都是给这个衣服他也没有很详细的描述说这个衣服叠的时候你要用两只手在这个步骤怎么怎么样我觉得这都是未来的探索方向就是可能会有一些更加就不光是从输出端是动作啊或者加一些video啊或者加一些oxy loss在输出端可能也会比它更多的context使它能像现在的大语言模型一样就take in much context我们刚刚其实也讨论了一点数据问题我想继续就这个话题再深入地讨论一下你刚才说过你们其实BAT算是真基数据真基数据算很重要的一部分那硅谷其他的这些Frontier Lab他们在数据的选择上有什么不一样吗真机数据是一个共识吗我不太清楚别人有没有共识或者是怎么想的我只能从我接触到的信息来看的话嗯比较明显的有一些人觉得我们可以把这个模拟系列的东西做得更好做得更有用我觉得这也是一个非常值得探索的区域可能如果他们现在工作重点是这个的话他们可能就对专题数据没有相对然也没有那么看重了或者说也有一些人觉得我们就用一些人手直接说的像这种污密的数据就是人可以非常自然的在自己生存的空间中去说很多数据而且它的效率就速度可能比你非要搞一个机器人进他们家然后再说要轻松快一些我觉得这也是大家不同的想法吧就是它有一个重点但是可能因为我是真基数据的信仰派所以会觉得就以后肯定还是要真基数据因为你都不输了你可以收真基数据了那为什么不用呢所以我觉得对真基数据的如何用了够好的研究应该是不会停止的你不觉得真基数据更实用我觉得就不光是使用而且是最后当你真的做完了这个问题的时候你机器人真的进到人家里以后你就是会有很多真机数据了呀嗯我相信这个是我们共同想要的一个未来所以这个未来里就是会有很多种基础局的你觉得什么样的数据是好数据啊现在这个定义也没有很很统一对我觉得它不是一个学术能够清晰的解决的一个问题我觉得是有一些不同的维度的吧比如说这个数据它做的是什么一个任务这个任务你看啊如果我这个任务就是在空中摘挥为首这可能就没有什么意思但如果这个任务是跳舞或者说随着这个胳膊要怎么就往动它是一个更有意义的任务所以我觉得这个是维度之一就是任务本身或者说叠衣服啊叠箱子啊还是拿水杯这都是不同的类伪的任务同时呢就是在做任务过程中我觉得是有一个叫做动作的质量的
[180:00] 这个可能就是如果机器人能做成这样我们就觉得他做完了他做的极端了他这样的奥林匹克运动员那种表现就已经超越人体极限了这个是有动作质量你也可能收到一条质量不那么好的数据可能就是为了拿这个杯子先晃晃悠悠晃悠悠的再去拿可能就没有那么好所以这种动作质量也是一个维度同时我觉得就是动作的覆盖度吧就从一个数据集就刚才可能讲的是具体一条一两条数据从一个数据集的讲程来说的话你说了拿水边的这个任务呢等那么多条数据它的这个覆盖度到底有多少它有多少不同的场景它有多互相之间的不同就比如说刚才说的泛花里的每一条维度其实可能都是你说说这个时候就可以考虑到的一个覆盖度的一个维度然后最后嘛我觉得就是数据提供的是一种信息如何能够在一团数据里挖掘更多的信息包括不限于就是我收到了这个拿水杯的数据我是怎么拿这个水杯的就水杯在哪然后这水杯长什么样其实它都是一个隐藏在里面的信息如果我们有一些标签在这些信息室上的话我们也可以就这些标签再进行一些学习所以我觉得就是数据集它的标签标注也是非常重要嗯有一种说法是说同样大模型团队更关心在基础能力层面实现Zero shot就是零样本的放话也就是在没有见过具体任务的情况下它仍然能work而不是说我见过这个数据我才知道而机器人或应用导向的团队往往更关注某个具体场景具体本体具体任务能跑通这两类需求本身是完全不一样的你同意这个观点吗我觉得是相辅相成就确实这两个工作的重心可能乍一看没有什么关系但我觉得互相之间是可以相辅相承因为对就是怎么抽象的说呢就是我觉得这些人在研究方面是有两个很大的主题的嗯一个就是他的表现究竟如何做到完满还有一个就是如何在一个全新未知的领域下做出一个像模像样的东西可能这就对应着你刚才所说的一个具体场景场景下的优化做到完满和一个zero shot零样本泛化到一个全新环境而我在实际做的过程中呢时常会感觉到如果你能在一个场景中做得完满你可能可以在其实更多的场景都达到更好的效果这些东西都会帮助你做一个更高质量的模型而更高质量的模型它不只是在你这两个任务上表现得更好它在很多相关或者相似性的问题上它也会表现得更好就具体的任务表现的更好是可以提升模型整体的能力的对这个是我比较坚信的在这样的一个过程中呢你可以说就是对具体任务的具体表现的研究是可以可以可以使这个大模型的整体研究受益同时呢我觉得就大模型在新的任务新的环境下的表现如果能够稳步提升到一个差不多的情况的话你也可以马上开始用一些就是更具体的提升手段我觉得这两个就是互相之间左脚踩右脚踩右脚看看能不能上天吧这个是左脚和右脚一个通用的能力接着上能力一个是具体的任务对你觉得哪个脚可能现在跑得快一点我觉得像在派这样的公司还是很均衡的在发展的因为它是一个非常本源的一个研究型公司它是希望把研究路上的重要的问题都解决了怎么提高这种集围受到能力因为具体场景可能是通过枪梭学习那激热上能力呢我觉得比较明显的一些回答可能是像架构呀架构研究预训练研究是很重要的同时数据也是很重要的你可以看比如说像这些具体场景的数据其实也是能够提升这些大模型的能力的在架构上有人觉得下一代架构可能是世界模型我觉得现在世界模型也没有一个说法说它就一定长什么样大家应该都是在探索就不停地在探索架构到底应该长什么样我每次聊机器人都觉得机器人还好早啊我觉得离我们真正想造的这种星辰大海确实还有一些距离但是能够每天每个月都感到一些稳步的提升这种感觉我觉得在做研究里其实很难得的你是哪一年加入的派啊就是24年24年怕是24年三月创的我是三月跟他们聊了然后6月我毕业就去了你觉得24年和25年过去这两年每一年在机器人领域最重要的提升是
[185:00] 怎么样.我不好说在机器人领域的提升吧我相信肯定有很多其实很重要工作只是我现在不知道而已很常见在研究中只是我自己的体感的话我确实觉得派的主要脉络从能力泛化到表现上来说这条路每次我们走的时候都有一些新的发现新的提升是以前是对一些我觉得领域需要回答的关键问题给了一份就是第一版的答卷吧我相信其实我们做的很多事情也是会不停的在回顾在进一步提升嗯我其实确实觉得有一些我们做的事情也许已经有一些商业化的价值了这个是以前的我可能觉得还有些遥远但现在感觉其实还挺近的比如说工厂嘛这个倒不一定是工厂吧就是工厂是一种可控环境的一个代表因为你可以通过控制环境来让它更适配你现在能做到哪里我觉得这是一个比较自然的一种应用场景我不太清楚这里面的商业价值究竟有多少只是从表现的情况上来说的话我觉得是有应用的可能性的嗯有什么样的任务是24年初做不了24年底可以做的25年初做不了25年底可以做的我觉得二十年初的时候你跟别人说你要叠一个衣服而且把它买垒成一堵而且这个衣服还因为衣服是你很难控制的一个东西嗯二四年初反正我当时觉得点一幅是我非常想做的一个东西但我是不知道能不能做出来然后包括当时就搞箱子还有甚至包括就是在那里做那个桌上清理桌上清理是真的搞了很多就是我们觉得他做不了的东西就是他究竟能不能做当时就已经发现了其实很多没见过的东西他也能做所以当时就已经有很清晰的一种之前的不确定性逐渐变成了一个看得到的成功并不能说保证百分百成功但它是有成功的可能性我觉得这个进步非常的重要然后25年就是首先我们自己做的是派05和派06的新都是在25年做的嘛一个是进到Airbnb里去一个是就是对具体的部署任务要求它的表现提升到一个就是纯靠数据数据很难达到的一个地方我觉得都验证了一些就不管是说你要多少个Airbnb才能在下一个中得到一个好的出事成果还是说你部署的时候到底能不能因为我们是从一个很实用的角度来考虑问题的我们在比如说做folding task做这个dateif task中我们不是说就是我们收了10小时的dateif数据这然后就去硬做枪画学习我们是真的把这个东西做到了我们觉得数数据硬就再说更多数据都没得搞了的情况下才开始想说我们用这个强化学习的方法去搞能不能再进一步我觉得这个frontier是通过做这样的项目摸得更清楚了然后别的公司我觉得也有很多很有意思的事情比如说之前看他们见面来的发布就感觉他们的这种空间的理解和空间的认知而且他们也不是一个单独的Wallax的模型有的是一个更多模态大模型的一个能力那种感受就是哇这个这种空间能力显然对Robotics是非常重要其实他们现在没有一个特别的一个task来展现它我也相信他们将来可能会有一些发展还有可能之前因为做强化学习也会关注一些非常具体的强化学习的项目比如说别人都在用强化学习做一些什么非常具体的问题就不管是在制造业还有组装这些问题我觉得都是很有启发你对2026年在机器人领域的预期是什么有什么可以值得期待的嗯我觉得肯定今年能有更多就是令人比较惊叹的demo出来但是demo本身就是看是一回事就是了解背后的到底是什么进步是另外一回事我觉得今年肯定有就不管是人型来做操控器的任务其实我觉得是挺成熟的一种可以开始探索的一种应用了然后其次就是在模型方面我觉得模型架构应该大家都会就是有些大的变化吧你觉得机器人领域应该跟自动价值领域去对标还是应该跟大模型领域去对标我觉得更像大模型就我其实觉得自动驾驶有比我们难有比我们简单的地方嗯比我们来的地方在于接种驾驶的steak他都潜在危害因子是很大的如果你做出了一个决策那可是人命啊就是是很严肃的一个问题所以他对于表现完满的这个要求是极度的高我觉得在我们这个领域就我们日常生活的一些任务或者说工厂任务的一种商业化道路上我们其实都不需要那么一个级别的完满所以我觉得这个是自动驾驶比我们要难得多的一个部分他们是真的得有一个非常强有力的保证阿尔
[190:00] 对了我觉得他们比我们来说比较简单的部分你看自动驾驶的话它这个控制器的问题其实是结果没有的呀就是我在这个车子上面跑可能现在还有就跑一些雨雪天啊这个路道路泥泞啊这种问题是一个控制系的一个底层控制问题他们更多的问题都是在决策方面就是你下面要怎么开同时他们的决策的空间我觉得相对而言复杂度要稍微小一些吧不像你看我们在这个操纵系的任务里面经常谈到的就是我不仅要就是操纵这个多关节的一个比较复杂的机械必须完成一个任务它要达到这个我想它达到一个地方这个就是一个操组器的问题了你可能载重完以后或者是摩擦力导致的你可能不能完美的去啊贴合你想让它造的地方所以这种操纵性问题是已经比达难一点同时它在决策方面的话你要叠这个衣服你这种手腕的转你到底怎么转到底想怎么转它有很多这种复杂的就特别不一样的一些动作在里面你都得能够搞定所以我觉得这是他的难点好吗不难的点而跟大模型相比呢我觉得大模型是它和我们一起同工之妙就是大模型它可以瞎说他稍微犯犯错了大家都很习惯了嘛你就是会胡说八道对吧我们不会全信你的所以他的这个完满我觉得是不需要做的像自动家神那么的严苛同时呢在这个探索方面我觉得他们就是你看把他们当成一个智能体他们的这个动作空间是输出每个字符也可以说说输出一种策略就他们的动作空间也是一个高度抽象化的就所以需要很多多样性的一个动作空间所以我觉得对于我们现在的机器人来说我们是来讲准是尖的但同时可能目前的发展阶段和大模型更再贴合一些吧我觉得自动压史现在发展的挺好的呀都已经跑上了嘛所以他们更多的就是在如何就是就就是体会完满并且降低成本就其实在高度就是这种策略规划上面的问题就是从A点到B点好像也不需要太多的说什么C点到D点就不行了这种机器人会增加谁神自弃啊嗯在我看来就是一个比较平行化的问题因为现在是有两个问题的特性嗯就是以往的这种路径规划和控制的话可能更贴合现在有某些自动驾驶公司的一个路径吧可以看作是它的一个英勇但现在因为我们已经不再用这种范式的状态另外一种新的范式的探索我觉得就有一点平行空间的感觉嗯对但是互相之间是能学习的因为也有人在用机器学习做增加时我们也会从他的这个他的这个部署的这个体验中得到一些灵感吧就比如说他们如果跑了这么多台车然后拿到了这么一个数字然后他们想要再提升安全性他们是怎么做的他们的一些基础架构包括自动驾驶界其实对于模拟器用的应该是很多的而我们机器人尤其是操纵器还没有这么一个可以让它对等的模拟器的出现这个是不是有一些歧视意义坐驾是模拟器是谁的座我觉得首先几家公司头部公司应该都有自己的都有自己的模仿同时也有那么一两家就是公开的专门做这个的公司你可以付费使用而且自动驾驶的数据量好大所有的机器人公司都在争夺的一个北京新指标是谁能够做出第一个出货的进入家庭的机器人这是一个隐形的大家在争夺的方向我觉得是一个隐形的方向因为家中的问题非常的多和复杂所以如果你不你觉得你lost了你的方向你就想一想我们现在机器人还能不能做家中这个问题应该有很多问题都是做不到的你怎么把它做到就是一种很自然而然的一种想的研究的一种方法家中的问题呢还有好几个难的维度吧我觉得第一个是它的环境的复杂性确实是没有两个人的家和卧室是完全一样的你必须要泛化性过了一个很强的繁华线的保障才有可能就是到了一个新的卧室也能够就是我们现在作为一个叠被子我们承认我们跌位置不是百分百不是说你到一个新的家都能够跌就是因为这个每一个新的环境的复杂度在那同时呢就是家中的任务的动作复杂性很高因为人在家中其实承担了这个家务啊他的各种各样边边管管的东西啊我觉得就是我裂一箩筐可能都裂不完就咱们在这坐个谈个两个小时可能都没给它彻底给他写清楚就是这些动作加上这个环境就已经是给他从这个机器人表现方面提了很高的要求了同时呢他还需要就是家用机器人如果做一个产品商用化来存在的话他对于硬件的稳定性和人交互的安全性也是有很高的要求就是硬件的话我不知道现在有哪家公司的硬件是能够在一个人家里跑个一个月而且不光是就是站着站一个月开机做了各种各样的任务一个月然后可能有一些比如说我平时走路有时候还会给桌子腿办一下就这些损伤
[195:00] 该怎么样去承担去稳定然后并且就是如果你在一个人的环境中和人互动的话也会有很多危险或者说你这个这个可能就是我看特斯拉Optimus情天注我看的最害怕的就是他要是在我家里摔了就我该花多少钱修我家地板呢或者他摔在我身上我岂不是就是那个什么了我好害怕呀所以我看到这样的话我就会觉得其实我们距离一个优秀的form factor一个真正的巨神可以在人身边工作的巨神还是有一点确定的嗯是不是长小点比较好我觉得小就是比如说像雨树的这种G1的这个小孩一样的身高确实就是给我一种他没有那么大的威胁性然后可能他也轻一点就轻就是整个机子清了以后它能做的事情它的耗电量还包括完全学位我觉得都是瞬间就有很大提升但是就是小的话其实他们也会有一些其他的问题吧比如说他这个人情的一个很大的说法就是说你人可以做的事情其实小了以后你有些人做事情你就做不了了那你还怎么用这些人的数据也是另外一个话题了嗯你看今年的春晚雨数非常的火中国的机器人非常火你在大洋彼岸怎么看中国的机器人的发展你觉得它跟美国的趋势相同和不同是什么嗯我觉得...在一两年前想看到这种级别的demo就只是想想而已能看到他真的把它做出来还是非常激动的我觉得他能够做出来就是有算法提升也有硬件实力在里头我觉得这种硬件实力可能是现阶段看中美的产业对比的话最直观地感到中国在这上面是有领导力统治力的就是很难想象有一家机器人公司他组装好了以太基西人安镇里面没有一个零件是中国的我觉得是不太可能真的我对中国有产业链制造业的这个优势实在是太大而且到现在的我都不知道美国人要追的话该怎么追同时呢就是因为这个硬件迭代就可能他拿着现有的算法距离商业落地端已经有就也是有一些优势的还有什么不同吗或者相同我觉得像派一张公司还是比较独特的我都不少说它是一个中美的不同还是怎么就是它是一个很偏向研究的一家公司就是暂时情况下我们应该是完全不考虑商业化因为觉得那可能是一个destruction分析这个其实也是有些历史原因吧我不知道历史原因是什么就是Peter Abil他不是Sergey Le Line的导师吗Peter Abil他是有过两次创业经历的一次他非常成功地做了一个给学生作业打分的一个现在基本美国大学都在用我上大学也用这一套系统然后同时呢他还创立了一家机器人创业公司叫Covariant他在2015年还是16年就创立了这么一个公司说要做机器人的通用的自己学习的你讨论方案而他们公司在发展过程中可能在某个时间点开始就比较深耕这个物流啊仓储啊这些人从大模型开发的角度上来看从回头来看会觉得这其实是对他们开发大模型的一个奋心就因为这个投入虽然肯定是做出了很多成果但是在大模型这边就觉得因为过早的去商业化而失去了就是这种通用方法性反而把精力放在了很多这种商业化的相关事情上没有真的去追溯本源的问题所以派我觉得是有受到这段精力的影响就是比较的强调说我们不要太想这种商业化的事情不要就是为了就是挣钱或者说去把这个商业闭环打通去做很多可能说对研究没有帮助的事情大家还是很纯粹的说我们要做一个研究把它表现做得最好上电话是你可以后面再想我觉得这个和我听说的一些中国公司的逻辑是不太一样的就是中国公司可能从商业逻辑上来说更强调实用主义和商业的回本但即使在美国对派这样的公司在硬件上投入不够或者在硬件上没有优质的话长期来看会不会成为一个问题我觉得这看你是怎么理解硬件的投入和表现的吧我觉得...我们没有无限的钱所以我们在每个方面都投入不够你知道那个OpenAI它现在容额多少钱吗我们每天看这个钱就觉得好眼红哦我们也像有这么多的投入我们有这么多投入以后我们软件变得更好算法变得更好顺利变得更好数据变得更好哪都好所以不够是没有止境的我觉得都可以投更多相对而言的话可能就是现在的产业优势在应接方面是在中国它有很强大的供应链你可以定制一个机器人他有很多的电机的选择呀机器人的形态选择啊都是有比较成熟的一个方案的所以这个是他的优势我觉得大家其实也都有在看就怎么样弄一个最适合自己的机器人的硬件
[200:00] 我觉得这其实大家都在做只是因为缺少了产业链制造业的这一环可能在做的过程中它的迭代速度会变慢啊或者有些事情可能如果你做得更快有更多就是可供你驱使的机械会不一样我觉得这个确实是对迭代的研究的迭代速度肯定是会产生影响但同时另外一方面硬件毕竟不是一个解决的问题就它是一个相对而言可能没有软件那么严重的问题因为现在你搭一个硬件是可以搭起来的你想它做一点有意义的事很难所以这是软件的最大的问题而硬件的话属于你搭起来是可以搭起来动也可以动但是不是说你已经把硬件做完了呀就还是有发展的空间我觉得这个其实创新永远是威士术你不知道有没有可能他做出了一个就是很简单的一种硬件它非常适合现在的算法没人说得清由硬件的历史更好抹平还是软件的历史更好抹平过去几年的发展来看都好磨皮大家永远都是在这样对中国团队来说他其实follow派就好了因为你们很多论文都是公开的是的我觉得我们有很多论文是公开的Google不一定是公开的对吧Tesla不一定是公开但是他们可以follow你们Google就算公开了你想追上Google你还得先顺一个像Gamonite这样尺寸的大模型出来这已经是一个bar我觉得同样的逻辑也适用于像派这样的公司随着公司不断的积累就算告诉他怎么做的你不一定有那么多东西可以找可以去就是可以去给它match上但是但是竞争永远都是存在的我相信肯定就还是有人能够一样match上然后境界方面的话我觉得其实你看美国现在的产业链你会觉得这个硬件哎 简直就是不知道该怎么说了你只能寄希望于创新了你们公司其他人会很关注中国机器人的发展吗我觉得都很关注这是一个不可忽视的一个部分像比如说你们最近会讨论关于中国的什么话题呢比如说语书春晚那个表演我们就在这个公司的群里面发了呀大家就会讨论啊说这个东西可能是怎么做的呀甚至最近的读书会我还想说要不要请一些这方面的专家的朋友来给我们讲一讲因为不怎么做人形也不怎么做这个local motion问题也可以请他来教一教我们这个东西里面发展是怎么样的我觉得这些都是都是大家会不停的去看到更新更好的东西然后去学习去看看有没有启发可不可以用到我们现在做的事情上面不管是帕海其他公司应该都是一样的他们是怎么做的你们从外部视角看他们是怎么做的吗嗯这个确实最近有几篇新的论文出来可能可以解释他们的一些做法啊我不知道你知不知道呃石冠亚是一个CMU的教授他之前在华大都不是后的时候和他成为了朋友从他身上学到了很多local motion的一些东西他们组组已经发了这个Omni Target我们可以从早期发展稍微梳理一下大概是在1819年那会儿我稍微关注过一下他们是怎么做的很多时候呢是希望他走路然后走路可能有一个步态所以你就把它分成可以简单粗暴的分为一个high level高层的告诉你我大概想让你变成这个样子和low level去执行我怎么样变成这个样子步态的话可以是一个走路可以是一个红帆可以是一个跳舞而执行端的话他以前可能就是不停的去控制现在的话可能可以配合强化学习来达到你想要的这个步态嗯谢谢大家强调学习很重要强调学习在local motion界确实取得了相当大的成功你觉得美国对硬件的投入够吗重视渡工吗嗯我觉得很多在美国的从业人员应该都会同意说我们的硬件还有很大改进空间那特斯拉是怎么做到的呢特斯拉首先它很神秘啊我们其实并不清楚它的硬件里面的技术细节嗯他不会和我们说这些事情你说的是机器人是吧他还有车呀他在美国硬件做得很好而且是有一个笑话我不知道是不是真的只是一个笑话说特斯拉最牛逼的工厂是在上海开的怎样就是高好相对而言确实它是已经有一部分是教育的吧我觉得这个和这和美国教育体系也是有关系的呀你看他的教育里面的专业和就业途径他这个产业的以往的缺失也导致了他这个专业就不会火没有那么多人学那就缺失了一批人才那他怎么样去弥补这个事情是很难的不是一两年就可以投入回去的我觉得他现在可能更多的是说很多移民是不是一些类似的技能他必须是一个移民国家可不可以通过所以引进这些缺失的人才补上一些产业链但美国这地方就是修了地铁战斗修了这么多年它究竟都是什么事情我们也不好喷啊你觉得人工智能最后会拥有意识吗机器人会拥有意识吗好抽象的一个命棋啊你知道每次当我看到什么有一个机器人
[205:00] 那一是觉醒了他要毁灭人类我都想说这真的很希望有人给我解释一下意识是怎么诞生的因为我们只是一些就是生活学小白但是会去听一些这种科普啊就非常想搞明白怎么样就从一些好这个物理啊化学啊这堆东西里面突然就带成了意识这么一个我都不知道还是怎么代表出来的一个东西嗯我觉得如果我们认为机器人产生的意识是像人类这样的意识的话我其实因为有点悲观了我想说就是这真的有可能吗但是如果你把意识定义的很宽泛就比如说我现在跟AI聊聊天他给我的感觉是他像个人他就够了的话那你也不能说他没有意识嗯但是也许在将来就是大家可能更期待是一种我也不知道他太智能了吗所以他显得像有意识就真的是对我来说讲不清的一个话题但是是科幻小说非常好的一个素材机器人种族会是什么样的呀我觉得机器人种族可有意思我其实一直很想做的就是机器人可以造自己我觉得这个是机器人发展的一个可能会是一个里程碑吧因为它就像一个种族是有延续性的是可以通过自我的一种繁殖我觉得机器人能够组装造自己就是一种繁殖的体现所以这也是我非常想做的一个可题也是我当时去找教主的时候我就说我是非常想做这件事情的机器人的种族我觉得第一我非常喜欢就是机器人哪里坏了就可以修你看我之前这个拍眼摔了以后就是因为这个某一个部位受伤就得在家待着很久而机器人就可以换掉呗换掉然后可以拆然后可以改变形态我觉得这是一种非常自由自在的一种存在方式然后机器人想咋样就咋样对想咋样就咋样甚至你可以就是像特休斯的传那个希腊故事一样我把这个机器人从头到脚都换成了另外一个零件甚至模型也可以换它还是原来那个器人嘛其实在我们公司的发展过程中就是有这种本来是有编号的就是这是一个机器人它的编号是这个然后通过不断的修和改它已经完全不是原来那个它了他好像跟那个原来他的唯一联系就是他们编号是一样的但是里头全都换掉了我们就说要不要给他起个新的名字啊不然好复杂还经常要说这个机器人在某个时间点前是这么个东西后面是这么个东西机器人种族我觉得也许是会成为机器人种族的一个伦理的就是之前什么我的上一辈做了这个事情跟我没有关系因为我们已经从头到脚的没有一个零件是一样的机器人了然后这个伦理审查委员会就来看这个机器人是不是真的从头到脚里面每一个零件都是换新的谢谢大家你觉得机器人种族是人族的延续吗机器人会是人类做最后一件事情吗最后一件事情我确实希望我们做的很多事情是可以提升生产力使得你可以做到很多原来需要人做的事情然后你一个人就可以做但是我相信人类的创造力是无穷的好我不觉得我们活着是为了提升生产力我觉得我们活着更多的是谢谢大家爱与死吧这文学作品中永恒的话题我觉得其实是在一个生产力高度发达的年代应该也有人想要做一些不一样的东西想去探索一个还没有做出来东西该怎么做所以我不觉得机器人会是最后一个造物但是延续我就是觉得一个比较浪漫的想法是虽然我们生命是很短暂的只有100年放在就是人类历史放在宇宙历史上就是微小到不值的一体但是是不是有可能造出一个东西他可以看到宇宙的镜头看到宇宙的镜头嗯我不知道这个时间跨度是多大但是可能我们活不到那个时候了Motion Learning这种方法机器学习这种方法来训练机器人因为你也说到它跟上一代人非常的不一样它是一个黑盒你觉得在这种训练机器人价值观背后让你对与人和机器人有什么新的感悟没有嗯它是黑盒但是它因为是从一个数据出来的东西它是有限制的它是Bounded bythe objective that you define它是一个很数学化的一个东西所以它虽然是一个过于稀的对它是一个构成无法理解的黑盒但是他是在数学早链上可以解释的一个东西我觉得在训练机器人的过程中谢谢大家有什么感悟的话可能一方面...谢谢大家好谢谢大家就一方面会觉得我确实就是能够发挥我这个特别想偷懒的天性吧如果一件事情可以让机器人来带我做我会想方设法让几个机身来帮我做就不就挺好的就是你有个智能体
[210:00] 其实还没有到完全解他已经可以做些事情我就想办法把这个事情给利用起来来提升我的生产你可以让我少干点活我觉得这个是我对于人类文明的偷懒我甚至可以暴论一下是不是偷懒就是人类文明一个本质的追求就提升生产力和偷懒是一个东西然后其他的话我觉得在很多时候在我现在的工作中是没有什么人文的存在或者说因为我每天讲的是一些非常物理化的科幻化的一个东西我也会感觉就是我会和一些其他搞人文的小说创作艺术创作一些朋友聊天他们也会很好奇问问这个机器人的进展我也会很自己作为一个用户的好奇吧是不是有一天我们创造出的这些智能体啊它也能够进行某种意义上来说超越他的就是离开了他的创作者就是我们的一些创作那天会发生什么我不知道一直他会搞一个二维码然后他们每个人都觉得每个机器人都觉得这个二维码没机了然后你在这里看了以后就有一种不明所以的感觉好当机器人有一天实现了你准备去干嘛实现了先想说吧回家写小说做一个游戏创造一个非常能贴合我的喜好的一个故事把它分享给别人看看有没有其他人喜欢这个东西罗贝尔文学奖看看充击一下啊嗯嗯你现在脑子里有这样的一个故事吗我觉得是构思小说确实是一直没有停止过的,写不写出来是另外一回事,托更是经常有的,但是构思一些故事,不管是和我们现在生活非常贴切,还是说非常天马行空的想象,真的机器人解决以后的社会形态是一直都有存在的。就包括就是生产力极大的爆炸以后一个人就假设在现在这个年代就有生产力极大爆炸的话哎那确实就可能就家里就终于不用被前来看望的爸妈吐槽说你家里怎么这么乱这么脏就可以不想干的事情都可以丢给别人干丢给别的机器人去干然后呢也可能会就是比如说现在在艺术创作中比如说朋友会去做一些销售模一品就我觉得可能就更多的是你有这个概念然后你可以把这些知情端的事情全部有交给机器人来完成我觉得这些也是一个方向然后可能更远一些的生产力爆炸可能有个资源以后自己可以造一个城堡去到哪个乡村去景区你看网上有些古堡拍卖啊才几万美金这个就可以买一个什么两百年没有修过的古堡你现在没有人买是因为太麻烦了要修要找很多专业我觉得就是一个很有意思的特点可能是现在社会里面很多工种是一个特殊的工种你花了很多你作为人的这个时间去锻炼一个技能然后你有很多的知识但机器人或者人工智能它作为一个大模型或者通用的一个东西它是可以随时的切换比如说将来可能修房子都真的就是有两个修房子机器人他们什么都能做让他们可以互相配合就把现在需要找不同工种我们完成的这个事情给干掉了可能我们现在做研究也是有点类似的你以前可能做研究会找一个专门的这个A人负责这个东西他可能有些洞察力但你现在就问同一个模型他可以达到所以我觉得将来就是如果每个人都有可支配的一些就是这种通用生产力而且每一个具体的任务他又都是专家级别的话那就是真的能够到达生产力爆炸能够做很多现在想都不敢想的一些事情可以创造更好的游戏和小说了哦你喜欢的小说的世界观是什么样的呀有两类吧第一类是在一个完全不同的科幻环境下探索了一些人缘身的关系第二类是一个拿着一个魔幻的题材但是把它放到了我们现代的生活之中举个例子的话可能第一类之前看过一个修真小说但是是在宇宙里搞科技发展嗯就很抽象这个这个命题讲出来我都觉得好像很乱七八糟的样子但他其实探索的其实是一个嗯就是就是女主角作为这个穿越者来到了这么一个未来的世界感受到这未来世界的这个社会制度以后她想要改变这个制度她做的很多事情我觉得这个是和我们非常遥远但是在未来也许有一天某一个人就会有这样的一种一种困境一种英雄的旅程什么样的社会制度把它改写成什么样的社会制度在他那个社会制度里他有很多性别对立里面所存在就是男性和女性的分工完全不一样女性的分工呢是因为他们所拥有的一些就天生就有一个就是自己的一个宇宙空间所以他们被塑造成了一种类似看起来似乎是女尊的一种世界里
[215:00] 但实际上女主不觉得这是一个好世界毕竟她也是从我们这个世界出去她可能天山就不认同这种世界观但在那个已经成型的社会观里面每个人上来要做什么事情都是从小到大的细节教育观点社会塑造非常强烈的他想要反抗这样的社会塑造他想要创造一个大家就可以自由选择的一种东西他在这里如何就是召集盟友就是让大家愿意追随他和他一起做这个事业是一个很有意思的日程拜拜然后嗯另外一些的话就是这类似的这种科幻小说我看的还挺多的就是非常喜欢这种然后另外一类的话我觉得就是魔幻主义吧比如说看这个现代社会打工人怎么又兼职武林王主就是有一种就是两种完全不同的世界观的碰撞一方面是一个你生活息息相关的好的地方你都能理解痛的地方你也能感受到另外一方面是一个你可能小时候会喜欢的那种跟我们八竿打不着的一种完全不同的世界但是在一部作品里面把两部世界融合在一起让你感受到他们之间的一些共同性还是挺有意思的嗯比如说我之前因为经常打游戏打网游然后网游里面可能是需要组队的就担任了一段时间的队长去负责组队沟通还有处理一些鸡毛蒜皮的事情或者说团队的时候进度遇到了问题你需要去安抚或者说给大家打鸡血这其实跟现代公司的这些项目管理是有非常多一举同工之妙的你是虚无主义的信仰者吗我觉得什么理解吧虚无主义我觉得我很难在看到一个具体的意义的陈述的时候认同它人或者是为了什么我觉得是一个无解的命题所以当别人可能会试图说服我说某个东西很有意义的时候我老师想要打破砂锅问到底我就会能够得出一个结论就是其实没有什么意义所以这是我稀有主义的一个部分那人活着的意义是什么呢就没有意义了我觉得不需要回来这个问题那每天激励你过每一天的内心的那个动力是什么呀我觉得从某个意义上来说我是很幸福的因为我在做自己最想做的事情所以你是没有预期也没有目标我还挺喜欢乔布斯之前的讲话人生有可能是有很多点当你在走过的时候他们看上去毫不相关但也许有一天他们是可以连起来的线啊我并不觉得我走的每一个点需要一个马上就能阐述得清楚的目标来驱动但是在某种意义上来说现在我的人生的图景走到今天已经能看出一些奇奇怪怪的点脸成了一条线形成了我这个人的你能对未来有某些点的预测吗点的预测就未来时空的一些可能性的预测我的这个人的点的预测我这非常想做一些就我比较感兴趣的课题啊并且希望把它们做成一个就是五年前我想都不敢想的东西我觉得如果能做到这个我会非常快乐所以这是我在接下来五到十年的一个期望也有可能就是技术发展的非常快我也想开始做一些更加落地的项目因为觉得这个东西好玩我觉得预期是无穷的但是最后随着时间的推演你会把这些东西收敛到一个更加确定的道路上所以我很难现在给你一个我以后要去做这个我反而都说如果做这个就会很好这种思想是更多的就在工作中我们是非常确定的夏古所这一院那我们进入最后的一些问题我们会请每一位嘉宾推荐一份一本人生之初要真的对你的人生有过非常重要的影响你会推荐哪一个嗯觉得有非常多的书都影响到了我但是现在可能偶尔会思考的这本是 distinct about嗯Construction of Social Taste它是一个法国哲学家写的一本关于这个社会的阶层和每个阶层的这个喜好就包括人生活中的衣食住行方方面面他认为是有很多是经由现在的社会所塑造的我为什么推荐这本书是因为我觉得就是通过看这本书让我对于我所喜好的一些东西和我有多少喜欢是我自己喜欢有多少喜欢是社会的塑造的喜欢产生了更多的认知而在现在这个社会在硅谷我觉得是充实着一种对于生产力的崇拜的就是也许我们没有这个书中
[220:00] 所描写的那个社会的那种就是贵族的打这个球呀骑这个马呀是一种更高贵的运动在那个年代他们可能会追求一些我们现在不太认同的就是价值观什么是更好什么是更什么是没有那么好但我们现在其实我觉得也是有一种新的价值观甚至我觉得这个价值观也只是一个变化中的缩影我觉得这是我的人文主义的东西在告诉我虽然我是在工作中这么热衷的去优化生产力虽然整个硅谷他已经放弃了什么对衣服啊对穿着啊的这些讲究它讲究的是什么效率讲究的是这个精简讲究的是创造它何尝不是这个社会价值观的一个部分呢你小时候想离开家乡想远离家乡然后我觉得是非常好奇外面的世界有什么来到外面的世界那在今天此刻你在硅谷因为今天的硅谷其实是统治化的它是高度竞争的高度竞争的你有什么想法反抗的吗我时常觉得这是一个很有意思的点小时候搞竞赛吧会学到一些算法贪心算法核动在规划算法是两个常备放在一起比较的东西它计算法就是说我在每一个时间点上我都要做最优化的一个决策我要做当下的最好而动态规划算法呢就会告诉你就是如果你有些全局的视角你就会发现每一步都做最好的决策并不能让你达到全局的最优解我是非常的喜欢这一个逻辑的信息了所以很多时候我觉得就像赛光师嘛殷之霍福吧一时的成功失败还有优化还有没有做到极致其实并不能代表着长期最后的结果因为我们没有一个人有着全能全知的视角所以即使是在追求优化的道路上我有的时候觉得就做了九分留一分是可以的而我自己的这种求学路程啊跟我一样的东西啊可能也在很多人看来就是从来不把事情做到最后我觉得也许机器人会是我第一次觉得我们得把这个事情做到最后但之前的那么多没有做到最后的东西才让我走上了今天这条路我觉得这个和硅谷这种很多时候很多人都是从很早之前就走上了同一条路一直在上面竞争是有一些本质性的不太一样的一个全球范围内你喜欢的食物谢谢大家谢谢大家我们希望在这个人工智能快要来的时候留下一些人类的日常生活的印记一个全球范围的你喜欢的地点地点吗?我...我非常喜欢爱丁堡这是我在英国留学的短暂的半年里应该是最喜欢的城市了嗯可能以前的我因为比较喜欢一个人待着呀而且其实现在大都市很多时候是一样的就没有那么的感受到我走入了一个完全不同的物理空间我整个人的状态都会发生如此大的改变因为爱丁堡这个城市有非常多的古建筑也保存的非常好并且它也没有那么多就是大都市的那种喧嚣感吧就它甚至有点像旅游城市大家都是去看那个古堡的但是在那种城市有一种迈下来的感觉有一种就是思考人就是历史这么沉重的一个东西放在你眼前然后你在这种转瞬的一瞬间你想做一个非常大的一个动态一个变化但是就在这些城中历史面前这个动态变化究竟最后会去哪里你是不知道的只是站在城中之里只是站在这个历史的遗迹这个地方能感到一种就是很安稳的感觉吧所以是我非常喜欢的一个地点一个少有人知道但是非常重要的知识点我可以讲一些就是生理知识相关的吗可以对这个是我上大学的时候和朋友聊天才发现的就是我女性朋友们可能有一些误解,觉得嗯就是有一个叫处女膜这个东西它会在就是第一次的时候会破裂会流血就变成了一个就是大家非常相信的一个真理了但其实在医学方面它是有一个医学的名称叫做阴道瓣它并不是意味着你的这个第一次体验也并不一定会流血这是一个我当时和朋友沟通我们也是恶补了一下这些生理知识才发现我们对于自己的身体构造有着这么多的缺失在你看来影响机器人进程的论文谢谢大家
[225:00] 好多的我啊其实GPT也极大的影响了机器人的进程呢嗯真的有太多的我我觉得很难就是一个吧我觉得从数发展上来看的话最近影响很多就包括这一代模型的电机比如说像Diffusion Policy啊这种就扩散式的还有之前就是Transformer ACT这样子开始用这个Transformer架构做还包括更早我觉得有很多对模仿学习和情话学习的本原性研究都影响到的就是现在大家在做什么基于当下的认知一个关键的重要的BET是什么我觉得其实我们进入家中形式是更多一些探索形式没有那么的远吧by bwd6比如说机器人进入家装对比我一开始想象的可能要近一些我们工作室叫语言及世界工作室当你第一次听到这个名字的时候你在想什么语言及世界我可能下意识的就是把它诠释成了语言就是全世界然后我就会有一些跳跃的想到这不就是刚中之脑吗就是咱们其实生活在一个有所有感官连接的一个东西就是你所有感官就掌握着你对这个世界所有的认知完全也可以想象我们活在一个巨蛋的模拟器里你的眼睛鼻子耳朵都插了一个信号源的这个信号源想跟你输什么就输什么各位现在研究期间研究期的话大家会说就是大语言模型它是一个纯语言交互的就之前的那一代纯语言交互的话它是不是不能理解真实世界不能够把它所听到的一个概念而放到正式世界中就是这么也是一个水杯这个水杯其实有很多物理性质都不能够卡丘不能够去捕捉不能用言语去描述我觉得也是这样的反思变相促成了多模态的研究吧所以我们生活在一个巨大的模拟器里面吗如果模拟器就是世界的话那好像模不模拟没有什么差别微信主义我以为你好了今天的节目就是这样这里是商业访谈录是一档由语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界Language is world也欢迎你在小宇宙的评论区与我们有更多的互动我们希望和你一起从这里探索新的世界
