丰田研究院推扩散策略训练机器人拟2024年底前掌握千项技能

Toyota Research Institute

丰田研究院结合触觉遥操作与扩散策略，通过夜间离线训练赋予机器人复杂操作能力，并押注在海量基础技能积累后实现大行为模型的自主泛化。

AI-assisted summary of Teaching Robots New Behaviors — original source. Check the original for full context.

Source published: 2023-09-19

Key ideas

丰田研究院（TRI）基于生成式 AI 技术扩散策略（Diffusion Policy），实现了仅需少量远程示教与数小时后台训练即可让机器人掌握灵巧操作的能力。 (0:09)
机器人学习周期大幅缩短至“下午示教、夜间训练、次日掌握”，目前已成功掌握包括削皮、倒水与翻松饼在内的 60 多种复杂行为。 (1:26)
触觉感知反馈成为机器人处理视线遮挡及盲区物理交互（如平底锅表面贴合）的关键技术支撑。 (1:26)
TRI 计划在 2024 年底前将技能库扩充至 1,000 种以上，并通过舰队学习（Fleet Learning）工具实现技能在机器人机群间的即时共享与分发。 (2:19)

Detailed notes

## Background 该视频由丰田研究院（Toyota Research Institute, TRI）于 2023 年 9 月 19 日发布在 YouTube 平台上。视频简介指出，TRI 公布了一种通过人类演示让机器人快速掌握精巧操作行为的全新方法，并阐述了这项新能力的关键意义、技术突破以及未来的研发方向。

## TL;DR 丰田研究院介绍了基于生成式 AI 技术“扩散策略（Diffusion Policy）”的机器人训练新突破，旨在构建类似大语言模型的“大行为模型（LBM）”。人类研究员只需进行少量远程操作演示，配合提供盲区交互力感知的触觉传感器，机器人经过数小时离线训练即可掌握削皮、倾倒液体或翻松饼等复杂技能，目前已学会 60 多种行为。团队正打造涵盖仿真训练与“舰队学习”的系统化大纲，计划在 2024 年底前让机器人掌握上千种新动作，最终实现未受训新任务的自主通用泛化。

## Atmosphere & style 整段视频洋溢着前沿科技突破带来的严谨与振奋感，叙事风格沉稳而笃定。研究人员以亲历者的视角，将高深的生成式 AI 与“下午教、次日成”的从容日常形成反差，翻松饼等真实生活场景的成功演示极具说服力。言语中流露出面对技术飞速演进的真切敬畏与欣喜，让观众深刻感受到机器人工程正迎来黄金时代的澎湃动能。

## Bulletin - [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) 丰田研究院（TRI）基于生成式 AI 技术扩散策略（Diffusion Policy），实现了仅需少量远程示教与数小时后台训练即可让机器人掌握灵巧操作的能力。 - [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 机器人学习周期大幅缩短至“下午示教、夜间训练、次日掌握”，目前已成功掌握包括削皮、倒水与翻松饼在内的 60 多种复杂行为。 - [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 触觉感知反馈成为机器人处理视线遮挡及盲区物理交互（如平底锅表面贴合）的关键技术支撑。 - [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) TRI 计划在 2024 年底前将技能库扩充至 1,000 种以上，并通过舰队学习（Fleet Learning）工具实现技能在机器人机群间的即时共享与分发。

## Key takeaways - [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) TRI 的核心愿景是让机器人成为家庭和工作场所中人类能力的放大器，具备高柔韧性、鲁棒性与通用性。 - [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) 引入扩散策略（Diffusion Policy）生成式 AI 技术，显著减少了机器人学习所需的人工示教次数与训练时间。 - [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) 扩散策略被视为构建大行为模型（Large Behavior Models, LBM）的关键基础，有望重现大语言模型带来的颠覆性突破。 - [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) 新技术打破了以往抓取-放置（Pick and Place）等简单任务局限，无需重写代码即可支持工具使用、倒水与削皮等复杂任务。 - [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 机器人示教流程轻量化：人类操作员通过遥操作演示少量次数，算法在夜间完成离线训练，次日清晨即可投入使用。 - [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 触觉反馈在物理交互中不可或缺，尤其在工具与环境接触面被遮挡（如铲子翻松饼）的盲区操作中起决定性作用。 - [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 依托该方案，TRI 机器人目前已成功习得超过 60 种不同的精巧操作技能。 - [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) TRI 正在构建“机器人幼儿园”式的系统化教学大纲，期望通过海量基础技能训练实现机器人对未示教任务的通用泛化。 - [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) 技能扩展路线图规划激进：目标在年内掌握数百种新技能，并在 2024 年底前突破 1,000 项新行为。 - [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) 团队将真实世界演示与仿真技术（Simulation）相结合，进一步加速算法训练与策略迭代。 - [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) 借助舰队学习（Fleet Learning）机制，单台机器人习得的新技能可以瞬间同步至整个网络机群中。

## Detailed walkthrough ### [00:09](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=9s) 扩散策略与“大行为模型”的突破

丰田研究院（Toyota Research Institute，简称 TRI）始终秉持一个核心愿景：机器人应当在家庭与工作场所中充当人类能力的放大器。为了让机器人变得更加柔韧、鲁棒且具备通用性，TRI 取得了关键的技术突破，推出了一种能够快速且轻松地教会机器人灵活精巧技能的全新方法。该方法基于一种被称为扩散策略（Diffusion Policy）的强大生成式 AI 技术。与以往的研究相比，新技术不仅大幅缩短了教学周期，还极大降低了所需的人工演示次数。TRI 认为，这项技术在构建所谓的“大行为模型”（Large Behavior Models, LBM）方面蕴藏着巨大潜力。正如视频中所强调的那样：

> “大规模言语モデルがチャットボットに変革をもたらしたようにこのような行动モデルによってロボットは今までできなかった方法で役立つ作业ができるようになります”

过往关于机器人抓取与操作的研究，绝大多数仅仅局限在简单的“抓取-放置”（Pick and Place）任务上，所涉及的操作对象也相对单纯。而 TRI 提出的全新方案打破了这种局限，力求将机器人硬件的极限性能榨干。现在，机器人已经能够自如地使用工具、倾倒液体以及给蔬菜削皮。尤为关键的是，机器人能以如此丰富多变的方式与真实环境交互，背后既不需要开发人员重写代码，也不需要通过传统手段显式编程输入新技能。

```mermaid flowchart TD accTitle: 扩散策略与大行为模型架构流程 accDescr: 描述从人类演示到生成式AI训练并最终形成大行为模型的流程

subgraph Phase1["演示与采集"] A["操作人员远程示教"] --> B["触觉与动作数据采集"] end

subgraph Phase2["AI训练"] B --> C["扩散策略 (Diffusion Policy)"] C --> D["后台数小时离线训练"] end

subgraph Phase3["行为泛化"] D --> E["大行为模型 (LBM)"] E --> F["丰富日常技能: 削皮/倒水/翻松饼"] end ```

[01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 触觉感知赋能的教学流程与翻松饼实验

依托扩散策略，TRI 已经成功向机器人教授了 60 多种截然不同的复杂行为。整个教学过程极其轻便高效：首先由一名人类“教师”通过远程操作设备向机器人进行少量的动作演示；随后，AI 算法在后台利用扩散策略进行数小时的静默训练。TRI 团队将这种日常的工作节奏描述得非常从容——“午後ロボットに教え一晩かけて学習させると翌朝に新しい動作ができるようになっているというのが私たちにとっての通常の手順です”。

为了支撑如此高水准的灵巧操作，从底层硬件到上层软件的每个细节都经过了精雕细琢。其中一个最为关键的核心要素，是为人类示教者配备了搭载触觉传感器的遥操作装置。研究发现，正如人类依赖触觉一样，触觉反馈对于机器人的策略学习具有不可替代的作用。最典型的例证便是“翻松饼”任务：

```mermaid flowchart LR accTitle: 触觉感知在翻松饼任务中的作用对比 accDescr: 展示有无触觉反馈在盲区交互中的表现差异

subgraph WithoutTactile["无触觉感知"] A1["视野被松饼遮挡"] --> B1["无法感知锅底接触力"] B1 --> C1["铲动失败/任务崩塌"] end

subgraph WithTactile["引入触觉反馈"] A2["环境交互力感知"] --> B2["精准贴合锅底滑动"] B2 --> C2["平稳成功翻面"] end ```

在翻面过程中，铲子下方被松饼遮挡，机器人必须依靠物理接触去“摸索”看不见的平底锅表面。研究人员指出：

> “触覚が無ければロボットは苦戦し上手くタスクをこなせませんしかし環境との相互作用を感じられるようになることでスキルの習得に成功します”

- 机器人学习周期：下午示教演示，夜间后台训练，次日清晨即可执行新动作。 - 触觉反馈的作用：在视线受阻的盲区操作（如锅底贴合、工具切削）中提供决定性的交互力感知。 - 已掌握技能数量：目前已涵盖超过 60 种不同的精巧操作任务。

[02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) 机器人“幼儿园”、群体学习与未来愿景

目前展示的成果仅仅是一个序幕，TRI 的真正重心在于实现完整的大行为模型。团队预判，机器人领域的下一个重大突破将发生在让其掌握“足够数量”的技能之后——届时机器人将实现质的飞跃，获得强大的通用泛化能力，能够自主执行从未被示教过的全新任务。为了实现这一跨越，团队正在构建一个循序渐进的系统化教学大纲，就如同开办一所“机器人的幼儿园”一样，旨在教会它们海量的基础技能，从而在未来能更好地与人类协同工作。

TRI 制定了激进的发展路线图：计划在年内教会机器人数百种新行为，并在 2024 年底前将这一数字推进到一千种以上。为了强化实体世界中的数据训练，团队还同步引入了仿真模拟技术作为有力补充。此外，TRI 正在开发“舰队学习”（Fleet Learning）的基础工具：一旦某台机器人学会了一项新技能，该成果便能瞬间共享给整个机群网络。

面对技术的突飞猛进，长期从事机器人研究的发言者由衷感叹道：

> “ほぼ毎日私はロボットが前日できなかったことをやっているという新しいメッセージで目覚めますロボット工学者にとって素晴らしい時代に突入したと言えるでしょう”

- 技能扩张目标：计划在年内拓展至数百项新技能，并在 2024 年底前突破 1,000 项新行为。 - 技术协同方案：采用现实演示与“仿真技术”（Simulation）相结合的方式加快学习。 - 群体学习机制（Fleet Learning）：单机习得技能后，可通过中央工具即时同步分发至所有机器人。 - 研发感悟：甚至仅在一年前，研究人员都无法想象机器人能拥有如此惊人的灵巧度，技能迭代速度堪称日新月异。

## Notable quotes > [01:26](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=86s) 触覚が無ければロボットは苦戦し上手くタスクをこなせませんしかし環境との相互作用を感じられるようになることでスキルの習得に成功します — 研究人员

> [02:19](https://www.youtube.com/watch?v=w-CGSQAO5-Q&t=139s) ほぼ毎日私はロボットが前日できなかったことをやっているという新しいメッセージで目覚めますロボット工学者にとって素晴らしい時代に突入したと言えるでしょう — 发言者

## Mentioned 丰田研究院, TRI, Toyota Research Institute, 扩散策略, Diffusion Policy, 大行为模型, Large Behavior Models, LBM, 舰队学习, Fleet Learning

## Video description The Toyota Research Institute is unveiling a new approach that allows a robot to acquire new dexterous behaviors from demonstration. We’re going to walk through why this is a critical new capability, what advancements have made this possible, and where we are going next.

To learn more please have a look at the technical details in our Medium blog post: https://medium.com/toyotaresearch/tris-robots-learn-new-skills-in-an-afternoon-here-s-how-2c30b1a8c573

[Source](https://www.youtube.com/watch?v=w-CGSQAO5-Q)

中文简报

丰田研究院推扩散策略训练机器人拟2024年底前掌握千项技能丰田研究院结合触觉遥操作与扩散策略，通过夜间离线训练赋予机器人复杂操作能力，并押注在海量基础技能积累后实现大行为模型的自主泛化。丰田研究院介绍了基于生成式 AI 技术“扩散策略（Diffusion Policy）”的机器人训练新突破，旨在构建类似大语言模型的“大行为模型（LBM）”。人类研究员只需进行少量远程操作演示，配合提供盲区交互力感知的触觉传感器，机器人经过数小时离线训练即可掌握削皮、倾倒液体或翻松饼等复杂技能，目前已学会 60 多种行为。团队正打造涵盖仿真训练与“舰队学习”的系统化大纲，计划在 2024 年底前让机器人掌握上千种新动作，最终实现未受训新任务的自主通用泛化。丰田研究院（TRI）基于生成式 AI 技术扩散策略（Diffusion Policy），实现了仅需少量远程示教与数小时后台训练即可让机器人掌握灵巧操作的能力。 (0:09) 机器人学习周期大幅缩短至“下午示教、夜间训练、次日掌握”，目前已成功掌握包括削皮、倒水与翻松饼在内的 60 多种复杂行为。 (1:26) 触觉感知反馈成为机器人处理视线遮挡及盲区物理交互（如平底锅表面贴合）的关键技术支撑。 (1:26) TRI 计划在 2024 年底前将技能库扩充至 1,000 种以上，并通过舰队学习（Fleet Learning）工具实现技能在机器人机群间的即时共享与分发。 (2:19)

Reading summary

丰田研究院（TRI）利用生成式AI的扩散策略（Diffusion Policy）与触觉反馈技术，使机器人能够摆脱传统手工编程，快速习得多项复杂精巧技能，并以此作为构建“大行为模型”（LBM）的基础路径。基于扩散策略的大行为模型探索 (0:09) TRI旨在将机器人打造为家庭和工作场所中人类能力的放大器。为了打破传统机器人仅能执行简单“抓取-放置”（Pick and Place）任务的局限，团队引入了生成式AI扩散策略。该方法大幅削减了人工示教成本与训练周期，使得机器人能够在使用工具、倾倒液体与蔬菜削皮等任务中自如应对。整个操作流程无需开发人员重写代码或进行显式编程，TRI认为这一突破预示着机器人领域正在迈向类似于大型语言模型革新的“大行为模型”（LBM）时代。触觉感知与高效率教学闭环 (1:26) 在教学流程上，人类操作员通过配备触觉传感器的遥操作装置向机器人输入少量动作示范，算法随后在后台通过扩散策略进行数小时的离线训练；这种工作流让团队能够实现“下午示教、夜间学习、次日清晨掌握新动作”的高效节奏。目前机器人已学会超过60种复杂操作。其中，触觉传感在视觉遮挡场景中起到了决定性作用。例如在“翻松饼”实验中，铲子底部的动作完全被松饼阻挡，机器人必须依靠物理接触感应锅底的滑动阻力与相互作用力才能顺利翻面，缺乏触觉反馈则会导致任务失败。技能规模化累积与群体学习架构 (2:19) TRI正在通过构建类似“机器人幼儿园”的系统化教学大纲，推动技能从量变走向质变，以期机器人在掌握海量基础行为后能自主泛化执行未曾示教过的任务。团队制定了明确的时间表：计划在年内将技能库拓展至数百项，并在2024年底前掌握超过1000种新行为。为了支持这一规模，TRI结合了真实演示与仿真模拟技术，并正在开发“舰队学习”（Fleet Learning）工具，确保单台机器人习得的新技能能够瞬间网络分发并共享给所有机群设备。研究人员指出，机器人的灵巧度迭代速度在一年前尚无法想象，但通用大行为模型的完全确立仍依赖于技能储备跨越临界规模后的泛化验证，以及仿真与真实机群学习工具的协同落地。

Source quotes

[1:26] 研究人员: 触覚が無ければロボットは苦戦し上手くタスクをこなせませんしかし環境との相互作用を感じられるようになることでスキルの習得に成功します [2:19] 发言者: ほぼ毎日私はロボットが前日できなかったことをやっているという新しいメッセージで目覚めますロボット工学者にとって素晴らしい時代に突入したと言えるでしょう

Original transcript

[0:09] ここTRIではロボットは家庭や职场で人の能力を拡张させるものであるべきだと考えています [0:14] そのための最先端の研究に取り组んでいますロボットをより柔软ロバストで泛用性のあるものにするために [0:20] 私たちはブレークスルーを成し遂げました [0:22] 今回ロボットに器用なスキルを素早く简単に教示する新しい手法を绍介します [0:27] ディフュージョン・ポリシーと呼ばれる强力な生成AI技术に基づく手法です [0:32] これにより今までよりも速く大幅に少ない実演数でロボットにスキルを教示することができます [0:37] この手法は私たちが”大规模行动モデル”と呼んでいるモデルを构筑する上で大きな可能性を秘めています [0:41] 大规模言语モデルがチャットボットに変革をもたらしたように [0:45] このような行动モデルによってロボットは今までできなかった方法で役立つ作业ができるようになります [0:52] これまでロボットによる物体操作研究のほとんどはピック・アンド・プレースタスクに焦点が当てられていました [0:58] その対象物は比较的単纯な物に限定されていました [1:02] 新しいアプローチはその限界を大きく超えハードウェアの性能目一杯まで使い切ろうとしています [1:08] 现在道具を使ったり液体を注いだり野菜の皮をむいたりすることができるようになっています [1:15] ロボットがこのように豊かで多彩な方法で环境と関わることができるのは素晴らしいことで [1:19] これらの动作を达成するためにコードを変更したり新しいスキルを明示的にプログラムしたりすることもありません [1:26] この技术を使って私たちは 60以上の様々な行动をロボットに教えてきました [1:30] この教示プロセスはまず先生役の人が远隔操作を通じて少数のスキルを実演することからスタートします [1:34] その后 AI技术をベースとするディフュージョン・ポリシーを数时间かけて背后で学习させます [1:39] 午后にロボットに教え一晩かけて学习させると翌朝に新しい动作ができるようになっているというのが私たちにとっての通常の手顺です [1:46] このレベルの器用さを可能にするにはロボットのあらゆる部分をしっかりと作り込まなければなりません [1:52] ハードウェアからソフトウェア至るまで [1:55] 重要な要素のひとつは先生役の人に触覚センサを备えた远隔操作デバイスを使ってもらうことです [2:00] また人と同じようにロボットにとっても触覚があるとより良い学习结果が得られることがわかりました [2:05] 最たる例はパンケーキをひっくり返すタスクですロボットは见えないフライパンの表面に触れなければなりません [2:11] 触覚が无ければロボットは苦戦し上手くタスクをこなせません [2:15] しかし环境との相互作用を感じられるようになることでスキルの习得に成功します [2:19] これはほんの始まりに过ません [2:21] お伝えしたような大规模行动モデルの実现に注力しています [2:25] 次のブレークスルーは十分な数のスキルを学习させることで泛用性を获得する点にあるだろうと见越しています [2:32] これまで教わったことのない新しいスキルを実行する [2:34] その学习のための様々なカリキュラムを构筑していますそれはロボットのための幼稚园のように [2:40] 数多くの基础的なスキルを教えるためのものでロボットが人と共に作业するのに役立ちます [2:45] 年内には数百 24年末までには千を超える新しい行动を教える予定です [2:51] また実世界での学习を补强するためにシミュレーション技术も活用しています [2:56] 最后にフリート・ラーニング（舰队学习）のための基本ツールを开発しています 1台のロボットが学べばすべてのロボットに共有されます [3:02] 私は长い间ロボティクスの研究に携わってきました [3:05] ロボットたちがこなすタスクを见ているとただただ惊くばかりです [3:09] 1年前ですらここまで器用になるとは予想できていませんでした [3:13] 新しいスキルを教えることができるようになる速度は惊异的です [3:17] ほぼ毎日私はロボットが前日できなかったことをやっているという新しいメッセージで目覚めます [3:23] ロボット工学者にとって素晴らしい时代に突入したと言えるでしょう

丰田研究院推扩散策略训练机器人 拟2024年底前掌握千项技能