英伟达与一目科技推进触觉传感器方案

英伟达与一目科技推进触觉传感器方案 触觉是机器人理解物理世界的关键拼图，其数据与算法瓶颈的突破将在2026年底至2027年初引发大规模量产潮。 视频深入探讨了机器人触觉从硬件到算法的全产业链现状。目前触觉传感器主要分为压阻、压电、电容、光学（视触觉）和磁感应五大路线，其中视触觉因超高分辨率成为热门，但面临材料与结构的物理极限。行业当前最大的痛点在于真机数据极其稀缺，需依赖 Isaac Lab 等仿真平台进行合成与零样本迁移；而在模型端，将高频触觉信号接入 VLA 模型需采用 Encoder 语义预处理或 MOT 双系统架构。随着 2026 年具身智能整机需求暴增，触觉传感器正处于从实验台迈向千万级量产爆发的前夜。 触觉被视为具身智能迈向物理世界的“最后一块拼图”，能通过力感知与形态学感知弥补纯视觉在轻柔控制和材质判断上的局限，解决拧瓶盖等现实交互难题。 (0:00) 目前主流分为压阻式、压电式、电容式、光学式（视触觉）及磁感应式五大路线；视触觉分辨率远超人类但面临材料与体积限制，多传感器融合与分工是全身触觉覆盖的趋势。 (10:00) 真机触觉数据由于感知屏蔽、密度不足及格式割裂导致高质量数据几乎为零，英伟达等正依托 Isaac Lab 仿真合成（如 TechSL 软接触模型）突破瓶颈，预计仅需约 10 万小时数据即可训练出泛化基础模型。 (20:00) 高频触觉信号直接接入传统 VLA 模型会导致性能下降，行业通过 Tecto Transformer Encoder 及 T-Rex/MOT 等专家架构将触觉快反应与视觉慢思考解耦。 (30:00) 随着电池柔性装配等工业场景落地，受具身智能与灵巧手需求拉动，2026 年底至 2027 年初被视为主流触觉传感器迈向大规模量产的关键节点。 (35:00)

触觉被视为具身智能迈入物理世界的最后拼图，行业正试图通过多传感器融合、物理仿真数据合成与双系统模型架构，突破硬件材料、真机数据匮乏及量产一致性的多重瓶颈。 视觉依赖的局限与多维力感知 (0:00) 在精细物理交互中，纯视觉方案存在天然缺陷。纯视觉机器人在执行精细任务时往往只能以每秒 1 毫米的速度缓慢试错，且无法辨识隐性物理属性；而搭载触觉传感器的机械手在“真假花生”识别实验中准确率可达 100%，能瞬间识别温度、重量与实心度等差异。类似人体手部神经被麻醉后闭眼或睁眼都会出现抓握功能失误，机器人缺乏触觉甚至难以稳定完成拧瓶盖等日常动作。 机器人触觉感知包含力感知与形态学感知两大维度。力感知分为决定抓握紧度的静态持续压力，以及通过高频滑动信号判断摩擦力和滑落风险的动态力；形态学感知则负责测量表面粗糙度、材质纹理与微振动，使机器人具备自适应调节力度的物理常识。 五大传感路线与视触觉“不可能三角” 主流触觉技术路线呈现出分工与融合趋势。压阻式成熟便宜但易受温湿度漂移且仅测一维力；压电式对高频冲击敏感却无法测静态压力；电容式灵敏度高且可测三维力，但量程受限易受电磁干扰；磁感应式可测三维力但分辨率有限。光学式（视触觉）凭借极高分辨率成为最热门路线，但体积与算力开销较大。行业共识倾向于高精度指尖采用视触觉，而手掌、手臂等大面积区域结合压阻式或电容式形成复合传感系统。 视触觉传感器目前正在挑战“材料不可能三角”，即表面材料必须兼顾极低杨氏模量（极软以感知微小形变）、耐磨损与极薄厚度。一目科技通过分子键断裂后重组的可恢复自愈材料、超表面芯片替代传统镜头，将厚度压缩至 16 毫米以内。在算法上，行业逐步从受限于点数的标记点法、计算延迟高的纹理分析法，演进为精度与算力更平衡的光度立体法，但单价仍处于千元人民币级别。 真机数据困局与 Isaac Lab 仿真破局 具身智能领域的触觉训练正遭遇“高质量可用真机数据几乎为零”的严峻挑战。数据采集面临三大瓶颈：操作员佩戴传感器会屏蔽自身触觉导致演示质量下降的“感知屏蔽悖论”；现存织物手套仅约 500 个感知点，无法支撑抓取 M2 螺钉等精细任务；两指夹爪与多指灵巧手的协议割裂且时序难以与视觉对齐。 为突破数据短缺，英伟达主导了基于 Isaac Lab 的虚拟仿真路线。针对有限元分析计算形变极度耗时的缺陷，英伟达在 TechSL 中引入“软接触模型”，通过刚体穿透拟合弹性体受力以加速仿真，在插拔销钉任务中实现了 82.7% 的真机零样本迁移成功率。Physical Intelligence 专家指出，相较于具身通用大模型通常需要的 100 万小时物理数据，触觉因其非作业状态下无效信息极少，仅需约 10 万小时数据即有望实现泛化能力。 模型架构分歧：MOT 双系统与训练范式 将高频触觉信号直接接入传统视觉-语言-动作（VLA）大模型常导致任务失败，主因在于触觉信号规则定义模糊、维度过载易形成噪声，且其高频交互与视觉低频规划频率严重脱节。针对此问题，学术界采用自监督编码器将底层力学信号提取为“软/硬/滑动”等高级语义后再输入主干模型。 在系统设计上，借鉴 MOE 思想的 MOT（Mix of Tactile）架构与 T-Rex 模型构建了双系统机制：由负责慢速认知规划的潜在专家与动作专家构成“慢思考（System 2）”，触觉专家则作为独立的“触觉反射弧（System 1）”以高频实时修正力与角度。与此同时，业界存在训练路线分歧：一目科技主张触觉单独闭环训练后再与其它模态融合以便于即插即用；ADI 于弢团队则主张触觉必须与三维点云联合训练，以精确捕捉手部动作带来的三维空间接触分布变化。 量产一致性瓶颈与 2026 产业拐点 触觉传感器从实验室走向规模化制造的核心难点在于参数一致性。凝胶弹性体厚度的微小偏差或感应间距的不均匀，均会导致算法解算失败。一目科技通过在 100 级超净台中注入模具固化以隔绝气泡灰尘，并配合力学反馈动态成像检测来控制良率，正由手工定制转向自动化产线。 受工业柔性装配（如汽车电池包无编程柔性抓取）及具身整机出货推动，触觉传感正步入爆发前夜。美银预测到 2030 年人形机器人出货量将达 120 万台，对应千万级触觉手指需求。业内普遍将 2026 年底至 2027 年初视为触觉传感器实现标准化与大规模量产的关键时间节点。 触觉传感器的普及仍受限于高昂的单价、生产一致性良率以及跨手型软硬件接口标准的不统一；同时，底层模型究竟采用独立即插即用训练还是多模态联合训练，仍是产业尚未达成最终定论的技术路线博弈。

[0:00] 黄仁勋: 机器人迈向物理世界的最后一块拼图 [10:00] 李智强 Eric: 可恢复性材料 [20:00] NVIDIA: 软接触模型 [20:00] Key: 触觉基础模型仅需要约 10 万小时数据即可具备泛化能力 [30:00] 触觉反射弧

[0:00] 诶 你敢让机器人给你按摩吗所以他刚才是在找我的穴位说实话 以前的我是不敢万一他用力过磨真的有点吓人啊但在今年的WASC上我体验了一把之后发现诶 还挺舒服的那么这台给我按摩的机器人呢很大的不同在于他搭载了触觉传感器诶有人说触觉是居身智能的最后一块拼图真是如此吗老黄也提出来说这个触觉其实是居身智能最后一块拼图机器人有了触觉之后真的能够更强大吗那活儿会更聪明吗如果答案是肯定的那么为什么目前大多数机器人都还没有触觉市场上又有哪些路线与冲突呢哈喽大家好欢迎收看硅谷101我是陈倩那这期视频呢就跟我们一起走进实验室去看看触觉传感器的前线研究我们来聊聊机器人的触觉发展到什么程度了第一个问题是机器人为什么需要触觉呢?我们不妨先玩一个游戏。这一堆花生中有三个是假的,只能看不能摸,你能够最快挑出假的吗?这个然后这个哎呀好难选这个吧这个你看可能三个都没选全错了先别着急嘲笑我大家也可以跟着来评挑战一下那接下来呢我们降低一点难度把这一堆花生变成六个其中有两个是假的大家来盲猜一下哪两个是假的呢我们同时也让机器手做一下这个挑战看一下它能否分辨得出来看一下它的准确率啊这个是真的哦这是假的看现在最后一个哦哇全对厉害厉害厉害怎么样你猜对了吗猜错了也没有关系毕竟两个假花生做的实在是太真了那么为什么机器手能够猜对呢就因为它搭载了触觉传感器相信我只要能够伸手摸你也能够很快分辨出来因为假花生它是石头做的表面更冰凉更光滑重量也更重还是实心的咬起来没有真花生中国力的振动感那么通过这个案例相信你也明白了触觉的重要性那么现实中有很多任务是无法单纯的通过视觉来完成的行业界有一些实验就比如说专门把有一些正常人的手打一些麻药就触觉感染神经给它短暂的麻醉掉那这个时候的人其实对于一些操作是就已经失灵了拧一些东西抓握或者甚至这个系扣子等等你可能会疑惑啊一些没有触觉的机器人不是在很多任务上的成功率都很高了吗但是啊业内人士就指出成功率高并不等于可用性强只用视觉我动得非常慢每次微调一毫米我不断的去世总归我是能完成这些任务的那么所以如果我们只是去看成功率的话其实它是一个伪命题那么在这种情况下力就变得非常重要 那么比如说我握一个东西握得多紧两个物体有没有咬合上比如说我要去尼俄罗斯那我不能我只靠视觉说罗森你花了我才会认为这个力过大了那太晚那么就比如说柔性的操作我每根线的软硬度它的材质都很重要那么触觉到底是什么呢它听上去是一种感觉但是呢我们把它拆开来看会发现它其实包含两种不同维度的信息一类是对力本身的感知另一类是对形态学的感知其中力的感知还分为静态力和动态力静态力是抓过物品的时候手指持续施加的压力它告诉你你能够紧吗那动态力呢是物体滑动时候产生的勾平信号它会告诉你是不是要掉了摩擦力够不够而形态学的感知呢就是对不同材料的分辨比如说通过触摸分辨苹果和橘子就得判断表面是光滑还是粗糙摩擦时候的振动频率等等那这么多复杂的维度放在机器身上该如何识别呢目前我们看到市面上的方案呢主要有五种分别是压阻式、压电式、电容式、光学式还有磁感应。我们先来说一下压阻式。这是最传统、最成熟的一条路线。材料受力之后发生形变,电阻值发生变化。通过测量电阻变化来反推压力,我们常用的电子秤就是这个原理。它最大的优势是成熟、便宜、技术门坎低,但是它只能测垂直方向上的力,并且会随着温度、湿度产生逃移。第二种是压电式。PZT陶瓷受力时,内部政府电荷中心发生偏移,从而产生电压信号,就像打火机的放电器,而它最大的特点是只对变化的利敏感。什么意思呢? [5:00] 下去的一瞬间它会产生一个电压信号但是呢如果你一直按着不动那信号呢就会慢慢的衰减到零松开的时候又会产生一个反向的电压信号所以呢压电式非常适合检测震动冲击这类高频动态信号却难以测量静态力前面两种都是直接把力转化为变形号后面三种就不太一样了是把力转为了形变量然后侧形变的程度这样做的一大好处就是不再只局限在垂直方向而是能够检测出三维的力电容式的原理就是平行板电容器当材料收力的时候弹性材料会变形比如按下去的时候上下两层更近了电容变大此时就能够测量垂直方向上的力或者滑动的时候把面积变化更容易的变化能够感受到平面上的力它的优点是灵敏度极高响应速度快而且成本相对较低但问题在于动态范围有限同时容易受到电磁干扰第四种是光学式 也叫式触觉它是在传感器最上层覆盖一层柔性材料接触到屋体时会产生形变材料背面有照明层而藏在最底下的摄像头会实施检测材料的状态通过算法反算出形变量再换算成力的分布因此这是一种可以同时解算接触形貌和接触力的传感器那么这就是目前行业最热门的方式也是精度最高的方式 但是成本较高我们先聊完最后的一种方式,也就是磁感应。这种方式结构和光学是类似,只是表面的弹性材料加入了磁性颗粒,去掉了中间的照明层。底部的摄像头变成了磁传感器,这样表面弹性体变化的时候磁场也变化。底部传感器捕捉变化之后,反算出形变量,同样能够推算出三维力。但磁感应容易受电磁干扰,周围的磁场环境会影响精度,而且分辨率有限。那么还有一些其他不太常用的方式比如说磁流体还有超声等等我们就不详细说明了那以上不同的方式各有优劣我们采访嘉宾就认为对于机器人的触觉来说多传感器结合也许是更好的方案你看我们除了手指之外其他每一寸皮肤都是有感知的如果机器人想做到人类的水平是不是也需要全身都布满触觉呢但如果全身都用最好的技术而且不同部位的要求也不一样,同一种即时路径也很难以使用全身。比如指尖的精度要求非常高,使用光学式的方案就能达到更高分辨率,但是如果是手掌手臂等其他部位精度要求没那么高的时候,用昂贵的光学式就不划算了。同时它的面积比较大,比如说我们去考虑湿出去的话,那我们的这个光学的模块的设计就会非常非常的困难。但是如果我们是用比如说压阻式或者电容式那它就会比较容易的去cover这么大的面积那在一些比较简单的应用场景下也可以选择精度不那么高的路径比如说我们在WASC的展会上就看到一些采用电容式的触具传感器尽管被批量的用于工厂的产品分解还有检测了原因就在于成本它相对较低与精度最高的光学是相比的采购价值有四分之一到二分之一而且即使是同一个部位未来也有机会融合多种技术但是前提是技术得足够的成熟电容其实它的灵敏度非常高但是这个问题就在于当你把这个材料已经压紧了之后它的对于力的感知的range就会非常有限但是鸭族其实是一种必须硬碰硬的一种技术所以在这种情况下其实结合两者是一个可行的方案但是问题就是在于到底这个制造的工艺和它的良率和它的这种量产的能力是否能够跟上我们的需求但是现阶段可能大家都还在尽可能的去完善单一技术路线的本身的一些缺陷那除了力的感知光一的触觉还包括振动材质感知等等这就得依靠其他的传感器来补足比如说人类想分辨丝绸和棉布的时候会通过触摸加滑动的方式来产生振动来感知材质的细利度那机器人身上该怎么做呢?我们会加入像加速读记啊或者像麦克风啊这种传感器能够更有效地捕捉到高频的振动产生的信号所以呢完整的触觉方案不是选一种技术路线就完事了那目前行业里面最前沿精度最高的就是光学室我们的采访嘉宾Eric所创办的公司一目科技啊也就是选择了这个方向那么接下来呢我们就走进他的实验室探究一下光学室的原理2000年前后,一批研究人员开始尝试一个大胆的想法,覆觉能不能也像视觉一样被摄像头看见。其中最具代表性的探索之一是来自MIT教授Edward Adelson [10:00] 他们在2009年提出了Gelsite让机器人第一次拥有了类似视觉的触觉能力那么光学室最显著的优势就是分辨率高甚至已经超过了人类人的一个指尖大概一平方厘米上面布了3000个处觉的感知点感知点对然后每一个点下有4个不同的NERV就相当于12000个不同的神经元在做感知所以我们的传感器现在可以做到24万个点就已经超过这了对但是呢代价也不小那接下来呢我们就从材料结构算法成本四个方面详细来说说那么首先是材料哈有三大要求第一呢就是得特别软业内呢称为阳式磨量低这样才能够通过细致的形变精确的反应物体的硬度和力度那第二呢是得耐磨不然呢日常执行任务久了就会出现性能飘移或者破损第三呢是要尽量薄才能够尽可能的缩小整个传感器尺寸而这三点却天然对立无法同时满足。我们一直讲它是个不可能三角,但我们只能找平衡,以及说找一些新的方法。能不能把某些的变量给的约束条件给去掉或者说减弱那接下来我们去到材料实验室看看新材料的研发过程这边是我们自己做配方研究的一个实验台你可以看到其实这边我们这些原材料其实大部分都是这种液态的这种材料其实种类很多 感觉是个化学实验室对对对对 那么我们通过我们自己研究要把这些不同的这些原材料给它混到一起从而能够使我们使他在这种成型之后能够达到我们想要的这种性能这个事情的难免在哪里就是配方的这种各种不一样的配比 ratio 还是他其实还不一定是这种配方就是我们从底层的一些化学基地开始研究单体然后到我们的配方那Eric告诉我们现在行业出现了一种很有意思的材料叫做可恢复性材料就像人一样就算不小心给划破了过段时间就能够自愈他恢复性其实也来自于他一些特殊的一些观能团就比如说我们会发现有一些分子它的分子键锻炼之后它还会恢复然后就这种特殊的一些关灯团我们要去保留是我们新型的一个一种非常新颖的一种一种材料能做到跟人皮肤很接近吗很接近的这个就是你可以上手试一试 比刚才那个转很多像婴儿摸起来也没有伤害那种感觉我们再来聊聊结构哈手指肯定是越小越灵活对吧这就要求触觉传感器也尽可能做得小我们的产品体积是最小的我们的厚度和SIM卡的大小基本上是一致的不到16毫米然后为什么做的薄是一个技术领先的事情呢光处觉到它背后是需要有一个感光的芯片要么用camera 要么你可以用一些感光芯片但是你为了达到把整个市场都能看到的相当于我们微距摄影一样它总是需要有一点距离的这个距离就是它的最底层的一个物理的制约因素那要做的小一方面就是前面我们提到的材料要尽可能的薄另一方面就得从摄像头上下功夫了尽可能去降低摄像头的对焦距离同时还要扩大市场角来覆盖更多的感应区域我们通过自研的一些朝表面和芯片的技术能够去压缩它的这个视距啊不再用一些传统的这种Lens这种镜头的方式来做了那在结构上照明层的光路设计也是一大难点因为手指的形态它不是完全平面的结构左右两边都有一些弯曲的弧度那这就需要精细设置照明灯珠的排布保证不同位置照明的一致性照射的光路这里边是非常有讲究的所以我们要做大量的仿真我们叫光追踪然后看到每一个光子在传播的路径里边会怎么去做传播然后在设计的时候我们就要把它做到一方面覆盖最广这样才能在270度都能cover到另外一方面就是说它精度和轨迹是可预测的否则的话它可能光和光之间就打架就会产生了串扰这是一台BSDF测试装置用于我们不同产品的表面材料的光学特性的测量然后可以将测得的光学特性输入到仿真模拟中使我们的仿真更加的准确有个小故事如果买一套这种设备好像很贵我记得大概多少专业的页眼设备要百万几这个是我们胡博是自己搭的是吗他们当时说我们买一台然后胡博说我们来自己试试能不能搭一台而且京都跟方家挺好的哇塞 [15:00] 我真的有点SpaceX的味道了自己搭了一个百万级的设备另外赵明的灯珠在市场上有两种方案一种是单色另一种是多色为什么呢这就要说到第三点也就是算法光学是它具体是怎么去识别出绝的呢主要有三种方式第一种叫做标记点法在皮肤层上会应有很多微小的标记点摄像头跟踪这些点的位移变化来计算皮肤层的形变优点是算法简单制造容易但是缺点是精度上限很低Marker我能点多少一般可能顶多就几十个Marker点它就是你的resolution的上限了顶多我中间做一些差值但这都不是真值所以就是它的问题就在于像讲说精度低一些那第二种呢是纹理分析法皮肤表面不再需要规则的点阵而是随机喷涂的细小颗粒或者能利用材料本身自带的不规则纹理树立时是想投通过追踪光影纹理的流动来计算形变它的优点在于硬件制造简单因为不需要做标记点了那其实哈大家手里面的光学鼠标原理呢就是简化版的纹理分析法那为什么是简化版呢因为鼠标检测的是二维平面上的变化而触觉传感器需要检测的是三维,这也是它的缺点所在,算法复杂,计算量大,相对的响应延迟也较高。那前面两种算法主要关心的是亮度还有对比度这些信息,所以用单色照明方案就够了。而第三种光度立体法就必须用多色光了。这种方式不需要任何标记点和纹理,皮肤比较均匀,照明层用红绿蓝三种颜色的光从不同方向打光。不同颜色光线达到同一个点的距离不同相机捕捉到的就不再是均匀的颜色孙法会分析图像中的每一个像素点的RGB颜色值来计算型点第三种其实是兼顾了这两组点的优缺点的一个比较好的一个折衷方案制造方面来说也没有那么复杂但是他在解算的时候我通过预训练的一些模型就可以快速的去做分析了所以算力要求比第一种大比第二种小然后精度也是比较有的而光学室的第四个挑战就在于成本通过前面的解析相信大家也能够看出来它的结构有多复杂相应的成本也更高单价来讲的话还是天元级的这么一个价格可能会比别的技术路线稍微贵一些其实我们也看到了把整个的成本降到小几百可能性随着它的一个量上升而且不光是制造本身后续的算法算力要求也更高适处为什么现在大家比较流行因为大家发现我可以比较好的用这种视觉的模型就直接可以处理但它的问题是视觉的模型一般都会比较大所以它对算力的要求相对来讲会是更高当然高成本也对应着高上限在实验室里面我们也看到了直观的对比这是一个没有触觉的灵敲手在没有视觉的辅助下夹起薯片的时候因为掌握不好力度很容易就加飞了而这是带有视触觉的夹爪不仅可以轻心夹起薯片当我想从他手中抽离时他还会感知到轻微的晃动和摩擦慢慢泄力还有更好玩的就是加树叶相比起薯片树叶缺少了刚性稍微多一点力就会发生形变但我们看到甲爪依然能够精准感知到树叶发生微小的形变之后因为弹性而对两边释放的微小力不过业内人士就认为现阶段应该更优先考虑的不是成本而是验证路径的可行性所以接下来我们先来说说应用路上的第一道障碍也就是数据采集机器人最稀缺的就是训练数据了而到了触觉领域已经不仅仅是少了现在的触觉的数据基本为零就可用的数据基本为零其实之前是缺失的然后我们通过传统这些方法采集来的数据跟人不太接近且没有那么高保证的能力你看对于触觉这种强调实感的维度普通的视频还有文字等互联网数据是无法反映出力的大小和方向的所以这个领域尤其强调真机数据但是真机数据在获取上存在着三大难点我们再来做一个简单的小实验,我们戴上很厚的手套,然后试图拿起一块豆腐,真的是很难掌控力度的,要么它就会滑下去,要么我们稍微以用力它就破了。最主要的原因就是厚重的手套完全屏蔽了我们的触觉,我们无法判断豆腐和手指之间的摩擦力是否够,是否快要掉下去了,以及豆腐的形变程度是不是快破了。 [20:00] 但这也是触觉数据采集时要面临的最大悖论采集人的这个触觉也就意味着我们会需要在人手和物体之间做一个隔离那也就是说在某种程度上我们屏蔽了人自己的处境如果人手被传感器覆盖 导致人本身的触觉没有办法被有效的利用 那么操作者的手变笨了我的demonstration其实质量会下降我data其实用来春出来的结果就没有办法让机器人能具有像人一样的最主要灵巧的能力这是一幕的素材设备把整个传感器放在了手指前面操作起来就像用筷子一样我认为它确实跟真实世界有gap通过一些算法能把它回退回来就是可以去做一些gap的弥鼓但是我不可否认它跟人是不一样的所以最大的问题就是要采集触觉就得先屏蔽触觉采集触觉这个好绕口而且采集设备本身也比较复杂一定程度上也会影响采集员的操作其实大多数的素材设备都非常的笨重就是它尺寸大穿戴比较麻烦都会在某种程度上影响操作员采集数据本身的一些行为那要解决这个问题一方面需要行业做出更薄的传感器尽可能减少对采集员触觉的评比下一代的触觉传感器是超薄型的三毫米你不需要带一个非常复杂的手套另一方面行业需要设计出更舒适更符合人体工学的采集设备而这需要多学科领域交叉这个其实是和设计一个触觉传感器和零交手是完全不相干的其实这个是我觉得接下来一点非常重要的一个课题行业里也有一些对采集源影响比较小的织物采集手套但是这就牵扯到第二个问题了数据密度不够最好的织物的触觉手套我们看到的也就500个点一个手我们我如果想把这个数据应用在比如我们的传感器上那其实这个gap还是挺大的也就是说我如果我带着这个手套去抓一个M2的这种螺钉那其实在这个上面就是一个底我是没有办法去检测到这个螺丝的这个方向或者它的大小的即使模型再强也没有办法去有效的让它去学习到这样的一些信息于套团队和MIT去年合作了一个项目用这类手套采集触觉数据结果发现大部分有效数据都是用整个手掌抓取一个较大的东西因为这种任务对密度的要求最低到精细操作数据就失效了那行业面临的第三个问题是由于触觉还是非常早期的行业各家公司的数据采集格式不统一难以形成大规模的训练机比如有的采集设备是两指的就只适合在工业场景的机器夹爪上不适用于零脚手的训练在数据的这个存储和对齐方面我觉得现在还做的那么他们之间的一致性好不好然后触觉和其他模态的对齐好不好我同时踩了触觉视觉本体信息这些模态是不是能从时间轴到它的数据本身对其能力做得更好这块其实也是缺失的或者做得不够好硬件其实现在是相对不成熟的就是不同的技术也好不同的这种传感的方式然后素材设备然后各自的这种数据的格式各自的数据的这种形态其实都不一样然后你算法你就没有办法去演进因为我数据量上不去设备不够成熟就踩不到高质量数据然后训不出好的模型然后就没人愿意投资这个领域这会是一个不断的恶行循环了既然真机采集那么难这就得用到仿真合成了仿真是在虚拟的环境中模拟真实场景,可以同时批量采集不同的数据。到了这一步,还就不得不说到大家比较熟悉的公司,英伟达了。那这条呢,是老黄重点压住的路线啊,他们也为此搭建了非常完善的框架,Isaic Club。实际训练的时候,触觉公司会利用各种工有的模型,并对不同的模型加入一些真实的物理特性。比如一个罗姆,它就是刚性的,比较重,表面光滑。表面粗糙程度如何等等同时还要在系统里输入触觉传感器的特征比如说表面的弹性体的物理特征手指内的光源分布等等而有了这些数据之后就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度光路变化推算出最终采集到的数据仿制的结果还会和现实表现做对比通过数据标定来进一步修正这边图上面就是展示的我们在某一个确定的条件下我们的图像采集后面的蓝色的点就是仿真的形变然后红色的点 [25:00] 是标定的我们暂时的这部分修正是在解算层面最后做一个映射的矩阵去修正输出那么后续会在模型输入的层面去做修正另外在今年5月有一篇名为Tibero的论文还提出了一种方法那就是附用已有机器人数据把这些轨迹重新放入Isaac Lab当中并且加入触觉传感器模拟最终生成完整的视觉触觉语言动作数据这其中最大的难点就是计算量太大了如果说要精细地进行弹性体变形的计算的话如果说我们用一些有些人的方法来进行精细地计算的话可能一帧就需要一个小时的时间那么这对于需要快速实时地获取数据而言是不容易的不能接受的所以学术界提出了很多简化的计算方式比如说英伟达在2025年就发布了TechSL论文就介绍了一种用于是处决的仿真方式它的核心思路是用转接触模型代替有限元计算什么叫做软接触呢?比如说我们把物体和皮肤都当做钢体处理,但它们之间可以互相穿透,接触的力越大,穿透的越多,这样算出来的形变虽然不是最精确的,但也能大致模拟,而且在计算速度上更快。但不可否认仿真和现实之间永远都会有差距Eric就告诉我们他们仿真的准确率大概是在90%以上而其中10%的差距主要在于柔性物体的模拟这也是目前的挑战所在但是我们也可以去补充一些后训练数据比如说我们已经有一个80分的模型了我再加一点点后训练就很快就可以到90分以上那这个思路和TechSL论文的策略是一致的TechSL在训练策略的时候做了两件事一是随机化物理参数让策略适应不同的刚度阻尼二是在触觉图像上做大量的数据增强让策略对摄像头差异光照变化录棒这样他们在真机上实现了零样本迁移在插拔萧丁的任务上TechSL在真机上达到了82.7%的成功率所以仿真的意义更多是作为真集数据的补充两者需要搭配训练我到底真实的多一点和仿真的多一点每家可能不太一样我们的判断可能至少一比一甚至一比一以上就仿真可能会占多数在短期之内那到底需要多少数据才能够训练出较好的模型呢在这点上业内人士给出的答案比我们想象的更乐观一些什么时候我们能够收到100万小时等同于一个人一生的物理经验的数据我觉得可能我们才开始后面的探索那这是我们采访做巨身模型的人士Physical Intelligence的嘉宾Key他给我们的答案但是到了触觉领域数据量却只要十分之一Train一个带有触觉的一个基础模型所需要的数据应该是要远低于基于视觉的一个基础模型当你有10万小时的数据往上走你会发现它逐渐就开始有一定的繁化能力这背后的原因其实不难理解,因为机器人的行为模型其实包含了大量操作的过程信息,比如说转身,伸手,移动等等,并不是说这些信息不重要啊,但真正对训练有效的部分往往是那些拿起放下等关键的操作。而对于触觉数据来说,平时在没有操作时输入的信息基本为零,相当于这十万小时已经减掉了无效操作的部分。那说完数据采集,我们再来聊聊触觉的第二个障碍,算法模型的应用。有意思的是,如果你直接把触觉信号输入到行为模型当中,机器人任务的成功率反而会下降。这是为什么呢?今年6月,伯克利、英伟达、斯坦福集结了李飞飞、Jim Fenn等众多知名学者,联合发布了一篇名为T-Rex的论文。各项任务的成功率反而下降了那么这反映出一个问题哈就是加了一个模态不等于模型表现就能够变好所以如何利用触觉信号目前是最大的挑战之一我觉得最大挑战其实是大家对于触觉这个模态还是比较陌生以及它真的怎么融入到我们模型训练里边其实大家还没有一个完整跑通cycle的这么一个好的搜索模型出来那我们先简单来说说此前触觉应用的三大挑战第一个问题是触觉没法用规则定义一个东西到底是软还是硬是脆还是弹超过多大的力会破坏物品物品能不能被破坏我们没法单纯的设置一个数值写一个规则这样在执行任务的时候模型会难以判断比如拿起纸杯这件事力气小一点能够拿起来杯子有点变形 也可以接受 但是到了鸡蛋上就绝不能让蛋壳有形变第二个问题是触觉信号维度太多 直接输入到模型当中反而成为了噪声我们前面说过触觉包含了纵向的压力 横向减切力 [30:00] 摩擦力还有表面材质感知的温度振动音频等的数据这些数据不佳处理地输入到大脑中模型将难以分解第三个问题是触觉和其他模态的频率不匹配触觉信号天然是高频的而视觉语言模型通常运行在低频率这就意味着两者难以直接结合会出现计算资源浪费反应速度慢触觉噪声干扰高层规划等问题到了今年由于AI的进步业界用的方式之所以触觉最近两年开始后并不是因为触觉这个技术本身这两年才存在而是在很久以来大家并不知道怎么样去用触觉其实像最近的这些AI算法的演化和这种端到端模型的实现其实对于这种触觉的利用其实非常大的促进那我们知道端到端就是直接把信号输入给神经网络让模型自己学习不需要人为定义规则那么这就解决了第一个挑战第二个挑战的解决思路就是利用编码器encoder前置处理触觉信号将这些数据打包后输出完整的语义理解就是用self-supervised learning的方式去train encoder我们可以很容易的把不同类型的触觉的模态甚至视觉结合在一起然后利用现有的一些比较常见的这种attention的mechanics就可以比较好的去抓取不同模态的触觉之间的这种相互的关系然后从模型训练的角度这个能够比较有效的把这样的一个信息集成到更大的一个backbone里面我们叫那个Tecto Transformer Incorder然后通过编码器对它进行一个语意理解比如说到底是软的硬的然后是有没有摩擦或者形态上来说像什么这些等等的语意理解然后它做完这个编码之后再进到这个backbone的这个大模型里面去做一个判断那么再来说说如何解决频率不匹配的问题当中就提到了MOT的方式这篇论提出的MOT架构借鉴了MO1的思想由不同专家处理不同类型的信息为此构建三个不同的专家Latant Expert潜在专家负责处理视觉和语言观察预测未来的视觉表征提供剩下文理解这是慢速的认知层面的Action Expert 动作专家负责根据视觉语言上下文生成动作序列比如说往哪里走手臂大概怎么摆等等但是他输出的只是粗略的动作而最具创新的是第三个专家叫Tactile Expert触觉专家他就像机器人的反射系统在动作执行过程当中通过实施触觉反馈对力度角度和接触状态进行快速修正听上去好像也不算啥创新啊毕竟MOE架构呢早就有了专家而已嘛那别着急这套系统最重要的思想在于一步执行什么意思呢在推理时动作专家生成动作规划同时触觉专家以更高的频率独立运行不断对动作进行修正这样机器人在利用触觉的时候可以附用已经算好的上下文缓存只进行快速的触觉推理这样既保留了大模型的理解能力又获得了类似人类触觉反射的快速响应能力这也类似我们之前聊技术模型的双系统架构它的System 2负责慢思考长程规划而System 1负责快反应本能动作触觉也不例外所以我们就觉得它应该是两个不同的system以及它可以去打通比如说在触觉在边缘端我其实应该有一个快速响应机制对吧比如碰到了我就应该做什么动作同时我这些触觉信息也应该能回到大脑去对我一个相对长程的过程里面做一定决策的影响但是他就偏我们在采访过程当中也发现了业界的一点分歧,那就是触觉模型是单独训练,还是要结合摄像头、激光维达等其他传感器来一起训练呢?Eric就认为触觉模型可以单独训练,这样才能够更好的去平衡权重,就像T-rex这篇论文的思路。我们会更倾向于触觉模态的单独训练,因为触觉模态它本身的语义理解就可以完成一个一定的闭环了当他的语义理解结束之后再和其他的模态进行融合让大脑去判断会更好一点就是因为他每一个模块他可以去单独的去做训练测试闭环然后同时这些模块可以像机插机用一样去插到不同的系统里面去做应用它还能跟其他模态更好对齐不然的话你这个美貌胡子一把抓都混在一起到底模态之间的数据怎么去平衡其实是个挺难的问题而来自北美的于涛就认为两者必须要同时进行这样才能够判断每个力在空间中的分布让模型更好的理解我是拿了什么东西才会有这样的感知全局的而触觉它真的是一个 [35:00] 局部的实现 我的手的形态动的时候 同一个传感器对应的在空间上的一个分布是不一样的当大家做视觉和触觉的这种模态的融合的时候其实并不是一个简单的Latant Space的Representation你在同一个embodyment做同样一件事情的时候是可以的但一旦这样做完之后你的transfer非常难比如像格拉利云竹老师是把这种触觉的力的分布是结合到这种三维点云上的那么也就是说这个力并不是一个只是一个力而是它在这个空间中的一个力的分布那么在这种情况下其实是需要触觉和视觉的一个结合的于套的思路呢也对应着我们前面提到的Tibero这篇论文他认为触觉应该参与到高层决策中理解轻一点和重一点的语义简单来说Tibero主打前置的语义利控而T-Rex是执行过程的高频修正那由于触觉这个行业目前处于非常早期的阶段多条路线在同时探索没有绝对的优劣之分我们也只是向大家来展示不同的路径来说说触觉的第三个障碍就是规模化量产的最大难题就在于性能的一致性上周在ICRON2026 在维亚纳我们看到非常多的触觉传感的公司我们去亲手去测一下这个时代它是否一致其实大多数是做不到的因为手指的调整动作都是非常微小的在做精密操作的时候输出的力稍微有点偏差就可能导致任务失败但触觉传感器又太精密了但凡表面的弹性体厚度相差太大弹性系数不一致传感器间距不同都会导致参数偏差算法就难以计算出正确的数值接下来我们就去一目科技的试产车间看看他们是如何验证新工艺的接下来会去到它部的量产时间先摸一下这个黄镜面球去保存它的镜面第一步是先把凝胶材料放到模具内固化作为手指的表面弹性体这一步得注意不能有任何的灰尘和气泡这是一个超镜工作台它可以提供一个局部100级的超洁镜空间合理于我们的凝胶制备制备完成之后还得先检验是否合格会做一些拍摄如果发现里面有气泡杂质的情况我们是可以通过视觉来筛选的并且我们所有的数据会经过上误记的判断再筛选一次最后就是将其他地方制备的零部件集中到一条产线上进行组装大家刚才看到的材料会在这里进行分布组装从第一个粘戒工位然后到这边的预组装工位好等各个零部件的精密组装然后我们会到总装前的预检测工位我们的数学传感器会在这里进行一个成像的检测可以拉近看一下我们这个电脑里显示的画面它展示了我们触觉感觉器的一些精密的一个动态它是一个力学的反馈啊里面有很多的AI算法在里面经过检验的成品最后就变成了成品当然每个批次的试产样品还得经过自动化测试用来验证工艺参数的稳定性相信大家都能看出来在试产阶段很多步骤依然依赖于手工操作因为触觉传感器是一个比较新的品类现成的标准化自动化设备暂时还没有统一这个量产它不是说脱离了你的上下游自己去生产你的上下有比如说是竖彩或者是灵敲手其实他有不同的协议有不同的接口有不同的关于他手的这种适配所以来讲的话你的量产还是要跟着它的需求有一些定制化的一个操作一方面呢是自动化量产线稳定交付标准品另一方面呢是市产线承接定制化需求和新工艺验证那么这两条线协同运转正是这个行业走向成熟的标志而到了2026年这个时间点啊我们采访的几乎所有嘉宾都表示触觉呢已经是处于爆发的前夜了今年我们确实是看到了说整个的需求有一个大幅度的上着大家慢慢认识到了就是触觉的数据其实对于物理AI最后的训出更好的一个模型来讲的话是非常非常重要的今年来讲的话这个灵敲手这个上下游包括巨身的整机大家都在去拼命的去做拼命的出货那自然也会带动整个这个触觉传感更加的成熟那在今年的JBA [40:00] 在这一展会上我们也在一目科技的展台看到了某大型汽车电池征配工厂将他们的触觉传感器搭载到了机械臂上实现了工业级的应用不同的一个电池包啊这样的一些形态它的一些变化如果我们依赖传统的这种自动化纯去做每次的预编程和大量的这种开发是没有办法去做适应这种产线的一个频繁的调度和变化的这样的一个过程所以基于这个触觉就得到了一些柔性装配的能力而未来还将应用到时间势力做更多精密操作的项目比如说像滴管去做这个精准的这个取液这样的一个精准程度那么有了触觉的一个精准的反馈我可以精准地去控制对于地管施加的一个利行变这样的一些变化根据美国银行的预测到2030年人性机器人的出货量将达到120万台假设都装配了触觉传感器每个机器人十根手指那么触觉的市场需求将提升到千万级别那如果那个时候是量产我们倒推一年或者一年半到两年在这么一个研发的周期或者测试的周期那也就是说下一年Miles Stone的point会在什么时候发生我觉得就今年或者明年年初应该就这个时间段在我们采访的时候呢Eric就提到触觉是让机器人类人甚至超越人的最后一块拼图因为这不仅是多了一个维度的数据更是让机器人掌握到了人类的第一语言人类的婴幼儿他刚出生之后第一个会的其实并不是看和听小朋友都是靠触觉然后摸这个世界甚至可能用铁 用舌头这个其实是我们人类对于这个世界的第一语言Edelson也提到启发Jell Set的灵感是源于观察小孩时发现触摸对他们更有吸引力是啊 如果我们想想我们的小孩刚出生的时候他不会说话 不会走路连看都看不太清楚想感知世界就只能够伸手去摸妈妈的脸摸脚趾头的形状等等而今天我们正在教机器人做同样的事情让他摸化生 摸树叶 摸鸡蛋每摸一次对物理世界的理解就多一点或许呢很多年之后机器人走进我们的生活那个时候我们违望可能会发现转折点就在触觉不及时因为那一刻机器人才开始真正的理解了世界好了这就是这期视频的全部内容非常感谢大家看到这里你们的留言点赞还有转发要做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见啦Bye