魔法科技推星云3D数字人平台柴金翔欲用云端拆分架构打破行业不可能三角

硅谷101

3D数字人通过云端传输轻量参数并在本地渲染的模式，能以低成本打通大模型与物理机器人的底层同源控制，成为具身智能落地的关键解法。

AI-assisted summary of 给AI一个“身体”：3D数字人或是具身智能的解法？【硅谷101】 — original source. Check the original for full context.

Source published: 2025-11-07

Detailed notes

## Background 该内容由 Bilibili 频道的“硅谷101”于 2026 年（发布时间为 2025 年 11 月 7 日）发布。视频简介指出，当前的 AI 视频生成模型（如 Sora 2）仍局限于不可交互的 2D 内容，而 3D 数字人作为“具身智能驱动层”的突破方向，能够让 AI 拥有身体并以人类的方式进行实时表达，从而试图打破高质量、低延时与低成本的“不可能三角”。

## TL;DR 本视频深入探讨了 3D 数字人作为大模型与具身智能融合路径的核心价值与技术突破。视频指出，传统的 2D 视频由于无法实时交互而存在商业落地局限，而 3D 数字人通过“文身多模态 3D 动作大模型”和创新的“云端拆分”架构，成功破解了高质量、低延时与低成本的“不可能三角”。尽管面临初始成本高、数据稀缺以及泛化性等挑战，3D 数字人不仅能让线下大屏、游戏 NPC 等每一块屏幕“活起来”，还通过底层技术同源性在虚拟仿真中反哺人形机器人的动力学控制，推动数字生命时代的到来。

## Atmosphere & style 整个视频展现出一种科技前沿的硬核思辨感与理性前瞻的叙事风格。通过引述卡内基梅隆大学机器人学博士柴金翔教授的学术视角与创业洞察，内容不仅有对历史演进的宏大梳理，更有对底层架构和商业账本的精细拆解，显得非常专业且扎实。听众能感受到一种在虚拟大模型与现实机器人分裂的当下，积极寻找连接物理世界纽带的探索激情，整体氛围既有对技术攻坚的冷静研判，又充满了对未来“让每一块屏幕都拥有温度和形态”的科技乐观主义情怀。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) Sora 2 代表了视频生成质量的飞跃，但作为“人造2D视频”无法实现实时交互，难以满足商业落地的核心要求。 - [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 当前 AI 发展存在“有脑无身”（虚拟大模型）与“有身无脑”（现实机器人）的分裂，而 3D 数字人被视为连接两者的具身智能驱动层突破方向。 - [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 数字人演进经历了 CG 与电影工业时代（非实时、专业生产）、互联网与虚拟 IP 时代（依赖中之人或预制内容）以及 AI 大模型时代（具备思考能力）。 - [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 数字人行业分为 2D 和 3D 技术路径，2D 路径（如 HeyGen）通过语音驱动合成视频但无法实时交互，3D 路径则是语言驱动身体的文身多模态 3D 动作大模型。 - [04:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=299s) 虚拟世界的 AI 动画与物理世界的机器人控制在底层逻辑上具有学术同源性，大语言模型、动画大模型和驱动控制可以通过数据串联起来。 - [09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 传统 3D 数字人面临高质量、低延时、低成本的“不可能三角”限制，通常无法同时兼顾规模化与实时交互的高质量效果。 - [09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 3D 数据具有结构化优势，其参数空间和模型体积远小于 2D 视频模型，在训练效率、实时性和低成本上更具潜力，但高质量 3D 数据在互联网上极度稀缺。 - [09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 魔法科技星云平台通过“云端拆分”架构打破瓶颈：云端负责核心 AI 计算并输出轻量级参数，端侧利用本地算力进行渲染和解算，大幅降低服务器与带宽成本。 - [14:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=899s) 3D 数字人行业目前面临初始高精度建模与绑定成本高昂、高质量 3D 动画数据稀缺以及泛化性（包括交互、动作和情感的泛化）三大核心挑战。 - [14:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=899s) 为应对泛化性难题，业内采用“小泛化”策略，即在特定 B 端岗位（如银行客服、AI 面试官）中提供所需的“最佳实践”以验证商业价值，再逐步构建通用基座。 - [19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) 3D 数字人的第一大应用场景是让线下大屏、企业培训和游戏 NPC 等所有屏幕“活起来”，实现人机交互从点击逻辑向自然对话的回归。 - [19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) 3D 数字人通过运动学轨迹规划、动力学物理仿真以及 Sim-to-Real（虚拟到现实）仿真训练三个层面，能够极大加速人形机器人大脑和小脑的进化。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 2D视频的局限与3D数字人的崛起

最近，AI视频领域的热潮被 Sora 2 彻底点燃。其以假乱真的画质、自然的语态和生动的微表情令人震惊。在10月5日举办的硅谷101线下科技大会上，现场就展示了一段由 Sora 2 生成的 Sam Altman 的 AI 视频。然而，尽管 Sora 2 代表了视频生成质量的飞跃，它依然存在本质上的局限性：它本质上仍是“人造2D视频”，只能被观看，无法实现实时的交互。因此，由于无法满足“不能有瑕疵”、“实时互动”以及“低成本规模化”这三大核心商业要求，Sora 2 距离真正的商业落地仍有距离。

这种火爆反而凸显了当下 AI 发展的核心矛盾——我们正处于一个“分裂的时代”： 1. 以 ChatGPT 为代表的大模型让 AI 拥有了前所未有的“大脑”，能推理、写作、编码，但它们是无形的； 2. 以波士顿动力、Optimus、Figure 为代表的人形机器人拥有了强大的“身体”，能跑、能跳、能搬运，但它们还缺乏大脑，无法与人真正交互。

也就是说，虚拟世界的大模型“有脑无身”，而现实世界的机器人“有身无脑”。如今，一种通往具身智能（Embodied AI）的融合路径正是 **3D数字人**。3D数字人的应用场景远不止于游戏、AI陪伴或直播带货。要让 AI 真正活过来，它不仅要能理解，更要能以人类的方式去表达——用表情传递情绪，用声音与语气沟通，用动作和形象建立存在感。3D数字人被视为目前具身智能驱动层的一个重要科技突破方向，代表着 AI 从 2D 到 3D、再到现实物理世界交互的进化。

从历史来看，数字人的演进横跨了半个世纪，是一部计算机图形学（CG）、电影工业与互联网文化交织的历史： - **CG与电影工业时代（从0到1）**：从乔治·卢卡斯在《星球大战》中构建虚拟场景，到《玩具总动员》作为第一部全CG电影，再到《指环王》中的“咕噜”（Gollum）。咕噜是一个里程碑，它首次通过动作捕捉技术将演员的表演完整映射到全CG角色上。这一阶段的数字人制作周期以年为单位，完全非实时，属于绝对的专业内容生产（PGC），是荧幕上的“特权”，而非大众工具。 - **互联网与虚拟IP时代**：2007年，日本基于语音合成引擎技术推出“初音未来”，开启了虚拟歌姬浪潮。此后，从 Lil Miquela 到国内的“柳夜熙”，超写实虚拟偶像相继引爆社交媒体。这一阶段数字人的核心价值转向了 IP 价值、人设和粉丝群体，但交互能力依然薄弱，高度依赖背后的“中之人”（真人演员）或预制内容，它们是“完美的数字木偶”，而非独立的数字生命。 - **AI大模型时代**：从微软小冰尝试赋予聊天机器人情感，到 AI 虚拟主播实现 7x24 小时新闻播报。AI 的注入让数字人从“能看”进化到“能聊会思考”，补齐了智能拼图。

在 AI 加持下，数字人行业逐渐分化为两条主流技术路线：2D 和 3D。

- **2D技术路径**：以 Sora（视频版 Stable Diffusion）或 HeyGen 等平台为代表。HeyGen 等平台的核心机制是通过真人视频录制加语音驱动口型，利用 AI 模型根据输入的语音合成视频中人物的二维唇形变化，使嘴部动作与语音对齐。其优势在于人物形象真实、制作简单，但局限性在于无法进行实时的自由交互。 - **3D技术路径**：本质是由语言驱动身体，实时生成包括声音、3D动作、表情和手势在内的多模态表达信号。它属于“文身多模态3D动作大模型”（Language Action Model），有别于传统的 LLM、VLM 和 VLA 模型。其技术壁垒更高，但优势在于具备真正的“具身表达能力”。

---

[04:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=299s) 3D数字人的技术挑战与学术同源性

要实现媲美真人的实时交互效果，3D技术方向面临着极高的技术挑战。魔法科技（Moface）创始人柴金翔教授是坚定的“3D数字人派”。他是美国卡内基梅隆大学（CMU）的机器人学博士，师从计算机图形学界泰斗、美国工程院院士 Jessica Hodgins。CMU 的机器人研究所（Robotics Institute）是全球 AI 与机器人研究的圣地，柴教授当年的博士论文正是研究如何让虚拟人具备自然的动作生成与控制能力，其所在团队也是世界上最早开始用 AI 做动画的团队之一。

一个有趣的现象是，柴教授的许多学术同僚——例如加州大学伯克利分校副教授、Physical Intelligence 联合创始人 Sergei Levine——都是从 AI 动画领域转向了机器人研究。这并非巧合，因为他们很早就意识到，虚拟世界的 AI 动画与物理世界的机器人控制在底层逻辑上是同源的。柴教授指出，以前做大语言模型、语音识别的团队（如 Language Technology Institute）与做机器人的团队（Robotics Institute）是两个互不相干的方向；但在今天，AI 的出现让大家发现，只要有数据，大语言模型、动画大模型和驱动控制都可以串联起来，这带来了认识和技术上的巨大改变。

在积累了20多年的学术经验后，柴教授于2018年创立了魔法科技。据他概括，生成一个高质量的 3D 数字人通常包括五个核心环节： 1. **建模（Modeling）**：创建人物的 3D 形象。 2. **绑定（Rigging）**：为 3D 角色构建骨骼和肌肉环节，使其能够活动。 3. **动画/驱动（Animation）**：让角色能够进行表情、动作和手势的表演。 4. **解算/特效（Simulation）**：对人身上的头发、衣服等进行物理解算。 5. **渲染（Rendering）**：在表演过程中，通过虚拟摄像头输出最终的视频画面。

传统上，这五个环节都需要大量专业人工与时间投入，这也是 3D 内容生产成本高昂的根源。而业界的新目标，正是要用 AI 去重塑这整个流程。

---

[09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 破解“不可能三角”：星云平台的两大护城河

魔法科技最近推出了“星云平台”，其定位是面向开发者的“具身智能 3D 数字人开放平台”。星云平台试图解决的核心问题是：当 AI 拥有了像 GPT 这样聪明的大脑后，如何赋予它一个可交流、可互动、可信赖的身体。

在传统技术路径下，3D 数字人领域一直存在一个“不可能三角”，即**高质量、低延时、低成本**无法同时兼顾： - 若要**高质量 + 低延时**（如电影级实时动捕），则需要顶尖的图形工作站和高端 GPU，导致成本爆炸，无法规模化； - 若要**高并发 + 低成本**，就必须牺牲质量，导致口型飘移、动作机械、效果粗糙； - 若要**高质量 + 高并发**，则会导致严重的延时，失去实时交互性，只能用于离线内容生成。

为了打破这个不可能三角，魔法科技的星云平台构建了两道技术护城河：

#### 第一道护城河：文身多模态3D大模型与结构化数据优势 3D 数据是结构化的。在 3D 空间中，无论是好莱坞级别的 3D 角色还是 3D 游戏角色，通常只需约 1000 个参数就能完整描述一个人的所有表情、动作和手势。相比之下，若在 2D 图像或视频空间中描述相同的内容，一个 $1000 \times 1000$ 像素的图像就需要 100 万个像素点。因此，3D 模型的参数空间和模型体积要小得多，这使得 3D 模型在训练效率、实时性、低延时和低成本上比 2D 视频模型更具潜力。

然而，高质量、结构化的 3D 数据在互联网上极度稀缺。自 2018 年起，柴教授团队通过服务游戏、影视等 B 端客户以及字节跳动等内容巨头，积累了超过 1000 小时的高质量 3D 动画数据（包含细腻的表情、手势、动作与语音的精确匹配）。基于这些数据，星云平台实现了从语义理解到声音、表情、手势、动作的全链路一体化生成。

#### 第二道护城河：创新的“云端拆分”架构传统的 3D 数字人极度依赖高端 GPU（如使用 Unreal 游戏引擎渲染，一路并发基本上需要一张显卡。若使用民用显卡，单张成本约 2 万元；若要支持 1000 人并发，仅显卡硬件成本就高达 2000 万元）。

星云平台颠覆了这一路径，采用“云端拆分”模式： - **云端（大脑端）**：只负责最核心的 AI 计算，根据文本实时生成轻量级的“语音参数 + 动作参数”，而不传输庞大的视频流。 - **端侧（本地侧）**：终端设备接收到轻量级参数后，通过魔法科技自研的 AI 渲染和解算技术，在本地实时生成最终的 3D 画面。

这种设计将对高端 GPU 的依赖转移到了端侧轻量级的 AI 解算能力上，不仅大幅降低了服务器硬件成本，还免去了高昂的云端视频流带宽成本。这使得在电视机等算力并不强大的普通终端上部署具身智能数字人的成本降到极低，达到了电视机等大厂完全可接受的商业化水平。星云平台并非内容制作工具，而是让大模型拥有身体的底层基础设施，其商业模式对标大模型，按 API 调用量进行收费。

---

[14:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=899s) 行业三大挑战：初始成本、数据稀缺与泛化性难题

尽管有了前沿的技术尝试，3D 数字人行业要实现大规模普及，依然面临三大核心挑战：

1. **初始成本高昂**：英伟达 CEO 黄仁勋曾展示过自己的数字人，其制作成本被业内估计高达 10 万美元。虽然星云平台降低了后续的驱动和渲染成本，但初始的高精度建模和绑定成本依然是中小企业和个人开发者入局的门槛。 2. **数据的稀缺性**：高质量 3D 动画数据获取极难，行业普遍面临“AI 公司缺数据，内容公司缺 AI 能力”的尴尬。对此，魔法科技的策略是“3D + 2D 混合数据模型”：利用 3D 数据打下结构化基础，同时融合海量被标注过的 2D 人脸视频数据，以弥补 3D 数据在表情多样性上的不足，并计划在未来发布相关的新大模型。 3. **泛化性（Generalization）问题**：这是 3D 数字人乃至整个具身智能领域最核心的挑战。以机器人爬楼梯为例，波士顿动力在宣传片中经常使用同一个楼梯，因为一旦楼梯高度、层数或摩擦系数发生变化，机器人就不一定能爬得好。

在 3D 数字人领域，泛化性难题具体表现在三个维度： - **交互的泛化**：目前的数字人大多只能应对标准的 SOP 问答，如何在充满上下文切换、发散性提问的非标对话中保持有逻辑、有情感的回应？ - **动作的泛化**：能否根据指令在不同复杂环境下生成合理的动作（例如在拥挤街道行走与在空旷草地奔跑的肢体形态差异）？ - **情感的泛化**：能否根据对话内容生成真正自然、非模板化的微表情（如区分真诚的微笑与礼貌性的假笑，专注的倾听与敷衍的点头）？

为了应对泛化性挑战，魔法科技将能力拆分为“通用能力”与“垂直应用”： - **通用能力**分为四个层面：表达能力（表情、动作、手势）、基本技能（走、跑、开门、坐下）、干活技能（抓取、开车、搬运）以及特殊技能（如跳舞）。 - **垂直应用（最佳实践）**：在 B 端特定岗位（如银行客服、AI 陪练、AI 面试官、展厅讲解员）中，用户并不需要极高的动作多样性，而是需要该岗位的“最佳实践”。

魔法科技选择先在这些特定场景落地，通过“小泛化”验证商业价值，再逐步构建通用的基座模型以提升“大泛化”能力。

---

[19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) 未来图景：让每一块屏幕活起来，反哺具身智能

展望未来，3D 数字人将带来两大核心应用场景：

#### 场景一：让每一块屏幕“活起来” 这是 3D 数字人最短、最快也最容易实现的商业化路径。人机交互将从“人去适应机器的点击逻辑”回归到“机器理解人的自然对话”。 - **线下大屏升级**：政务大厅办事窗口、银行自主终端、酒店前台、商场导购屏、博物馆展呈屏等，将从被动展示的屏幕变成主动交流的“白领”服务入口。在线下交互中，用户极度排斥“对着空气讲话”或只得到冷冰冰的文本反馈，3D 身体的存在感能带来巨大的商业价值。 - **企业培训与线上服务**：在企业网站、在线课堂或 APP 中，数字人向导将代替复杂的 UI 菜单。在 AI 面试、销售培训等场景中，数字人可以模拟真实的客户（如模拟一位医生），提供即时且具象的互动反馈，其效果远非纯文本模拟可比。 - **泛娱乐与游戏行业**：静态的虚拟 IP、手办可以被星云平台驱动，成为实时互动的数字偶像。在游戏行业中，NPC 将不再是只会重复固定脚本的工具人，而是拥有大模型大脑和具身智能驱动层的“虚拟生命体”，拥有自己的情绪、记忆和反应，与玩家共同创造动态剧情。

#### 场景二：与物理世界的人形机器人产生交集由于动画与机器人在底层逻辑上同源（都关乎 3D 世界的感知、规划与控制），3D 数字人技术将从三个层面极大加速人形机器人的进化： - **运动学层面**：3D 数字人模型生成的动作数据（轨迹规划），可以直接作为机器人模仿学习的输入，指导机器人的运动规划。 - **动力学层面**：在虚拟世界中通过物理仿真，将运动学轨迹转化为机器人实际动起来所需的动力学控制（即如何施加力）。 - **Sim-to-Real（虚拟到现实）**：在虚拟世界中低成本、大规模地生成机器人在现实中难以采集的极端数据（如各种摔倒与恢复过程），弥补现实数据的不足，加速机器人“小脑”（运动控制）和“大脑”（决策规划）的进化。

3D 数字人不仅是 AI 的脸面，更是其在物理世界行动前的模拟器和训练场。两者的技术同源性，使得 3D 数字人的发展能够极大地反哺机器人产业。正如柴教授所说，“ChatGPT 给 AI 了一个大脑，而 3D 数字人想给 AI 一个身体”。这场正在发生的人机交互革命，将通过有温度、有形态、有情感的数字生命，拉开人机协同新时代的序幕。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 我们正处于一个“分裂的时代”：虚拟世界的大模型“有脑无身”，而现实世界的机器人“有身无脑”。

> [00:00](https://www.bilibili.com/video/BV1zF2uBTENZ?t=0s) 3D数字人被视为目前具身智能驱动层的一个重要科技突破方向，代表着 AI 从 2D 到 3D、再到现实物理世界交互的进化。

> [04:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=299s) 以前做大语言模型、语音识别的团队与做机器人的团队是两个互不相干的方向；但在今天，AI 的出现让大家发现，只要有数据，大语言模型、动画大模型和驱动控制都可以串联起来，这带来了认识和技术上的巨大改变。 — 柴金翔

> [09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 在传统技术路径下，3D 数字人领域一直存在一个“不可能三角”，即高质量、低延时、低成本无法同时兼顾。

> [09:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=599s) 星云平台并非内容制作工具，而是让大模型拥有身体的底层基础设施，其商业模式对标大模型，按 API 调用量进行收费。

> [14:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=899s) 高质量 3D 动画数据获取极难，行业普遍面临“AI 公司缺数据，内容公司缺 AI 能力”的尴尬。

> [14:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=899s) 泛化性（Generalization）问题……是 3D 数字人乃至整个具身智能领域最核心的挑战。

> [19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) 人机交互将从“人去适应机器的点击逻辑”回归到“机器理解人的自然对话”。

> [19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) 3D 数字人不仅是 AI 的脸面，更是其在物理世界行动前的模拟器和训练场。

> [19:59](https://www.bilibili.com/video/BV1zF2uBTENZ?t=1199s) ChatGPT 给 AI 了一个大脑，而 3D 数字人想给 AI 一个身体。 — 柴金翔

## Mentioned Sora 2, 硅谷101, Sam Altman, ChatGPT, 波士顿动力, Optimus, Figure, 乔治·卢卡斯, 《星球大战》, 《玩具总动员》, 《指环王》, 咕噜, 初音未来, Lil Miquela, 柳夜熙, 微软小冰, HeyGen, 柴金翔, 魔法科技, 卡内基梅隆大学, Jessica Hodgins, Sergei Levine, 加州大学伯克利分校, Physical Intelligence, 星云平台, 字节跳动, Unreal, 黄仁勋, 英伟达

[Source](https://www.bilibili.com/video/BV1zF2uBTENZ)

中文简报

魔法科技推星云3D数字人平台柴金翔欲用云端拆分架构打破行业“不可能三角” 3D数字人通过云端传输轻量参数并在本地渲染的模式，能以低成本打通大模型与物理机器人的底层同源控制，成为具身智能落地的关键解法。本视频深入探讨了3D数字人作为大模型与具身智能融合路径的核心价值与技术突破。视频指出，传统的2D视频由于无法实时交互而存在商业落地局限，而3D数字人通过“文身多模态3D动作大模型”和创新的“云端拆分”架构，成功破解了高质量、低延时与低成本的“不可能三角”。尽管面临初始成本高、数据稀缺以及泛化性等挑战，3D数字人不仅能让线下大屏、游戏NPC等每一块屏幕“活起来”，还通过底层技术同源性在虚拟仿真中反哺人形机器人的动力学控制，推动数字生命时代的到来。针对 Sora 2 等 2D 视频生成无法实时交互的痛点，以及虚拟大模型“有脑无身”与机器人“有身无脑”的分裂现状，3D 数字人正成为连接两者的具身智能驱动层突破方向。 (0:00) 虚拟 AI 动画与物理机器人控制在底层逻辑上具有学术同源性，但传统 3D 数字人长期面临高质量、低延时与低成本难以兼顾的“不可能三角”。 (4:59) 魔法科技星云平台依托结构化 3D 数据的参数优势，采用“云端输出轻量参数、端侧本地渲染解算”的架构，大幅降低了高端 GPU 硬件与视频流带宽成本。 (9:59) 尽管行业仍面临初始成本高、数据稀缺及泛化性等挑战，3D 数字人不仅能激活线下与软件屏幕的主动交互，其运动学与仿真数据还能通过 Sim-to-Real 反哺人形机器人的进化。 (19:59)

Reading summary

针对当前AI领域“虚拟大模型有脑无身”与“实体机器人有身无脑”的割裂状态，节目指出3D数字人正成为通向具身智能的关键技术路径，能突破2D生成视频无法实时互动的局限，并作为底层技术反哺物理机器人的训练。 2D视频交互局限与3D具身表达演进 (0:00) 节目指出，虽然以Sora 2为代表的2D视频生成在画质与微表情上取得突破，但由于无法同时满足“无瑕疵”、“实时互动”和“低成本规模化”的商业要求，其本质仍是被动观看的离线视频。回顾从好莱坞电影CG动捕、虚拟偶像IP到AI主播的演进历程，AI数字人正在从外观呈现向深层交互进化。技术路径上，行业分化为2D与3D两个方向。以HeyGen为代表的2D方案依赖真人视频结合语音驱动二维唇形，制作成本低但交互自由度有限；3D路径则属于“文身多模态3D动作大模型”，由语言直接驱动身体，实时生成声音、3D姿态、骨骼动作与微表情，具备多模态实时表达的具身特性。虚拟动画与实体控制的底层同源性 (4:59) 魔法科技创始人柴金翔教授（CMU机器人学博士）指出，虚拟AI动画生成与物理世界机器人控制在底层逻辑上完全同源。过去大语言模型与机器人控制分属不同学术阵营，但在AI与大规模数据驱动下，语义理解、动画生成和硬件驱动控制已能够实现全链路串联。传统3D数字人生产涵盖建模、绑定、动画驱动、物理解算及渲染五个环节，流程依赖大量高薪专业人工。当前产业的目标是用AI重塑这套重工业流程。柴金翔及Sergei Levine等学者从计算机图形学跨界到机器人领域的学术路径，印证了感知、运动规划与控制算法在虚拟人与实体机械之间的通用性。破解“不可能三角”：参数轻量化与云端拆分 (9:59) 3D数字人长期受制于“高质量、低延时、低成本”的不可能三角。若使用Unreal引擎进行电影级云端渲染，单路并发需依赖约2万元的显卡，支撑千人并发的硬件成本高达2000万元，极难实现规模化商业落地。为突破此瓶颈，魔法科技的星云平台构建了两大方案：首先利用3D数据的结构化优势，在3D空间中仅需约1000个参数即可完整描述人体的表情、动作和手势，相比2D图像（1000×1000像素需100万像素点）参数量大幅精简，配合团队积累的超1000小时高精度动作数据实现全链路生成；其次采用“云端拆分”架构，云端大模型仅计算并传输轻量化的语音与动作参数，由电视机等低算力终端在本地完成AI实时渲染解算，规避了高昂的GPU集群和云端视频流带宽成本，按API调用计费。成本门槛、数据稀缺与泛化性挑战 (14:59) 尽管架构有所突破，3D数字人普及仍面临三大挑战：其一是初始制作门槛高，英伟达CEO黄仁勋数字人被行业估算初始耗资约10万美元，精细建模与绑定依然是中小开发者的负担；其二是高质量3D动画数据极度匮乏，行业面临“AI团队缺数据、内容团队缺AI”的错配，需通过结合标注2D人脸视频的混合模型来补充表情多样性。最核心的阻碍在于泛化性难题，包括应对非标发散对话的交互泛化、在复杂环境生成合理肢体的动作泛化，以及区分真笑与假笑、专注与敷衍的情感微表情泛化。为此，开发团队选择优先在银行客服、AI面试官、展厅讲解等B端特定岗位落地，通过受限场景的“小泛化”跑通商业闭环，逐步反哺通用基座模型的构建。终端交互变革与物理机器人Sim-to-Real训练 (19:59) 在落地前景方面，3D数字人主要开辟了两大应用空间。短期来看是让各行业屏幕“活起来”，将政务终端、银行柜机、酒店前台等线下触屏重塑为主动交互的数字员工，同时在企业培训与游戏NPC中替代固定脚本，提供具备情感反应与情境记忆的交互界面。长远来看，3D数字人能直接反哺物理人形机器人的进化。在运动学层面，数字人动作数据可作为机器人模仿学习的轨迹输入；在动力学层面，虚拟物理仿真能辅助转化为现实力控指令；在Sim-to-Real（虚拟到现实）层面，虚拟环境可低成本高并发生成摔倒、碰撞等现实中极难采集的极端工况数据，加速机器人运动控制小脑与决策大脑的协同训练。柴金翔教授总结认为，大模型赋予了AI智力，而3D数字人则在为AI构建交流与表达的载体。随着虚拟技术与物理硬件控制的深度融合，数字人不仅将重塑人机交互界面，更将成为实体机器人走向成熟的关键虚拟训练场。

Source quotes

[0:00] 我们正处于一个“分裂的时代”：虚拟世界的大模型“有脑无身”，而现实世界的机器人“有身无脑”。 [0:00] 3D数字人被视为目前具身智能驱动层的一个重要科技突破方向，代表着 AI 从 2D 到 3D、再到现实物理世界交互的进化。 [4:59] 柴金翔: 以前做大语言模型、语音识别的团队与做机器人的团队是两个互不相干的方向；但在今天，AI 的出现让大家发现，只要有数据，大语言模型、动画大模型和驱动控制都可以串联起来，这带来了认识和技术上的巨大改变。 [9:59] 在传统技术路径下，3D 数字人领域一直存在一个“不可能三角”，即高质量、低延时、低成本无法同时兼顾。 [9:59] 星云平台并非内容制作工具，而是让大模型拥有身体的底层基础设施，其商业模式对标大模型，按 API 调用量进行收费。 [14:59] 高质量 3D 动画数据获取极难，行业普遍面临“AI 公司缺数据，内容公司缺 AI 能力”的尴尬。 [14:59] 泛化性（Generalization）问题……是 3D 数字人乃至整个具身智能领域最核心的挑战。 [19:59] 人机交互将从“人去适应机器的点击逻辑”回归到“机器理解人的自然对话”。 [19:59] 3D 数字人不仅是 AI 的脸面，更是其在物理世界行动前的模拟器和训练场。 [19:59] 柴金翔: ChatGPT 给 AI 了一个大脑，而 3D 数字人想给 AI 一个身体。

Original transcript

[0:00] AI视频里面的热潮最近是被SORA 2点燃的刚发布的时候以假乱真的画质自然的语态和生动的微表情真的非常震惊到我我们在10月5号举办的硅谷101线下科技大会上就用了一段SORA 2生成的Sam Ultimate的AI视频不过SORA 2虽然代表了视频生成质量的飞跃但是它依然有局限性因为它本质上依然是人生2D食品它能够生成影像但是无法实时的交互它是被观看的内容而非实时可交流的伙伴所以Sora2距离一些商业应用依然有一定的距离因为它无法满足不能有瑕疵实时互动还有低成本规模化这三大核心要求所以Sora2的火爆其实反而凸显了当下AI发展的核心矛盾我们正处于一个分裂的时代一方面以XGBT为代表的大模型让AI拥有了前所未有的大脑它们能推理写作编码但是它们是无形的另一方面以波士顿动力Optimus Figure为代表的人形机器人拥有了强大的身体它们能跑能跳能搬运但它们还缺乏大脑还不能达到与人真正交互的地步也就是说虚拟世界的大模型有脑无身而现实世界的机器人有身无脑那么这两条路径都只完成了未来的一半那么在未来承担人机交互的载体究竟会是什么如今一种可能的融合方式以及一种通往巨神智能的路径就是3D数字人你可能会觉得很奇怪3D数字人的应用场景不应该是比如说游戏AI陪伴主播还有直播带货这种场景中吗其实远不止如此因为要让AI真正的活过来它不仅要能理解更要能以人类的方式去表达用表情传递情绪用声音与语气沟通用动作和形象建立存在感而更重要的是它被视为目前巨身智能驱动层的一个重要科技突破方向人生成是AI的进化从2D到3D再到现实的物理世界交互那么这期视频我们就来聊聊3D数字人首先来说说数字人的发展简史数字人的概念并非诞生于AI时代他的眼睛可以说是一部横跨半个世纪的计算机图形学CG还有电影工业与互联网文化交织的历史数字人的最初形态孕育于电影工业也是由CG技术驱动的从乔治·卢卡斯在星球大战中构建的虚拟场景到玩具总动员作为第一部全CD电影带来的革命再到电影之幻王中咕噜这一角色的单身数字人技术完成了从0到1的突破咕噜的出现是一个里程碑他首次将演员的表演通过动作捕捉技术完整映射到一个全CG的虚拟角色上这一阶段的数字人是技术与艺术的结晶其特点也显而易见制作周期以年为单位完全非实时是绝对的专业内容生产PGC它们是荧幕上的器官而非大众可及的工具后来呢随着互联网的普及数字人开始走出昂贵的电影片场2007年日本基于语音合成引擎技术推出的初音未来开启了虚拟歌机的浪潮它没有实体却能举办万人演唱会一个强大的虚拟IP就此诞生此后从Oyai到柳叶熙国内超写实虚拟偶像相继引爆社交媒体这一阶段数字人的核心价值从技术器官转向了IP价值他们拥有了人设故事和粉丝群体但其交互能力依然薄弱高度依赖背后的中之人也就是真人演员或预先制作的精美内容他们是完美的数字木偶却不是独立的数字生命真正的质变发生在AI技术尤其是大原模型突飞猛镜之后从微软小兵尝试用AI赋予聊天机器人情感到AI虚拟主播开始7x24小时播报新闻AI的注入是其从能看到能聊会思考进化一个数字人不再只是被动执行脚本而是能够理解你的问题并且生成有逻辑有知识的回答至此数字人的智能拼图就被补上了在AI的加持之下数字人行业逐渐分化为两条主流的技术路线2D和3D第一种是2D的技术路径无论是视频生成类模型还是2D数字人平台都属于这种类型比如说像Sora [4:59] 就是一个视频版的Stable Diffusion它能够生成视觉上逼真的短片但并不能实时驱动角色进行表达或者交互或者以黑镇等平台为代表的数字人平台它是用真人视频录制加语音驱动口型核心机制是通过AI模型根据输入的语音来合成视频中人物的二维纯形变化使嘴部动作与语音对齐简单来说它主要是在预先录制好的真人视频上进行嘴形替换让视频里的人看起来像是在说指定的话这种方式的优势在于人物形象真实因为是基于真人录制的制作相对简单但局限性也非常明显第二种就是3D的技术路径这种方向本质是由语言驱动身体实时生成声音3D动作表情和手势在内的多模态表达信号它属于文身多模态3D动作大模型Language Action Model这区别于传统的LLMLanguage ModelVLMVision Language Model和VLAVision Language Action Model这种方式的技术壁垒更高但是优势在于它是真正的聚身表达能力所以总结一下2D数字人的核心是语音驱动嘴型的视频合成技术让AI会说话而3D数字人核心是语言驱动身体的实施生成技术让AI会表达那随着AI的进一步发展我们对交互真实感的要求在逐步的提高具备实时交互和丰富表现力的3D路线也越来越成为重要的发展方向那么下一步就是要想真正实现媲美真人的交互效果3D技术方向还有一些技术挑战需要一个强大的技术班底来支撑那我们最近采访了魔法科技创始人柴金翔教授柴教授可以说是坚定的3D数字人派他是美国卡内基美龙大学的机器人学博士是从计算机图形学界泰斗美国工程院院士Jessica Hodgins我们知道卡内基美龙大学的机器人研究所是全球AI与机器人研究的圣地财教授当年的博士论文研究的就是如何让虚拟人具备自然的动作生成与控制能力实现实时互动他所在的团队也是世界上最早开始用AI做动画的团队之一一个有趣的现象是财教授的许多学术同僚比如说加州大学伯克里分校副教授Physical Intelligence派的联合成诚人Sergei Levine都是从AI动画领域转向了机器人研究这并非巧合而是因为他们很早就意识到虚拟世界的AI动画与物理世界的机器人控制它在底层逻辑上是同源的我们这个方向叫图形学或者叫动画其实我们以前这波人其实更早的时候也做AI过去反眉的时候就可以做AI了但是我们那时候NOP就是说现在大语言模型这个方向或做语音识别这个方向跟我们是两个方向就是他们做那些人以前我们叫Language Technology Institute我们叫Robotics Institute我们完全是两个没有关系的但在今天的话你发觉AI出现包括我们现在的公司在做同一波人在做大语言模型也在做动画大模型也在做驱动也在做我们今天在做造人这一块就是本体这块你会发觉其实你AI有了以后这些东西只是数据的不一样那你串起来的时候就使得这个事情我觉得也是认识上的改变了你会发觉所有东西都可以做只要你有数据那我觉得这个是认识上带来的改变另外一方面技术上其实也是因为它的确效果有很多时候你在做的过程中以前你觉得很难work的东西我会忽然觉得哇这东西能work在20多年的学术积累之后柴京祥教授选择了3D加AI这条在当时看似不可能但也颇具前瞻性的方向并且在2018年创立了魔法科技如今想要生成一个高质量的3D数字人正如柴教授所概括的他通常包括五个核心的环节我觉得最主要是起啪吧第一个环节就是要创建这个人的形象我们叫建模第二个事情就是说他要动起来3D素人其实一样他会要肌肉环节我们叫rigging就是说其实绑定我们下一步要做的是驱动我们叫动画让这个人能够表演了有表情动作手势下一步其实你需要的就是说因为人身上还有头发有衣服这部分我们一般叫解算就用物理去解算最后一步当然我们叫渲染这最后一步相当于就是说这人表演的过程中我用摄像头给他输出视频所以整体来说就是建模绑定动画解算解算也叫特效我们也叫到最后的渲染这个五个模块那么这五个环节传统上都需要大量的专业人工还有时间投入是3D内容生产成本高昂的根源 [9:59] 而业界的新目标正是要用AI去重塑这个流程在多年的技术积累之后最近模范科技是推出了星云平台它的定位也很清晰是面向开发者的巨生智能3D数字人开放平台那么星云就试图解决一个重要的问题当AI拥有了GPT这样的聪明大脑之后它如何赋予它一个可交流可互动可信赖的身体呢而要给AI补上这个身体其实没有那么容易在传统技术路径下一直有一个不可能三角的说法导致惊艳的demo很多但是真正能够大规模商用的产品极少我们在之前讲林侨首的机器人系列视频中提到了机器人的不可能三角而在3D数字人上也存在着这样的不可能三角就是高质量、低延时、低成本这三种往往是互相撤肘的那如果要想同时做到高质量加延时低比如说电影级别的那种实时动作捕捉就需要顶尖的图形工作站和高端的GPU导致成本爆炸不可规模化要想做到高并发加成本低就又必须要去牺牲质量啊这个效果粗糙口型飘移动作比较机械就有点像那种早期不成熟的AI数字人但又想做到高质量加并发高就又会导致延时严重失去实时交互就只能用于离线内容的生成那么有什么样的破局方法呢柴新祥教授就认为魔法科技的新名平台在试图创建两个互成核分别是纹深度模态3D弹模型与创新性的云端拆分架构用这样的方式来破局那第二个点是因为它是3D3D其实还有个好处就是说当你做大模型的时候因为3D是结构化的数据比如说我去描述一个人的表情动作手势的话其实对我们现在3D的动画不管你多复杂你好莱坞的这个3D的角色还是3D游戏的角色其实你的参数一般来说就说到1000个左右就可以描述这个人所有的表演但你现实世界去描述他的时候他是个图像那可能是1000x1000的图像那就100万个像素是吧那你去描述他的时候他的空间很大很大我们图像空间视频空间的模型会要小然后那这个相对小了以后它就会导致它的整个的延时会低它的实时性会高它成本也会相对比较低一些所以这种结构化优势使得3D模型在训练效率和参数量上相比2D视频模型更具潜力训练所需的绝对数据量也远小于后者当然与互联网上泛滥的文本和2D视频不同高质量结构化的这种3D数据是极度稀缺的从2018年起柴教授的团队就通过服务游戏影视等B端客户和字节内容是积累了超过1000小时的高质量3D动画数据这些数据包含了细腻的表情手势动作和语音的精确匹配基于这些数据魔法团队可以实现从语意理解到声音表情手势动作的全链路一体化生成当大模型告诉数字人该说什么时星云则告诉他该怎么说并且实时生成匹配的语音口型表情和动作赋予其表现力那我们再来说说第二道护城河传统的数字人呢无论是本地渲染还是云端串流视频都极度的依赖高端的GPU所有3D你经常去跑你一定要用渲染引擎游戏引擎最好的就是Unreal那Unreal其实你要做你是跑不掉图形卡就是我们叫一路并发的时候一路基本上就要一张卡那一张图形卡基本上如果你是用民用卡的话也要两万块钱左右如果是一千个人那基本成本就你很难弄了都要两千万的并发成本所以这个事情其实是做3D的人所有人都逃得出去A安时代高昂的硬件成本是规模化的最大扯轴而新云的架构则试图颠覆这一路径它采用了一种创新性的云端拆分模式在语音端也可以说是大脑端它只负责最核心的AI计算也就是根据文本生成轻量的语音参数加动作参数而不是庞大的视频流而在端侧也就是本地侧在接收到这些参数之后通过模法的AI渲染和解算技术在本地设备上实时将参数活动 [14:59] 最终的3D画面解算跟渲染以前这两个事情是游戏引擎干的事情这个事情我们把这个事情用AI做了就是我们用AI内做这个渲染用AI内做解算那这个做完了以后使得我们不需要显卡而且我们做了这里面有很重要的一个点我们把它做到非常非常轻轻到的就是说在我们端上非常低的这个芯片就是不是很powerful的芯片这种将对高端GPU的依赖转移到轻量级AI解算能力的做法不仅其大降低了硬件成本还避免了云端渲染带来的高昂视频流的带宽成本这是实现低成本与高并发的关键所在但以前如果说我们要这个显卡去计算的话那主要的成本是在那种显卡上所以这个成本你可以认为基本上我们今天的终端比如像电视机上我们要放一个聚生智能数字人你可以对话他可以回答你问题这个成本基本上是非常非常低的这个成本低到就是说我觉得所有的今天的大的电子机厂家都可以接受那么归根结底信明不是一个内容制作工具而是让大模型有身体的这样的一个底层的基础设施它的目标是赴能所有开发者其商业模式也是对标大模型按API的这个调用量来收费那接下来呢我们就再来聊聊3D数字人行业的困境还有挑战那么当然尽管有前沿的创新尝试试图打破这种不可能三角但是呢3D数字人行业要想要实现真正的大规模普及依然是面临三大的核心挑战首先是叫人的初始成本英伟达CEO黄仁勋在发布会上曾经展示自己的数字人其制作成本被业内估计高达10万美元虽然星云平台极大地降低了驱动和渲染的成本但是初始高精度建模和绑定的成本依然是阻碍中小企业和个人开发者入局的第一道门槛要想实现2C场景的普及也就是人人都有数字分身的愿景建模成本依然需要大幅度下降其次是数据的稀缺性高质量3D动画数据的获取难度和成本极高这是整个行业AI化的核心瓶颈目前行业普遍处于AI公司缺数据内容公司缺AI能力这样的尴尬境地没有海量多样化的3D数据作为燃料AI的表现力就无从谈起那我们的嘉宾柴教授他对此的策略就是用高质量的3D数据去打基础同时在探索融合海量的2D视频数据我们认为最后这个数据是3D加2D的数据我刚才讲了我们有3D这个数据其实我们后面我们现在在做新的这个模型就是有大量的这个2D的数据这个2D数据可能被标注过的一部分比如说人脸大量的人脸比如说我们在视频里面看到人脸的数据有各种表情可以弥补3D数据里面的多样性但人脸的数据它没有结构化它是2D的怎么把3D给2D结合起来最后去做这个混合的模型我们后面也会有新的一个大模型会去发布做这个事情因为你会到最后你会发真正要部署下去的时候这个模型真正要在中端用的时候如果你真的要做商业化你一定是要轻让起的第二呢我们看到则是泛化性的问题这是3D数字人乃至整个聚生智能领域最核心的挑战了那机器人来举例啊比如说波士顿动力的机器人爬楼梯挑战的地方就在于如果你给它不同的楼梯高度它不一定都能爬得很好这就是为什么从前波士顿动力在宣传demo里面经常放的是同一个楼梯那么这就是繁华性的难题能不能做到以有数据之外的事情就拿比如说爬楼梯举例这每个楼梯的它们高度如何有多少层的楼梯不同楼梯本身的摩擦力是多少这个摩擦系数是多少那么这些都是一些要繁华的参数而在今天恐怕还没有机器人公司可以说任何一个楼梯都能够爬得特别稳的那么这种从特定场景demo到全场景产品的鸿沟也同样存在于3D数字人领域3D数字人也是同样面临着泛化性的难题这里边的难点有三个那么第一是交互的泛化当下的数字人大多只能对应标准的问答所谓的SOP但是用户真实的提问是发散的是充满了上下文切换和潜在意图的数字人是否能在飞镖的对话当中依然保持有逻辑有情感的回应呢那第二个难点是动作的泛化能否根据指令生成在各种复杂环境下的合理动作呢那就比如说在拥挤的街道行走和在空旷的草地奔跑 [19:59] 形态当中它的肢体动作和神态是截然不同的AI是否能够理解这种差异并且生成非重复符合情景的动作呢那么第三是情感的泛化那这是最难的一环啊数字人能否根据对话的内容和情绪生成真正自然而非模板化的微表情是发自内心的微笑还是礼貌性的假象是专注的倾听还是敷衍的点头呢那么总的来说呢泛化性啊适合量一个AI系统是否真正智能的关键也是3D数字人从数字木偶走向数字生命的必须要去跨越的障碍对此呢魔法的策略是区分通用能力和垂直应用对于通用能力大概可以分为四个方面一方面是表达能力比如说两个人在沟通表情动作手势都是属于表达能力第二呢是基本技能比如说走路跑步开门坐下这些日常的技能第三是我们的干活技能比如说抓个东西开车搬东西等等第四是一些特殊技能比如说有人会跳各种舞但不是每个人都能跳所以如果要去训练一个通用的大模型那所需要的数据量就会太大这个过程中它一个分两趴一趴你要去训这个基础的本身的大模型其实我们也在做这一块但另外一趴呢如果说今天我们在做的聚成智能助手更多的时候我们叫最佳实践比如说我做银行的客服或者我今天做的是一个AI的培订或者我是一个AI的面试官它是这个岗位的最佳实践对一个岗位的最佳实践来说它是不需要多样性的因为对于一个面试官里头它一定有一个表达的方式最好那如果你是想表演的话那你的多样性要上去了因为你喜欢个性化是吧我们这个数据其实是对于一般的走跑跳就是日常生活的这加上我们今天的特殊行业的我们讲的B端里面比如说我是个客服我是个AI陪练我是展厅的讲解员或者我是一个特定的陪伴今天是够了那模范在做的就是先在银行客服销售陪练AI面试官等等最佳实践的场景落地是一种小泛化先验证价值然后再去逐步构建通用的机座模型提升大泛化能力那么在未来如果泛化能力得以加强3D数字人所描绘的未来图景会是什么样的呢第一个带应用场景就是让每一块屏幕火起来这可能是3D数字人最短最快也最容易实现的路径人际交互将从遵循机器的逻辑就是我们需要去在一个系统里点击重新回归到机器理解人的逻辑也就是自然对话中从政务大厅的办事窗口银行的自主终端酒店的前台商场的导钩屏到博物馆的展成屏幕再到家中的电视学习机屏幕将不再是被动显示窗口而是主动交流的服务入口我们今天去看双业化最有价值或最容易打的肯定是说有身体跟没身体是不一样的这是最大区别比如说举个例子首先从大屏比如说双业大屏在国内比如说我们家BI的问数屏或展厅的屏幕或者是政务中心的屏幕还是说酒店的屏幕还是银行的还是说这个商场的屏幕这些屏幕以前只是个展示屏那你加了这个AI了以后它就变成个人了就把一个白领放在里面那这个价值是非常非常大以前是一个被动展示的一个屏现在你可以给它互动它可以给你回答你问题咨询给你呈现各种信息所以就是有的身体差别是特别特别大的而且在线下的过程中用户给它沟通的时候它是不喜欢对它空气讲话比如说我语音给它交互它给我的东西就是一个文本或者用文本去打字这肯定是不行的此外未来在各种企业网站在线课堂或者各类APP迎接你的可能就不再是复杂的UI和菜单而是数字人向导它将代替冰冷的冷操作用自然对话完成所有服务这一点在企业培训场景尤其突出比如说面试是一个很重要的事情面试如果我用语音去面试我用文本去面试那肯定是不高效的销售其实要去培联他要模拟一下这个应用场景那如果只是文本去模拟这个是没有什么感觉的但如果是模拟的是一个客户客户就是个医生然后医生就在屏幕里面那我给他对话去模拟这种即时性跟玩本差别是特别的大此外在泛娱乐场景里大量虚拟IP都可以升级过去的虚拟IP是静态的贴纸玩偶手办未来它们可以被新名账的平台驱动成为可以实时互动唱歌表演的数字偶像在游戏行业里大量的NBC也可以升级这恐怕是游戏行业里面的终极梦想 [24:59] 未来的游显PC将不再是职汇重复欢迎来到村庄这样的脚本角色而是拥有大模型弹脑和巨神智能驱动层的虚拟生命体他们会有自己的情绪记忆和反应能与玩家共同冒险创造出独一无二的动态剧情3D数字人的另外一大重要应用就是与物理世界的巨神智能人形机器人产生交集我们在前面提过柴江兽的一个观点他认为动画与机器人理论同源动画是在虚拟视线和机器人代表的物理世界在底层逻辑上是相通的都关乎于3D世界的感知规划还有控制3D数字人技术将从三个层面极大的加速机器人的进化那么第一是在运动学层面我们在做的这个事情其实做的是控制这个动作这个事情就是说我们叫运动学这个轨迹是吧我能够AI生产我觉得我们现在3G的方法在虚拟世界做一定是百分之百用到现实世界因为我的数据比较多我就是虚拟世界的所有数据我要做的就是自动生成这个大模型我就能告诉他你要怎么走他就怎么走你要到哪里去之后哪里去这个事情我觉得是一个我们希望在人形基础人整个的上下游产业链里面我们去做因为这个东西跟我们3D世界是一模一样他做的同一个事情所以其实3D数字人模型生成的怎么动的数据可以直接作为机器人模仿学习的输入指导机器人的运动规划那第二呢是在动力学层面有了运动学轨迹之后呢就可以在虚拟世界当中通过物理仿真生成让机器人实际动起来的所需要的动力学控制也就是如何去施加力那第三呢就是所谓的Semite Real从虚拟到现实在虚拟世界中啊可以低成本大规模的去生成机器人训练所需要的在现实中难以采集的数据就比如说各种极端情况下的摔倒与恢复来弥补现实世界中数据采集的不足加速机器人小脑也就是运动控制和大脑也就是决策规划的进化因此3D数字人不仅是AI的脸面更是其在物理世界行动前的模拟器和训练场数字人技术的发展将与人型机器人的发展同频共振去帮助机器人从能干活的蓝领进化为会交流的白领来共同的推动巨神智能时代的到来AI多模态能力在2025年出现了突飞猛进的进展而其中3D数字人的进化更像是一场正在发生的人机交互革命这个赛道的探索者们希望通过底层的技术创新试图破解行业长久以来的不可能三角他们的核心目标是将3D数字人从影视和3A游戏中的昂贵奢侈品变为人人可用无处不在的必需品和基础设施我觉得AI本身大模型在文明大模型上的整个的突破它带给了做人形机器人上也很大的信心那对于我们做3D数字的人这个动作的驱动类似其实也一样带来了非常非常大的一个所以尽管现在行业还面临着成本数据和泛化性的挑战但我们也能够看到巨神智能和3D数字人产业的技术同源性而后者的发展反而能在很大程度上反补机器人的发展道路就像柴教授说的ChryGPT给AI了一个大脑而3D数字人想给AI一个身体那展望未来我们与AI的交互呢或许会有一个有温度有形态有情感的数字生命来拉开序幕而这样的数字生命也会从3D赋能到居身智能真正的与我们的物理世界产生交互让智能和AI更快的来到我们身边那我们也拭目以待以上就是我们这期的全部内容了感谢大家的收看那你们的点赞留言和转发甚至是我们硅谷101做好深度科技和商业内容的最佳动力我是陈健那我们就下期视频再见了Bye

魔法科技推星云3D数字人平台 柴金翔欲用云端拆分架构打破行业不可能三角