智象未来梅涛押注统一架构 称视频模型系世界模型唯一真实底座

智象未来梅涛押注统一架构 称视频模型系世界模型唯一真实底座 大语言模型因缺乏物理交互无法通向世界模型，唯有以原生统一架构从海量连续视频中学习时空规律才能实现物理世界的建模与编辑。 梅涛院士系统梳理了从 2017 年发表全球首篇文生视频论文（TGAN-C）到提出原生统一架构 UIT 的研发历程，阐释了“图片是入口，视频是过程，世界模型是终局”的宏观世界观。对话深入对比了 JEPA、3D 重建与数据驱动视频生成三种世界模型路线的优劣，剖析了 DiT 隐空间编解码有损的先天缺陷及智象未来在全模态架构上的突破。结合在中科大、微软亚洲研究院（MSRA）和京东的二十余年一线经历，梅涛详述了团队定位于“视频界 Anthropic”、专注 2B 企业级标准化服务与出海变现的商业逻辑，并披露了放弃具身智能整机、转做高精度数据合成背后的现实考量。 梅涛提出“图片是入口，视频是过程，世界模型是终局”的演进世界观，强调视频是通向世界模型最关键的高维数据与物理底座，而终极目标并非复刻物理世界，而是“MOD（编辑与重构）世界”。 (0:00) 针对 DiT 隐空间编解码有损压缩引发的幻觉与微调失控，智象未来研发原生离散 Token 交互的 UIT（Unified Transformer）架构，力求实现原生 Any-to-Any 端到端全模态生成与像素级精控。 (50:00) 在商业化路线上坚决拒绝重人力的模型私有化与定制大客户开发，海外主推 SaaS 化创意工具与 Prosumer 创作者产品，国内通过轻交付与 GMV 效果分佣走标准化 MaaS 模式，年营收已突破亿元。 (170:00) 面对具身智能动辄上亿小时的训练数据缺口，梅涛明确指出当前视频模型仅在视觉上看似符合物理、无法直接训练机器人，智象未来选择基于毫米级精度约束充当高精度合成数据“卖铲人”。 (173:30)

智象未来创始人梅涛院士提出“图片是入口，视频是过程，世界模型是终局”的演进路线，主张通过海量视觉时空数据驱动模型学习底层物理规律，并以底层架构创新和标准化商业造血对抗算力资源内卷。 世界模型的技术分歧与原生全模态架构 (50:00) 在通往世界模型的路径上，梅涛指出纯大语言模型无法独立实现突破，业界主要分化为三条路线：Yann LeCun 的 JEPA 潜在状态预测、李飞飞团队的 3D 物理模拟，以及智象未来坚持的从大规模视频数据中直接学习物理法则。他认为视频基座是世界模型最关键的底座，但当前主流的 DiT（Diffusion Transformer）架构因依赖独立的模态编码器与隐空间压缩，存在重构失真、幻觉及难以像素级精细控制的局限。 为突破此瓶颈，团队闭门研发了原生离散 Token 交互的 UIT（Unified Transformer）架构，去除编解码器的非对称压缩折损，以追求端到端的精准生成。针对多模态与世界模型的演进，梅涛强调行业必将跨越单纯外挂拼接的多模态阶段，迈向输入与输出端到端对齐的原生 Any-to-Any 全模态，但实现通用物理世界模型的成熟仍需 5 到 10 年及指数级算力支撑。 务实商业化：拒绝私有化定制与深耕高频场景 (30:00) 在商业策略上，梅涛自评更偏向“现实主义的 Sam Altman”，强调初创公司必须具备持续的造血能力。智象未来放弃了传统 2B 重人力的项目制与私有化部署，转而采取标准化的平台与 MaaS/RaaS 模式。公司早期曾尝试货架电商与传统图文打印店，但因客户素材更新频次低或行业认知迟缓，导致无法持续消耗 Token，随后团队果断止损转向。 目前其商业化聚焦于消耗频次极高的内容与兴趣电商（如 TikTok 营销）以及出海短剧制作，并通过推出软硬一体的 3D 全息广告屏切入线下业态。梅涛将 AI 商业价值链划分为底层的算力基建、中层的日用品化 Token，以及顶层的 Agent 业务价值；初创企业应立足顶层，通过效果分佣与工作流编排建立壁垒，而非在大厂占据优势的中低层拼消耗。 具身智能的现实账本与高精度合成数据闭环 (105:00) 基于早年在京东仓储一线操盘拣选机械臂的实战经历，梅涛指出当前具身机器人面临工业工作流不可中断、7×24 小时高稳态以及 12 至 18 个月严苛 ROI 回本周期的重重制约。同时，行业亟需千万至上亿小时的高质量交互数据，但纯视觉视频生成因缺乏真实的力学接触与空间坐标感知，现阶段尚无法直接用于机器人的动作策略训练。 智象未来因此确立了具身赛道“卖铲人”的定位，避开整机制造，专注于高精度数据合成。通过输入具备 6 至 7 个自由度的毫米级遥操作轨迹与动捕数据，利用生成模型进行上万倍的环境、光照与材质泛化扩增，将空间精度控制在 2 至 3 毫米误差内，并借助自研轻量级验证模型（如 VLA）测算数据对训练产生的正向增益，完成可验证的商业交付。 研发组织重构、开源策略与初创企业的生存法则 (60:00) 梅涛对比了传统工业研究院（R与D割裂、转化链条长达数年）与生成式 AI 时代“模型即产品”的研发范式，智象未来复刻了微软亚研院的高校联合培养模式，吸纳顶尖博士人才并由研究员与工程师强绑定，保持对前沿论文的敏锐筛选。面对大厂动辄万卡级别的算力压制，他提出架构创新的时间窗口通常只有约 6 个月，创业公司必须依靠陡峭的技术认知曲线和灵活调度以小博大。 在生态层面，团队通过开源 8B 级别的基础权重模型积累海外社区声誉与开发者反馈，形成反哺下一代架构与端侧部署的飞轮。针对算力供应紧缺与行业淘汰赛，梅涛认为多模态赛道格局尚未定型，初创企业只有挤进技术评测的第一方阵，并同步打通数亿元级别的自我造血闭环，才能在资本洗牌中保有生存席位。 梅涛认为，机器视觉的终极目标并非局限于模仿人类视力，而是通过多传感器融合超越人眼物理极限。对于世界模型，他的哲学落脚点在于“从物理世界中学习、高精度数字化重构，最终借助想象力进行模组化编辑与改造（MOD）”，但全物理模态的数据统一与算力瓶颈仍是该愿景有待跨越的长期挑战。

[0:00] 梅涛: 图片是入口，视频是过程，世界模型是终局。语言、视频、具身，终将汇聚。 [30:00] 梅涛: 今天在生成式 AI 公司的领域，2B 业务和传统的 2B 业务是完全不一样的……它是通过一个产品力来去触达很多客户的。 [40:00] 梅涛: Sam Altman 和 Dario 是两种不同的个人主义……Dario 比较喜欢研究社会学和历史，他的很多东西有哲学思想在里面；而 Sam 是投资人出身，他可能更现实一点。 [50:00] 梅涛: 在 DiT 里面它有个问题，就是虽然它复刻能力很强，但是你图片、视频、文字进来之后都得经过一个单独的编码器……它在隐空间（Latent Space）里面做压缩，经过压缩之后它就会有损，最后再做解码（从低维升到高维），这个时候就会带来幻觉和不可控。 [60:00] 梅涛: 架构或者算法上的创新，只能让你保持大概六个月左右的优势。但是我们一点都不担心，因为我们有持续创新的能力。 [65:00] 梅涛: 像马斯克的 xAI 随便建就是 10 万、20 万张卡……中国大厂普遍只有几万张卡在做训练。这就好比别人有钱有时间可以直接上高中考大学，而你只能上初中。 [95:00] 梅涛: 如果因为大厂做你就不做，那这个时代就不用创业和创新了。 [145:00] 梅涛: 创业公司只有一梭子子弹，打完就没了，千万不能躺在大厂的车辙上当炮灰。 [166:40] 梅涛: 真正强大的人，往往会越来越谦虚，会去追求共赢，站在对方的角度考虑问题。别人会觉得你是一个利他的人。 [178:30] 梅涛: 现在还不行，因为它只是视觉上‘看上去符合物理规律’，模型底层并没有真正的物理机理。 [193:20] 梅涛: 不是单纯去复刻世界，而是先从世界中学习，将物理世界进行高精度重构，进而在我们想象力的驱动下，去 MOD、去修改、去编辑这个世界，创造一个更美好的新世界。

[0:00] 我们团队在2017年的时候就发表了全球第一篇文成视频的论文那个论文里面的所有的作者都在我们公司我们始终认为不便是入口 这边是过程那终于可能就是一个世界模型了视频模型是世界模型的重要底座所有的世界模型 包括军神这本模型它们的模型体量大概只有70B或者一两百B一个像志向这样的公司我们一年的数据都是100B很恐怖的你只有见过这么多的视频通用性足够好的情况下你才能够做更多的办法是会跟语言模型完全不同吗是的大语的形势已经开始在转了比赛也讲一句话他说今天也已经不怎么看大语言模型的排行榜了投降视频的商业化已经很快很快了世界模型会像大语言模型一样有传票吗做视频的传播公司免疫情势已经不多了中国的大厂也就是几万转卡在做训练的同样按收费都是几十万转卡甚至百万转卡在目前情况下开源也是一种战略性的选择当下最热议的世界模型一个是李飞飞一个是杨绮坤这两条世界模型的路线大语言模型单独走向世界模型这条路已经被公认为不大可能了杨洛坤的JAPAN就是Predict的Next State李克菲他们的路径就是我要做三天的模拟就是我们做的就是以视频模型来出发从数据里面去学习物理规律这是三条不同的路径你觉得他会交汇吗将来以分球里肯定是要交汇的我们还是先笃定我们从视频里面去学习到足够多的一些规律李克菲是想复刻这个世界这个世界你是哪一派我觉得我应该是希望能够从世界中学习 把世界进行重构不是叫创造之调是mode这个世界 建模 按照我们的想象去编辑这个世界请不吝点赞 订阅 转发 打赏支持明镜与点点栏目字幕志愿者 杨茜茜欢迎梅老师跟我们的观众打个招呼吧哈喽大家好我是梅涛是志向未来的创始人这好像是你第一次出来接受完整的播客访谈是的在多谋态和视觉领域其实您的这个学术地位可以算是显赫啊但是之前其实外界对您的关注不是特别的充分为什么跟你自己的性格有关系吗我其实自己是比较喜欢后极勃发然后坚持这种长期主义的当然跟我们创业经历有关系我们团队目前做的是2B的TOMOTIDE的这个大模型和应用说说一开始的时候可能会没有那么的限量吧但是就像今天的硅谷发生的事情一样像unthropping 是吧一开始的时候也没有像OPI那么的显赫或者是名声确认那现在随着时间的牵引大家可以看到企业服务这个赛道慢慢的起来了我们也像Anthropic一样我们的业务我们的产品我们的技术也慢慢的在起我们的生育或者生势吧因为现在AI的公司出来活跃的还是比较多的你怎么让大家记住你很简单我们是希望能做视频领域的Anthropic做一家全球化的高科技的并且是平台化的一个公司我们希望能够在中国能够做成一家有硅谷的创新精神和文化的这么一家全球化的企业吧怎么理解视频领域的Anthropic你觉得Anthropic提供的最核心的价值是什么我觉得Anthropic有几个特点是特别值得我们中国的创业公司来去学习的吧第一个就是它的团队是一直比较稳定的你可以看到他们团队从一开始从OpenAI出来几个人现在慢慢的长大其实我们团队也是一样的,我们团队在2017年的时候就发表了全球第一篇文声视频的论文,那个论文里面的所有作者除了那位科大的老师他在科大以外所有的做的都在我们公司而且这些人从来就没有没有离开过团队方面我学的很像是unthropping另外呢unthropping是做企业服务为主的包括是之前有一家比较有名的创业公司像tanvatanva也是一样的他一开始是做2c的业务的后来呢他发现企业服务反而比2c的业务天花板更高而且他的复购率他的客单价是越来越好所以说我觉得像Athropic学习的就是坚定的走企业服务的这条路而且我认为AI领域的话最后的终局就是给企业的里面的个人提供更好的服务Athropic我觉得它能够有今天的成绩而且有这么大的社会价值其实它选了一个coding作为那把刀你觉得视频领域那把刀会是什么视频领域的话有表到就是图片我们是始终认为图片是通往东摩泰的一个入口为什么呢 因为图片是一个二维信号跟语言信号完全不一样,语言信号是一个一维的谢谢您的那视频是一个二维或者三维或者更高的信号我们眼前对视觉上对物理世界的一个moment的一个capture它是一个静态的图片但是呢这个静态图片里面有大量的信息包括人物的空间关系逻辑关系还有一些物理规律都隐含在里面那么图片的话再往时间走上进行衍生的话,它就是一段动画,一段视频那如果他在空间域上做扩充的它可能就是一个类似于像物理世界的一个 [5:00] 动作的一个视频所以说图片我们始终认为它是通往世界的一个入口吧它可以延展出很多很多不一样的模态要做好视频首先要把图片这个模型做好今天我们的很多的客户在我们平台上去创作的时候呢我发现他们50%到60%的时间是花在制作一张图上面的所以说我们认为图片首先是一个雕塑性的入口我们一定要把图片的模型做到世界最好其次呢我们在图片的模型上从二维的信号往三维的信号来扩展比如说我们从图片模型再扩展到视频的模型然后从视频模型再扩展到全模态的模型我们是沿着这条路来走的今天晚一些会聊到世界模型那图片会是世界模型的入口吗是的我们其实做戏村具视觉这个理由做了很多年我们一直有一个说法人在获取这个世界的信号的时候有80%是来自于我们的视觉来自于我们的眼睛那么首先这是一个很重要的一个入口另外就是说不管是今天的视频模型也好所谓的世界模型也好它其实底层的架构其实跟图片模型是基本上没有任何的区别的那么今天我们做视频生成的时候我们用到了主流的一些方法论是DITDiffusion Transformer那么其实图片的最早的模型也是基于Defusion Transformer做的所以说如果说能够把图片做到最好的话其实视频也是可以做到很好的那么包括今天像Google的GiminiGoogle的VO3 但其实 Google 本身也有一个很好的图为模型所以说我认为图片模型做的好的话后面才有可能把视频模型做的更好一点你是一个院士,然后你好像是现在这些创业者当中,就是少数完全全职投入创业,放弃了一些这个教职的title,出来城市创业的一个人其实我曾经跟一些人聊过我们其实这个团队是非常稀缺的为什么因为我本人是全职创业的而且我一直在工业界我最早的时候是在微软在Microsoft Research 然后后来去了京东虽然我的职业生涯大概有20多年的历史但是一直是在工业界的 全职的包括我今天创立志向未来这家公司创业我也是一直是全职的对 我没有拿过第二份薪水包括我们的团队也是一样的也是在工业界里面一直打磨 一直摸拔滚打这一路走来的所以说在中国目前来说像像有院士这个title的 愿意公升入局愿意all in去创业愿意每天70-24小时去想着公司的事情的困队其实并不多如何成为原始的?怎么说呢?因为从何大林念到博士毕业,然后呢就去了微软何大林也知道他是一个追求红砖并进理事交融是吧?他追求科学真理的一个学校那我其实很小的时候就想做一名科学家,从小心里有这样的一个种子然后呢在科大研究生后来来到微软实习那么见到了很多很多业绩的顶尖的一些高手我记得我当时来微软实习的时候我旁边一个QBIC里面做了哪些人做了沿水城,做了鱼凯,我们隔壁还做了那个神斗,这些都是我们这个业界里的一些现在正在AI的牌桌上做的比较好的一些人。当时微软研究院里面全球有1000个研究员。里面有五个土灵奖得住有三百个 Fellow就像我这样的一个Fellow,300多个那个氛围让我觉得做科学研究是一个非常幸福的一件事情也很自由也很包容我其实就想一门心思把视觉把人工智能这块做到极致看看我能够走多远所以说我做的做的这么多的有影响力的人 这么多的高人在我身边那么你跟着他们一起学习 你也会相当的比较快嘛你刚才说你从小就想做科学家 为什么?大概在小学三年级的时候吧 然后我们学校我记得让我去参加一个比赛也是一个奥数比赛吧但是我们那个时候在学校里面没有什么training就是参加比赛拿了一个学校唯一的一个奖回来虽然在市里面那个奖其实完全不值一提啊您是哪里人啊?我是湖北黄梅,我们是属于黄岗市黄梅县那不是教育资源也挺好的一个地方?我们那边比较重视教育吧,对然后回来之后呢,我们小学的校长在学校的一次大会上公开表扬这个同学这个同学以后会成为科学家这个时候我就觉得很受鼓舞嘛这个科学家是什么我心里没有明确的这个印象但是呢我觉得我可以朝这个方向努力所以说我当时就有一个萌芽一个种子在里面后来我上了课大课大这种氛围呢又是一个比较培养科学家的这种学校他签身一院士嘛一签个学生里面就有一个院士对 所以在这个环境下熏悼下就是基本上把所有的时间都花在花在学习花在实验室里面后来来到微软之后又觉得又打开了眼界就觉得我们跟全球最好的一帮年轻人跟全球最好的一帮寄存机的科学家在一起工作从他们身上学到很多东西而且我是站在巨人 [10:00] 肩膀上一步一步往前爬着所以我觉得成为一个scientist是一个非常非常自然的一件事情吧为什么最后选了中科大这所高校?一个偶然的因素吧 现在是科大的一个当委副书记 周书记他当时还是一个年轻老师他也是湖北人然后呢 他有一次就回湖北来招生跑到我们学校不知道为什么找到我们家来了说说那个我给你一张表你填完这个表,然后呢,只要你分数够,你到科大来随便选你的专业,我当时觉得就心动了,然后我家里觉得这个也挺好的是吧,你就不用去冒一些风险去考北京的学校了,对,然后呢,你还可以去一个这么好的学校去选你的专业,不挺好的吗,所以当时就填了,考完之后才知道科大原来在合肥,不在北京,但是我觉得还是挺有意思的,而且我们那个当时招我进科大的那个老师,就是周校长,我们在合肥的那个职场开工的时候呢,他过来庆祝我们吧,好我当时跟蒋教授说,我说蒋教授你当时把我就是招到科大来 现在我创业了在合肥 那你也得给我站牌 她说她很高兴啊我看了一下 其实AI界有很多中科大毕业的学生 是吧 有很多你的校友是的 是的 很多我的师兄师弟 像原来我在京东的时候一起工作的像周博文 周博是我师兄 科大应该是91少年班的 他现在在上海人工智能实验室是我们科大的师弟包括上次你见到的那个戴洛黎洛黎戴博是我的97级的师弟包括在美国那边也有很多像你们经常报道的那个于家辉科大少年班毕业的然后去了UAUC后来又去了这个啊Google 然后从Google去了OpenAI 从OpenAI 又被去了Meta 他就是转费一亿美金的 比C楼还贵的那个年轻人 也是我的师弟我见你之前跟戴博聊天嘛 他说你在学校的时候非常风云 大家叫你眉帅一开始没有 我还是比较喜欢默默无闻的 因为我这个人平时也不太喜欢露脸 就是刚才跟你说的我姓梅 其实我比较喜欢梅花的这个特点就是梅花香寺苦寒奶然后呢它是一定是经过风吹雨打的我喜欢后期薄发的喜欢默默无稳的去做一些我喜欢做的事情然后走到直到它做成的那天后来我可能去了微软之后呢成长比较快然后第一的时候呢我的学术成果还是可以的所以说他们可能觉得在科大的同辈里面可能我我在某方面可能会突出一点吧你说梅花相似苦寒来但我研究了一下你的履历我发现好像没有找到苦寒的痕迹啊那你可能没有遇到平时的我是怎么刻苦的呀你的苦寒是什么呢从小时候到现在还是比较努力的我做事基本上会付出比比我自己认为多的多的一些做一件事情我要付出120%的努力从各个角度来保证它的成功这是我跟很多人不太一样的地方我做事一般非常非常专注我一定会为了达到目标吧我会长期长期不断地去做直到他做成的那一天一般来说我不会轻易放弃的这是从小养成的一种性格各种的艰辛和辛苦只有自己知道特别是创业的时候作为一个一号位你后面没有人了那你所有的东西你自己都得承担吧最极限的是有一次大概四天去了五个城市啊见投资人见客户参加活动然后呢从北京到上海到杭州到广州到三亚就把中国从北到南穿了一遍然后又回到北京所以说我为什么要去跑半马啊然后平时也要去撸铁就是因为要保证我的身心要健康然后我的精神要饱满 情绪要饱满了人生当中一直都是获得正反馈吗 有没有负反馈你的人生感觉是很多人都模板人生其实根本不是这样的很多人只看到别人光鲜的一面我经常说一个人要付出99%的努力才能够成为1%的那帮人但很多人都是会在50%60%的时候就满足了就包括我自己从微软就愿去到京东然后从京东出来创业我觉得每一次都是对自己的以前的一种突破然后呢你不突破自己的话突破不了自己的认知的话你就不会觉得自己还能够再往前进一步这个过程中非常的难的应该一开始都比较难但是你跨过这个难的阶段的话你就会进入另外一种舒适区你就会觉得我在这个里面我成长的很快人性嘛 懒惰是一个天性那为什么我会去跑步为什么会去这么努力的去创业去生活你自由反应性去突破自己的话你才能够获得你长久的这种反馈哪怕是负反馈对我来说也是一个正反馈我记得我的职业生涯中文一次比较好的一次不反馈就是说在微软的时候有一段时间我比较压抑就是因为我觉得我当时做的我自己觉得做的还不错但是我可能promotion比较慢 [15:00] 或者比别人慢一点那我有的时候会有点不开心后来呢我的一个mentor其实现在一直是我的学术里面的一个导师他就跟我聊了一次他说你不高兴的原因是什么然后呢其实他觉得有的时候慢一点其实不一定是坏事你今天慢一点后面就跨过这个坎你肯定就很快了因为你说的东西都在积累嘛所以呢当时我听了之后那我就回去也继续做了半年然后呢过了一个半年之后我就非常非常顺利了而且非常非常快那个对话对我来说是蛮重要的任何一个事情都两面的去看而且要看长远一点很多人就是忽略了自己长期的进步和长期的价值但是放大了自己短期内的价值一个长期的游戏它其实是有很多次突破边界或者是永不停止的突破边界开始的我们可以追溯一下中科大对你的影响是什么样的中纪还是蛮大的因为我大学一年级的时候我觉得我的成绩不是特别好因为我不知道怎么在大学里面学习和生活到了大学里面没有人教你怎么上学也没有人教你晚上是上自习还是不上自习我记得我当时晚上没有上过自习后来我期末考试的时候发现不行对 然后发现考的不好所以我后来就知道哦 原来科大是另外一个黄刚中学啊我记得当时我们上大一大的时候很多人在刷纪米多一期那是俄罗斯的一套数学导演嘛对 然后呢 很多人在考纪考拖我那个时候什么都不知道没有规划 困惑了一段时间后来才知道哦 原来我要及早地规划我的人生然后呢 我要比以前上高中的时候更加努力才能够跟这帮人在一个维度里面去聊所以说我觉得在科大的时候就让我觉得是另外一个起点他要不断的去努力突破自己在你喜欢的这个领域里面要不断的去做到最好那个是我对我的一个冲击那第二个冲击就是我在科大读研究生的时候我的导师把我送到微软研究院来实习我记得那是03年那时候还在非典的时候然后后来我到了微软的时候发现身边的人都很厉害有清华北大的我身边做了一个从马里兰过来的回国的一个年轻人然后就是UIUC也有各种学校全球最好的最聪明的年轻人都在一个lab里面你就会觉得这个氛围一开始压力还是很大的见了很多的世界上最聪明的大脑然后见到了很多很优秀的mentor然后见到了很多非常有影响力的有潜力的研究方向所以那个时候就感觉自己不懂的东西太多了就是觉得如鸡四可然后每天阅读大量的论文做大量的实验天天泡在实验室里面我觉得那段时间对我来说也是一个很好的一个成长的机会你刚刚说一开始有一种科大在北京后来发现他在合肥就第一次到合肥的时候是什么感受我相信很多科大校友跟我的感受是一样的对 我记得当时一帮家长带着孩子去找那个科大戏区的大门当时科大戏区在黄山路上面当时路还没修好我记得还是一个石子路科大校门很大但是校门前面也不是很干净家长就在西区的门口问一个老师科大西区的大门在哪里然后那个老师就很生气后来我知道他是西区的区长叫黄基辅那个黄区长说说他妈的科大西区大门就在这里所以印象深刻科大是比较朴素的校风非常的简朴然后平时呢,在学校里面是看不到人的因为学生都在教室里面,或者在宿舍里面,或者在图书馆里面,或者在实验室里面它跟北京的学校氛围完全不一样我记得我02-03年在北航,当时威蓝营专业所有的实习生都在北航的宿舍里面去住嘛然后我就觉得北京的学生非常的活跃体育场是永远都有人在上面打球的但是呢科大的体育场基本上都是空的到了北京之后除了觉得人才更密集身边的人更厉害还有什么本质的区别吗本质的区别呢就是对自己的肌力更加的明显了我觉得我当时来微软实习的时候呢我实习半年回去我感觉就天翻地覆了特别觉得我自己的研究的能力每过三个月就会涨一步就跟今天大模型是一样的每过三个月一个小迪代每过半年一个大的迪代那我其实每个学期回去的时候我觉得我不一样了但是呢我看我在科大的一些同学他们过得比较的cozy比较的舒适然后呢按部就班的那可能他的写率没有我那么高嘛我印象最深刻的就是我到微软的第一天赵鸿江老师是我的mentor对他拍了那个当时另外一个小mentor带我第一天给我的一个任务就是做multi camera的sports video analysis做多角度的体育视频的分析当时第一天就让我看200篇论文把那段时间的所有的论文都看一遍看完一遍之后呢一个月之后给他做一个presentation去 summarize我记得我第一次给他汇报的时候呢他的脚是放在桌子上的脚放在桌子上我也踩过他是吧 [20:00] 他是比较critical的一个人,对他学生对员工的要求是蛮高的我们准备汇报的时候呢他就叫我翻他不看第一页,他从后面最后一页往前翻我本来是准备了半个小时的汇报,结果他五分钟就看完了然后呢就让我讲其中的某一两页嘛这个对我的印象还是比较冲击是比较大的那我才知道 我的老师 我的 mentor 他是这个领域的开三笔组然后没想到他还是这么 detail 的去看一些问题然后对这个领域的了解非常是深刻所以对我的压力很大然后我身边的同学每三个月写篇小论文每六个月写篇大论文对于我来说的话我觉得要追上他们还是花很长时间的所以我花了大半年的时间然后去研究这个课题 多视角的局域视频的分析但是做了大半年什么结果都没有然后很焦急很焦虑同时在美国那边CMO的一个教授叫Takiyo Connect他做了一个Modicam的一个叫Vision iVision这个System应该是60个Camera放在纽约的那个玫瑰碗Superball那个体育场里面去捕捉这个橙榄球比赛里面的每一个细节你可以在每个某一个角度每个角度去看这个运动员在发生的一些事情去判断他是不是越界了是不是犯规了然后在中国的话没有这样的一个系统所以当时我也是巧妇难为无名之吹然后呢 但是这个事情一直放在我心里面一直觉得对不起洪江老师啊 觉得没有把他做出来这个事情一直到2019年我们在京东的时候当时跟咪姑跟另外一家公司合作做了一套在足球场上的一个多camera的系统大概是16个机位的相机把他的那个原始的视频信号输出到我们的系统里面就我们去模拟那个人类导演导播的这么一个行为去做自动导播所以呢我觉得在2019年的时候我们真正的是把当时在微软没有做出来的那套系统给他做出来了而且可能比当时那个Takio Connect他们做的那个iFishing更加先进一点所以到那个时候我觉得我是对我当年洪江老师对我的一个assignment一个任务有了一个交代 当时我觉得心里面还有点坦然而且那个工作的话 2020年拿到了那个ACM Transaction的一篇年度的水下论文所以我觉得当时我觉得我算是对当年微软给我的第一个一个实习的项目的没有做成的一个交代 对 这个事情一直在我心里面很久了洪江老师他是应该说是微软亚演员的这个推动成立的那个关键人物 对吧 那你现在回看他当时为什么交给你的第一份工作是多视角分析体育赛事?他对我期望很高,他觉得我是科大来的,然后我们导师说我在他的实验室里面是最好的学生,最聪明的学生,给我压力很大,然后给我贴了标签,洪小老师就给了我一个很满的,下一个非常高的 expectation。后来确实没做出来,我也很愧疚。但是红条老也安慰嘛,确实条件不成熟,可能以后看看有什么条件你可以换一个方向,所以我就换了一个方向。或者说你觉得他给你安排那个任务在技术的角度,他希望你探索出什么?那个时候还是比较超前的,因为当时大家还是在研究Single Camera的这种Sports Video,Home Video,还有那个 surveillance video 从多角度来分析一个事件的话还是挺难的直到2008年的时候北京奥运会那个时候才会出现一些赛场上有多个camera然后就追踪运动员去拍网球比赛的那些压线然后拍边上舞蹈那些各种不同的view的动作所以今天你会看到我有一个自由度的camera它可以随便拉随便拖拉转那那个时候确实是比较难那个时候才2003年但是呢我觉得洪向老师他很很前瞻他它定义这个项目我觉得也是因为当时跟微软的那个战略相关的当时微软可能也是想做一个一整套的那个video的这个system从单 camera 到夺的到多 camera 当时 2000几年的时候互联网还没爆发的时候 很多人去买相机但是天空的去记录家庭的生活记录小孩子 记录老人那是一个相机扛着高手拍嘛但是呢我们想以后可能每个人相机会很便宜每个人会有很多的相机就像今天对 今天我们有三个机位但是可以有更多是的 那我们做的事情就是说我能不能啊在你的其他的没有机位的地方能够虚构出一个场景出来让那个没有机位的那个点也能够有虚拟拍摄然后这样的话我在后期制作的时候呢我的cameras可以按我的指令来随意的去注明注冒都可以切记位都可以的并且啊在输出的时候呢你不需要人工几件它会判断谁在讲话,谁有highlight,谁有金句。这是我们现在最想要的。对,所以说很有意思一点,就是说今天我们在志向的时候也做出了一个类似的一个产品叫high clip。你把你的社媒的信息发给我。比如说我们今天晚上放下了一个小时或者两个小时,你只要一分钟的金句或者两分钟的短片。那你把你的 prompt 给到这个 Hiklip Hiklip 就可以帮你去自动 [25:00] 那剪辑自动的生产然后切成各种不同的语言那个时候洪江老师给你的任务其实本质上是用AI的技术去分析理解视频或者画面是的所以其实也是后来的比如说多模态包括我们今天可能后面会聊到的全模态世界模型的一个最早的开端是那个最初原始的那个任务set了你在CV这个方向的兴趣吗?是的,应该在你那个年代CV就是最火热的方向,那个时候还不是NLP?嗯,也不能这么说,并驾起虚的,因为当时在科大的时候,当时当然也放在从来看的话Commit a vision其实那个时候没有那么大那个时候CVPR一年大概只有几百个人参会然后我们的Multimedia一年也是只有两三百个人开会像Signal Processing就是信号处理包括Speech Recognition那个时候可能会更好一点然后后来才是 computer vision和那个就是NLP对 所以那个时候还是大家还是比较均衡的去发展的不像今天 Everything is about generative AI那现在很多会都没了这会convert到 AI 里面比如说 Machine Learning 或者是 Computer Vision或者是那个解体系统AI以前的话还是比较多样性的你觉得多样性好还是现在这样我觉得很难讲因为它都是实在的产物大家可能会忽略到长期来看的话其实很多领域它是有承担它的道理的我经常说的一点就是说如果当年没有做video compression做encoding那么今天我们大模型不可能成功因为什么呢因为我们做模态里面处理的图片是几千亿张的图片视频的数量是千万小时的市场的视频那如果没有一个很好的视频压缩的算法你沉不下来那么没有一个好的算法的话你的memory漏得不到漏得不了那么多的数据了所以说很多领域它其实是为了今天的AI做了很多的铺垫我才能够做到今天的AI的但你不能说因为我今天都要做AI大模型所有人都铺在这个上面互联了其他的比如说System的一些工作那肯定也不行所以我觉得它是一阵阴阵的 可能现在比较热 可能跟风的也比较多或者因为工作的原因 或者因为工业的原因 它可能很多人会愿意在这里面但是呢其实再过一段时间我觉得其他的领域也会起来了就是事务发展的规律当时洪家老师他就是希望鼓励这种多元的探索他其实非常不像一个商业机构里的一个对,是的,我是自己觉得微软研究院的成功是非常有代表性的我们当时在微软研究院里面我们写一篇论文一定会成为当年业界的Hotspot 因为当时微软的产品线是 leading的产品线你只要做一个东西在 search 里面在office里面那肯定是最好的技术然后只要愿意发表的话别人就去看创造公司也会去学所以说那个时候呢就因为有一个很好的土壤能够turn你的idea去一个好的product然后呢算一化那个闭环当年微软的话是一个图币的企业为什么我们公司也做2B呢?因为我觉得2B的企业是能够长青的是能够基业厂清的那当时微软也是个2B的企业微软跟Google是不一样的啊微软是一个2B的企业所以它的产品性一定是要非常非常稳定的在微软我做出一个好的技术把它publish了 申请了一个专利然后再转到产品的时候呢 比如说我做一个paper要做成一个技术的话 中间要乘以10的 effort 就是我一个研究员要配10个工程师然后呢 这10个工程师把这个东西做成一个standalone的产品 又需要100个工程师来配合所以它一定是一个循序渐进的 逐渐放大的一个过程的 所以说一个好的技术转移到产品里面去大规模的使用的话没有大半年的时间是不可能的因为他要做一轮一轮的不断的解贷不断的去测试嘛那今天的就不一样了今天的很多公司像OpenAI这种公司它的R&D是完全murray在一起了所以今天的公司里面的researcher很贵是因为researcher和那个engineer是绑在一起的 一体化的 它没有中间转化以前我们在微软的时候我们research做了一个东西 要告诉engineer怎么把它复现 我有一个初级的代码然后它会把我的抽屉的代码变成几万行的Polet Level的一个代码工程化的代码然后再放到他们产品里面去不断的去调所以它有一个R2D的过程今天R&D是完全combine在一起了所以它接待的更快了为什么会完全捆绑在一起?因为今天我们做AI的话实际上是一个非常前沿的一种一种技术以前是没有的那么今天的话很多时候模型就是产品前两天Satia也说了Model is a product你只要在Model里面不断地创新你的idea能够为Model本身的能力能够提升那么这个Model本身就是产品了它不需要再转化了所以这个时候你会发现R&D在一起了而且Model这个提升,它来自于researcher对这个领域的一些认知一些判断一些快速的试错所以说今天的Engineer和Researcher是基本上放在一起的很有意思啊因为大量的AI的创业者他们应该都想做2C不喜欢做2B我记得Minimax的严俊杰当年在上汤也是做2B的嘛做的非常不喜欢 [30:00] 自己创业一定要做2C很多人都这么说了你居然说你要做2B因为他可以长青不能说2B或者2C是哪个是错的因为2C和2B都能够成功这个取决于团队的基因取决于我们团队的判断取决于我们价值观,我们团队一直在2B的公司做了很多年,我们在这里面有很多的资源,也知道怎么样跟我们的大客户,我们的KE客户,我们的中央客户做对接,也知道怎么样做渠道,也知道怎么样去控制我们的成本。所以说第一选择是做2B的业务,而且2B的业务的话,它的上升的空间,它曲线虽然慢一点,它的前往板会很高而且也会形成一个比较好的生态的壁垒吧但是做2B 大家过去经历过SARS时代总归会感觉第一就是它可能是在中国是一个很难的商业模式第二就很容易做重你做着做着你就变成用客户的贴身服务者了对然后项目制了啊然后这事就感觉很不性感对 其实我们今天做2B的业务呢其实跟你以前的传统2B业务是完全不一样的当时在京东待了五年我们在京东科技的时候呢既做2B又是2C 还是2G所以说我们很清楚每种业务的它的不同的属性和特点那么其实今天在生存实用公司的领域的话2B业务和传统的2B业务是完全不一样的你今天看Swapping他现在AR长得涨得很厉害涨得大概大几百亿美金了他其实团队的规模并没有扩大它是通过一个产品力来去触达很多的客户的今天像我们也是一样的我们服务2B的话有几种模式一种模式呢我们会服务特别大的平台客户比方说我们今天跟TikTok合作我们服务了他很多的这种平台上的商家跟中国移动这样运营商合作我们服务了它很多的线下门店也服务了它很多平台上的这种个人运户所以我们今天做2P的商业化有两种模式一种是服务我们的平台客户通过服务平台客户服务他的 SMB服务他的一些 C-Line 的客户还有一种是中央部客户因为中央部客户是我们的长期陪伴的客户所以我们会把有限的精力会放在中央客户的指课上面通过中央客户指课的话 我们还是去培养我们的渠道 帮我们做客我们做了很多的2B的业务的尝试 但我们公司的人没有增加我们公司现在才两三百号人 所以说你看到我们其实今天的2B业务跟你前的2B业务是完全不同的 而且我们也坚持我们不坐定制化的研发有想象力的公司他都不愿意做定制化然后今天来看的话就无论你做2B还是2C如果你能够推出一个通用型产品的话都可以打开天花板甚至他最后不一定局限在B端或者C端的想象苹果当年其实是先通过推出了一个C端的非常有杀伤力的产品后来包抄了B端那么我们是不是可以反推就是如果你今天在B端推出一个超级通用型产品也许有机会你也可以走C端你说的很对其实我们公司呢虽然我们主推2B的业务但是我们也在读2C但我们2C呢是2大C我们叫Professional C现在有些的话叫Prosumer然后呢这些是专业用户它不是范园的用户我们的C跟以前的C不太一样移动回来往的普通的C是免费用户小辈子免费用户今天我们AI的这个用户都是Prosumer给钱然后呢他们是订阅我们的Coken订阅我们的工具去消耗它然后去创作它的作品用户我觉得是一个专业用户他有可能是一个超级个人它有可能是一个团队所以说我觉得我们今天的2B和2C的概念有点稍微的变得稍微的模糊了一点其实我们今天你可以看到我们其实三块业务里面有两块业务是2B的一个是做商业智能体做短视频的营销另外一个呢就是做短剧的团队制作团队的它的那个创作者的工具还有一个呢是做涉美涉美广告设计一些海报等等这些用户这些用户呢我们也做并不是我们的一个特别大的一个BigBet2C的话我们认为是2B的业务的放大器因为2C的产品实际上是我模型能力的支出我的模型能力强不强那C论用户是最先感知到了溢出溢出的对然后呢并且因为有了这么多C论用户我能够去社区里面做branding然后推广回收到用户的一些反馈我们才能够去知道用户到底想要什么所以我们是以2B为主但是我们也在做professionals的一些工具和产品吧就像Anthropic弊端的这个客户确认了他的一个绝大部分的这个收入然后但是其实全球也非常多的独立开发者今天我们也在用他的扣顶我们其实也很像最近开源的那个Hydream01 一个8B的模型,现在上了A榜的前三,是全球顶尖的,我们在开源模型里面像OpenWeight这个模型里面,我们是排名全球第一的,然后我们还有一个B月模型正在马上也会去加入这个充榜的过程吧然后我们去年发布了两款开月模型一个是做1米级的Generation的我们当时叫Hydream 1米级I1 后来又发布了一个 editing 就是做编辑的一个模型 [35:00] 这两个模型其实在开运社区里面也是挺受欢迎的下载量超过了200万次当时在GitHub上面排名第一的就像您讲的现在B和C这个界线没有以前那么分明的时候从BatB的就像你们到BatC的比如说像我们看到Minimax像Kimi这样子的公司这两个路径会有什么不同吗?如果做2C的话,我觉得可能更多的关注于用户的痛点保证它的模型能力一定要足够的好否则的话它就是一个转售token的这么一个业务它比较要命的一点就是它得对用户全球用户的需求要做非常非常好的一个分析而且对用户增长它的策略要非常的在行会不会业务的话就是要看行业让行业的增长它的趋势这个行业到底因为有哪些普世的一些痛点,它的客户怎么分布的,头部客户是哪些,中央部客户是哪些,然后尾部客户是哪些,用不同的策略去做商业化,必须要比较好的策略的。大的方法是没有太大的区别的,只不过是看你把精力放在哪个地方,在国内的话创业的话有几个关键词。第一个就是全球化 一定要做一个全球化的一个业务这也是我当年创业的初心 如果说我只是做一家国内公司 我可能就不出来我在大公司里待着了第二个出海因为出海对今天的中国来说是一个非常非常大的势能因为我自己公司的产品也在出海,那我出海过程遇到很多很多的问题,我需要很多的产品来帮我,其实很多时候是没有的。第三个就是软硬件一体的服务,我觉得在中国做AI的创业的话,现在大家还没有关注到软硬件结合,那我们已经做了一些尝试了,我们有一个软硬件一体的广告评,我们叫HiFans。Q1就买了一万多台因为我觉得在中国创业的话你没有如果没有用到中国的供应链有势的话那其实你是用你的短板再跟硅谷来做竞争硅谷的长度就是它资金雄厚它的算力比你雄厚人财密度也很大那你要去做纯软的话其实是很难的一件事情倒不是说不能做成 而是相当有挑战那我们的优势是我们有大量的工程师的红利然后我们有很完整的制造业和产业供应链所以我如果能用到这个供应链的话我就能够在国内做一款软硬间一体的这种消费级的或者是企业级的这种硬件能够通过这个硬件能够做到更多的客户因为我们对线上零售和线下的零售的业台有充分的了解所以我们做了一个叫highfans类似于3D全系的广告评这个屏本身呢并没有特别大的一个难点难就难在我们怎么样把线下液态的高总类型分析清楚 比如说有夫妻老伯店油奶茶店有你发电还有经济店 还有酒店 网吧等等那么这么多业态你能不能让店家买到一块瓶的同时能够很快的自己能够上手去做自己的店面的广告今天我们就做了一个涵盖了整个现象液态80%以上的场景的不同的模板那么你买了一块屏,放到自己的店门口那么你就可以每天自己动手在那做一套广告那以前你找别人做广告的话需要的成本还是蛮高的这个很有意思就因为我觉得广告能力其实是一个通用的需求是的因为小至夫妻老婆店大至全球的比如说体育赛事包括超级连锁店对他可能都需要自己的广告能力是的我们就把这个做广告的设计的能力交给店主自己他自己有了 Agent 之后他就可以随便去创作所以 AI 实在为什么要软硬一体?对 因为我觉得线上流量入口其实今天来说已经很贵了但是有很多其他的入口 手机是一个中端入口车载是一个中东路口然后包括卸下门店它也是一个中东路口所以现在AI的下半场我认为大家应该从模型到agent从 Agent到用户的交互就是中东入口一定会往这方面走了所以我们要提前去布局这块找到适合我们团队适合我们公司的中东入口对所以这是我们的一个战略的选择吧AI上半场就是模型能力的比拼300是模型因为我觉得AI它是一个篮球比赛它不是一个足球比赛如果足球比赛它可能上半场下半场还有加时是吧最后可能还有点球我觉得更像是篮球比赛它有四节那么今天我觉得我们处于第一节快结束了 要进入第二节了 或者已经进入第二节了 第一节我觉得是大模型的比拼 它会迅速的收敛第二节就是 Agent通用的agent垂直领域的agent第三个可能就是终端流量入口 用户交互 软一体到最后可能就是另外一个阶段了我现在还没有想好是那个阶段 但一定会有你觉得这个进程 我们说四级的进程会非常快吗?很快 会快于互联网吗? 肯定会比互联网快得多啊因为大模型本身都已经很快了 模型本身它是超过万亿级的参数的而且是十万级百万级的GPU互联的这么一个很巨大的工程就算是这么复杂的一个工程的话 其实基本上三个月六个月就是 [40:00] 大的接待那么如果构建在上面的Agentic AIAgent那么这个领域的接待肯定是远远的快过大模型的接待的如果大模型迭代是半年一次的话那么 A 型的责任可能就是三个月也死了如果A型的三个月四的话那可能后面做流量入口做软件一起的话它可能会回答得更快一点我们接着未尔亚远远的问题还没有问完所以你是理解Sam Altman他当时把整个OpenAI往商业化去转的对你需要不断的收钱那你要找到清楚吧那谁来给你投一年投100个亿美金嗯哎但就有一个非常有意思的问题啊我们去看那段历史就 sam他提出以上一块为引擎去转公司的模型发展他这一套是 make sense 的但是留不住Dario出去做了Aphropik,Aphropik今天看起来大有感超超越OpenAI知识你怎么看这段历史呢因为我对这段历史没有特别深入的研究我只能说一下我自己的判断我觉得就是说对技术的这个使命感和直索一定是要有的但是呢你很难保证所有人都是正确的因为在某个时间点的话每个人做的我认为就是说没有对错因为在那个timing的话Dario他不是公司的一号位他不知道公司的经营情况那詹姆奥特曼 他可能知道公司的经营情况 他可能更多的从公司的战略从sustainable的角度来说 他怎么样去让公司有两条腿走路 一条腿做研究 一条腿做双压化Dario他可能当时他是在研究统领里面他看到了一些技术可能突破点他认为往前走一步他可能会走得更远他可能单点就可以突破了这个时候我觉得他出来做我觉得是比较合适的所以说我觉得没有对和错回头看他没有对手说只是在当前那个节点那么基于这个公司的情况你应该做一个适合这个公司的一个选择我再补充一下就是Sam Ottoman他可能跟Dario他是两种不同的个人主义Dario可能是一个个人理想主义我看过他的一些将Dario称之为真神把Sam称之为尾神是是是因为Darry他可能比较喜欢研究社会学他比较喜欢研究历史所以他的很多东西都是有这些哲学的思想在里面的但是三毛他们不一样他是投资人出身的他可能更现实一点所以我觉得它是一种两种不同的风格今天来看可能某些人他走得更接近于我们的想象但是你藏下来看可能这两个人都是对的所以我觉得没有绝对的对或错,它只是一时的选择不同而已。我有一个不同的观察点,在Dario怒而出走的节点,其实OpenAI提出的也是一个非常宏大的,我们一直是要追求通用AGI甚至ASI的一个过程,那是一个非常宏大的叙事。你有意思 你怎么看?这个我觉得可能跟啊公司的一号位他的对技术的认知是有关系的所以我最担心的一点就是认知的问题因为一个公司一个人只永远只能挣认知方位你的钱超出认知方位之外你基本上就不用看像Darriel和OpenSIM Automan的选择肯定是基于他对技术的认知来做判断的对于那个SIMO他买的时候我猜他可能需要一个宏大的叙事那宏大的叙事里面他要做AGI不仅仅包括语言模型它还包含了图片包含了视频包含了3D包含了种种包括coding对吧那Dario他的判断就是coding他是有严谨的逻辑能力能够闭环的而且coding做得好 可能原模型才能做得好coding做得好在上面才能够叠加更强的agent的能力他是不同的判断 因为这两个人的身份和背景也是完全不同的所以说他们两家公司做出了不同的选择你觉得你更更像是哪种画像目前来说我觉得我更偏向于三摸特如果说我今天我在硅谷的话我肯定会更prefer像Darion那种做法我就奔的一个执念去做暂时的商业化我也可以不跟你管因为我只要做到那天我就能够爆发但是我们今天在中国我融资的体量没有美国那么大但是我要做跟美国一样的事情我需要的资源可能就不够了那而且有中国的投资人他的环境也不一样他可能需要你不断的去沿途下单需要你不断的证明你的商业化能力我如果跟他说我需要很长时间才能够做商量化很长时间才能够爆发可能我还没做到那一天我就死掉了所以我觉得在不同的国度不同的地区你叙事的方式是应该不一样的说实话 在中国创业是比赛贵物传也难得多你的意思是你更偏向于像奥特曼那样的现实的叙事对现实的叙事 并不是说我啥都做对而是说我要综合判断我跟 [45:00] 是的sustainable的能力如果国内的融资环境更好一点更支持这种长线的研究一点能够能农到足够多的钱你有足够多的算力足够多的人力密度 那你可以去往一个方向来走但现在看起来Anthropic的盈利能力更强啊因为他马上就破万亿了收入这也是一个短期的呀对因为你看到两家公司的曲线可能将来会不断的交集因为模型能力会不停的PK对对包括像Google的Gimini也会冲进来的 它已经冲进来了 是的 所以说人工智能领域的话 你不要去禁止的看一个事情 不要去看某一个时刻 你要看它前后左右的跨度去看这个事情的今天的第一不代表明天的第一榜单上你看到排名也是不断的去交之往上走了但是确实Athropec选择的这个路还是挺猛的Coding等你是高于一切而且Coding确实是让很多的普通人或者很多的程序员都能够每天不断的去用它所以它的天花板确实蛮高的所以你的意思是在公司实现创新和商业化的模式上你希望能够对标anthropic但是在创神的画像上你希望能够学习sam altman是的就是做一个足够长的趋势来吸引更多的资源跑一个长跑对这是我的一个盆的您是全球最早做出纹身视频模型的人其实这个项目叫做TGANC怎么念Temporal GAN T是 Temporal 是持续的意思GAN 它只是一个静态的生存器嘛对抗的神经网络那么后面的那个杠 CC是caption对但这个名字写的不太好要解释半天肯定不是一个好名字对吧因为你刚才提到最早做这篇论文的作者今天还在Hydrate其实应该是当中跟你去了京东然后再出来创业嗯是吧对因为那是2017年的事情对这几个核心的人员吧所以你最早对CV的那个热爱是从什么时候开始的最早的话可能就是从大学的时候开始了因为大学的时候我们很多我们实验室的师兄都在做 image video compression因为当时我们实验室有个项目就是跟一家医疗系统公司来做医学影像的处理压缩因为音学影响很大跟今天的那个图片不一样今天图片都是8个bit医学影像可能是16个比特 12个比特 甚至于更高因为它非常的高清一张医学影像非常大小的那个3.5寸的那个小磁盘 你根本存不下去所以那个是一定要做压缩所以我就看到他们能够控制那个信号的那个叫PSNR新造笔然后控制它的压缩率就能够把筹相的size能够放大或者缩小把一个几百兆的视频能够压收到几兆所以我当时觉得很感兴趣然后我自己也对摄影对美术也比较感兴趣所以说我就觉得做影像做图像做视频我觉得是我的一个兴趣点吧我就入行了然后到了整个视频多摸泰这块的话其实有几个阶段那么最早的阶段我觉得叫萌芽期那个时候叫文字不叫 text叫 CaptionCaptain就是说我来一段视频或者来一段图片你能不能给他一个描述那个时候像像李飞飞 像很多的研究员也是在那个时候 大概是20112015年就开始了那个时候我们叫多摩泰我们叫 cross model不叫多模式跨模台然后那个时候做的比较多的是video to language或者叫image to language其实就是视频分析对视频分析但是这个分析比以前的分析做的更快一点是实际上是以前做的分析的是在AI 1.0时代我们叫叛灭谁那么那个时候叫生成试验 是因为我们不仅要判明我们还要把判明出来的词组成一段完整的文字 组成一段完整的故事 生成一段解释 对对对 那个叫Vision to Language后来大概是在2017年我们就想我们能不能反的做能不能从文本生成一段图片我都生成一段视频但那个很难因为我们从Vision到Language 它是一个从高纬信号到低纬信号的一个转换它是一个多对一的因为图片它是一个二维信号 视频是一个三维信号那么它从一个高纬信号到一个低纬信号它是容易做的但是你从反过来做的话 你从一个异位信号的低位做到高位其实是蛮难的因为它没有标准难比如说我生成一个人牵着一只宠物狗那这个人有很多种人是吧狗有很多种品种所以说他不是一个标准答案其实你要验证它是可行还是不可行也挺难的 缺评估 对缺评估所以当时我们就做这个实验既然cross model那么你既然从这个model到另外一个模台你也可以想象它从这个模台到这个模台所以当时我们是当时做了第一篇这个论文我记得2017年16年的时候呢MIT的教授已经开始做文身图了我用我们做视频的领域的我当然想到你做图你还不够牛对 我这视频我要做好几帧我当时做了这么一个工作是基于对抗神经网络的那个是萌芽期萌芽到什么程度我们只能生成大概八十枕也就是三秒钟 四秒钟48×48的一个像素的这么一个GIF所以说我们前两天open day的时候就把那个视频给大家看很模糊啊我们只能生成比如说阿拉伯数字 [50:00] 然后一个人厨师在饱汤汤糊到你都看不出它是什么汤所以很多人当时质疑你生成这个有什么意义但是我觉得这个是一个代表性的工作是证明我们是有这么一个比较bold的比较brave的一个idea我们想做这件事情从临到一你质疑也好你不屑于故也好但是我们可能就往这方面走了一步当时那个论文的话其实我们投了ACM Multimedia但是我们投的不是一个regular的一个session我们投的是叫brave new idea就是你有很勇敢的idea你就把它做出来哪怕你没有实验结果哪怕你的实验结果很差它也会接受你的所以说你看那个时候的想做这个事情还是需要用气的对所以那个是一个萌芽期到后面的话2022年出现了stable diffusion那个就是开始就出现了一些那个时候叫萌芽期前面那个叫种子期萌芽期的话就说我看到了一个新的技术像stable diffusiondiffusion这个技术能够比那个GAN就是对抗神经网络更好的一个实现方式那个时候我就觉得图片生成的话是大有可为的然后到了2022年的时候我们就准备要出来创业了23年我们就创业这个公司了那么真正的话跨越了一个gap叫发展期吧就是在2024年像Sora出来了那个时候就会发现原来视频能做得这么稳定然后并且就是说能够让早期的常先者或者是早期的那些专业用户能够用到这样的产品又过来两年到了2026年Zedon出来之后确实是我觉得进入一个爆发期了它相当于跨越了第二个GAP第二GAP就是说从专业的用户到一个普通的消费者或者叫半专业用户他也可以创作一个比较稳定的视频了所以我认为是一个总值期到萌芽期到发展期到爆发期大概是这样子的我们先逐个聊一下就是米格阶段的跨越它背后技术本质是什么TGAMS从对抗神经网络到Stable Diffusion的那个时代就是它背后技术发生了什么变化讲起来很有意思就是说在种子期对抗神经网络叫GAM那么它本质上来说还是用CN的就是卷积神经网络对抗神经网络它是有两个网络的一个网络负责做生成一个网络负责对抗它判断你生成的东西到底是真的是假的就有点像左右互博一样当时我们做TGANTS的时候我们的模型大概只有几千万参数模型是非常小的模型而且用的网络架构本身是用convolution neural network它整个网络本身也不是特别强参数量也不够大到了萌芽期的话就是出现了叫Diffusion这个网络用的是一个Unnet的一个架构那这个架构的跟之前的那个GANS是完全不一样的它没有说我就一定是左右互搏它就是用一个物理学的热力学的原理叫Diffusion这个框架扩散模型它的本质原理是说我用一个噪声的图像把一个图像不断的去加噪声加到最后最后加了很多很多部然后变成一个白噪声图像完全被噪声淹没了那我们去造的过程就是我从一个完全是一个白造成的图像逐渐逐渐的恢复到之前的没有被污染的图像那就是一个diffusion的过程把每一步变成一个神经网络在T0步到T1步那么这两步之间用神经网络来模拟它的数据的去造和加造成的行为这就是一个叫diffusion的模型但是它里面的神经网络的架构用的还是CM还是一个解决神经网络这是在中间那个阶段到了DIT这个阶段的话就是不一样了它还是Diffusion框架还是Diffusion加造去造但是它的神经网络里面的backbone我们叫它的网络的架构从convolution neural network换成了transformer之后它的skill就能做得更好skill up了它的上下文的能力处理的能力就更好了它对世界整个视觉世界的模拟也变得更好了因为当时Solar出来之后像OpenAI说Solar是对世界的一个模拟器它的复刻能力非常强所以那个时候就到了DIT用Transformer这个架构为基础在上面做Diffusion所以叫Diffusion Transformer后来到了爆发机像C-Lance其实也是基于DIT架构的但到了我们现在今天这个地步我们发表的叫UITUIT跟DIT又不一样UIT又比DIT更进一步了那么在DIT里面它有个问题就是虽然它复刻能力很强但是你图片视频文字进来之后都得经过一个单独的编码器因为它是在一个影空间里面做Diffusion的不管是我们今天说的文字还是语音还是图片还是视频那么它是一个完全不同的信号有的是一维有的是二维有的是高维那么不同的信号的话它需要一个编码的过程把它压缩到一个空间里面去这个空间是一个共同的空间那么你所有的信号到一个共同空间里面我们才能做互操作才能够做cross attention才能够把所有的模态都对齐一个很简单的道理它有一个问题就是说所有的模态所有的信号不管是文字的图片的它都经过一个压缩那么经过压缩之后它就会有损有损之后它最后再把它重构出来 [55:00] 他要再做一个叫解码解码就是他从一个低微空间再深到高一空间那么这个时候他就会带来一个幻觉可能会就不可控了所以他有这个问题所以我们今天做了 UIT 叫 Unify Transformer他就没有编码器了也没有解码器就是你文字的信号各种模台信号信来 你都是token你都是离散的 都没问题我们就在理散的空间里面直接做互操作做那个cross attention就没有任何的解码也没有任何的编码这样的话我的天花板就更高我对多莫泰的信号的像素级的或者是token级别的控制就做得更好而且我还能够支持很多的下游的任务所以 UIT 模型我们同时花了大半年的时间去把它训练出来所以是非常不容易的这个是独创 UIT 是一个独创的一个架构您刚刚提到就是 C-Dance 它其实用的也是扩散那他们用的架构是他们用的架构大体上还是一个 Diffusion Transformer 的架构就还是 DIT 对 对只不过它的数据做得更加的精细规模也做得更好工程化做到极致了我理解其实你们在架构上面做的一个更新的事因为我们是觉得创业公司如果是跟大厂来直面竞争这个算力竞争数据的话是不科学的是不值当的也是非常容易被它碾压的所以我们想创业公司的一个路径只有两条第一条就是模型架构上创新从原始创新角度来说 我的天花板会比它更高第二个就是说我因为有了模型创新那么我可能会用1%或者十分之一的成本再加上10倍的效率去逼近或者超过大厂的技术模型架构创新也是我非常好奇和关心的一个问题因为我理解其实架构是最底层的东西之所以会有大语言模型 先有Transformer这个架构今天当我们在讲多模态 全模态 甚至世界模型的时候因为本质这些模型它是要融入像您讲的多维的信号它其实是需要一个更海纳百川的架构 容量更大更灵活的架构然后大家其实都在探索这个架构的创新因为每天的架构创新不太一样的今天大家有个共识就是在在球模太领域或者在世界模型领域 架构还没有收敛 没有共识就是每一家都有自己的基因或者每家自己有自己模型的特色我觉得我们的目标就是说能够让让所有的信号所有的模特都能够原生的然后没有任何的损失的能够在我们的模型里面去做互操作能够去学习这是我觉得我们最原始的一个想法有句话叫青梅竹马嘛就是说你两个人是两小无猜你长大之后才能有更好的信任感才能有更好的默契所以我们就想在信号在原生的层面上不要经过任何的压缩和编码就能够进入我们的Transformer这个架构里面是一个原生的全模态的一个Transformer的架构我们没有去做一个颠覆Transformer的架构因为Transformer是个非常非常既成的架构它是一个backbone但是我们希望能够在框架上面做很多创新,比如说有GPT的框架,有DIT的框架,我们今天做了一个UIT的框架,是这样一个框架型的创新。我很好奇,因为在UIT这个框架当中没有解码和编码的过程,那它会不会消耗更多的算力?是的,这也是为什么我们training花了半年的时间是因为首先这个框架本身是创新的没有人蹚过所以说我们一开始的时候也不知道这个框架到底能不能做成能不能收敛能不能得到我们预期的效果我们只是有个gas就是我们有个判断说觉得我们应该这么做这种就是源自于我们团队的对技术的一种预判一种认知能讲讲这个技术直觉吗你为什么觉得得要一个就是更原生的从day one开始这些信号进来就相互融合的一个架构因为我始终是觉得这个世界每个模态的编码如果要同一编码的话是挺难的对 如果现在的话 做一个DAT的话 你会比如说文本的压缩你会受到大语言模型的因为你会利用现有的大约模型的编码那如果是图像视频编码有很多各种叫VAE的编码器它也没有统一不同的编码的话它始终会有问题就是它并没有那么原生它损失的信环在哪里你也不知道就它会有很多折损 有很多折损你折损之后在一个隐空间里面去学你也不知道他到底学到哪个层面了他的每个抽象的程度不一样有的文字可能抽象的比较高一点图像可能抽象的程度比较低一点那他就对不起然后你最后控制这个信号生成的时候呢你说我要控制那个像素比方说我今天拍了一张十几年龄的照片我希望你的眼睛再修一修我希望你的鼻子再修一修大概是可以修 但是你要修到细节修到像素级别就比较难因为它是在影空间里面学的它不是在一个显示的比较pixel级别的学的所以这样的话我就不能支持很多下游的任务因为他有幻觉 因为他没那么准确 没那么精准 颗粒度没有那么细这是我觉得以后一定要功课的一个过程的所以我们团队其实有大量的我的自己的我现在还在带一些博士生那么在我们公司里面就不断的去试错他们会每天会大 [60:00] 那样阅读archive他们的各种论文我们就会讨论这个pixel级别的是不是可以做了其实pixel级别的做法其实在学术界已经有一些端倪在做一些小的规模的一些尝试但我们认为如果只是在学校里面尝试的话是它不能够在大规模上面做的话它不能验证它的真或者尾所以我们就立刻捕捉到这一点我们就想把这个idea能不能用在我们的超大规模的视频的生成里面去所以我们就做了大量的这种脱波性的尝试说实话当时我们也觉得这头路还是有点危险的因为DIT已经被大家验证了然后你沿着DIT走你去对数据对算力就可以了可以有确定性的结果但是发现这样走也不行因为巨头是这样走的他们有用无限量的数据无限量的标注用无限量的这种算力本质上它是个资源堆叠在一个确定性的方向带来最大化的确定性结果并且这种做法的话也没有解决用户的通点用户希望确定性更高然后可控性更强然后更好用的这么一个产品所以我们就是想我们出来公司得走一条另外的一条路不能去只是对数据只是对算力那必要的算力和数据一定要有但是我价格上一定要创新因为我必须得用十分之一的这个人力物理去逼近它的效果或者甚至于超越它的效果架构创新是你找的支点这样你才能加杠杆是架构创新加效率加成本因为你们最新在AA榜上取得了一些成绩现在看起来其实新的架构有它的价值但是你这个架构一旦出现那大厂抄起来是不是也很快呢它也可以随时切架构这个问题我一点都不避讳就是架构或者上场上的创新只能让你保持大概六个月左右的优势但是我们一点都不担心因为我们有持续创新的能力你看我们把它开源了开源其实是非常非常考验一个公司的创新力这是你第二个bet你第一个bet是你走了架构创新这条路第二个bet是我能够持续创新因为开源是这样的它国际上的排名它非常严格严谨就是你充榜的这个模型给你开源的模型是能够一一对应的它会非常非常严格去验证这一点而且他会看你的架构到底是不是新的所以我们开源之后呢基本上就把自己掰开了揉碎了就是敞开了让别人过来看我是不是只是堆砌数据只是堆砌算力还是说我真的有架构性的创新整个community里面的那些人很快就知道了所以我们Hydream在整个社区里面大家声誉还是挺好的因为他们觉得Hydream一直在做架构性的创新包括我们发布了之后很多人在下面评论他觉得Hydream还是挺牛的他觉得我们是有底层创新的不是说只是为了刷榜为了冲榜而去冲榜我们是因为有架构性的创新我们才顺便去榜栏上去漏一下所以我觉得一个公司如果他敢于开源就像Deepseek那样等于是向别人证明我有这个自信而且我觉得中国公司在目前情况下开源也是一种战略性的选择因为我们确实没有大洋比亚那么多的资源那算力是我们的十倍甚至一百倍我就用开源用效率用成本去逼近它去顶住它直到有一天我自己的规模也大了我从中间公司成为一个中间公司才从中间公司成为一个大厂我就可以去抽过它那开源具体给一个创业公司带来什么呢带来很多方面了第一个就是branding通过开源那社区里面下载量几百万次大家都在讨论HIDREMX上面大家都在讨论这个开源模型就会形成对我们公司的品牌的一种认可好的技术人员他也会愿意来公司所以品牌最大的价值就是他带来人才第一个是品牌人才第二个就是说我们可以基于开源社区的反馈再去迪待我的下一个模型因为别人会在我的开源模型上做各种的不同的尝试那你可以track吗我可以track我也可以跟那些人去交流嘛因为好的研究员他一定会向后交流的我们会去通过他的反馈来去研发我们的下一个模型他一定会跟你反馈吗不一定但是呢有些人会找到我们的对他会跟我们交流的那么第三个就是说我们因为开源而且他的生存量比较低我们开源的模型只有8个B8B的模型的话我们再帧流一下我们其实可以做的更好8B就是相当于是80亿嘛我们可以做得更轻量级那么这个时候我们就可以赋能更多的像OpenCrew这样的这些用户能够再端上跑我们的模型端上跑我们的模型很多人就会介入我们的网络就会介入我们的服务我们的Token消耗就会起来所以它有很多的好处但是不管怎么说你如果开源的话就意味着你要把自己暴露出来血淋淋的躺在别人的面前然后你就让别人去审视你是不是真的是一家技术创建的公司这个是做技术的这些人第一眼就能看到的A榜它其实还是全球公信力和权威性最高的榜单之一它可能最能代表民意最公平因为它是匿名上榜对那它的这个开源榜和变远榜意味着什么A榜上榜的过程是非常难的因为你上榜的时候实际上是你提交一个模型提交一个接口A榜的组织 [65:00] 会让你的模型跟一些匿名的模型在一起去 PK 比如说你先从第十名开始打过第十名就是第九名了他一步一步的打只要打到最后你打不动为止它是一种打累的过程 所以它非常的客观和公平当然如果是开放式的问题还好一点如果是一个有标准答案的问题那可能还有些人他会去刷吧是吧就是说刷榜或者冲榜拿到第一 其实也不能就是我要纠正一点就是说今天的榜单上的第一不一定代表它的产品率第一产品做的第一也不一定代表它商业化做的第一所以它是两个概念但是它有一定的关联性A榜上的话 它其实开元和B元是放在一起评测了它没有所谓的一个开运榜一个币码但是它有一个选项Openweight 还是非openweight你要选择openware的话 我们就是第一了但我们还有一个非openware的一个一个模型一次在冲网的过程中可能很快也会有结果了吧开源的第一和避源的第一在行业里看来说它会有什么区别吗开源第一的话可能对开源社区的来说意义更大一点就像那个Deep Seek第一对B元模型的冲击力是一样的假如一个B原模型做不到开源模型的更好的结果的话它就没有实在的价值了对所以说我们开源的目的就是要逼着B原模型做的比我好而且要好一个level否则的话用户就会在基于我的模型上面去做它的开发那币源呢?币源第一意味着?币源第一意味着这个公司的研发的产品的能力台名挺好前的因为币源的话但是所有的公司都把全部的资源和精力怼在了那个B院的模型上面他是最好最好钱然后最好资源的一个产品的B元第一也更能够意味着现在全球的做它级别但它是被不停刷新的是的交替性的所以说我们在中国的公司首先要留在第一方阵里面就跟跑马拉松是一样的前五个人一定是第一方阵后面可能五个人或者十个人第二方阵那么我们一定要挤在第一方阵里面哪怕第一方阵里面可能偶尔低有时候第二有时候第五那没关系的对只要留在第一方程里面然后呢我们通过Agent的产品力在产品上面我再去超越他们然后再去通过商业化可能更领先一点 这是我们的一个打法吧我之前听过一个很有意思的说法 就是中国的媒体 自媒体网络当中 大家经常会看到说 我们中国的这个大约模型有充搜塔了 然后来到世界第一梯队但是可能在矽谷看来中国的LLM始终都在第二梯队的前沿,没有上第一梯队的排桌没有到梭塔级别我不知道你认不认同这个说法客观来说 我觉得大远模型里面国内的模型跟海外模型还是有差距的特别是毕业模型 第一个就是说啊我们国内的公司做的时间并没有海外公司那么长它发展的历史比OpenAI比SWR比较短一点Google做的时间更长了连Transformer都是Google他们做的嘛第二点就是SonySony 的差距是巨大的因为像X1X他不做了他都有20万张卡中国那家公司有超过10万张卡的几乎没有那么即使有接近10万张卡你有多少张卡放在预讯链上面也很少的就了解的话中国的大厂也就是几万张卡在做训练的那可能OpenAI 按收备都是几十万张卡甚至百万人卡所以我觉得这个设定上的差距巨大的虽然我们也有很多的国产的一些芯片送你出来但是要追赶它还是需要一点时间的因为算力上的差别就有点像是贫穷现在你的想象吗本来你可以上学可以上到高中去考大学现在我只能上到初中因为我没有那么多钱我也没有那么多时间所以说我觉得这个差距还是比较明显的在MLOM多模甚至全模的领域也会是这样吗这个方面我觉得倒是不一样因为这方面你看到国内的公司像自己的C-Dance 我刚想问好像我们国内的像可林啊C-Dance啊都做的挺好的对一开始呢Solar出来很惊艳但是呢 因为这块的话 它对算力的要求并没有那么高然后呢 数据这方面的话 其实中国的公司数据还更有优势一点就之前我跟北大的学者聊过 他有一个判断他说直觉上觉得长视频越多 数据越多就是多模视频模型训练越好 但其实是短视频他认为短视频其实是非常利于视频模型的训练的比如说TikTok抖音拥有世界上最海量的短视频数据所以他有理由做得更好但是后来这个字节的PR也在小窗户这个我们没有拿用户数据训练啊您怎么看这个北大学者的这个判断怎么说呢就是基本上所有的模型公司都在用大量的数据数据来源我们不太清楚啊但是基本上用的最多的就是往上的15秒钟 30秒钟的这种短视频或者一分钟短视频所以我们在训练的时候 会把长视频切成短视频我训练的时候它的基本单元就是5秒钟10秒钟15秒钟因为 [70:00] 你再往前衍生的话 比如30秒钟一分钟那你的算力的训练算力不够了 算力没有办法支撑更长的因为它是一个要支撑更长的刷下纹的这么一个关系所以这个教授讲的并不是说短视频这个数据而是我们在训练我们的视频的模型的时候一定要把视频切成短视频来去做训练的那么短期内可能大家看到的就是单镜头或者大概两三个镜头三五个镜头15秒钟的它的画面感它的视觉效果更好当然 C 档出来之后呢他的叙事感又更强一点就是他的故事性又更强一点因为他知道怎么样去分进怎么样去在镜头内做一些切换还有一个非常重要的是他符合物理规律看上去对 看上去符合物理或者他抽卡的成功率更高了但是其实依然今天最好的视频模型他也不能解决我们客户的所有的要求包括现在客户很多的要求他也是要抽卡抽卡就是说他要不断的去试错 直到模型跑出一个完全符合他要求的就现在不能是一次性就对的对现在很难抽几次的抽几次2023年我们连图片抽卡都要抽四次你还记得Meet JourneyMeet Journey一次出四张图我们当时也是一次出四张图后来我们一次出两张图因为我们的凑卡的概率比它要高了当然我们也不想offer四个免费的图片所以你看到这个技术在不断的眼镜就是今天的第一也不能代表明天的第一Google的机密乃也出来新的结果了所以说我觉得这个领域是非常有意思的就是我们一开始创业的时候别人说哎呀他说美博士我看你们创业我们博士们都比较焦虑他说今天这个低明天就那个低了然后他问我 我说我们不焦虑 我说我们很兴奋我们是一个技术背景出身的人 我们看到这个东西 我觉得是我们的战场是我们的舒适群所以我们会觉得很兴奋很亢奋并不是说觉得效率焦虑的人只是因为他没有技术的优越感或者他没有自信他才会焦虑的战场就是要留给有准备的人对吧那军人他就是要上战场的呀那我们作为我们的科研做这种research 而出身的背景的人那我们去这种战场的话是我们的职责所在也是我们觉得唯一让我们觉得有实名感能够实现我们的抱负的这些地方嘛嗯 你刚才讲在多摩和视频领域中国虽然没有硅谷的算力但是呃我们有这个数据为什么说中国的在视频方面的数据会优于美国实际上的并不是说我们视频数据一定优于美国而是说我们基本上也能够access到对方能够access的一些数据并且确实是中国的很多的这种朵视频的数据确实规模还是比较大的基本上全球最好的视频的平台都在中国嘛对 然后另外就是说架构没有收敛那么意味着大家都可以在一定量的算力的限制下去做各种的架构的创新如果说今天的这个多么泰视频也好它的架构创新已经定下来了那么所有人就是要沿着一条路去做的话那就是堆酸力比不过大厂的做视频模型的话几万安卡几项端卡都可以做就没有大到你需要100万张卡才能做得到他还没有进入原模型的那种完全规模化的趋势对对对 今天的动摩泰还不走军备竞赛我觉得还在GPT2GPT3的这个阶段还没有到GPT4和5的阶段这个阶段的话在上升期的话还是有很多的机会的回到你最早2017年做了世界上最早的这个纹身视频这个T-GAMS因为2017年6月份Transformer架构在OpenAI的论文当中被提出了你当时有留意到Transformer这个架构吗?有意到的呀当时觉得隔行如隔山嘛觉得那是一个自然语言处理那个领域的东西了,还没有把它拉通我们这个论文应该是在2017年的10月份发布的然后工作呢应该是在七月份做完的啊或者六月份做完的因为当时我们各个领域都还没有像今天那样这么融入当时一个发展趋势是说先在文本上做 首先是 Machine Learning就是积极学习这个领域做到一个好的模型出来像ICML或者iClear这些会议有好东西好第一波使用者就是做文字的做NLP的他们用好了开始到图像了为什么是先文字再图像啊因为文字信号比较容易做它是一个异为信号码应用的领域也比较广这个模式其实我们在微软上就一直在扎尔山上的复现从机器学习模型本身或者叫neural network到文字文字到图像图像这道视频所以文字永远走在图像前面图像永远走在视频因为文字很容易去小规模的实验很容易就证明它到底行不行明白但是我觉得后面还有一个很重要的节点就是2020年GPT3的出现其实是证明了就是在Transformer这个架构上它能够吃掉很多海量的数据然后证明了scaling low然后据我所知国内最早一波做大模型的学者们都是从GPT3开始看到信号就是那个时候你有没有意识到这个scaling low是可以被跑通的那个时候我们在京东就已经开始做了但我现在 [75:00] 加小模型了因为当时我还记得我们另外一个同事也是我的科大的师弟叫陶大成 陶渊长当时我们一起在京东就开始提大模型和小模型的结合但是那个时候呢你在实验室里面去训练大模型是 ok 的因为你可以刷各种榜单 可以发各种论文但是到应用场景的时候还是小模型当时有一个BET 就到底是小模型还是大模型有一个BETTLE我们当时做了很多的工业质检场景我们在长洲的工厂做工业的自动检测它肯定容忍率很高它需要你做大概百分之九十几的这个准确率啊然后这个时候呢你就会发现大模型不行它没有那么好的通用性那么另外呢你在大模型上面fantune的一个小模型那么它的容忍度它的精确率肯定比大模型要高所以当时觉得一个大模型要带着几个小模型最后落地的是小模型大模型只是藏在后面的一个 专家模型对对 是的因为我很好奇的一个问题是就是从GPT3开始Skilling Law被验证了然后一直跑到今天语言模型其实Skilling Law的天花板应该是还没有到但是居然在在视频领域这个skilling low一直没有出现就在多么领域skilling low还没有出现为什么嗯,其实你想象一下,就是说语言信号和视觉信号是完全不同的语言信号呢它每一个单词是一个确定性的含义它是一个人类历史沉淀下来的一个知识因为它经过了几千年的沉淀之后呢它每一个字符对他的特定的语意它已经是高度理念的知识了本身就是结构化的结构化的而且它是非常非常结构化的它的连接是有有机可循的比如说英文它有2万个单词那么2万单词和2万的连接它是可数的但是视觉性化完全不一样视觉性化到现在为止都没有以一个唯有define的一个概念说什么叫 token什么叫 Visual Token 现在没有那你说一张图到底有多少个 token一个视频到底多少个投击的我们今天近似来计算一个图片大概是10万张token一段视频15秒视频大概是100万的token它 token 量非常非常密集它什么叫token 我没法定义大概在2010年左右做这个时间叫磁表Visual vocabulary 就是我通过各种剧类把图像的一个 patch 就是小色片做很多的剧类 剧成多少个类别 每个类就是相当于是一个单词我们叫Visual Word图像词典 当时我有两篇论文 拿最佳论文假就是因为做了很好的一个visual words那是叫handcrafted就是人工手工定义的这个词表当时我们做了个实验嗜学的单词就是存图片的单词要做到120万以上的那个量级才能够达到一个好的结果所以你就想想一下英文的单词大概是2万到3万个单词长用的大概是五六千那图片里面就已经到了100多万个单词了那视频里面但是更多它可能会乘100倍那么如果100多万个UNIQ的单词的话做大模型的话它可能需要的算力可能会更大更大你就想象一下就是说视觉信号跟文字信号是如此的不同如果说我们完全用文字的信号方式来做离散的token的话首先你需要的数据要比文字的数据大得多得多然后你需要的这个算力资源可能也是他的十倍到一百倍如果这样做的话你不可能做得出来的而且说实话再退一步讲我们今天在互联网上拿到的视频的数据跟我平时所看到的所有的那个物理世界看到数据那个数据量小的多啊所以说我觉得不管是从数据的scaling law还是从算法的scaling law 还是从算力的scaling law 上面来说的话 我觉得杜莫泰这边的话还远远没有到GPT所谓的3.5或者4的阶段它还是停留在 GPT-2 的阶段那你觉得多摩它会有 Skin-in-law 吗我觉得它可能一定会有的DIT这个框架下那你数据越多标注越好 越清晰 越高清 高色量数据越多那你的模型的效果就好对 这是可以若眼可见的 但是呢 你到下一阶段的话 是不是还是DIT不一定 大野模型里面你可以看到 我们现在说2027年或者2028年通用的数据就能被用完但是呢在动物碳领域的话可能我们消耗数据的速度还赶不上数据的产生的速度这个就是一个很有意思的对比了因为我们人类每天都在产生大量的视觉的数据但是我们机器现在训练的数据消耗率赶不上了我们人类每天产生的新的数据的量您刚刚提到了就是文字它其实本身就是一个结构化的而且是人类几千年以来就是我们统治世界的其中一种工具所以我理解大元模型本身是站在人类的结构化的知识的这个巨人的肩膀上所以它天然的就会跑得更快一点但你刚才讲的就是从图像开始到视频视频可能也是结构化的但是图像或者说我们这个物理世界它其实并没有那么多的结构化对对它是一个非常原始的信号一种说法他说其实这个语言的每个字都有统计意义所以大元 [80:00] 行是个概率学的事情,但是像素点没有统计意义像素是没有统计的这个我同意的我就告诉你为什么像素这个事情要做的话不成立因为我们现在吸收人机所理解的像素就是一个点像素点如果像我们普通的信号的话它是 RGB 三个通道的当然如果有加上那个深度的话就RGBD那每个通道的话就是R表示R通道的话是8个bit就是0到25如果对像素不加任何的量化的话那么你每个通道是0到25就是225个曲子空间那么如果是RGBT的话就是225的例方或者225的四次方那这个词表你算一算它是什么数量级的那它跟文本的几万个单词比它的数量级的空间就是特别特别恐怖而且相手跟相手之间的关联是比较弱的它有时候是随机的所以我们定义的在图像或者视频里面定义的词源Token我们不叫以相手为单位而是以Patch为单位可能在图片里面是一个小的方块3×3 5×5 7×7在视频里面可能就是一个3乘3乘3它是一个时间维度它是一个立方体或者是一个Q即使是这样想定义的话它也不是一个一个完全被认可的定义方式因为它太难了所以说你就可以看到视觉信号它太原始了它没有结构化它也没有高层的语义所以它就是完全不同的模态我去年在硅谷跟DeepMind的科学家有过一场对话他们的判断是他们觉得多模态会比语言模型的技术发展之后两年 但是呢一个非结构化的 然后这个非统计意义的这种像素的这个生成和推演他真的能够像大元模型越境那样保持这么快的速度有这样的确定性吗还是它的Skilling Law真的会出现吗Skill in law一定会出现的但是呢是不是两年我现在不太好判断但现在很多AI里面的一些事情后来都会证明它是错的我不认为在纯视觉领域的话它是一种智能大概两年前我在香港参加个论坛的时候我们在座的几个老师顶尖的一些教授他们觉得视觉模型或者叫DIT这个模型我们其实并不负责产生智能我们做的事情是一个叫 replication复刻就是说我们看到了世界 我们可以把它完全复刻出来 我们也可以通过它不断的组合组合成一个新的事物但是你说我们在里面到底有没有智能有没有像大约模型那样隐藏了一个世界的知识的智能我认为是很难的所以我们目前来说这个模型只负责复刻只负责创造但它很难去产生新的智能但是未来的话一旦它产生了全模态他就会把语言的知识的放在里面来那么我们就有可能通过视觉信号加上语言文字的一些物理规律的描述可能就会产生新的智能或产生真实的人跟世界能够进行交互的这么一个情况这个东西到底什么时候出现 我现在还不太敢判断但我觉得可能也不会特别久之前李克兰团队谢赛宁有说过,他认为LM是自监督学习,CV是强监督学习,这是他认为最本质的不同之一。您认同吗是的因为我们的训练方式跟语言模型完全不同语言模型是 GPT它是Next Token Prediction它只要掩盖住现在这个字用前面的字来预测它是完全可以做到的因为它是一个自监督的因为它有正确答案对 它有正确答案但是视觉不一样我们做生成的时候我们是需要一个Pair来训练的一个Pair就是说我拿出一个图像来训练是不行的我们一定是拿一张图再拿一个它的描述文字的描述而且是一对应好的而且是这个描述越精确越好那么他是一个配偶来学习的图片视频也是一样的我拿出一个15秒钟或者30秒的视频然后我一定要写出一个很长很长的描述才能够拿在一起做训练它是一对的东西来训练的 并不是像文字那样 因为它的训练架构不一样我们用的是DIT的架构Diffusion Transformer的架构我们知道造声图像对应的语意是什么我们才能通过语意来反向生成它的照片如果你这都没有的话我们怎么做训练呢所以它的训练其实跟图像是完全不一样的所以它就是一个有监督的训练自监督跟强监督它通往的会是什么样的大的区别区别在于自监督的话他的skilling law可能爬得更快AI自己赚的更快我一直讲就是说为什么我们做视频或者图片生成的时候训练的话现在还比较受局限的因为我们不仅需要高质量的数据我们还需要高质量的监督高尔市长的标注标注其实就是它的监督信息所以我们是不是可以理解为视频领域或者多摩领域它所需要的人工加入成分比大元模型要多要多是的那它需要的算力可能也更多是的你包括今天的据成证也是一样的它需要人工去操作需要记录人手关节所存储的一些 XYZ还有自由度六个自由度七个自由度甚至于它的利空的信息所以他需要很多 [85:00] 有很多强的监督我们做视频的需要的监督可能比它还少很多但是比文字要多很多其实大原模型出来之前行业里面流行一句话就是说有多少人工就有多少智能就是人力在这个当中的参与就决定了技术的高度早期是这样的但是大原模型出来之后其实就不太讲这句话了因为这个模型可以自学习然后自进化但是其实当我们现在又来讲到就是更多模态的融合然后一个更多维立体的智能的时候其实好像这句话又要重新再出现了是吗要一定的人工的因为人工需要看这个标注质量造的好不好能不能做的更好的标注但是后面的话就不一定了因为现在它多模态的话它其实做两件事情一件事情是生成一段时间是理解如果理解和生成能够统一的话我既能够做标注也能够做生成它就统一了它不需要那么多的标注了人工的标注只是为了他做0到1的突破他只是为了奠定一个少量的有高标准的人类辅助的这么一个标注的信息他一旦训练出一个初步的模型之后呢他就可以自己在那不断的去标标完之后自己在那学所以他会把生存和理解统一起来您刚刚讲到说其实视频模型它更多的是一个复刻的逻辑当下就是最热议的世界模型就是两个倡导者一个是李飞飞一个是杨立坤他们完全是不同的底层的mindset就是李飞飞他强调的是要让模型看见世界先看见再理解看见的方式就是去复刻这个世界但是李克林他强调的是他要先懂世界懂世界并不一定非要通过看世界 也不一定要通过复刻世界而是放弃那些花里胡哨的细节 抓住这个世界最底层的本质去进行智能的教授我不知道我理解的对不对您怎么看这两条世界模型的路线他们的思想现在关于世界模型它其实还没有收敛的就是很多人有种误解觉得世界模型是一个模型整个世界只会有一个模型其实不对的当然可能以温球里有可能是这样的这个可能是很多年之后的事情了对那么目前来看的话通往世界模型有不同的路径然后每个流派也有不同的belief这个都是很正常的比方说像你刚才说的杨老困他们提出了JIP他们其实就是想预测世界的状态通过这个状态去理解人和这个世界怎么去交互的就是它的背后的逻辑思想它想作为一个居生智能的模型Next statement 对李菲菲他们做的更偏向于3D的一个世界他想重建一个3D的世界然后人可以在三件事件里面去游走去看这个三地世界它长成什么样子的会有很多的重构像他们做的比较多的像高斯波剑啊他一定要是要通过大量这种3D的信息3D的一些数据比如说像游戏的数据去重建这个世界它其实里面的人跟世界的交互是比较少的对我们现在还有另外一种路径就是我们做视频生成的这拨人我们是相信从我们日常接收到的一些视频真实的是视频里面可能会学到一些更多的一些物理规律学到更多的通用的智能不只是做聚生智能也不只是做3D我们还是先笃定我们把视频先学习到足够多的数据从视频里面去学习到足够多的一些规律这是我们想 believe 而且目前来看的话视频模型本身它的量也比较大它的基座模型的能力也比较强所以它对物理世界的刻画和模拟是做的比他们几个要做的更好的而且我们的目标并不是说只是为了做那种聚生智能的视频我们是想做更通用的一点的视频包括短剧 影视 也包含了广告 社媒所以我们做的更加的偏底层的通用一点我们是数据驱动的一个believe我们认为只要足够多数据哪怕有很多的物理规律我们通过这个视频来个模拟这些物理规律然后从这个模拟的视频里面去学习我们也可能会学到一些东西在里面的你好像有一个观点你觉得视频模型是世界模型的重要底座是的为什么它非得是重要底座的呢因为你看现在的世界模型所有的世界模型包括巨神阵的模型他们的模型体量都很小大概只有70币或者一两百币就是说如果说你需要你希望能够产生一个比较通用的能力的一个去尘智能的模型的话它怎么可能这么小不可能只有这么小但视频模型已经做到了一两百币了做了两三百倍都有可能那么因为视频模型它比较通用它数据是比较通用的它既包含了我们的第三人程的视频包括我们摄像头我们摄影师拍我们的对话拍我们的各种视频拍我们广告那是属于第三人称的视频我们还有大量的低人称视频啊我们戴着头盔戴着那个头衔去拍我们自己自己做的一些工作那是低人称视频所以我们在训练视频模型的时候实际上是各种各样的视频都用在里面了我们学习的是更加底层的通用的一种智能或者一种一种知识吧所以我觉得你只有见过这么多的视频通用性足够好的情况下你才能够做更多的泛化这是我们的一个believe如果你只是拿增基数据来做首先增基数据它没有那么多它可能也就是 [90:00] 百万小时有可能还不一定有如果你再去做爽生数据它其实也不会那么多所以说如果你没有一个通用性比较强的或者是基础比较扎实的视频模型的话你在上面想做通信信号的巨生或者什么样的我觉得是比较难的因为他建造的东西比较少就还是取材于真实世界现在有多少数据是的那我有一个比较好奇的问题因为其实刚才你讲到了就是强监督就是人工的这个干剧但是其实人工智能领域就是大家还有很重要的一个信仰就是那个The Bitter LessonSaton 提出越少的人工干预可能才是机器学习的更好的方式他是这样的他说的并不是人工干预他是认为这个算法足够的简单和 elegant那么他通过数据和算力就能够skilling up他是这个意思的那并不是说人工不要去参与那人工参与的本身是要把算法设计好你有一个好的算法并且呢出手的时候要给这个算法为好的数据初始的数据的话就需要一些人工的参与在里面的因为就好比我们教一个baby那么你开始教他坏的东西他可能就走偏了那一开始肯定要给他一些干净的数据标注好的数据然后把它喂的好好的最后他才能够在正确的路径上去学习自己对 是这个意思的那在视频领域它会是一个怎样的算法叫做Elegant的算法然后怎样的数据叫做好数据对其实我自己认为像 DITUIT这样的架构就是一个比较 elegant 的架构它也比较简单然后你会看到你之前的比如说之前有UIT有GAN它会设计的比较复杂它会有很多的Trick在里面人工的Trick在里面那其实越复杂的东西它越很难skill up因为越简单就是越美好嘛就Beatless你讲的嘛对然后你通过简单的算法去用更多的数据为它它才能够见得更多它只要能够记住这个创下文他只要能够复课那就可以做得更好的一个skill up对如果说你你的人工的加在了太多的Tricks在里面 其实你最后层层下来的话你是层层衰减的你会带来更大的误差那所谓的多模态到全模态 区别到底是什么呢?很多人讲多模态 其实目前来说除了文字以外或者除了图片以外我还有其他的模态比方说视频比方说我也可以是语音有可能是3D还有可能是巨声所谓动模态是说我只要有一个模态1+1就叫动模态或者2+1就叫动模态全模态是说我把所有的模态都放在一起来说训练而且是原生的原生意思就是说我不做任何的编码就能够做训练所以这两个概念是不太一样的目前来说我觉得我们是从多磨胎已经走向了全磨胎了那将来的话 从全磨胎的话还需要做一段时间 能够把架构做好 能够把数据做好 再从全模态慢慢的走向所有的世界模型了5月20号刚刚是谷歌IO大会然后PHA他也是在演讲当中发布了这个 他们叫全模态原生模型Gimini Omni然后他们也在提全模态 你们也发布了全模态的模型 为什么都从多模态走向全模态 这背后就是你刚才讲的就是要更底层原生的融合各种模态的信号是的这里面有个重要的概念我看PXI也讲了就是any to any就是如果我有一个统一的大模型原生的多模式的模型它能支持任意模式的输入也能支持任意模式的输出我只要训练一个模式我就能支持很多的任务了那现在的所谓多模胎就有个问题那么我训练这个多模胎我只能做图像生成 视频生成那我在做下游的视频的编辑图像编辑的时候我们还要再接一个小模型去做这样的任务那它不叫原生多模胎了所谓原生动物台是说信号就是信号原始的进来它也可以原始的出来这里面就是大概很多个输入这边有很多个输出你可以在这里面任意选一个输入的点在这里面选一个任意的输出的点它就可以 Any to Any这就是原生全模型那么它一个模型就能解决很多的任务这就是证明了就是像谷歌发布了这个Giminid Omni其实也就是所剩了我们的判断一定是要从多模态走向全模态然后一定要在动摩胎里面做原生的全摩胎他才能够用一个模型 同一个模型 能够做很多的任务用一个模型就能够吃掉所有的应用了从去年下半年开始谷歌多模态带领他登上了整个大模型的网座所以谷歌对你来说给你什么样的启示对我们来说我们就是希望能够造出我们在视频图像专业的赛道里面的一个独特性我的模型一定要有差异化的优势然后呢我的模型本身的在这块的能力一定要跟 Google 在处于同一个梯队里面在我们的专场的领域里面比如说老师平用一下比如说短剧包括社媒的总设计工具在这些领域里面我们要在行业里面做到前三做到头部因为这些大公司它做的是底层的基础能力我们要在底层基础能力上面基于我们自研的有差异化的模型 [95:00] 还是构建我们的应用的壁垒,数据的壁垒和行业的壁垒这才在我们差异化的经济的未来吧所以你的模型差异化主要体现在行业的壁垒第一个我们是希望能够在图片的模型上面图片是入口那么在入口这个模型上面我们希望能够做到至少是中国最好的一个图片的模型能够跟 Google 的 Nalobanana然后跟GBT1.2能够相提比论 能够抗寒的避免我们希望能做到全球前三然后开源模型我们希望能做到全球第一对然后呢在视频里面我们希望能够在短视频营销人货场的食品生产里面包括慢剧的短距离生存里面我们希望能够做到最好的一个行业级的是必摸行不会去跟大厂那样直面竞争某一个底层能力可是你刚才讲的行业应该自己也会做吧而且在他们的舒适区吧字节它可能会做的更多的是底层的原始能力比如说它纹身图投上视频或者纹身视频这样的体称能力他可能目前是关注的更多的是通用性我们一定要在我的垂直领域里面会把这个做到最好落地上面走的比它更快对 我的模型里面肯定是有自己的特色在里面的我们需要把这个行业的更好的数据做更好的标注能够关到我的模型里面去然后同时我在提供给用户的产品级里面我肯定是既用到我们自己的模型当然也会用到别人的模型因为我们要提供给用户一个多多多的方案比方说我们现在我们的平台里面既有自研的模型能力也有这三方的像 Deep Seek 这样的一些文字的能力在里面的所以我们一定是既在模型上面有差异化但是我们同时也在我自己的商业的闭环做到数据和应用的壁垒谷歌和资金你跟判了一个我倒并不是怕就是因为我觉得公司你关注好自己就行了很多中国的不管是访谈也好还是投资也好他很想问的问题是大厂的竞争对这是在任何一个时代任何一天都会面临的问题如果因为有大厂新增的话你就不做的话那我们就不用创业了也不用创新了你在任何一个时代任何一个领域都有大场在没有大厂的话也有中厂所以我觉得这个问题不是一个让你决定他做还不做的一个问题但是问题就是在于你在大厂的这个情况下你能不能找出一家新的公司我认为在人工生能领域的话特别是在阿约市场他不仅会关注这些大厂他同样也期望有这样的中型的厂商出来有创业公司能够走上资本化的市场投资也会往这个方面来用的那今天的大厂在以前他也是小厂或者我这么问吧谷歌的技术基因和自己的技术基因肯定是不一样的你们也有你们自己的技术基因然后底层团队的风格和技术的风格上有哪些不一样我们没有那么的大规模那么这个团队本身呢就是首先我们得有一个很强的技术的认知技术的使命感其次呢我们一定是要用最小的资源这块的效率去迭代我们的模型因为这样的话才能保证我们的模型能力创新能力能够一直走在啊大公司的前面所以我经常讲的就是说我们一直有三条曲线一个是公司的发展曲线一个是行业的发展曲线就是AI的行业发展曲线第三个就是个人认知的曲线我希望我们公司的认知或者个人认知一定要在行业的前面或者比他的曲线要抖这才能保证我们对技术有一个很前瞻的预判因为我们效率高 我们成本低 我们掉头快我们看到一个好的接触路线 我们就可能会比他们更快如果发现路线不好我们掉头也会更快所以这就是我们创业公司的它的生存之道嘛同时我们一定要在大厂他们目前来说不会去做的场场子里面迅速的建立起我们的声量建立起我们的壁垒建立起用户的性质当年这些大厂也是这么开心来的我们面对创业公司跟大厂之间竞争这个话题的时候大家只看到物理资源的投入很少会提及或者重视时间资源的投入因为其实现在训任何的模型它都是要有周期的比如说在多么领域它可能 maybe是半年为一周期你会实时的去判断技术你也会迅速反应在小公司就传销好掉头但在大公司因为它毕竟是一个巨型组织它也汇报文化在一条错的路上 但是他得走到底 然后走到模型公布很拉垮的那天 参见拉马 然后最上层才能够发现这件事情 所以某种程度上时间资源其实才是这件事情上的最大的资源是的 时间成本也包含了你做对事情的成本和做错事情的成本 它是要加在一起的 那场其实它很多时候那因为架构的原因因为层次的原因因为里面的各种利益的原因可能在做取册的时候并不是一个一线的炮火所以他可能会做出一些不太符合技术发展规律的一些判断我们超越公司的话跟很多投资人一样一级市场的投资人真的是认知的钱我们真的也是认知的钱一样的对我们 [100:00] 一定要对技术判断要足够的敏捷,然后行动也足够敏捷。先聊聊为什么创办之项吧?你当时在京东这个当中经历了好几次,其实多摩台跟视频领域的这个关键发展节点,可以先从这里开始讲一讲?创业的原因很简单,就是我曾经在一家目前是万亿美金之前是千亿美金的公司做过技术后来又在另外一家千亿美金的公司做个高管那我的下站就是想自己创立一家千亿美金的公司很简单的很朴素的想法从微软到京东到Hydream对因为我觉得在大公司里面你即使再优秀再好很难就是说能够完全按照自己的想法来做了因为你永远要服务这个公司嘛个人要服务组织嘛这个也是完全没问题的但我还是希望能够独立的自主的能做一件事情对然后我觉得time 也到了有这个想法的时候呢实际上是很很早了微软大概2015年16年的时候当时AI1.0也比较火当时就有很多人找我希望我出来但是我觉得那个不是一个好的timing那时候不就出来了?立地?对那个时候说实话第一个人工智能的它的能力还没那么强那个时候小兵对话只能对话七八轮七八年之后就飞了然后呢另外就是当时我觉得AI1.0时代当时有四小龙但我觉得他们还是关注在人力的识别我觉得那个是有点窄的并没有遇到一个让我特别觉得这个技术的disruption足够大的一个浪潮吧另外呢我觉得我当时在那个时候直接出来创业的话我认为是有个gap的从一个Microsoft Research的一个research出来要去做商业化的话就得有一个gap所以我希望找个地方去学习提高自己的认知所以我当时正好碰到京东找到我们我想选一个商业场点比较广然后又比较接地气的一家企业也是一家一个有丰富的场景的有大的容忍度的公司所以我就进去待了五年其实就是要学习公司的战略 学习公司的管理 学习近期化运营 学习怎么样做一个产品 学习怎么样去见客户等等 所以我觉得我花了五年的时间在京东里面学习 我认为收获还是蛮大的 所以那个时候2023年不管从创业的条件还是从个人的这个心智来说就比较成熟了 所以我就觉得时间到了 其实再回过头来想 如果我们再早半年出来可能又不一样了 但是你没有回头路嘛 只能是继续往前走吧然后刚才我们前半段聊到红江博士出来创立了志愿研究院他们在2020年其实包括唐杰教授在内很多人就欠头开始做各种大模型的项目了但其实2023年志愿快被挖空了你肯定知道这件事情吧所有的机构都在疯抢那些中国少数做大模型的人那个时候你在做什么2023年我们刚好创立志向未来嘛那个时候我们已经开始在融资上半年一个是开始在研发我们的视频和图像的模型等我们当时也在招人了而且那个时候的态势是这样的当时就是一线的机构投资了很多这样做大约模型的公司他们对多模态甚至于图片视频他们都不关心甚至于我跟他说我做的也不是图片模型因为他们经常把我们跟Mini Junior来对标我说我们做的不是图片模型我们做的视频模型那时候他们还不信因为没见过Sora然后那个时候视频呢做的效果呢也一般坦白来说所以那时候是完全不一样的一个态势手里钱都砸到那个大元模型上去了直到2024年搜索出来之后我们才有第二轮的投资人慢慢的就发现原来视频是可以做的视频的强盈空间也很大2025年的时候大家就开始要做双方画觉得视频模型是可以挣钱的投资人也有个人知道迭代的时间周期嘛,那我们不能等啊,我们就一直往前做嘛,因为做到行业规模起来的时候,该来的人,该来的钱都会来的嘛。我那天跟戴若黎博士聊天啊,他说,Hydream的前五页融资PPT是在他办公室写的。是这样吗也不能这么说吧就是说大的想法应该是跟那个洛黎讨论的蛮多的因为当时他他还在西红县那边有个兼职所以他当时呢走的比我快一点是因为他在帮西红线融资然后建了很多的机构记得了一定的行业的know how那个时候我刚出来创业还是个小白就容易被人批威嘛但是我觉得他说的很多观点我也是非常认可的所以在他办公室聊了两次那两次基本上就知道该怎么样的叙事创业嘛 你肯定一个是Narrative他们叫growth 但我觉得应该叫grounding 你既能够顶天立地讲好你的叙事但是同时你也要做好你的底层的一些建设 商业化 技术产品都要做所以那个时候跟若黎在他的新闻线的办公室我们确实聊了蛮多的听说你早期其实有两个细分的创业方向的选择 一个是多么太视频 另外一个是聚身智能你在京东其实也是有涉及过古人物 [105:00] 配送呀 然后机器人呀 这些方面的一些技术的支持对 当时呢 确实是有两个储备的项目的但是后来我们没有选择做机器人是因为当时在那个条件下因为当时我们在京东的物流里面做了两台机械币只是做拣选的因为在京东里面要做一个机器人的应用场景还是蛮艰难的艰难的几个点第一个点就是说你不能改变它现在有的工作流比如说它每天有这么多包裹从那个站点里面到各种小的站点它要分解那么你不能因为你放了一个机器人把他远在工作流给切断了他的站点就不能运行了所以第一个呢你要跟他的现有的工作流要无缝的衔接不能耽误别人第二个呢就是你即使要学会七成二四小时能够稳态高效的运营第三个呢你要能算得上在物流仓库里面的主管也好 他们的RI只能按照12月来算因为他预算只有一年你要跟他算超过12个月18个月的他根本就不跟你谈但是要算账的逻辑是建立在你机器人必须大规模部署的情况下你如果一台吸血币替换一个人工是不可能说能了账的因为你放一个吸气人在这里你还得放一个人因为人要看著吸气人机器人可能会出错可能会有故障你如果有一个人看十台机器人才可能把这个账算清楚所以那个时候你意识到就是说在工业场景里面要让机械人进场子干活 这件事情是有点路径有点长的因为今天的巨生讲的就是通用性的故事对 但是我依然觉得在工厂里面通用有点难因为你就看今天的居生智能有哪家呀公司的机器人能够在工厂里面能够干724小时能够不间断的去干活这是挺难的一件事情的你看前两天FIGURE AI不是在那捡包过吗他只是在分包他并没有几天选他并没有把包拿出来放到某个筐里面去其实他真正的业务场景还很远很远但是已经算是很了不起了所以说那个时候我就觉得这个赛道不太适合我们所以我们就换到另外一个赛道就是我们老本行做AIGC做视频生成这个测道当时是觉得Stable Division出来之后像2022年7、8月份的时候有一张图片我不知道你是什么太空科技院那张图片就是用有命理就由你来生成的生存之后他拿到了一个周历的摄影赛的冠军当时他引起了很多轰动嘛引起了很多争议嘛那张照片呢给我的印象触动比较大我觉得这张照片确实是看上去不是这样的AI做的它是有一定的人文的情怀在里面的而且它综合了很多的要素在里面所以我觉得AITC的可能性是变得越来越明确了当时说来说我就觉得应该回到初心回到我们2017年做那篇论文的初心所以我们几个就出来要做一家视频生成的公司了其实我理解两件事情都很远但是你选择了一件你更喜欢的事情一个是更喜欢,另外一个我觉得是更能够商业化落地,并且很快就能落地点。更能沿途下降。对对对。因为当时呢,做视频生成有个好处就是,既能够去做通用的人工智能的这个模型底座。又能够做商业化因为当时我记得Mini Journey他已经一年都有两个一本金的收入了而且他只有11个人所以我觉得这个是对我的触动还是蛮大的另外当时还有一家公司叫Canva当时已经是一个巨型的独角兽了他当时物质已经超过400亿美金了这两家公司是我觉得2023年最火的两家多么泰的公司对对是的当时还没有视频当时只是图片图片的设计图片的生成这个行业里面所有人都会特别关注和敬佩Midjourney 因为所谓的抽卡盲选行业里面真正专业的人设计师是Mijerni生成的 因为它非常的风格化我不知道您怎么看这家公司对Mijerni在23年24年 优势还是很明显的因为当时市面上基本上AI做的图里面有相当一部分是MIT9里来生成的但是Mini Jolin也有它的天花板 因为它追求的是图片的设计感美术感所以他永远先服务那些精彩塔尖的那帮人艺术家设计师这些后来你会发现底层的比如中间层的像广告海报那些或者你这些一些照片都被gbt image 被各种大模型公司吃掉了命运圈里它也是一个小公司他也没有特别强的模型能力他有特别强的数据能力和审美所以他也在全球招摸了很多这样的一个摄影师艺术家来贡献他们的照片给到Mini Journey来所以Mini Journey在一路一路在更加的聚焦在艺术片越来越强化它的优势对 强化它的优势但是它没有那么通用它也没有那种大模型的优势这样的话它可能就只能逼着它越来越钻了实际上Stable Diffusion是2022年出现的在2023年的时候其实大家是第一次看到AI真的能够有生成图片且觉得让人很惊艳的这么一个能力再往后就是在所谓的纹身图纹身视频这个领域它是怎么发展的呢现在这样的就是说 [110:00] uh... Now, the idea of the model and the form of the form of the form are not equal. For example, from the image of the form of the form, from the image of the form, it is a way to understand. So the idea of the form of the form is basically the form of the form of the form. The structure is a complete, it's a autoregressive. It's a GPT mode. and its name. 任意去 So he can learn how to send next token to the next token. That's the case. The idea of the machine is basically the same as the machine. The beginning is that in 2023, OpenAI was released by the 4v. Yes, it was full. So, Phobie came out of the way, we just got the understanding of the This is the one that I have done with. It can be written by the words, it can be written by the words, it can be written by the words, it can be written by the words. But from the text to the video, this is another road, the road. The road is the diffusion transformer. It was called UNET and now called DIT. So the two of them are separate. And it's very simple. The left side of the blockchain is the token. It can not be a token for a new token, because we have a new token. The other side is a token that comes in and comes out. So, in the traditional GPT or auto-regressive It's not suitable for doing such things. And we have been talking about it. If we really use the Autoregressive method of the video, or the video, the quality I'm not sure if I can't get the diffusion. So it's basically divided into two parts. and the other one is still building. Diffusion transformer this way It can be a better time for the天花板. It has a better way to practice training. It also opened up many people, including the Chinese companies. and from the DIT direction. The second thing is that Sola is Sola GBT is GBT So you will see the video of the video. and the other one is a separate team, two separate teams. Then there are different people in this situation. So, to understand and understand Actually, it's not even a single one. It's two different directions. You can see like the CD-Dance and its own model, it is a different direction. So This is our forecast. We're going to be in the short period I'm going to understand 理解还是理解? 但你刚才讲的UIT的架构,就是把所有的模态的信息都作为统一的信号来处理,这本质上也没有解决你刚才说的两套架构的。 我们是想在这里面解决这个问题,但现在说法还没有解决,我们目前来说更关注的是用UIT的模型来做生成。 And then further on the way, there will be a chance to do any of it. including Omni, Omni is a different model. It is a different model. It is a different model. It is a different model. It is a different model. It is a different model. It is a different model. It is a different model. It is a different model. Like you said, it still needs to be a two-way path, and not to be a big-way path. Yes, and he said that Omni is a key to the key. It's a lot So, it's a good thing. This one is completely no problem. But if you want to put a video in a model Now it's a bit difficult. I believe that the video is a different kind of thing. But if there are any days, we will be able to make it a bit more. What about Google I/O? How did it do? So in the next step, the company's business competition has a few points. The first is the ability to do the ability. It's the shape of the body It's not going to be able to push the channel to push the channel Second is its agent's ability. Coding agent's ability to include coding, such as these. It's the agent's ability to do the best. This is also very important So we are more interested in Agent's side of the world has some different ideas, some different ideas, some different ideas. This is what we always do with this. What is Agent's side of the world's understanding? When we talk about Agent's side of the world, it is a kind of idea. And it's a more powerful structure. Or I'm just using a job of a job. I made a fixed-up line. This is a bit of a big thing. So actually, the people who are looking at the top of the top. Yes, they are looking at the top of the top. Yes, they are looking at the bottom of the top. Yes, they are looking at the bottom of the top. Yes, they are looking at the bottom of the top. You can see my ability to go on the right direction. I'm not sure that the company has been very clear and clear and clear and clear. If you haven't been able to share the information, you can see how the底层 is going to be a new? Actually, if you have a new company, we are very clear. Because every company has their own unique properties. [115:00] there If you are in a class, If you're a publicist, that's not a way to go through the whole thing. We will have our own way to test different模型 of its边界能力 If it's been able to get the power Just on the top That actually doesn't mean it has a deep-tick突破. Every company has their own own test. I think in AS Don't go! John Manager. The manager is a platform for his job. He is not a leadership. There is a vision, this is very important. How to leadership is what? How to leadership is You have a great goal And then the way through the path and you can help others, you have a strong idea of thinking That's why you think you first thought 团队 不是个人 另外一个就是说 这些人的话 跟我一样 也是有很强的技术的使命感的 I'll give a example. In the past, we were in the Google+ and in the Gnome. We will see if there's a book or a technique It's good, but it's not what you do We first feel like I'm not a jerk. It's really like that. They will ask why they didn't get it. Why is it that they are doing? That's what I'm doing. If it wasn't I was able to find out the reason Yeah, it's the environment. Or is it not enough? Or is it not enough? Yes, it is not enough for the freedom. So you have a very strong技术使命感. These people came to our company. He was actually I don't know how to say I'm going to Mayer, with the partner, can't be done in the company's best-new skills? That's what I did If it's just because Just for the They can go to the store. The dollar for our money is more than a lot, and the money is more than a lot. They must be able to pay for the money. to do something that I want to do. And this thing is quite big 不管是从技术 I was from from its利益 to all the way And I'm a teacher of the技术. I'm a teacher of the people who are not interested in it. and there are more of a lot of issues. I took out a level and he has a lot of money. It's because he has a lot of money 到底能不能确定自己的降货地位 and they have made their own work It's like a artist's kind of like that. I will give him this opportunity, give him this opportunity, I will show you how to make him successful. that they will follow us to do this kind of thing. You have been in the past 10 years, 10 years. Yes, 10 years. You were a senior senior in the research team to a技术管理 team. How did you grow up to a技术管理 team? I was very early in the career of a career. I have a lot of strong mentors. Like Hong Kong Like the only one Hachin, Harry, It's different But the common point is that it is in a certain area So I think the search for the job is every person should think about it I thought I was a person who was a T-seller. I also found many mentors in the company. These people gave me a lot of advice. They would say First, Do you want to be the most important part of the company? You want to become the most important part of the company Then you can develop the ability to develop the ability to develop the ability, including the organization You hold 中国 Or... I'll be right back. It's a huge growth rate this place I also thought I was not going to go to the United States or to the other countries. Then I think We will be able to live in the future. because This is the Delta. 能很强 And Chinese people in the Chinese environment, we can achieve more than that. I saw so many successful people in the world They can do the success of the average. Because it's not a lot of people who can help him. You say, I'm going to be able to help you. The number of times is there but it's less small This two-day peace and peace is a big impact I've been working for 3 years. I hope I am What is it? "Solding" uh, And it will continue to be a surprise. It's just a surprise. We didn't see a lot of problems. We didn't see a lot of people who were able to get a lot of people. are more stable And our investors are very happy, and we're very happy. We're very happy. We're very happy. We're very happy. We're not happy. We're not happy. We're not happy. We're not happy. We're not happy. We're not happy. But it feels like you didn't have to lose. We have a lot of mistakes. I don't know. We did a lot of mistakes. You have a not-successful experience. But we realized this is a mistake. We can't get it. It's a mistake. It's a mistake. What is it? Can you say that? I started to be a 2B. We chose the first one. I thought it was still in the kind of thought of the idea of the China. I was thinking about the world of the internet, and I realized [120:00] 这个货家电商啊这个产品很难做很难推是因为货家电商首先呢它比较传统第二个 货家电商对广告素材的需求 变化的频率没那么高所以摸索了一年多才转到了内容电商就是这种TikTok这样的内容电商或者是兴趣电商他们对图片视频的需求量是巨大巨大的当时我们做货界电商的时候,我们有很多的好朋友他本身也是做电商的他也很支持我一下子冲个几百万过来我们有很多的收入 但是没有变成我们的真正的收入没有增长 不是增长 就是没有消耗投了100万进来 但是我们后来把它退出去 因为它没有消耗Token嘛所以我们就反思这个路可能走错了还有一件事情是我们当时还想做线下门店的这个打印店的生意因为当时觉得有个客户很好的投资人他有一个网络这个网络里面占了全国的线下门店大概60%的门店当时觉得这个我们如果做一个产品能够帮助到线下门店能够完成它的升级完成一个从纯粹的打印的业务到一个具备设计能力的门电那是不是可以帮他们赴能后来发现做了一段时间发现这个认知有问题因为打印店是一个西洋产业然后他们的认知结代的速度也是比较慢的所以后来我也没有做这个业务了所以你看到我们做了很多的尝试做了很多贴地气的尝试但我觉得这个东西不影响我们前天的这个速度嘛这也很容易有走上一条歧途就是你会按照你手里有什么优势牌对就去打对那其实那可能是条弯路是的因为你没有从最底层定义你今天最该去做什么所谓的就是拿着锤子找钉子嘛对这个是必然经历的一个过程你没有经历过这个过程的话你就不会突破自己的认知嘛所以我觉得创业最大的问题最大的挑战就在于我们的团队或者领导团队的认知是不是对的因为我们小时候接受的教育就是做规定性的体育规定的动作有标准答案但你创业是没有标准答案的然后你是在迷雾中去寻找你航行的方向但是如果说你能够看得比别人远的话当然你就会成功啊但是呢往往很多时候我们只能靠自己的Ego或者Guts去判断还有很多人给你知道噪音说世界你应该这么做 你不应该那么做梅老师你应该做这个 不应该做那个但是那些人往往他自己都没做过所以你会觉得这个创业的过程中很有意思你会遇到各种噪声但最后你会回到初心说我到底想干嘛 我应该做什么是以目标为导向的 还是说我以我能力为导向的所以说很有意思我其实挺好奇你们公司从Day1的去世到底是什么这件事情跟今天你所想的有变化吗如果从使命运行来说的话我们没有变化我们就希望能够用智能来服务人类创造美好生活对这个是完全没有变化的而且我们呃从第一天开始就跟我们的投资人讲我们是一家做模型和应用的双轮驱动的公司意思就是说我们不仅要做最牛的模型我们还要做很好的商业化的应用到今天为止我也是这么认为的摆在中国很多创业者面前的问题就是怎么样平衡好这个技术的研发投入和我们商业化的平衡这个是比较关键的而且这两个都有风险今天你投入了明天也不一定能做得出来你即使砸了很多钱在模型上面你就是路线不对找的人也不对那可能也不一定就能砸得出来就跟双业化也是一样的没公司他有做图C有做图B的如果找了行业不对或者找了人不对那也可能要折所以说大的方向肯定是两个都要抓但是呢 细节里面还有很多战术需要去去look into the detail23年那一年你去融资应该不会特别顺利因为你刚才讲了所有投资人的注意力都在大语言模型对吗能融到钱但是不一定是特别顺利 是的我记忆当中2024年好像有一些变化因为2024年的2月份sora出现了我记得当时那一年的在一级市场有一个主叙事就是寻找中国sora 是的我觉得中国的投资就是大家都在寻求共识而且一旦共识形成之后呢基本上没有非共识对反正你也可能经历过对我觉得中国的投资在早期的BC投资里面确实比每个投资会显得不够那么的多样化而且不够的大胆所以我们在203024年融资的时候确实没有那么的容易你跟投资人讲视频 他跟你讲图片你跟他讲模型 他跟你讲商业话你跟他讲商业话的时候 他又转到别的地方去了始终他跟你不是在一个频道里面你要改变投资人的认知还是挺难的你还不如让他自己去学习但是我们还是比较能打就是说能够在比较高效率的能力用不多的资金能够训练出一些模型做一些商业化不都能证明自己的所以说你看到今天的在我们这个小细分的赛道里面或者叫东莫泰里面其实创业公司也不多你有留意到我说的就是从2024到2025中国的一级市场有这个叙事就是寻找中国版Soro 对对 但是并没有 [125:00] 要看见大规模的投资啊因为24年23年的投资是非常冷的一直到2025年的下半年才开始有些回暖了今年1月份我做了一个2025的年中AI复盘然后我就发现特别有意思就国内在寻找中国版SORA然后没过几个月这个SORA这个项目就被砍掉了我有留意到一股这个资本市场再一股降温因为大家发现说SORA被砍掉了但是好像也没有特别好的商业模式所以大家就又开始退却了这个时候市场同时开始聊世界模型然后同时中国C dance出来了大家就觉得那么这个事可能没有创业公司什么事因为大厂做这个事多么顺理成章呀是我说的这个逻辑吗?有一点,对,所以说我觉得中国的投资嘛,就是只投共识嘛大家而且都是跟风,炸堆,觉得人多安全感比较好一点大家都在一艘船上,反正翻了都,大家都一起翻们,对吧那很少有人去投非共识,我们有底线思维的底线思维就是说如果真的是大厂把所有的模型能力都都都都撕掉的话那么我们这家公司怎么生存如果说我们没有底层的字眼模型,我怎么做因为你做战略的时候一定要考虑到这些底层的思维的所以我们做了很多的部署有很多的规划但今天我不能跟你讲但是将来你会看到我们的一些动作的当然还有一种上限思维就是我有自己的模型我的模型能扛住大场的进攻 我们能够在西方领域 我们能够扛住一直待在第一梯队那怎么做那生意可能会更好做一点那个时候我应该怎么去扩张所以你做三练腿一定要做到上线和下线的思维你不能说老是有幻想幻觉如果说你相信你的模型一直在第一我认为你是一个幻觉没有一家公司说哪怕就是大厂他也不能保证我的模型一直跑在第一所以今天大厂反而比创业公司更焦虑我觉得他们大厂的竞争还是蛮激烈的因为大厂一旦离开了第一梯队其实对他来说那个影响是指数级放大的是的 你可以看到几家公司原来23年的时候再谈第一波语言大模型的现在还有多少厂商还在桌面上呢对吧?当然现在Coding来的时候呢,当然也有些厂商也在叙事待发,想做中国的这个Codex,想做中国的这个Anthropy,那就看拭目以待嘛。所以我们刚才其实聊到了这个多默泰的大模型,它最早其实是单向生成嘛,那到后来就是变成了一种把一些语言模型的能力跟这个原本的这种多默泰生成做一种嫁接,然后提升它的所谓的智能。然后现在就处于第二阶段到第三阶段的跨越是的 从原来的多莫泰现在真正的进入了一个全莫泰从多莫泰到世界模型它是一个必然吗应该是个必然的我们倒退一下啊就是说AGI或者叫Super AIASI也可以中间一定要经过一个世界模型的你定义的世界模型是什么我发现大家定义都不一样我们每个人定义的世界模型不一样但是呢世界模型也可以加定义也会不加定义我如果不加定义的世界模型的话它一定是一个通用的世界模型人能够跟自然世界能够进行交互进行反馈进行推理进行因果推断能够把所有的人类的物理世界的物理规律能够集成在一起的这么一个大一统的模型那这个模型呢我觉得短期间我看不到希望它能做成啊但是呢你通往这个世界模型的过程中有各种不同的分支嘛对 那一条分子就刚才你讲的那个杨洛坤的JEPA就是predict next state还有一个路径就是李菲菲他们的路径就是我要做3D的渲染 3D的模拟第三条路径就是我们做的所谓的视频模型来出发 原成多魔态通过我们目前世界上所有的这些数据从数据里面去学习物理规律data driven的方式 这是三角不同的路径大语言模型单独走向那个世界模型这条路里面已经被公认为不太可能了 因为他没有任何的交互他也没有告诉你怎么做 它只是一个大脑但是这三个路径是不是converge怎么样converge这东西说实话还没有定论你觉得他会交汇吗我觉得将来以分手里肯定是要教会的但是我们又看到这样的一个架构包括今天的 Transformer 它很强但明天是不是还有更强的不叫做什么的一个架构出来这个不好说的因为技术基本上是10年一个周期的那Transform到现在已经快10年了我相信已经有很多的新的架构的种子在萌芽 只不过我们现在还没有发现而已现在最前沿的那些researcher和创业者都会非常关注到底下一个新的架构是什么我挺好奇的 您怎么确保新架构出现 当然新架构最好在你这出现次之不是你这出现 但是你会是最早发现的那批人你怎么确保这两件事情大概率能够在你身上发生这也是为什么我们公司有大量的十一生我们就把当年在微软成功的这个 [130:00] 以上的制度引到我们公司来了因为我自己本身有一些读我的 PhD 的学生然后也有一些跟学校老师一起联合培养的一些学生他们来这边好处就是说他们来试错他们每天都在看大量的archive的文章包括我们自己的研究员,他会看很多新鲜的文章然后会筛选哪些文章可能会对我们有帮助我们自己会发布我们的paper我们每年大概在顶级的学术会议上面会发布大概有二三十篇论文的已经不少了因为要让这些学生让这些博士生能够去参与到前沿的学术环境里面去让他们派他们去开会让他们去看各种论文看各种新的一些idea这才能保证我们第一时间能够感受到这些原始的创新的包括我们现在做的那个UIT我们就早就想做Pixel Level的这种新的架构了我们也在学书里面看到了几篇论文有这样的端倪并且效果还可以只不过是在学校里面他没有办法使用我们就要把他的思想拿过来然后呢把他的一些 trick 学到我们就在里面去做我们自己的底层的创新所以你没有这样的触觉没有这样的感知的话你是很难去有这样的机制如果你不能感受到最好的研究结果的话,你可能就miss掉这一代,有可能就会认知上就会凑过好几个月。对于我们AI创建者来说的话,迭代的周期是很重要的。历史上大的架构的提出的创新,好像人们记忆当中都是来自于硅谷,中国人有机会能够做出这种架构式创新吗?你觉得从人才的画像上来看?嗯这是一个一个涉及到灵魂考问的问题个人因为我也在中国带了很多的学生嘛也跟中国的学校老师合作过我也带了很多国外来的学师医生我也跟很多的科大校友包括跟威尔纳月有讨论过中美的人才培养的极致的问题我觉得目前来说的话在中国做0到1的创新是有点难的有点挑战的 为什么 跟我们的交易培养模式有关我们的交易培养模式目前还是喜欢教学生确定性的东西确定性的答案然后我们的学生也比较习惯于去follow老师的安排如果学生做完一段时间之后发现没有结果他们也会很焦虑然后中国的人才培养体系还不是特别的完整包括我们跟几个科大在硅谷的实地点聊在美国读 PhD 的时候 老师基本上是手把手的去教的我们在微软以前大学生也是这样教的我的老师教我也是这么教的一篇论文肯定要改个十几遍然后跟你讨论每个技术细节讨论你的方法论啊然后他会教你方法论教你研究的套路 研究的思路然后这个速度呢能够让你在毕业之后沉淀自己的研究的这个价值观呈现自己的研究的思路框架这样的话你才能够在上面不断的去积累你的行业的经验是吧 然后你如果在大厂里面有大膏膜使用的这个今年的话你就会迅速的skill up 你的能力但在国内的话就不太鼓励一个是不太鼓励这种创新另外现在大学的学生跟工业界离得比较远据我了解的很多老师他不太愿意把学生送到工业里面去体验当然这个跟中美也是有明显的差异第三个就是说学生在在国内的实验室里面他很难得到老师的一线的手把手的培养有很多老师他可能研究的思路很好他有很强的研究到这个技巧或者是它的研究的思路但是呢因为他带的学生太多了他不可能每一个学生都手把手教所以最后他的研究一套思路的话他没有沉淀下来没有教会那些学生总之来说的话我觉得很多的这种AI里面的领导意创新还是发生在硅谷是有它的原因的这也是为什么我们创立这家公司的原因因为我经历过美国的500强企业也经历过中国的500强企业文化差异是蛮大的然后员工的状态也是不一样的我是希望能够在中国创立一家有这种硅谷的创新的精神和创业的文化的然后让年轻人能够开心的在这家公司里面工作发布他的创意然后能够做成一家全球化的科技公司这是我创业的目标吧但是具体怎么实现有机会说让从零到一的创新发生在这里而不是硅谷对这就是这条公司的基因其实我们早期创业的时候我其实跟很多想加入我们公司的员工是这么讲的我说我们公司跟一般的公司不一样很多公司觉得自己应该以公司组织为第一重要的我觉得我们不是我说我们公司的首先是希望你能够在我们这里取得你个人的成功你应该把自己放到第一位你要一定要照顾好自己你把自己安抚好了 情绪好了你在公司你才能会创造更多的价值你如果心情不好了不要来我是希望每个员工是回答这个问题的你是不是足够的自屈你是不是愿意成为行业里面最好的人然后我们公司的大部分人还是比较自取的比如说你晚上到了11点12点1点钟2点钟都有人在因为他就想产品没做完他觉得我的产品就一定要在这个时候上线他就会留下来下班然后我们的模型统内基本上每天都干得很晚 [135:00] 因为他觉得机器不能停他们是有一种自序力和使命感在里面的所以这样的话才是一个创业公司的氛围我认为一个商业公司最重要的是氛围如果氛围不对了在公司垮掉也很快的怎么分辨赠维对不对啊通过结果还是通过其他的结果很重要但是我觉得过程也很重要你不能观看结果因为如果说这个团队的咨询力不够你是可以感觉到的怎么感觉?你会追踪他的过程 问他怎么达到的因为公司永远是以商业化目标为启动的设施很多的目标 但是我现在发现我们之前也犯了一些错误我们以前会做年度的规划 后来发现这是一个非常扯淡的事情因为人工智能企业 收藏企业本身就很难做一个年度的规划后来我们就很快调整到现在是按季度来规划然后每个季度的目标KPI OKR我现在让同志自己提产品的目标让他们自己产品统帝来自己提计谋论队的目标让计谋论队自己提他们去根据自己的判断根据自己的团队的规模根据市场上的对手的情况来去做自己的OK就比较合理一点当然我们也会开日会该周会去review这些进展到底哪里出了问题那么通过这样的高效的沟通的话我们是能感觉到一个统统到底是不是有这样的一个自取离的这个是很容易看得出来的如果氛围出现了问题该怎么办那就是看组织的问题是不是有部门墙是不是人不够我再焦虑了一点就是说我自己的认知够不够第二个就是我的团队的人起不起疹是不是有更好的人要进来其他东西我都不焦虑我唯一焦虑就是团队的人够不强 够不够适合我们的发展我周末都在面试别人所以老板做什么 你做什么老板是六边形战士 刚才说了吗 稳定输出我们要见投资人可能会建一些政府的领导因为我要寻求地方政府的支持我们还要见大的客户然后我们还有招团队然后我们还要去看内部的治理研发的方向进展产品化方向进展怎么样所以基本上是六边形你必须得做好一号位的最后的多底的那关嘛公司跟人不一样人他是有藏板的一个人只要把自己的藏板做到最强再尝就行了短板短一点无所谓 因为每个人都有短板但是公司不行 公司是木桶它不能有特别短的短板否则你水就漏了公司必须得保证每一颗木板是足够的长然后差不多长然后你有一个木板长一点是可以的但是不能有一个木板短所以这个创始人来说你的压力是蛮大的 而且你很孤独又没有人像你这样看得多那你很多的决策你必须要自己做而且还有很多噪音所以说我是比较担心的记得我的认知够不够我能不能从从每天的交谈里面从客户从投资人从我们的合作伙伴那里得到一个市场上最前沿的认知好处就是我自己对技术很了解我对技术有个很强的判断有很强的认知我不需要去跟别人学我可以自己内部可以判断你刚才讲中国市场上的投资人不喜欢听非共识或者就是大家都追求共识其实刚才我们的聊天当中你已经讲到一个非共识就是不要做拼凑的多模态要做底层原生的这种全模态那除此之外你还有什么非共识吗提出世界模型然后是视频模型底座的世界模型这个算是非公式吗目前来说有点非公式,因为我看到像国内一级市场的很多的投资都走到机器人身上去了巨生智能上去,现在2026年最新的一个我觉得误解就是大家在谈世界模型的时候就会默认它就是巨生的事情,对,是的,真正的世界模型其实是有很多徐晨是一个那还有自动驾驶的人说自己做的是世界模型的对吧那做视频的也是世界模型做3D的人也觉得是自己是世界模型它有不同的流派我觉得这些牛派都可以投因为每个柳派都有自己的故事也有自己的商业化的这个可以实现的目标但是机器人坦白的说我自己是觉得稍微有一点点泡沫了有些公司他一个月过去什么都没有发生 那故事就涨了三倍 好几倍 对 然后我不知道发生什么了 你刚才其实一直在讲 你们希望能够从最底层去做架构的创新 然后逐步的去完善一个世界模型那么这个逐步完善的过程到底是什么样的呢你有一个判断就是世界模型应该是应该是具备几个特点让我们就觉得图像是一个入口视频是一个过程但是视频的图像的数据呢是能够学到很多的物理规律的然后巨森说实话它可能更偏向于像机器人那个领域,它是一个虚实结合的东西然后李菲菲那套3D的理论说实话 [140:00] 这还是比较偏学术一点的他的应用场景说是我们也判断过他还是比较偏向于像游戏啊这些场景的第一我们觉得视频的散落足够大它是一个万亿美金的市场容得下很多的玩家第二个就是说视频的模型架构还没有收敛还没有说哪个模型就一定是终局一种天下的地步对创意公司来说会比较友好一点第三个就是我们觉得实现视频或者多么太原生的模型的话在目前这个阶段可能在训练成本上来说会比大眼模型会低一点这也是为什么我们觉得可做的一个原因所以逐步完善的过程我是否可以理解为是一个通过不同种方式让AI获得更能够与现实世界本质理解和交互的智能不断的完善的过程其实我们自己有几个维度的目标第一目标就是我们生成的质量一定要好不管是图片还是视频还是将来声音首先一定要达到特别高的标准像素级别 像素级别而且一定是要在跟DGF保持在同一个维度的比方说Opener做到什么地步 Google做到什么地步 我一定要跟它在同一个视频线上比视觉质量物理性 还有一些逻辑推理的东西在里面第二个维度就是我们一定要生成长度足够长现在只能生成5秒10秒15秒我们现在能做到分钟几一分钟三分钟我们都可以做我们希望能够做到更长的维度因为更长的维度的话意味着你的视频的生成能力推理能力是越来越强了而且能够成片嘛第三个维度我们是希望能够做到实时因为现在视频的生成还是比较慢的如果你要生成一个数秒视频的话SORAS要等到十几分钟的我们现在也要等到大概几分钟吧那这个时候用户不一定等因为你可能还会要还会要抽卡你等了十几分钟之后发现这个东西错了你还要回头去重新做那一会儿愿不愿意做所以我们一定要实现一个近乎实实的试验生存哪怕是一个preview我们也可以那用户觉得虽然质量差一点但是我看到大体的我觉得 ok那我再去反攻这样的话我就能够把用户的体验做好它能够实时交互长期来看的话是按照这几个维度来不断地去探索的当然正难的一点就是刚才第一个位置我一定要保证我的输出的质量一定要好事实效果一定要好叙事性也要好你最开始的时候说土象是理解世界的入口就是图像对我们来说为什么是最重要的因为我最近也采很多巨声公司他们会认为就是所谓的巨声智能现在很多是依赖视频的但是实际上我们人如果是盲人如果是把你眼睛蒙起来我也可以做事我也可以理解和这个世界交互所以就是会有人认为就是视频不是最本质的那他们认为什么是本证呢大家都还在探索对 所以我觉得抛去这些所谓的Counter Case我觉得给盲人做 给农亚人做 那是一个Colonkis肯定将来也会做 但是我觉得现在讨论这些Colonkis没有意义我觉得还是要讨论看数据之多的数据在哪里那目前来说数据量最大的一定是在视频里面的我就告诉你 我们现在一个像志向这代公司 我们一年的数据都是100pp很恐怖的视频说你还在不断的增长PB是指PB就是一个TB是1000G1000个TB就是一个PB对很大的我觉得就是说图片呢肯定是一个起点但是视频肯定是一个中间态视频肯定是比较重要的那为什么我们说图片比较重要呢因为现在做视频的过程中我们还是要先从图片开始做的收尾声也好低声也好或者是过程的分镜头也好一定是要把图片做好的图片没做好的话那你生存的视频你可能有创意但是不满足我的确定性的要求所以我认为先做图片其次呢也是根据我们的训练的方式来决定的如果说我图片的模型在很小的基层板情况下也能成功了我再去签一道视频我认为更加那个feasible 就是更加的 reasonable 的一个方式如果我一开始就瞄着视频来做的话有可能它的资源消耗的很大但是有可能会做错所以我觉得不管是从训练方式还是从整个的制作流程工作流程来说我觉得图片还是第一步的图片就像打武术的沾马步对 你这比喻很对因为我图片做好的话我模型再往视频上牵移是很简单的因为他这套训练的套路我们已经学会了我只要把视频的数据准备好那就OK了所以我发现一件事情其实你并不是在绝对维度上现在跟所有的公司比快的你是从根本质的方式去理解这件事情所以某种程度上你们现在这个纹身图的模型登顶其实也是代表你这个基本功的修炼是的那我就要问一个非常尖锐的问题就是今年春节的时候呢CTS出现的时候对整个行业都是非常大的冲击你当时到底是什么心情呢?一个是觉得意外原来是觉得美国的同行会走的比较靠前啊然后我觉得Sora可能会继续往前拱或者是VO3 [145:00] 我刚才做的这么好 我觉得还惊讶 说自己也走得挺快的但是后来也觉得没有那么的惊讶而且C-Downs就是自己人才密度也比较高然后并且它的数据规模还是比较大的对我们来说我觉得有冲击但是也还好包括还有投资人过来问嘛我觉得我们其实不会跟字节来MidMidPK因为像你也知道Sora收到55亿美金这当时呢我不知道操得多少钱肯定是百亿人民币的至少这么大的一个规模的投入我觉得创业公司很难去跟他在同等的规模下去竞争的所以我觉得我一开始其实想的就比较清楚就是说我们要做差异化的模型所以我们才决定图片要做的最好视频的话在我们随着领域要做了足够的好就行了因为你跟他竞争那个底层的基本能力的话我觉得不太可能的目前从技术线线上面来看是没有办法看到更多什么 从Sedans来说二天雷没有看到它的技术的报告但我们行业里面还是比较相信它还是沿着那个DIT的路线才走了嘛数据质量和数据的规模是我认为是有碾压性的优势的大理出奇迹是的你刚才其实提到成本投入你比如说SORA是百亿级别对吧然后我听过一种估算国内Minimax海螺快手可灵字节Cdance他们一年在多摩泰的投入大概是在20亿人民币左右不止绝对不止Cdance绝对不止你估算一下大家的投入呢这个不太好估计啊 百亿肯定是有的 但是几百亿的话 可能我们有自己的退退的嘛嗯 那我这个问题背后其实想问的是就是 多摩泰模型试错一把的成本很大比如说对于字节账的绝对大厂来说 他可能一把投入几百亿然后小一年的时间成本那创业公司怎么维系一把这么大?我有很多的一些朋友啊,学生啊在这大厂也是非常友善的提醒我们啊就是说你不要躺在大厂的车车上对对对就是他们的资源是确实挺多的就专业公司来说我是只有一缩那个子弹我打完这一说就没了所以我觉得如果是坐在他的车手上的话那就是炮灰啊对所以我觉得我们很简单我们要坚持模型算法的原始创新对 因为有了算法的创新 我才能够在比较低成本的情况下能够不跟它保持同步的能力如果你day one开始就没有架架性的创新那你要用那么多钱才能够跟他PK,那人家也不一定会投你因为这个创新带来的就是我可以用比较低的成本去抗航,同时赢得时间。多摩的领域这几年经历的是怎么样的一个竞争叙事?因为我听到说从2025开始,这个行业就开始进入深水区了,因为中国的团队已经开始咔咔的赚钱了,代表行业是短剧。对,你说的是商业化嘛,确实在2025年,2026年,特别是今年,有几个比较大的领域现在就是渗透力还是蛮高的第一个就是短距通过短机来token出海嘛对短机这一块的话一个是规模性的效应确实比较明显Token消耗量比较大能有多大的规模效应?规模效应可能一年下来光制作成本的话我们觉得小100亿嗯短距的这个token的费用100亿元收入100亿元人民币就是所有的短距的市场整个市场100亿人民币的这个规模但如果几家公司来瓜分一下每个公司一年也能有几十亿收入只是今年光是那个卖token的这个费用我们才按照这个规模来说到今年年底的时候但还不算它的发行者收入广告营销 特别是我们做的快级电商这块Token消耗量也是蛮大的举个例子,TikTok上面就有100多万的商家然后呢一个普通商家的话基本上一个月需要大喜听调短视频广告 如果一个头部客户的话 一年需要大级十万条甚至于千万百万条的视频广告所以那个量 token销量也很大所以我们现在就是紧紧抓住这两个赛道一个是AI短期内另外一个就是长期的我们还是要把我们的那个朵诗宾营销要做好因为那个赛道的话需求量也很大它是一个长期的而且它能够去做分庸的设计短距离的赛道的话好是好,量很大但是呢我们的价值创造不在于它的发行方只是在惩治我们其实是给层次的人提供铲子提供工具的跟发行是没有关系的那广告有好处 我们做商业 董事平地 营销 做快捷电商我们一方面可以买铲子另外我们可以卖结果通过结果来跟他分拥这个模式我们已经走得差不多了走通了在这几个特别好的热门生意这边竞争对手多吗竞争对手肯定是有,对,肯定多,特别是短距这块竞争对手很多的而且市场上目前来说比较分化,比较分裂,就是没有出现特别大的头部的玩家为什么?因为文化市场或者内容市场的话,我觉得一直都是这样的大公司自己要手措自己要做小公司呢就是各种模板实际好呗对吧所以说我觉得我们的定位很简单我们是作为一个产品叫真赞 [150:00] 是一个专门给专业团队来做精品短剧的什么一个工具真赞每一生都很赞就是那个口号然后我们主要面向的是中央部的客户为主还有一些S&B的客户大的机构基本上是自己会去研发一个新的工作流我们这传言公司也很难进他的工作流当然我们还可以用Mask的方式卖我们的API也是可以的然后另外在那个电商或者是导致平行销这个领域的话我们觉得我们还是有优势的因为我们无论从软硬件一体的我刚才跟你讲了我们Q1就卖了一万台铺了一万个店另外在跨境电商里面有4万多个SMB还有大概几十个腰部客户所以我觉得我们这一块做的还是比较有机理的有人认为今天大宇原模型已经变成了一个烂生意就是它就变成了一个堆卡对算力就有确定性结果或者是去刷一些绑但是呢就是语言模型它的商业模式可能还不如语音是的,我自己认为多么的事实跟原模型不同在多摩泰领域的话 我觉得不太会出现逆家 独大的这个情况包括我们跟几个头部的公司也聊过他们觉得多么态领域的话肯定是有好几家公司每个公司的他侧重点不一样比如说有的公司他可能在在影视里面做的效果还好有的公司可能它的模型就是在人火场领受的好有的可能在广告领域有的在动画领域不太会出现一个公司什么都好第二个呢就是说多么太其实你看那个Google的发布会上面的匹才讲一句话他说今天已经不怎么看这个大野模型的排行榜了他更关注的是他的agent 的能力agent 挣钱的能力其实你会发现模型好当然肯定是无可调理的好但是呢真正的agent 它的核心能力在于它的Hannis他的底层的编排它的skills是不是足够的成年足够多的能耗所以说我觉得今天的大语言的趋势已经开始在转了包括Colin也是一种agent还有一个我觉得多莫泰这个领域的话现在它的商业化其实虽然它跟大约模型比的话它的那个成熟度没有大约那么好比如大约现在做到GPT5了GPT5.5了那在多莫胎里面我们就觉得称死了可能就是一个3或者3.5它没有出现智能涌现但是不妨碍它离伤要化很近有个数字可能不一定关注到就是2024年全球的AIGC的整个的收入产业大概是200亿美金200美金里面60%左右是多么太就是图像和视频相关的所以在很早的时候就可以看到这个图像视频的它的商业化已经很快很快了像我们自己的平台上面每个月消耗Token大概在3万亿3万亿可能今天来餐不是一个特别特别大的数字但是已经很大了3万亿的token里面图像视频的token密集程度很大而且用户是愿意买单的它不像大元模型,大元模型可能100万的token将来可能也就一美金或者是零点几美金目前来说它的智能还没有出现涌现但它表现力已经出现涌现了啊它的稳定性还可以了那么现在基本上来说一个PGC或者 Pugc这是半专业的用户已经可以用用各种模型来参照它的有稳定输出有价值的这些内容了可用能用还没到好用对对现在是可用能用 倒好用的话 还有一点的距离你刚提到Harness 你怎么理解Harness你觉得它本质上需要什么Honis 你可以认为他是一个Agent底层的OS它是一种智能化的编排他能够把 API 把 skills把模型的基本能力和韩文都换了个结合在一起那不就是上去年大家谈的model orchestration 模型编排吗Occestration 是吧 是它的升级版吧 升级在哪里 第一个就是说它要保障你的那个界限边界另外一个要工资你的成本就像之前OpenCrow出来之后没有Honey这种这层的话你没有围栏的话那你的成本也控制不住账单就爆了账单爆了然后你的效果你也没法控制所以我觉得Honey是一个比较有安全栅栏的然后有成本控制的高效率的这么一套这个Ottestration吧嗯那它底层就是人的能力是什么?人的能力就是曾经在他们下面的skills因为以后有些好的一些OPC他会呈现他自己的那个skills在这个Honey平台里面然后呢这样的话他自己可以用那别人也可以用它是一个共享的这么一个平台我们现在正在做这样的平台Skills变成一种商品变成一个商品 变成一个API或者变成一个基本的能力单元此时此刻大家都在提token经济嘛就是那些做基模烧了那么多钱的大厂靠什么把钱挣回来靠消耗token token 计费是的 现在其实多摩泰视频和世界模型以及agents这几个都是特别大的Driven就是他们能够消耗海量的算力就是我认为商业化本质 [155:00] 有三层 就是它整个的价值链有三层价值链 第一条底层的价值链就是它的基础算力算你的就是像GPU裸金属然后像AIDC再往下层可能就是水电我就不管了还有中间那层是TokenToken本身就是模型的能力嘛那Token将来价值也会越来越宝因为它越来越公开它什么的一种 commodity那么它的成本价都是公开的就跟今天的水电是一样的那再往上一次的话就是我们通过 Agent来给用户或者客户创造的价值这个价值可以做的薄也可以做的厚取决于你到底是不是给用户创造价值了这层我觉得是一个将来很丰人的一个一块区域所以你要瞄准的是这一块这层吗对说实话你卖Token我觉得它是大厂的生意像阿里人像自己像Google这些公司OpenEyes and Swapping这公司它就是苗的一个基础建设它就在里面卖水电他就发明水电水流动起来的话将来就是有三毛钱一度的有一毛钱一度的基本上你一个创业公司想卖这东西有点难你商业公司要做的什么就是我们把客户的价值这层要做到足够大你就可以拿到你的佣金你就可以去跟客户做价值共创的事情大圆模型线阶段已经到了一个非常军费竞赛的阶段了 因为训练都是万卡十万卡起步的了 好像你不到十万卡都不好意思拿出来讲的那种状态 但是现在多摩目前阶段的训练还远未到算力级别千卡级别万卡级别接近万卡了 接近万卡 但还在千卡级别 千卡级别 大元模型其实如果说今天没有10万卡的话是有点难的有点难以应对当我们作为多摩泰的公司的话我们也在细节的各建自己的算力今天可能是千卡明天也可能到万卡目前阶段的多摩仍然是创业公司可以玩的有行因为它还在千卡跨万卡的级别因为它规模可控然后呢酸法还没收链啊另外它理想要化又比较快所以说我认为串通过公司是有很大的机会的而且它空间确实很大呀但它后面只会消耗比语元模型更多的算力是的所以它其实可能10万卡都挡不住它这个里面结构性会不一样的就是我们训练训练模型目前来看的话都是千卡级别的还没到万卡但是呢将来可能推理的那个卡的需求很大它跟大元模型不太一样我训练的成本低一点但是我推理的这个当中有一个行业支持就是实际上大元模型因为发展太快了然后这个算力还没有准备好所以实际上就是在训练大元模型的这个过程当中消耗的更多是这个英伟达的用于训练的卡其实是个性价比很低的事所以现在这个芯片这个厂商都在做这个推理生意嘛对看就是谁能够推出推理更好用的卡所以就是也有一个乐观的信号走到那一阶段的时候很有可能就有更好用的推理卡出现了对 是的 是的 我们对推理的要求还是蛮高的推理的成本远远大过大约模型的推理成本5分钟的视频可能也得一两百块钱照理来说如果一家多么公司在模型能力上创新能力上真的走得很强世界前列的话那么这些世界的头部的芯片厂商应该都簇拥在你们周围收集你们的需求是的事实是这样的但是呢很遗憾就是目前产能跟不上我们需要算力他们目前没有这么多产能最近几个月的话全世界GPU的产能都是不够的你包括Opener也在讲有多少卡我们就买多少卡他需要100倍的现在的卡那中国的公司也是一样的我们也是一样的接下来这个模型竞争可能会有什么预见的确定性比如说卡都被这些硅谷大厂买走了那我们中国的模型公司怎么办就可能不太会被一家公司给垄断了对 因为英文达也要讲究它的公平性嘛那中国的模型厂商也在跟进嘛所以这个方面的担忧倒不会特别那个什么谁在你们身边搜集需求 搜集的最勤奋了国内的厂商的话其实几个上市公司都在收集很多的情报对只不过是他们只是搜集没有产能但我希望他们尽快的能够跟上吧我们也在跟几个云厂商一时的宝石合作像我们跟阿绿云 华山云然后像百度智能云都在合作还包括上汤我们一直合作很多年所以现在我们一个痛点确实也担心如果说国内的算力大模型的算力的储备一直是美国的十分之一你怎么跟得上 确实是一个问题短期内的话 国产算内的话它的性价比和它的性能还是有差距的嘛那这两年是比较难的怎么样去聪明的去熬过去这也是一个问题嘛对于中国的模型创业者来说这几年其实是要承受的压力是非常非常大的对 所以在中国创业的话说实话 我还很佩服我们这群多大模型的创业者他的压力还是蛮大的有大人比岸的压力有自己在国内的压力融资的压力还有烧钱的压力还有桑叶花的亚维还有招人的压力人才也在各种流动嘛所以我觉得今天的中国的这种科技创业的话对创始团队对公司的要求是蛮高的 [160:00] 现在的话如果你不是一个在某方面有明星的光环的你要不就是血术技术很牛 要不就是商业化很牛要不就是你的架构很牛 要不就是你的产品很牛 是吧总的有一个特别厉害的地方否则的话你是一个nobody的话你就是一个nobody就草根创业还是挺难的现在在AI这一波里面它其实是一个强资源驱动的如果你是nobody就意味着你可能很难拿到资源而且你还会有很强的资源整合的能力对 因为如果你只有一方面资源也不行不管是投资人的资源还是客户的资源还是你做生意的时候跟别人做JV的资源我刚刚跟几个朋友在香港那边聚会嘛也是一些大模型公司现在也开始做一些像OpenAI像Athrobic那样跟大口口做一些JV然后把事情做大 这边就向来成立合作公司这种方式来做所以说你看今天真的是做大模型创业是其实是对创始人对创业的团队有很高很全面的要求的你觉得多摩跟世界模型会像大元模型一样有船票吗?当然有船票了船票本质是什么只要是做大模型的工资都有船票传判的本质就是你首先你能不能做出一个好的模型这是我们现在我在一级市场二级市场听到的最多的一个想法是共识就是你不管怎么样团队你得有一个比较好的自营的墨型而且是在榜栏上否则的话你就是真的是挪玻璃的你说我做商业化很强那你就看你商业花到底能不能挣钱那你要通过时间来证明但是即使你能挣钱的话不代表你今天能挣钱明天就能挣钱因为摩金会把你吃掉现在的共识就是说 模型能力越来越强的情况下那里的中间层而且能那一层所以就是模型能力的强的情况下它的应用成就越来越薄但是我们怎么在薄的里面是只做应用层还是我们在模型层也切一点对我来说我们肯定要切切模型层 然后呢在应用层去做的商业化的壁垒 这肯定要做的那模型层的竞赛本质上是一场代理赛是吧对 首先在你们这个领域 斯格林罗还没出现就算他出现了 他天花板还很高但这个竞赛是有时间的这本耐心是有限度的吗你能不能在某个时间点留在这个牌桌上是很重要的某个时间点是指什么比方说IPO是一个考验比方说你能在某个时间能完成你的交付能够达到商业化的目标因为现在其实多么他的公司其实已经不多了就是在做视频的串通公司里面其实已经不多了大量死去是在什么时候可能在24年25年第一个就是它没有声量了模型能力没有出来那么投资人就不会投第二个还有就是你的商业化目标没有实现你只能做几百万的生意做不了几个亿的生意那肯定也会死掉留下来的就是一些有基本模型能力并且能够做商业化的公司就是说我觉得对于我们这间公司来说的话最重要的一个点就是说我们能不能去能倒出过多的钱拿到足够多的聪明的人拿到足够的算力能够留在这个牌楼上并且能够把商业模式做好闭环对这个是有时间考虑的目前国内所谓的拿到多么寂寞的传票的公司包含大厂在内其实也不多就是创业公司应该包括你们只有三家是的所以其他的公司已经新陈代谢掉了优称劣态嘛你觉得这几家就是留在桌上的玉三家敦摩泰的创业公司大家都是因为完成了商业化的指数级的增长所以留在了牌桌上除了这个因为大家模型都肯定还不错嘛我觉得每家公司有每家公司的特点有的是专门做2C增长率做的也不错收入也做的还可以那像我们做了更多的偏向于嘟逼2B+2C,2C的话也有占了我们大概有有三分之一左右吧对然后海外的时候也占了大概有三分之一左右就是我们还是既有图币又有图11我觉得还是还是蛮健康的模型能力也挺好的我觉得我们留在牌头上的原因就是因为我们很很稳健然后模型能力和商业化都超出了他们的预期对 因为我一开始想问你 您的履历非常厉害然后你们的模型表现也很不错 实际上在全球国际上的学术的定位也是非常的好但是你们好像既不是这个领域估值最高的 也不是最出名的 对所以创成要站出来检讨自己是吗我们放松了三匹马三条产品线其实还是挺合体的而且经过了很多次的锤打很多次的摸索也有一些失败的经验和教训对未来还是很充满信心的而且最近我们来了不少的段位比较高的一些同学他们来的时候我们更有信心了为什么他们会来?因为觉得我们公司发展的很好呀不管是融资商业化还有各种的文部推荐的一些市场化的一些 [165:00] 我觉得都是值得他们去期待的没有你个人的原因吗因为我之前也做了一些周围的了解大家觉得其实你是一个挺特别的学者因为相对于其他做研究的人来说你可能更有温度一些包括今天聊天我也能够感受到你还是蛮松弛有温度的很多时候大科目都是我去谈的搞不定一些候选人也是我去谈的我弹的成功力还挺高的我觉得我一个比较好的能力就是我很能够很快的跟我的客户我的聊天的对象能够建立很直接的一种信任关系他们很相信我 因为我很真诚其实很多人想加入我们公司我一开始都是劝退的好我不是那种圈队我是说我是会反问他你为什么来找我聊那你有没有想清楚 因为创业它是九死一层嘛 你不能在你自己的心理性上面做完之前来一家创业公司那么你还是个baby那我也不是一个baby sitter 是吧?没有精力来呵护你,你必须得自己想清楚如果你没想清楚的话你来的话你会犹豫其实我这段经历的话是我去京东的一段很真实的写照我当时从威蓝去京东的时候很多人不看好以前威蓝的一个HR同事跟我说他说 美老师你去那边 我很担心你我很担心你活不过6月 活不过12个月我说你先担心自己吧所以我当时去了金融之后我是非常努力的融入这个公司然后非常努力的去做好自己去把自己所有的能力都释放出来然后呢大大实的在公司里面去做他的业务很务实 所以说我在京东待了5年然后在京东的口碑还是可以的在我看您的履历的时候我就觉得你是一个很有张力很有弹性的人因为确实就是京东和微软亚言院这两个地方在我一个好外人的角度来看 我会觉得风格差异太大 一个就是快和狼性一个就是慢我觉得还是比较理想主义和情怀包容性对然后我以为您是前者的氛围会更符合你这个人的画像但是其实好像你在京东也非常的 humble其实我觉得有的时候退一点实际上是静雨你越谦卑越随和别人会越之弄你因为你不需要通过表现的很强势来证明你的强大真正想到的人他是往往会越来越谦虚会给你去供赢的会站在你这种人来考虑你的别人会觉得你是一个利他的人我本身就是一个很利他的人所以我觉得是以这种建立信任的关系来去跟投资人聊,跟客户聊,跟我的候选人聊。所以我一开始会告诉候选人我们很难。确实公司很难呀没有一家公司是不难的包括去投公司也很难的说一家公司说导应也很快的我们一开始会跟他讲很多的困难讲很多的挑战然后他如果始终还是想过来的话我就会把它当记得兄弟,帮自己的家人,会帮他。我实际上是想知道你的个人规划是不是跟我们公司的规划是matched的我能不能帮到你来这个志向的话是不是可以成长自己13代他有来帮他规划他的职业规划的所以一般的候选他会很认同这样的一个老板很融通这样的一个未来的公司的掌舵人实际上我是帮他来考虑的如果我帮不了他的话 我会建议他不要来或者暂时不要来 我可能会推荐他去别的地方,所以我觉得这样的话才能够跟别人共情能够有温度你们应该是拿到了深创投的投资我觉得在中国的科技领域能拿到深创投的钱它其实不只是钱是一种背书你们怎么拿到深创投的投资我们应该在胜上头的决策链里面应该是最快的一家,应该是最快的几家啊因为我听说那个戴博他也拿到了胜上头的钱,他说他也很快我没有跟他求证过,到底你有多快,我也多快我其实也参加过胜上头的几次会我觉得他们投我们的原因是因为他们想投赛道他们特别想看好东博泰赛道他实际上不只投了我们一家抬头了另外一家名字我就不说了 你们可以查得到他明确跟我说 他看好这个赛道然后也看好我们这个团队 而且我们这个团队非常的靠谱然后他投我们的原因是因为他不仅想投一家2C的公司,他也想投一家2B的公司。所以他的布局很清晰,2B,2C他都要投。而且他还会不断地去重仓我们,所以我觉得他们的判断还是很值得我们去思考的。第一批大语言模型的寂寞公司已经上市了,典型代表就是Minimax跟智谱。一家是从Bad2C开始,一家是从Bad2B开始。他们在上市之后2B的质朴现在表现很好2C的minimax股价波动比较大那你怎么看就是在二级市场上面2B跟2C的大员基某公司已经出现了分化之前我不是很关注二级市场,因为我自己也不炒股。但是我会持有一些美国高科技公司的股票。我觉得目前这两家公司的表现其实我觉得都很好了 [170:00] 都是出现了一些差异我认为有两个原因第一个原因就是基模本身的能力的原因这只是一个暂时的 因为有可能再过几个月可能他们两家的计模的排名又不太一样了但是至少在目前情况下来看的话 我觉得两家在基础模型能力上的表现是略有差别的那第二个呢就是说还是对标的问题像智浦的话他可能他有一个比较好的coding的agent他对标了unthropping所以说二级市场他有时候是一个很强的对标的逻辑的按理说就是美国公司的它的估值它的市值你把它除一个7除个汇率它就是中国公司的应该有的一个估值但其实还不到对吧其实还没有到所以他还有空间暂时来看的话一个是基础模型能力另外一个就是它的对标逻辑但我觉得2B2C我觉得今天在在二级市场的话我觉得并没有那么的区分度2B和2C它已经在慢慢的融合了我2大逼偷小逼去大西或者是图那个Prossey其实基本上在同一个Category只不过是说这家公司要不要做模型的私有化要不要做电子化研发这个是一个传统的图币和新型图币的一个区别如果说你要做模型私有化我认为那个不是一个特别好的生意我们从来不做模型的自由化在中国一二级市场对于AI的认知有什么分化吗但因为现在所有的AI的重要的公司都是成长性公司所以二级其实也跨到一级来找标的了已经开始有点交融了对对对你觉得这两个市场对于AI的认知有什么分化吗一级市场的话比阿尔上稍微的还要冷静一点点对 因为Edge市场有的时候它会很分化 它只看你的数字银额 收入 利润但有的时候他们就看你的模型排名所以你很难搞清楚他二级市场到底看什么还有一种是他在看对标现在二级市场的逻辑有点跟一级市场有点稍微的有点开始在融合了至少在一级市场的PE的阶段的投资人和二级市场的这帮人是基本上是一样的因为我接受到的这些人基本上看法都基本上差不多OpenAI跟Athropics也是马上就提交IPO了但是美国的资本市场已经出现了我觉得有一种情绪和审美上的转变对 因为Athropics现在然后大家好像有了一种2B的这种确定性的审美所以你看 OpenAI把Sora砍掉了然后把一些不重要的模型旁词都砍掉了专心做coding他就是觉得这个确实是一个大肆不可逆的一个方式如果他再不去抢占这个市场的话他也会很危险你创业的BET也是从2B开始就这种审美会在国内也发生吗会利好你们吗其实投资人他也分好几种国内的如果是之前传统的美元金的投资人他们还是比较喜欢 C 端的去世的 但是国内的人民币基金的话 它反而倒还好他们对2B的话也是非常的认可的但是只不过是他们不希望你做竞争化的那种大K客户的竞争化的研发我们也不去做私有化的部署我们也不做静动化的开发而且我们现在看清了一个现实SaaS化的工具和ProC的一些上市化的OPC的工具就是海外推国内的话我们就推技术家服务我们既做SaaS法的工具我们也做交付交付的或是说我们交付的是素材以及素材带来的GMV的分拥所以这个模式我觉得是一种RAS的服务还是比较适合咱们中国的市场的我看你一直拿的是国资没有选择美元这是一个你主动选择的还是被动的就是是找不到美元的钱还是之前是被动的在2023年的时候因为中美之间的关系啊就是美国基金不敢投中国的大模型公司中国AI公司中国AI公司啊 所以说而且那个时候美国基金在分拆嘛所以那个时候没有去拿美国的钱不是说我们不想拿,是当时确实是他们在犹豫嘛再聊一下居生吧我看到你们也有居生的业务对这个业务呢说起来跟戴博士有关居生事能呢里面有一个共同点就是他们缺数据对他们缺高质量的真人实彩的或者是仿真的这些数据而且这个数据的需要的量 我看了一下 基本上千万几的到一几只小时的 很恐怖的 而且它的那个数据还比较值钱因为他们弄一头机器人是做真人的在带着这些tracker了然后呢做真人实操的数据那个数据的话很难skill up所以他希望我们能够跟他合作做一些数据的增广做一些数据的合成就是生成数据生成剧生需要的真实数据对对这个能算真实数据吗其实数据算不算真实数据不要紧重要的是咱们生成的数据对他们在他们训练模型有没有帮助对所以说我们就想设计一个闭环的一个思路他给我真人咬钞的数据或者是再加少了数据10艘的数据,然后是毫米级或者是压毫米级,并且是有六七个自由度然后每个关节都有它的精度了那我们给他的就是做一个增广就是把他的带摇操的带家爪的或者是带手操的数据把它变成一个 [175:00] 人人识操的数据 低人称的数据然后他给我一份数据 我们通过数据的生成把它变成100份 1万份然后可以收买多份的但是我的里面的背景是换的我们的手的皮肤的颜色是可以换的因为他需要模拟这个不同的场景对但是呢我们要保证他的精度是跟他在同一个水平线上的他给我的1毫米精度我就给他毫米级精度他如果给我毫米精度我必须保持在两三个毫米的精度以内这不就是某一种程度的世界模型吗对但是我们做的是高可控的然后高精度高可控的这种低人称的数据的合成然后呢我们现在还在设计一个另外一个闭环境中我光做了这个视频的数据还不行我们还有验证它是不是对目前市面上比较好的这些VOA或者是World Action Model对他们有些好处我们这样才能闭环吗否则的话我怎么定价呢那样用户怎么知道我的数据到底好不好用所以说我们现在还在做最后的一个闭环做完闭环之后我们今年就可以交付很多大量的这样数据了这个闭环我理解可以通过两种方式 一种是观察客户的复购另外一种就是你自己下场去训模型所以你现在在下场训聚生模型了我并不是想做一个端到端的聚生生产的模型因为我觉得我们还是要聚焦在我们自己的赛道上面的因为巨城镇的说实话吧我觉得他们落地的速度还不如我们我们都已经商业化已经skill up了我们去年都一个亿了今年肯定是大几个亿的收入了但是呢他们反而还比较早期所以说我觉得我们做好他们的数据的供应方也这是确定性的东西的另外呢,我自己是想做一个轻量级的模型,能够验证我的数据的它的壁环到底有没有用我能够把它的delta算出来就行了我的客户知道我的价值就行了我并不是说我要训练因为数据本来也不是我的拿这些训练数据我是没有版权的我也不能用这个数据训练的模型去做商业化那我只能是通知一个小型的模型验证我的数据好不好用哦那你是聚生场外高手我都做一个影视高手跟着诺丽腾一起嘛来把这个事情做起来吧哎还是得是师兄弟师兄弟啊嗯这个会不会是一个很大的商机呢因为现在聚生这个行业真的钱很多热情很多对商机我觉得还OK但是呢天花板到底多高我不确定就是我们生存的数据越来越多的情况下客户模型的能力已经快饱和了等它做到89% 90%的时候你再提供一个点你可能都很难我觉得那个时候呢就会有一个新的范式的变化但也不能保证我们就不下场做模型了因为我数据量真的到很多的时候我也会考虑我是不是也要去转型吗因为毕竟这些数据和这个模型的know-how反过来也是可以帮助我们去调我们自己的World Action Model我的自己的世界模型的我的世界模型上面将来是这样的我底层的是一个新的架构现在还不能说但是是在我的 UIT 的教过上做衍生的衍生之后呢我上面就会有几个具体的视频模型底层的话是一个Unified的一个世界模型上面有几个视频模型第一个是做我们现在目前做的视频生成的一个消费剧的视频生成还有一个是做交互式的视频生成还有一个呢做居层智能的什么叫交互式的?交互式的有点像是李飞那种的就是我们可以在视频里面去交互嗯,然后可以做一些角度、方向做命做冒的一个调整还有一个就是我们可以做去生智能的视频的生成也就是高精度高口控的视频生成它是一个开关就是我这个上面的模型我可以往左边偏就是它这个普通的视频生成中间它就是一个做交互的右边它就是一个做聚存智能的视频这是我以后的一个目标但是今年春节Cdance 2.0出现的时候当时我就做了一期播客也是跟一个北大学者聊嘛当时我就问他一个问题就是像这种Cdance的符合物理规律的食品生产能否用于直升训练 现在还不行 为什么因为它里面没有物理规律啊它只是看上去符合物理规律它是这样的我们跟诺一天吸血人合作的时候就经历过这个过程了一开始我们低板的时候我们只是保证它视觉的合理性就是看上去这个手是把东西捡起来了然后放进去了做了一些操作但是里面有问题就是它的手指的精度不够它跟物体的交互会有点偏差而且还有就是说我们手指抓东西的时候是五指冰笼去抓的但是我们的踩在数据里面有的时候那个人的时操它不是用五指来抓它是这样抓的三个手指三个手指抓的那这个时候你就会有误差那这个误差怎么算呢这两个手指都没有抓东西它到底是错还是对没有答案因为他只要三个手指就抓着行了但我们在做视频合成的时候一定是五个指抓的我们没见过三个手指抓的场景所以说我觉得里面还有很多的问题要解决而且还有就是我要验证我们的这个视频模型里面的这些在三维点云上他是不是一个在 XYZT思维上面它是不是一个 [180:00] 方面进度以及它的自由度上面是不是满足客户的要求然后再去通过一些小的模型来验证我们是不是闭环了C-Downs目前的视频模型都做不到这一点的精度很重要今天桌面上真正在训脑模型的公司很少对 训脑模型的公司其实底牌都是不给别人看的That's right 你就问他们模型大小是多少参数量是多少 很多公司都不敢告诉你他们可能只有70币或者几币所以某种程度上你觉得你今天跟他们也没有太大的区别你也可以有自己recipe去 find out你的数据有没有用因为戴罗里PUA我的一句话但是也不能叫PUA我觉得他说服了我一句话师兄你有这么大规模的数据有这么大的一个模型的参数量你要做他们的东西你是用大刀去砸一个小蚊子他觉得我们能力足够了做他们的一些事情参见群和上市的时候,你应该也听了,他们的3D室内的空间集数据集也是现在for巨生,for视频公司,这些都有用所以我觉得我们因为底座很扎实,数据量足够多,我们做巨生智能的模型其实理论上我们也做的很不错了,不能说是很好,肯定是很不错的,只不过现在我没有经历,你没有要站到赛道里去跟大家,我现在是要做了我挣钱的生意,然后我要把我这个模型干到全球最好的然后把双音化也闭环那么他们还是比较早期啊他们还没有开始skill up我们已经开始skill up但是我觉得我同意带绕你的观点我们可以做一些具体性的收入具体性的他们的需求因为你不管聚生智能最后剩下几家最后他怎么样商业模式闭环那么至少这些所有的聚集中的公司都需要数据这个是确定性的一个创业法现在你们是卖铲子的人对对对我们卖铲子还卖出财吗?刚刚讲了三条路我理解它其实都是大元模型的下一站你说刚才说的这个刚才讲的三条视频生成的三条路径嘛就是从这个消费级生成到交互式生成再到这个影响物理世界的生成就是说因为大模型的AI这一波已经行进到现在这个阶段那么大家都会好奇大模型的下一个阶段下一条路在哪里刚才那三条路都是下一条路是的 都是那很多人他会有一种想法是觉得世界模型是一个模型嘛,刚才跟你讲的,我们认知不是这样的,因为真要做到那样的世界模型能做到 AGI 的话我觉得还需要很多时间了那个模型有可能在十年以后了或者是五年以后了因为他需要的算力可能是今天的100倍对你想把所有渠存智能的所有的数据包括XYZT 包括69度 包括触觉 包括温度包括我们的视频,包括图片,还有语言模型,都放在一个模型里面去训练那可能它的数量的Sonic是今天的10倍到100倍一个是没有人有这么多数据另外也没有人这样一个架构第三个我们也没有这么多的算力你怎么看各种模态的数据对于AI智能的影响?这里我们说大模型不再只是大语言模型对 所有的大模型所有人的认识都不一样的我觉得这是 open question然后呢包括2025年当时英国女王请了这个七个AI的leader 去颁奖嘛应该是有一个奖 颁给他们他们每个人的观点都是不一样的有像杨老坤那样的冷静派或者保守派也有综合派也有基金派所以我觉得今天对大模型的认知不一样我觉得都是reasonable的 都是ok的那对我来说的话 我觉得多么泰模型它并不是要为大脑来服务的它不是为了产生智能它是为了让人和世界进行交互让我们去模拟这个世界的物理状态大原模型我认为它是真正的是体现我们人类的一种知识的积累这个我觉得我是非常敬佩这些做大约模型的人但是呢因为我也跟很多人交流过今天的大业模型他可能还是更多的在压缩知识存储做一些简单的连接因为说实话大元模型的它的底层的价格跟我们人脑认知是一样的建立神经元跟神经元世界的连接但是呢他强的强的他能够很快的把人类历史上所有的数据能够比人类学习速度快的多得多的速度去消化它去存储它而且也不会忘记然后并且能够简单的去搜索去重构后来我们产生了这个长上下文以及他的常思考的能力那么这个时候他有了人类一样的思考的能力的话他的能力就提升了他可能就是说开始做各种推理做各种推演做各种反馈做各种纠正我认为他开始出现了一点点智能的感觉了所以我觉得这块的话天花板还没到你嫌我们可能只是花在运气链上面那将来我们可能在推理上面可能会有更多的这种体现包括Coding也是一样的但是我觉得这块的话我觉得它是慢慢的出现了一些让我想象不到的一些 [185:00] 一些智能然后冬波态这块我觉得它可能更多的是侧重于我们跟物理世界的交互以及怎么样把物理世界的规律呈现在这里面来所以我觉得这两个是完全不一样的领域目前来说很难把这两个领域能够放在一起来做训练因为他训练的方式不一样数据也不一样一个是无间度的然后自监督的 一个是有强监度的它现在目前还是不太一样的但是我觉得我模型本身每个都有他期待发展的一个空间我很好奇这两个领域的背后的人才他也会是敬畏分明的吗因为比方说像我们刚才讲P-T-I-C-来说any to any虽然大家没有完全的统一两个领域,但是好像最后这条通路是要通往any to any 的。那么这两个人才会融合吗因为我知道过去很多年都是做CV的做CV对做NLP的做NLP对因为训练模型底层的话像Infra像调度,像这些工程化的东西都是一样的相通的但是真正的算法层面还是不太一样的比如说我怎么处理视觉数据怎么处理机器人的这些 action 的数据和怎么处理文本的数据它是不一样的他们也有很多的不一样的 trick一往上层的话算法层的话还是有点不太一样的地方的所以你看在OpenAI的团队里面Solar的团队一直是独立的然后Cellet GPT团队也是独立的所以它现在还没有融合在Google里面也是一样的那个VO3的团队也是独立的所以在上层的话还是有domain knowledge的但是在下层的话 中间层的话 它是可以相通的对于它的infra是一样的有些年轻人他们适应的非常快我们团团里面有几个核心的人才在以前在大厂里面做过几层的研发做个System的工作而且我们现在有几个博士生吧他们本来在学校的时候就是高手我们当时在一起年的时候招了一大批国内的计算机学院的top1的学生他们top1不是说他们的GPA很高而是说他们整个班里的同学都认为他是头部犯那他就是逃不完所以我们是通过同行评价来判定一个人是不是他们班最好的学生这些学生来的时候他们能力确实很强他们的变成能力很强系统能力也很强他们非常的adaptive所以我们团队其实不缺年轻人因为年轻人确实他很猛他要学的话他很快所以你们的平均年龄是多少研发的平均年龄应该在30岁左右因为我们博士生比较多 博士毕业的时候就已经27、8岁了嘛所以我们的研发研究员应该 我还没有具体数字大概在30岁左右吧 95年到00年之间的人比较多一点其实大家很少知道的是Hydream是立在合肥的你的母校中科大的就在中科大隔壁对对对然后你们跟科大新飞应该是并称为合肥双子星然后科大新飞也是你们股东对我们有很多业务协同的对 这个是我觉得一个冷知识就是中国的大模型的标志性发源地居然还有一个在合肥对 很多人会不知道我们公司的总部在合肥因为合肥产投嘛 合肥是一个投资的城市嘛他们一直说自己是科创高地 确实也是科创高地他们投资的企业还是很成功的你看现在他们投了潮心存储投资未来投资金东方都很成功所以他们也想copy这个模式能够把志向未来能够给投出来我们跟合肥是一个双向奔赴的一个过程吧我们是一个多地的一个公司我们现在主体是放在合肥的但是我们在北京有这么大的一滩做研发的然后在上海那边有做产品的所以还有在京华在香港都有分公司 都有子公司所以我们觉得我们现在的AI公司的话很简单哪里有人才我们去哪里然后呢 和菲利美有个好处就是说我们可以吸引到中国大的一些人才到我们合肥这边来包括一些做交付的人才都在我们合肥那边核心产品还是在北京上海那边可能更偏向于电商一点他们也不是说把我们已经过去希望我们把人全部搬过去这个也不太可能的而且包括安卧省教育厅包括神维组织部给我们很多人才的一些激励我们每年在科大可以招很多的学生这个数量我就不说了对会遭到很多公司的嫉妒的这个人才还是很重要的你的师兄刘庆枫有没有给过你什么建议和忠告啊忠告就是说迅速的把企业做大为什么要迅速做大AI的timing很重要嘛如果你错过了这个时机的话你就不能留在牌桌上来这个很重要的为什么叫志向呀志向呢实际上我们一开始呢是只有一个英文名对我比较喜欢你们high dream这个英文名为什么叫high dreamhigh dream是这样的就是我们希望还是有梦想这个梦想越大越高越好才能够吸引更多的年轻人嘛我觉得Hydram这个名字就是感觉特别有画面感就是梦想扑面而来向他招手而且当时我们有几个候选的名字然后呢我当时发给几个在美国上学的年轻人特别是他们也帮我做了一些调研让美国人或者让 native speaker [190:00] 来去发音嘛他们后来觉得这个high dream比较好就两个音节而且是一个开源音所以他们觉得这个名字很好然后有了这个high dream之后呢我就想中文名叫什么这个我们是人工智能所以肯定要带个智然后后来想想我们是一个做生产力做创意的因为我们做的是视频图像的生成那个跟跟数字创意相关的所以我们后来想这个像还不错因为像是第一个是想像第二个是在中国的这个这个古文化里面一生二啊什么二生三 三生万物 像代表一种模太对 它有点像是多模态的感觉 智就是人工智能 代表我们技术的不断的探索像就是想象力我们希望能够生成具有多模态的想象力的这么一个世界啊是这个这个意思你刚才讲到其实全球化和出海特别重要但是我还是很惊讶就是你会把这两个分开了因为在我看来出海跟全球化好像是一体的然后现在更多的是提全球化不提出海了对 是这样的 全球化跟出海在我理解里面有一点点不同当然我们理解的比较狭义一点就是全球化是说我的客户就在全球各地 我服好他们通过平台化的方式服务好我们全球的用户比方说我们现在有个产品叫VivaGo HighClip它就是全球化的业务那就是用户在我们上面去买单去生成然后出海我是认为是帮助中国的企业去做全球化的业务我们服务的客户还在中国还在国内就帮他做海外的营销做他的服务是这样的嗯明白了业务模式的不同对对Hydream在全球的话大家会不太容易看得出他是个中国公司吗就因为很多中国公司做这个全球化业务他会把自己隐藏起来对其实我们也经历过这样的思考因为有句话叫Picture is worth of thousand words就是图片是一个 universal language不会说我看到这个照片我想到的是英文还是中文它是一样的所以说我们这个业务天生来说Natively就是一个全球化的业务我觉得审美更有东西方的区别是有是有所以我们现在业务做的比较好的像东南亚印度然后巴西他们的页面是不一样的就是你要做全球化的业务的话一定是在不同的国家有不同的模板或者不同的looking的就是如果说你是一个来自巴西的人那么你看到的首页跟你在美国看到的时候也是不一样的对 但这只是一个交互的视觉长相 我说的是模型生成你会做审美的在地化吗?模型层面不会做模型层面的话只会是通用化的因为模型层面是有个认知就是说我只要虚拟数据包含了一个国家的数据那我的模型就有这个能力了然后呢另外一个就是在产品层面上我们会做一些差异化比方说你在产品的PURENT上面UX 上面它可能会不一样的设计比方说我们在做本地化的时候我们会有不同的叫叫特效那么特效模板的话也是不太一样的它的审美也是分不同的人群的比如说像Mate Journey我们以图片为例哈Mini-Juni的审美基本上它就是艺术家的顶层像 GPT Image 的话它就比较的现实感它也没有那么的美但它就是非常的贴近我们的日常的现实中的这种照片比较写实但是他们也不反应他们切的用户不一样他的用途工作场景也不一样的我的意思就是说你很难统一所有的价值观 统一所有的审美我们只能是基于我们的数据 基于我们的判断来做我们适合我们的一个审美吧其实你并不做主动贴合用户审美的事情 你尽可能做一个通用的 对然后去筛选或者吸引一些客户去靠近对但是我们产品里面会做差异化的你有没有AI的信仰就是你相信的一个智能的未来它的终局到底是什么样?其实如果说我没有Aidon这个这个执念或者是AI的梦想的话我不可能再做这样的创业的因为我从第一天接触学术研究以来我们做的都是AI的研究对我每天的生活都跟AI相关你要说我没有AI的梦想是不可能的我其实只不过是不想去说而已讲这个东西我觉得是比较虚的我当然里面肯定有内心的坚定的一个信念我相信AR是能够创造我们的更好的生活能够让我们活得更好能够让我们的工作效率能够大大提升抄几种工资一定会实现的只不过通用人工智能很难定义它但是我觉得超级人工智能已经在实现了我这个人是比较理智的非常非常之理智对情绪也非常稳定我觉得我在雪树层面上我已经攀通过一个高山了我现在是从一个山上滑下来重新去攀登另外一个高山我愿意把身份清零只谈未来要做的事情我不需要额外的声望我也不需要额外的这个这个财富怎么样了所以我创业的话跟我的团队都非常的坚定所以我现在所有的事情和经历都放在公司上面在京东待了这么多年跟刘强东刘总学了很多东西我觉得公司一定要创作价值你才能够成为一个商业化的公司你才能够永久的持续下去 [195:00] 我哪怕再困难技术一定要攻减然后商业化一定要做不能放弃商业化一定还要闭环的想办法闭环的必须商业化闭环的原因是你想想如果有一天公司没有人投资了你必须要自己造学你得有利润你的商业化闭环之后才能够skill up否则的话别人又为什么会给你投钱呢如果仅仅通过情怀通过一个AI的信念去让别人相信你我觉得是有点难的在中国这个环境下是有点难的你学术研究这几十年以来因为一直都在CV这个领域就是一直牵引的你的好奇心到底是什么其实我是一直是希望能够让机器能够比人更懂这个世界比人更懂对因为我们现在一直追求的好像是像人一样懂没有我觉得机器一定是比人更懂的我举个例子来说有的时候我们晚上开车的时候下雨天或者大午天你会依赖于现在的自驾或者叫辅助驾驶因为它看的比你多它的眼睛比你多它看的比你远如果大五天的话你只能看到五米十米那类范围它能够看到三十米所以我相信机器一定会看得更深远比人更浓所以我希望机器能够帮助别人帮助人类看懂这个世界另外它能够帮助我们去创造一个更好的世界这是我的一个做视觉的一个初心因为视觉它是一个美好的呈现它一定能够给你呈现一个宏观的梦想中的一个比较五彩八卵的世界所以图片只是起点和入口对 起点和入口视频是过程视频是过程视频是商业化的这个关键的一步对 那终局可能就是一个创造一个更加美好的这个世界模型刚讲李飞飞是想复刻这个世界李坤觉得不必复刻这个世界你是哪一派这么说有点哲学的意味了对吧我觉得我应该是希望能够从世界中学习能够把世界进行重构进而超越超越这个现有的世界不是叫创造世界而是MOD这个世界MOD这个是MOD就是它能够去构建并且去改造这个世界并且能够修改能够编辑这个世界按照我们的想象去编辑这个世界我是希望能够构建世界的基础上再去创造一个新的更好的世界这不是每个创业者都想做的事情是啊这个是非常通用的一个梦想很普通的一个梦想最后再问几个轻松的问题你NBT是什么你知道吗好像是ENTJ吧这是个艺人是ENTJ吧手机我看我的手应该是ENTJ待会揭晓一下谜底能不能分享一本最爱的书我最爱的书应该有两本书一本比较理性经常看的叫创业维艰他讲了很多在硅谷创业的故事我意识到就说即使在硅谷这么好的条件下创业也是很艰难的并且他在书后面分享了很多一些比较highly summarize 的一些points这个points是非常值得我去经常去翻看的就是相当于是一种操作的手册还有一本书呢就跟这个完全没关系的有这个书起来暴露年龄了对我比较喜欢那个像村上春树的一些书比如像EQ84啊这些他对人的性格细节心理的描写非常非常的细你很难想象是一个男性的作家能够把一个人物的心理内心刻画得如此之周密之细致之让你感动我觉得这也是AI现在做不到的一点所以我有时候看他的书我觉得很惊讶这两页纸没有讲别的就讲这个人的心理变化真的是细致入围的如果说AI创造的人物能够像他那样的话我觉得就是非常非常难得的但我觉得目前来说很难超越他所以看他的书会有一种共情会有一种所谓的温度就是从这些书里面来的吧你可能是接受采访的这些写家唯一一个会提春上春树的可能不一定是好的例子有最喜欢的电影吗我以前在科大的时候我放过三年的电影我是学生活动中心的管理员所以我每个礼拜都要放三场的投影那个时候比如叫电影投影我每个礼拜都要省大概十几部的片子省完之后就去播放月片量可以月片可以吧但是非常遗憾那么多片子我基本上没有完整的看过一部因为我没有那么多时间省片因为我每个礼拜要放六部片子我要省大概十部以上的片子但是我没有时间去一部一阵一阵的看因为当时我还是比较聚焦醉心学习我非常遗憾我释放了三年两年半的片子我自己没有完整的看过一部哪怕是Titanic那年很火爆每天都是坐在地上的人都已经坐满了挤不进来的时候我还没有完整的看过一部Titanic我这个人就这样我每时每刻只能做一件事情而且是120%的投入的我做一件事情的时候别人就看不见我了我也看不见别人了2014年我看过那个电影叫 [200:00] 那个建议我觉得让我看到了人工智能的未来的雏形了所以有点感动我觉得赫尔这个机器慢慢的跟男主人公有一些共情了让他觉得好像自己在谈恋爱了对吧但是回过头来看,Hur发生的事情不就今天大语言模型在发生的事情吗?只不过是大语言模型还没有跟我的动模态产生共鸣,能够桥接,这样的话不就是它既有手机的陪伴,还说不定还有一个很温馨的AI的人物在陪伴它,对吧?所以我觉得那个片子对我印象还是有点深的,因为我发现AI的成长的速度,未来可能赶得上那些科幻小图家的想象的水平吧?期待一种世界的增量。好谢谢梅老师特别精彩感谢