Scale AI与伯克利拆解数商暴利机制 强化学习环境催生并购潮 硅谷101
大模型训练从打标签转向动态沙盒促使数据供应商转型研发型软件公司，甚至倒逼资本通过收购实体企业开采专有数据以建立高壁垒。
AI-assisted summary of E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长 — original source . Check the original for full context.
Source published: 2026-09-28
Key ideas 大模型训练需求正从预训练向后训练与强化学习（RL）迁移，催生了以 AfterQuery（估值达32亿美元）和 Bespoke Labs 为代表的高估值新一代数据公司。 (0:00) 数据交付物发生结构性剧变，从初期的打标签、给回答打分，演变为专家制定的评分标准（Rubric）以及集成任务、沙盒工具与验证反馈机制的完整强化学习环境。 (8:27) OpenAI 于2026年2月停止报告 SWE-bench Verified 分数，直指基准测试存在测试脚本缺陷导致的假错误以及严重的数据污染问题。 (48:22) 私有工程资产与垂直行业数据成为最深的商业护城河，资本市场甚至衍生出通过私募股权（PE）收购传统实体企业、提取专有工作流数据打包变现的新商业模式。 (54:03) Detailed notes ## Background
本期节目由科技播客《硅谷101》于2026年9月28日发布在小宇宙平台。节目针对AfterQuery、Bespoke Labs等AI数据公司估值暴涨却极其不透明的行业现状，邀请到Scale AI后训练与评测研究总监何允中与UC Berkeley博士后孙一铀，从产业和学术视角拆解大模型训练数据从传统标注走向强化学习环境与评分标准的范式演进。
## TL;DR
随着大模型从“回答问题”演进到“动手执行具体任务”，AI训练数据行业正从传统的众包打标签转向交付高复杂度的评分标准（Rubric）与可验证的强化学习（RL）沙盒环境。两位嘉宾深入剖析了Scale AI、Mercor等玩家的核心壁垒，探讨了Benchmark评测基准与商业训练数据之间的微妙界限及防作弊机制，并指出真实物理世界和垂直学科的工作流数据本质上多可通过代码与工具调用来承载。面对模型自我合成数据的能力提升，外部数商并未消亡，而是蜕变成需要深入冷门垂直领域搞定版权、资产采购与环境研发的技术型研发团队，行业甚至衍生出了结合PE并购实体企业来开采专有数据的商业新形态。
## Atmosphere & style
对谈整体洋溢着硅谷技术前沿特有的务实与求真氛围，节奏明快、信息密度极高。身处产业最前沿的何允中与深耕学术评测的孙一铀形成了绝佳的视角互补，两人频繁分享内部研发轶事与行业内幕，对话在轻松平实的切磋中碰撞出对行业泡沫与真实价值的冷峻审视。听众能够清晰感受到技术剧烈迭代下从业者面对海量未解难题时的紧迫感、兴奋感，以及对数据行业底层逻辑被层层剥开时的通透与畅快。
## Bulletin
- `00:00` 大模型训练需求正从预训练向后训练与强化学习（RL）迁移，催生了以 AfterQuery（估值达32亿美元）和 Bespoke Labs 为代表的高估值新一代数据公司。
- `08:27` 数据交付物发生结构性剧变，从初期的打标签、给回答打分，演变为专家制定的评分标准（Rubric）以及集成任务、沙盒工具与验证反馈机制的完整强化学习环境。
- `48:22` OpenAI 于2026年2月停止报告 SWE-bench Verified 分数，直指基准测试存在测试脚本缺陷导致的假错误以及严重的数据污染问题。
- `54:03` 私有工程资产与垂直行业数据成为最深的商业护城河，资本市场甚至衍生出通过私募股权（PE）收购传统实体企业、提取专有工作流数据打包变现的新商业模式。
## Key takeaways
- `05:03` AI 数据赛道玩家因基因不同走向分化，包括专家招聘平台派（Mercor）、传统众包与质检工程派（Scale AI）、合成数据研发派（Bespoke Labs）以及垂直数据掮客。
- `08:27` 强化学习依赖可验证信号，数学与代码容易依靠执行沙盒判断对错，而金融、医疗等复杂领域需借助领域专家制定的详细 Rubric 实行弱模型对强模型的监督。
- `12:18` Agents’ Last Exam (ALE) 试图将代码领域依靠确定性反馈飞速演进的“Vibe Coding”范式推广到包含50多个细分行业的高价值工程场景（“Vibe Everything”）。
- `14:10` 主观审美与体验并非完全不可量化，未来的验证体系将走向显性规则校验与专职奖励模型（Reward Model）配合的双轨制机制。
- `20:05` 优质评测基准应当考察具备全盘带动效应的核心认知能力或高度反映真实工程体验，同时做基准测试必须严守不贩卖评测私有数据的商业红线以防数据污染。
- `27:29` 未进入热门榜单的冷门垂直评测（如药物研发、SWE Atlas 代码问答）同样具有极高商业价值，会被模型厂商迅速转化为真实的数据采购需求。
- `30:00` 大模型在垂直领域的场景落地速度远超真实用户沉淀速度，使得模型厂商无法单纯依赖线上 A/B 测试，必须依靠高难度的外部评测基准作为研发指针。
- `33:30` 后训练数据的核心门槛正转向原材料采购，包括昂贵的商业软件授权（如 EDA 仿真）、私密化合物数据库以及冷门学科工作流的非标工程资产。
- `38:56` 外部数商不会因模型自我合成数据而消亡，模型厂商受限于交付周期和企业客户信任危机，仍然高度依赖专业数商进行垂直领域的研发与采购。
- `44:04` 数据交付不仅用于 SFT 和奖励模型训练，当前正深度向递归自我改进（RSI）的长程多步骤环境演进，需要通过对抗性红队测试防止模型产生奖励投机（Reward Hacking）。
- `50:04` 针对专家可能伪造复杂专业数据的风险，传统人工核验成本极高，通常需依赖多架构顶尖 Agent 规模化运行后的交叉核验，并引入强制操作流的“工作量证明”机制。
- `52:00` 在当前的智能体架构下，只要有完备的模型上下文协议（MCP）和工具 API，95% 以上的真实专业工作流本质上都可以收敛并归纳为代码编写与执行问题。
- `54:03` 数据公司无法躺在存量资产上吃老本，随着底层模型能力迭代，数据价值折旧极快，必须构建持续攻关新垂直领域的研发飞轮；同时顶级学术声誉相比商业时薪能更有效地动员全球顶尖专家。
## Detailed walkthrough
### `00:00` 从打标签到可验证环境：AI数据赛道的爆发与范式演进
大模型能力的持续演进正在剧烈重构训练数据行业的底层逻辑，这也催生了一批估值惊人的新兴数据公司。由三位20多岁年轻人创办的 AfterQuery，在2026年4月宣布 A 轮融资时估值尚为3亿美元，到了9月媒体报道的新一轮融资中估值已飙升至32亿美元，不到半年暴涨10倍，创下了 Y Combinator 旗下孵化公司从启动到跻身独角兽的最快纪录。老牌头部玩家的体量同样十分庞大：Meta 入股 Scale AI 时给出的估值超过290亿美元，而 Mercor 去年10月一轮融资的估值也已达100亿美元。这门高估值生意对外界而言极度不透明，其核心交付物早已不是传统概念里的基础数据。
在早期阶段，数据标注主要停留在人工给图像打标签、给模型回答打基础分数。然而，随着模型从“回答问题”演进到“动手执行具体任务”，行业需求发生了根本性的结构迁移：
1. **Rubric 数据（评分标准）**：邀请金融、医疗、法律等垂直领域的行业专家，将不可量化的经验与知识拆解为弱模型和判卷人员可执行的打分标准。
2. **RL Environment（强化学习环境）**：不再仅提供答案或文本，而是构建包含任务目标、执行沙盒、可用工具及验证反馈机制的完整闭环，让 Agent 在动态环境中反复探索试错并依靠奖励信号学习。
与此同时，针对评测基准（Benchmark）的刷分、针对垂直应用的数据构建以及数据生态的商业化闭环，正在成为全行业共同摸索的新前沿。
- **何允中**：Scale AI 研究总监，负责后训练（Post-Training）与评测（Eval）研究。他将团队定位为“给整个大模型行业提供数据还有一些方法论支持……有点像整个行业的一个外包数据 Research 团队”。
- **孙一铀**：加州大学伯克利分校（UC Berkeley）博士后，主导由 Berkeley RDI 联合300多位行业专家推出的 **Agents’ Last Exam (ALE)** 项目，旨在构建兼具可验证结果、多步骤执行与经济价值的长程 Agent 评测。首期公开了150多个任务，覆盖50多个细分行业，计划在未来几个月内发布的 V2 版本中扩充至1000多个深度任务。
---
`05:03` 数据公司的底层基因：招聘网络、合成工程与垂直买手 当前活跃在 AI 数据赛道的玩家背景各异，其核心能力往往取决于团队的原始基因。何允中将市面上的玩家划分为几类：
1. **招聘与专家平台出身**：例如 Mercor 和 Handshake。Mercor 最初做 AI 自动化面试平台起家，其主打优势在于能在极短时间内通过既有的专家网络（Expert Network）筛选并匹配垂直领域的专业人才。
2. **传统众包网络出身**：例如 Scale AI 和 Surge。这类平台在全职自研团队与弹性众包之间权衡取舍。如果完全自建全职团队，人才能力固然拔尖，但产能受限、灵活性不足；如果完全依赖外部众包，灵活性极高，但个体质量参差不齐。因此 Scale AI 核心的竞争壁垒在于长期沉淀的质检（Quality Control）经验——“不光是在数据上，也在人上”。
3. **合成数据与研究工程派**：例如 Bespoke Labs、Snorkel AI。团队大多偏向科研与工程落地，专注在代码生成、工具调用（Tool Use）和可验证的强化学习环境搭建，抓住了大模型探索推理与执行能力的风口。
4. **行业转型团队与垂直数据掮客（Brokers）**：部分做模型的创业公司未能在模型端实现盈利，但因自研积累了大量行业素材与数据经验，顺势转型做数据提供商；此外还有大量“数据掮客”，例如掌握海量好莱坞影视版权的人士，专注将独家非公开资源分发给模型公司。
何允中回忆自己加入 Scale AI 的经历时笑称：“当时我是在 Meta 入股之前签的 offer，我一到人就走了，所以我经历了整个大模型行业开始不管从人才的战争 crazy 的这么一个故事。”当时业内刚开始接触专家的 Rubric 数据，而短短一年后，行业风向已彻底转向 RL 环境。
---
`08:27` 从弱监督 Rubric 到代码沙盒：可验证信号的演进 大模型训练对于数据的饥渴正由预训练（Pre-training）大规模转向后训练（Post-training）。预训练虽然依旧至关重要，但研究人员逐渐对枯燥的算力扩展和数据调配感到疲倦。OpenAI o系列推理模型的问世验证了强化学习（RL）在复杂思维链上的可行性，全行业的重心随即涌向 RL。
RL 运转的核心前提是具备一个**确定、可验证的反馈信号（Verifiable Signal）**。在数学与简单代码场景中，这种信号极易获取——选择题非对即错、数学算式答案唯一。但当试图将 RL 推广至医疗、金融、复杂历史或通用指令遵循等复杂任务时，便遭遇了主观性挑战：
```mermaid
flowchart TD
accTitle: Evolution of RL Supervisions
accDescr: Diagram contrasting rule-based verification with Rubric-based weak-to-strong supervision.
subgraph Deterministic["确定性任务 (Math & Coding)"]
A["明确输入"] --> B["规则匹配 / 执行沙盒"]
B --> C{"答案正确?"}
C -->|Yes| D["正向 Reward"]
C -->|No| E["惩罚 / 负向 Reward"]
end
subgraph ComplexDomain["非结构化复杂任务 (History, Medical, etc.)"]
F["专家隐性知识"] --> G["结构化 Rubric (打分规则)"]
G --> H["弱评卷模型 (TA)"]
H --> I["监督更强的大模型"]
end
```
何允中详细拆解了 Rubric 数据运作背后的“弱监督强模型（Weak-to-strong supervision）”机制：这类复杂任务其实存在“标准答案”，只是表达高度非结构化，无法简单使用字符串匹配（Pattern Match）。这时便需要领域内的教授将评判规则白纸黑字写成一套详细的 Rubric，让智力一般的助教（弱模型）照本宣科给更聪明的学生（强模型）打分。
然而，仅有文本层面的 Rubric 很快触碰到天花板：
- 静态文本的单轮或多轮问答 Rubric 数据在各大实验室中已被采集得相对饱和；
- 模型能力正在从“写字”迈向“动手”（Knowledge Work）；
- 现在的任务不仅要求回答符合标准，还要求智能体在复杂的 Agent 架构下调用 API、修改沙盒环境变量、执行数据库增删改查。验证方式演进为脚本检查（Programmatic Check）、Rubric 与人类偏好三者交织的复合验证环境。
---
`12:18` Agents’ Last Exam：将“Vibe Coding”推广到全行业 孙一铀从学术评测视角提出了补充观点。他认为专家的主观判断与 Rubric 远未做到头，当前真正的痛点在于如何让客观评测覆盖更广泛的真实场景：
> “ALE 当时建立的初衷就是跟云中讲的一样，就是我们怎么样把 vibe coding 迅速发展的趋势推广到 vibe everything。”
孙一铀指出，此前 Vibe Coding 之所以发展突飞猛进，是因为编程领域天然拥有充沛、易于验证的基准测试（如自动化单元测试），能够提供完全确定性的信号。全球模型厂商为了刷榜全力攻坚代码，直接带动了代码能力的爆发。团队希望把这套逻辑复制到所有具备经济价值的工程化场景：只要评测指标客观严谨，模型公司哪怕为了“刷分”而生产数据，这种刷分带来的能力提升也能实打实地反哺人类的日常生产力。
目前 ALE 覆盖了50多个细分行业，在设计过程中面临的最大挑战在于**多解性与发散性**：
- 如果强行限定单一输入与 Ground Truth（基准真值），模型稍有变通就会被误判；
- 例如要求模型生成一个游戏或者推导非唯一性的数学解法，输出可能性极多，死板的基准答案会导致严重的评分不一致。
---
`14:10` 审美与主观评价的量化：双轨制奖励机制 针对主观体验能否被量化的难题，孙一铀提到，虽然普通人觉得“游戏好不好玩、设计好不好看”纯属主观感觉，但游戏工业的游戏学教科书（Ludology）其实具备科学量化指标——例如任务奖励曲线是否平滑、节奏是否符合多巴胺分泌机制等。目前公开的基准测试中，极少有体系能将这套标准深度工业化。
何允中对此分析道，大模型验证体系正处于一种“左脚踩右脚”的动态螺旋之中：
> “当我的模型变强了，我这个验证器也变强了；验证器变强了之后，我就可以允许一些更复杂的 rubric。就比如说，如果我是一个很弱的验证器，那么我就只能写一些就是一个傻子都能看出来就知道是对还是错的这个 rubric；但是呢，随着这个模型能力的提升，那我的 rubric 就可以写得越来越模糊，可以把更多的知识交给验证器来解决。”
| 维度 | 指令遵循（Instruction Following） | 主观审美与体验（Vibe / Subjective Quality） |
|:--- |:--- |:--- |
| **典型案例** | 图像生成中“是否有猫、有狗、背景文字内容” | “猫可不可爱、文字排版是否高级、画风是否和谐” |
| **验证手段** | 结构化 Rubric、自动化工具调用（如跑 OCR 校验字形） | 专职训练的奖励模型（Reward Model）或更高级的验证大模型 |
| **核心逻辑** | 条件写得越显式、越严谨越好，规则边界绝对清晰 | 依赖吸收了人类行为与偏好反馈的模型进行隐式主观判定 |
何允中推测，未来的解法必然是混合路线：显性边界交给硬性规则校验，主观质感交给专项训练的奖励模型。
---
`17:33` 人机协作重构与企业决策数据的采集困境 针对“Rubric 与环境是否对立”的疑问，两位嘉宾一致认为两者不可割裂：**任务与环境提供了模型执行的基准沙盒，而 Rubric 则是衡量动作优劣的奖励标尺。**
孙一铀根据人与 Agent 在协作中的权责边界进行了分类：
1. **人决策，Agent 执行**：人类把任务规格书写得极其透彻，输出结果相对封闭收敛（A型任务）。这类任务适配确定性的 Rubric，直接拿最终产品与既定基准做比对。
2. **Agent 决策，Agent 执行**：当 Agent 试图接管模糊的高阶决策（例如上市公司的经营策略制定）时，评测体系将面临严峻挑战。
针对具体垂直领域（如猫是否可爱、代码是否跑通），团队可以通过 Meta 式的用户行为日志或单元测试训练 Verifier；但高管面临的企业决策每日环境都在变化，根本无法收集到海量静态数据来训练对应的 Reward Model。
何允中对此十分赞同，指出这正是 ALE 这类前沿评测方案的价值所在：
> “我会觉得以后收数据，可能是大家怎么样找到好的激励方式，让大家把一些重要的东西交出来，尽量的能够回溯当时这些重要的决策。”
---
`20:05` Benchmark 与卖数据的红线：科学标尺与商业诱惑 随着各路 Benchmark 的名气水涨船高，评测与数据商业化之间的界限正在变得微妙。何允中认为，评测从原理上讲衡量的是模型与理想状态之间的差距（Gap），属于纯粹的科研基准。然而，一旦某家团队构建出了被全行业认可的 Benchmark，通常意味着该团队对该垂直领域的技术认知最深刻，外界自然会信任其手头持有的训练数据质量，投资机构与模型客户便会蜂拥而至。
孙一铀对此发出了明确的行业预警：
- **严守商业红线**：做 Benchmark 的机构绝不能把用于评测的私有数据转手卖掉。这种数据污染不仅会摧毁评测本身的权威性，还会直接毒害被测模型的泛化能力。
- **定位的分野**：“Benchmark 面向的是未来，做数据面向的是现在。”在2026年1、2月开发 ALE 时，团队曾极度担忧任务过难（当时主流模型得分率仅在10%至20%之间，大部分题目甚至拿零分），但事后证明 Benchmark 必须超前于模型现状；而数据生意则是服务于当下，提供填平这一差距的阶梯。
---
`23:25` 什么是好评测？核心认知能力与真实场景的取舍 面对每周层出不穷的新基准，模型公司与数据研发团队在筛选评测时需要权衡投资回报率（ROI）。何允中与孙一铀梳理了评估优质 Benchmark 的核心标准：
```mermaid
flowchart LR
accTitle: Evaluation Criteria for Good Benchmarks
accDescr: Criteria dividing benchmarks into Core Cognitive Capability and Applied Real-world Scenarios.
subgraph CoreAbility["维度一：核心认知能力 (朝着 AGI)"]
A["考察泛化性"] --> B["能力提升带动全盘上涨"]
C["避免特化拟合"] --> B
end
subgraph PracticalScenario["维度二：真实应用场景 (贴近体验)"]
D["具体应用场景缺陷"] --> E["反映真实用户体验"]
F["Agent 架构 (Harness) 评测"] --> E
end
```
- **核心认知能力**：如果针对某榜单的针对性优化仅提升了该榜单本身的分数，其他测试毫无起色，这就是低效的过拟合刷分。像 ARC-AGI（Arc Challenge）这类测验人类抽象智力的视觉游戏，最初被寄予厚望，但后续被证实容易通过极度特化的小模型进行单点突破，难以直接反映通用认知能力的跨越。
- **真实场景的体验反馈**：例如针对个人助手（Personal Assistant）的评测（如 SWE-bench 或各类执行框架）。这类评测往往不仅测试大模型底层参数，还在测试外部包裹的系统骨架（Harness）。哪怕模型本身没有重新训练，单凭优化 Harness 工程架构也能修复报错，这同样具备切实的落地价值。
---
`27:29` 垂直榜单的冷启动与 SWE Atlas 的“意外走红” 行业公认的综合评测看板（如 Artificial Analysis）通过给不同 Benchmark 分配固定权重进行加权平均，但这套评分体系的主观性一直备受质疑。头部模型厂商（如 Anthropic、OpenAI）为了贴近真实业务，往往倾向于自建内部评测体系，第三方基准更多是作为对外发布技术报告（Tech Report）时的公信力背书。
在主流视线之外，许多未曾登上热门综合榜单的垂直评测，在产业端反而在发挥着巨大作用。何允中分享了 Scale AI 的真实案例：
- **小众深水区有专属买家**：Scale AI 曾针对药物研发（Drug Discovery）和 AI 导师（AI Tutor）发布过评测。这类小众基准虽未引发大众狂欢，但各大前沿实验室内部负责对应垂类赛道的负责人，都会第一时间抓取并转化为自身研发与采购数据的指标。
- **SWE Atlas 走红背后的随机性**：Scale AI 曾推出涵盖代码仓库问答（Q&A）、代码重构（Refactoring）和编写测试用例（Writing Tests）三阶段的评测套件 SWE Atlas。团队原计划将三个环节打包统一发布，但最简单的 Q&A 阶段率先上线后，意外被 Artificial Analysis 抓取并收录。结果业内各家模型为了刷榜，对代码问答的数据需求瞬间激增。
何允中感叹，数据行业的生态背后存在极大的不确定性与偶然性：“我们当时想的很不理解，Q&A 是最简单的一个场景，就是我们花了那么多心血做了更复杂的 benchmark，结果就是因为可能是时间关系……最后就是你没看到的东西，其实背后可能也有人在用，就这个生态其实水还比较深，还比较复杂一点。”而在谈及最理想的终极评测形态时，孙一铀认为真实的用户体验才是终极分布，类似 LMSYS Chatbot Arena 的盲测机制最接近这一理想状态，但在任务链路极长且复杂的 Agent 时代，构建实时多模型并行的交互评测仍面临极高的工程门槛。
`30:00` 评测与真实用户反馈的分歧：Benchmark 还能代表模型能力吗？ 在智能体（Agent）时代，评测大模型的难度发生了质的变化。过去在对话模型（Chat）时代，给模型抛出一个问题，几秒钟内就能拿到答案并迅速打分；但在 Agent 任务中，一个长程任务动辄需要几个小时。普通用户没有“超能力”每次执行任务都连开几个 Agent 并行跑，也没有成熟的机制收集并反馈这些长程交互。因此，外界对 Agent 的评价往往极度偏向主观，很难拿到真正的 Ground Truth。
面对这种主观性，大模型公司内部通常会建立一套灰度评测机制：针对不同版本的模型分配真实用户进行测试。何允中认为，如果市场上能有一种评测基准（Benchmark）的分数分布极其接近这种真实线上分布，那它就是一个极优秀的 Benchmark。然而在线下评测与真实线上 A/B 测试之间，往往存在着明显的脱节。用户的主观体验非常微妙：给用户堆砌大量事实（factual）内容，与给他们大量迎合喜好、讨巧的话（clickbait），测出的线上留存和满意度完全不同。
孙一铀以 Claude Code 和 OpenAI 的 Codex（或相关代码模型）为例进行了对比：Claude Code 在竞技场（Arena）等聊天型评测中表现亮眼，核心在于其输出格式非常贴近人类的心理预期，对中英文用户来说都极易理解；相比之下，OpenAI 侧的模型虽然执行逻辑更细致、犯的错误更少，但输出结构对普通人而言没有那么一目了然，因而在线上主观打分时稍微“吃了点亏”。在实际使用中，孙一铀个人反而更倾向于 OpenAI，因为其严谨度更高。
关于模型公司是否还依赖外部 Benchmark，何允中指出不同梯队的实验室策略截然不同：
* **头部前沿实验室（如美国顶级 Labs）**：倾向于以自建 Evaluation（评测）团队为主，因为他们具备自建复杂评估体系的人力和技术底蕴。
* **新兴或非头部 Frontier Labs**：内部评测团队不够完善或缺乏经验，有限的人力更倾向于投入到核心模型的训练与开发中，因而高度依赖外部的公开评测。
何允中以自己在 Meta 从事多年搜索与推荐系统的经历分析，当一款产品逐渐成熟、积累了一定体量的用户之后，团队最终关心的只有用户增长（DAU）和赚钱指标，评测会彻底退化为类似搜索推荐的指标拟合过程。但在当前 AI 领域，应用场景增长的速度远远甩开了单一领域沉淀真实用户的速度。比如如今大家都在“卷”科学发现（Scientific Discovery），根本不可能有成千上万的科学家在线上提供显著的 A/B 测试样本，此时行业别无选择，必须依靠高难度场景的 Benchmark 来充当指路标准。
> “在垂直行业，场景增长的速度赶不上我在这个领域用户沉淀的速度，还是有大量的需求要依靠这个 Benchmark 来做评价标准。” —— 何允中
---
`33:30` 数据创业的新机会：合成环境、行业死角与采购壁垒 行业正从单纯雇人打标签过渡到交付整套复杂的“强化学习（RL）环境”。这种环境包含大量的工程实现，使得一些只有两三个人或四五个人的敏捷小团队凭借出色的合成技术栈（Synthetic Tech Stack）迅速交付大量合成环境，从而在短时间内拿到极高的估值。合成数据并不意味着低质，基于高阶基座模型或半成品工程产物（Artifacts），小团队完全能快速跑通商业闭环。
这一波浪潮之所以能在代码（Coding）赛道爆发，是因为软件工程天然具备开源、资料公开透明的特点，且数据生产公司的工程师本身就精通编程。但向更深的行业垂类推进时，数据生意分化为两个阶段：
```mermaid
flowchart LR
accTitle: 数据生产链条的两大阶段
accDescr: 展示从垂直领域原材料采购到工程化加工交付的完整商业流程
subgraph Phase1 ["第一阶段：采购 (Procurement)"]
A["垂直领域私域资产\n(代码库 / 分子数据 / 商业软件)"]
B["激励机制创新\n(众包专家提交 / 利益绑定)"]
A --> C["获取原始 Raw Data"]
B --> C
end
subgraph Phase2 ["第二阶段：加工 (Processing)"]
C --> D["Agent Pipeline 洗练"]
D --> E["打包成可验证 RL 环境\n(模拟器 / Sandbox)"]
E --> F["交付大模型 Labs 训练"]
end
```
何允中强调，后训练数据其实就是“先采购原材料，再深加工成大模型能够吸收的环境”。在垂直领域中，采购正成为最深的护城河：
1. **私域工程资产与软件授权**：例如做芯片设计，必须构建芯片仿真环境，背后牵扯到昂贵 EDA 商业软件的版权与授权封包；又如做系统运维 DevOps，有团队专门为大模型训练构建了一整套高保真的 AWS 云环境模拟器。
2. **非标资产的天价采购成本**：在药物研发（Drug Discovery）中，需要购买极度私密的化合物数据库；在游戏研发领域，孙一铀透露，他们在推进 Agents' Last Exam (ALE) V2 时曾尝试收录 Steam 上的游戏开发任务，一个名不见经传、仅有数千下载量的移动端独立游戏，对方甚至对游戏源代码开出两三百万人民币的买断天价。
3. **真实工作流与冷门垂直学科的巨大空白**：大众熟知的主要是金融、医疗等敏感数据，但更多细分学科完全处于蛮荒状态。孙一铀团队基于《自然》（*Nature*）杂志的子学科分类树梳理生物学科工作流，仅展开到第三层分支就拥有大约 3,000 个节点。调研后发现，市面上现存的生命科学与生物 Benchmark 覆盖率甚至不足 5% 到 10%，连一套完整的评测体系都未建立，针对性的训练数据更是无从谈起。
---
`38:56` 模型越来越聪明，外部数商会被淘汰吗？研发驱动与利益冲突 随着大模型自我生成（Synthetic）数据的能力越来越强，数学等一度热门的赛道迅速贬值——过去靠复印大学竞赛课本批量合成题目的做法，如今产出的数据价值几乎归零。面对非头部团队准入门槛暴增的质疑，何允中从第一性原则反驳了“数据商消亡论”：这个世界上还有海量的专业领域尚未被模型“蒸馏干净”，外部数商非但不会消失，其本质反而正在蜕变成高强度的 R&D（研发型）软件公司。
模型实验室（Labs）内部往往缺乏解决行业数据采购的最佳基因：
1. **研发周期的死线（Deadline）压力**：在 Frontier Labs 内部，研究员的交付周期被卡得很死，根本无法被允许花费半年时间去沉浸并理解某一个垂直行业的工程环境。当外部数商拿出已经验证完有效性的垂类环境时，Labs 研究员通常都会买单。
2. **利益冲突（Conflict of Interest）**：大模型厂商在推进企业落地时存在天然的信任危机。如果厂商一方面将前线部署工程师（FDE）派进大型传统企业内部，另一方面其核心团队又在挖掘企业数据，没有客户愿意冒着商业机密泄露的风险交出数据。这就赋予了第三方中立数商不可替代的生存空间。
3. **业务重心与资源灵活度**：Labs 自建重型数据采集团队的包袱过大，不符合其敏捷迭代的组织架构。虽然目前 Labs 也开始尝试类似 Expert Matching（将行业专家直接派遣进驻 Labs）等模式，但采购与数据清洗仍然依赖专业外部供应链。
> “一个数商真正要做的事情是研发——看看未来还有哪些行业是重要的，这些行业有哪些东西值得投入把东西买回来，我自己先投入 R&D 把这个行业的问题给研究清楚，然后再把它做成 Benchmark 或者做成数据，甚至证明这个东西的有效性，我再转身卖给 Lab。” —— 何允中
针对“数商把同一批数据卖给多家模型公司”的同质化顾虑，行业目前也有非常明确的商业解法：模型厂商只需支付高额溢价，即可直接将特定数据集及其背后的环境彻底“买断”。
---
`44:04` 数据买回去怎么训？从 SFT、强化学习到长程 RSI 定制 外部数商交付的数据并非拿来即用，它必须与特定的训练配方（Training Recipe）严密契合：
* **简单数据**：通常直接用于监督微调（SFT），向模型直接灌输标准答案。
* **评分标准（Rubric）数据**：通常用于强化学习（RL），利用评分标准训练奖励模型（Reward Model）以持续打分。
* **长程多步骤环境与递归自我改进（Recursive Self-Improvement, RSI）**：这是当下的研发焦点。所谓的 RSI 是指模型在具备真实算力的环境中进行长时间（数天至数周）的自我迭代与研发探索，甚至在 GPU 沙盒上让模型训练另一个小模型。
在这些前沿训练场景中，如何防止模型产生“奖励投机”（Reward Hacking）是数商必须解决的技术难题。如果环境存在后门或捷径，模型往往会在没有真正解决任务的情况下钻空子刷高 Reward 分数，最终被训练成一个“偷奸耍滑”的模型。数商常用的对抗技术是利用能力极强的外部 Agent 充当“红队”（Red Teaming），主动在设计的沙盒环境中寻找漏洞与作弊捷径。
此外，训练环境的奖励设计远比简单的 Benchmark 验证器复杂。Benchmark 验证器往往只看最终是非对错，但后训练配方必须引入多维度约束，例如严格限制 Token 预算（Budget）和执行步数，惩罚消耗过多系统资源的行为。
在难度控制与适配方面，数据并非越难越好：
* **难度适配（Difficulty Calibration）**：数商经常会接收客户尚未发布的未公开模型，为其进行针对性的题目难度筛选。在强化学习试错阶段，如果任务超纲太多，模型完全无法成功破局，就根本无法沉淀正向梯度的学习信号。
* **解题轨迹采集（Trajectory Collection）**：针对难题，数商会采集模型失败的轨迹，甚至组织人工专家亲自操作跑出可行的正确解题轨迹（Step-by-step Trajectories），供客户拿回去直接用于 SFT，绕开高昂且不稳定的 RL 试错过程。
---
`48:22` SWE-bench Verified 争议与专家造假的“防作弊”博弈 2026 年 2 月，OpenAI 宣布停止报告其在 SWE-bench Verified 评测上的分数，这一决定引发了行业热议。SWE-bench 的核心逻辑是让模型去修复真实的开源 GitHub 项目 Issue，并通过运行测试用例检验修复结果。OpenAI 放弃该榜单主要基于两大痛点：
1. **测试脚本缺陷与假错误（False Errors）**：题目说明不清晰，或测试脚本要求过于苛刻，导致功能上完全正确的修复代码被误判为失败；在过去六个月中，前沿模型的分数仅从 74% 缓慢挪动到 80%，剩下的题目许多本身不可解或验证脚本极其耗时，评测基准本身已失去区分度。
2. **数据污染（Data Contamination）**：在特定 Prompt 提示下，模型能够精准复现开源代码库中人类工程师最初提交的原版修复代码，这意味着预训练阶段模型早已“背过”了答案。
孙一铀指出，在众包专家构建 Benchmark 和训练集时，最致命的挑战往往来自“人类的投机取巧”。在 ALE 早期，为了激励社区贡献，项目承诺凡提交合格任务的专家均可获得论文作者署名权（Authorship）。这一奖励机制导致极少数提交者为了刷作者名额，故意利用 Agent 批量合成似是而非、肉眼看去极度荒谬的虚假数据。
何允中对此深有同感。他表示 Scale AI 早期使用时薪雇佣标注员时，也曾面临严重的偷懒作弊挑战。在数据工程中，识破虚假专业数据是极其昂贵的博弈：
* **公开数据污染**：直接调用大模型检索便可轻易比对查出。
* **恶意伪造复杂数据**：例如专家提交一份复杂的化学分子模拟结果，但他从未真正跑过实验，完全是自编的一套看似合乎逻辑的数据。这种伪造数据极难识别，若安排另一位人类同行专家去复核，往往需要耗费一至两周时间，且很难保证复核专家本人不会敷衍了事。
* **跨模型交叉验证发现**：很多时候，只有等到多个不同架构的前沿 Agent 整体能力大幅进化后，大家在同一沙盒中跑出的结果高度一致，却唯独与最初专家提交的“标准答案”不符时，那份虚假数据才会被彻底揪出。
为了从根本上遏制专家欺诈，何允中提出需要建立类似“工作量证明”（Proof of Work）的新型激励机制：必须强制要求专家录制长达数小时、包含完整调试动作与思考路径的操作全过程流，大幅拉高伪造造假的时间成本，从机制设计上让偷奸耍滑变得无利可图。
```mermaid
flowchart TD
accTitle: 复杂专业数据伪造与防作弊流程
accDescr: 展示专家伪造高难数据被多模型交叉核验揪出的过程以及工作量证明防御机制
subgraph Fraud ["专家造假场景"]
A["提交者伪造化学模拟/复杂工序数据"] --> B["表面逻辑自洽，常规脚本无法识别"]
end
subgraph Audit ["传统人工核验困境"]
B --> C["外聘第三方同行复核"]
C --> D["耗时极长 (1-2周) 且复核专家亦可能敷衍"]
end
subgraph Solution ["解决方案与交叉发现"]
B --> E["多架构顶尖 Agent 规模化运行"]
E --> F["所有模型产出一致\n但与专家'标答'冲突"]
F --> G["判定专家数据造假并清除"]
H["引入 Proof of Work 机制\n(强制全流程录屏/动作序列审计)"] -.-> A
end
```
针对行业对“真实工作流数据”的关注，孙一铀给出了一个核心洞见：**在当前的 Agent 技术体系下，真实工作流本质上全部都可以归纳为代码问题。** 例如工业级 3D 建模，软件（如 FreeCAD）都提供了现成的 Python API；只要配套成熟的模型上下文协议（Model Context Protocol, MCP）和工具调用接口，让 Agent 使用代码驱动这些专业软件去解决问题，95% 以上的工作流就完全等同于 Coding 任务。代码就是 Agent 在数字世界中执行一切任务的“手和脚”。
> “只要有足够的 MCP API 调用，它其实本质上 95% 以上的任务都能够被归回到 Coding 的问题上来。” —— 孙一铀
---
`54:03` 数据生意的终局：私募并购、技术研发飞轮与学术护城河 伴随着垂直领域私有数据壁垒的提高，数商的商业模式甚至正在向私募股权（Private Equity, PE）与资产并购模式蔓延。何允中透露，投资界已经出现了一种新的“公司倒手（Flip）”商业闭环：
传统的 PE 逻辑是收购一家传统企业，通过裁员重组和引入管理提效，然后再转手卖出；如今则增加了一层“数据套现”的维度——买下一家公司后，除了利用 AI 技术对其业务流程进行降本增效之外，还可以系统性地将其多年沉淀的非公开专有行业数据、业务流程规范与核心工程资产开采、清洗出来，打包卖给模型公司变现。未来甚至可能会诞生专门通过并购实体企业来开采核心训练数据的巨型产业。
对于数据公司本身的估值逻辑，两位对谈者达成了共识：数据生意并非像 Google 或 Meta 那样凭借产品积累海量 C 端用户后就能高枕无忧“躺着吃老本”的生意。随着底层大模型以几个月为周期剧烈演进，上一代高价值数据可能会在眨眼间贬值为零。数据服务商必须具备极强的持续 R&D 能力，构建一个能够源源不断开辟新垂直赛道、研发新合成环境的数据“飞轮”（Flywheel）。
最后，孙一铀对比了学术界与纯商业数商在采集极高门槛专家数据时的根本差异：
* **商业数商的困境**：像 Mercor 这类商业平台，其向制造业工程师等专家支付的时薪通常在一两百美元左右，这种商业报酬机制注定很难吸引到全球最顶尖、最权威的行业首席专家出让经验。
* **学术研究的优势**：如加州大学伯克利分校主导的 Agents' Last Exam 等非营利学术项目，专家参与不是为了几百美元的时薪，而是看重学术荣誉与顶级论文共同作者的学术声誉。这种纯粹的机制反而能够自然吸引到大批不为金钱所动的世界级专家无偿贡献最前沿、真实的复杂工程数据。
## Notable quotes
> `20:05` Benchmark 面向的是未来，做数据面向的是现在。 — 孙一铀
## Mentioned
AfterQuery, Agents’ Last Exam (ALE), Anthropic, ARC-AGI, Artificial Analysis, Bespoke Labs, Claude Code, Center for AI Safety, Codex, FreeCAD, Google, Google DeepMind, Handshake, Humanity’s Last Exam (HLE), LMSYS Chatbot Arena, Mercor, Meta, NVIDIA, OpenAI, Scale AI, Snorkel AI, Surge, SWE Atlas, SWE-bench Verified, UC Berkeley, Y Combinator, 何允中, 孙一铀, 科沃斯
## Video description
随着AI模型能力提升，训练需求更复杂，一批为模型公司提供训练数据的新公司正在快速增长：AfterQuery今年4月宣布A轮融资时，估值为3亿美元，到了9月，据媒体报道，新一轮融资已经将其估值推至32亿美元。另一家提供训练数据与智能体环境的公司Bespoke Labs，也在今年7月宣布，种子轮与A轮融资合计达到4000万美元。
虽然估值水涨船高，AI数据行业对外界来说却极其不透明。问题来了：这些公司究竟在卖什么？
过去提到数据标注，我们容易想到给图片打标签、给模型回答打分。但随着AI从回答问题走向执行任务，数据公司的交付物也在变化：从专家写出的评分标准，到包含任务、工具和验证机制的强化学习环境。它们需要找到懂行的人，获得真实的行业资料，再把专业知识与工作经验转化成模型能够学习的训练信号。
与此同时，新的AI评测层出不穷。榜单分数提高了，究竟代表哪些能力变强了？针对评测生产数据，什么时候能改善真实用户体验，什么时候又会变成单纯的刷分？对于每天训练模型的研究员来说，他们最需要的数据，到底是什么？
本期节目，我们邀请到在Scale AI负责后训练与评测研究的何允中，以及加州大学伯克利分校博士后、Agents’ Last Exam项目研究者孙一铀，从产业与研究两个视角，拆解这门透明度不高、又变化极快的生意。
我们聊了Scale、Mercor、Surge等数据公司的不同背景，也讨论了小团队在合成环境与垂直领域中的机会。从采购一份游戏源码，到验证专家提交的任务，再到设计让人愿意交出经验的激励机制，好数据的难点，往往藏在榜单之外。
【主播】
Yiwen，硅谷101主持人
【嘉宾】
何允中，Scale AI研究总监（后训练与评估方向）
孙一铀，加州大学伯克利分校博士后
【你将听到】
拆解数据生意和玩家
05:03 数据公司之间的区别：招聘平台、众包标注、合成数据
08:27 从预训练到后训练，模型需要的数据发生了哪些变化？
09:32 Rubric数据：把专业判断变成评分标准
10:46 强化学习（RL）环境：从回答问题到动手干活
12:18 从vibe coding，到vibe everything：详解Agents’ Last Exam
14:10 游戏好不好玩、作品好不好看，主观判断能被量化吗？
17:33 Rubric 与环境如何配合：人与Agent协作
评测与模型真实能力
20:05 从做评测到卖数据：benchmark的生意
23:25 什么样的评测值得刷？核心能力与真实场景
27:29 没上热门榜单的评测，也可能带来真实的数据需求
31:39 模型公司如何权衡内部评测、公开榜单与用户反馈
什么是好数据：采购、版权与小众行业工作流
33:30 两三个人的数据创业公司，为什么也能找到机会？
38:56 模型越来越会自己造数据，外部供应商的机会还能持续多久？
40:48 模型公司为什么仍然需要外部数商？研发周期与行业采购的难题
有了数据，之后呢？
44:04 数据买回来之后怎么用？从 SFT、强化学习到模型训练模型
47:03 训练数据不是越难越好：为不同模型匹配难度与解题轨迹
48:22 SWE-bench Verified 的争议：测试缺陷与数据污染
50:04 专家交来的数据也可能造假，如何验证真实的工作过程？
54:03 数据行业的下一步：收购企业、获取数据，还是持续投入研发？
【感谢科沃斯对本期节目的大力支持】
这期我们聊了很多验证和评测：写代码跑一遍沙盒就知道对错，家务却是每天都在变的开放任务，对机器人来说，真实家庭环境就是最严格的评测现场。
科沃斯在服务机器人领域已扎根28年，连续11年稳居国内线上扫地机器人销售额第一，产品销售全球150多个国家和地区，拥有超过1200项全球专利。
从全能清扫的扫地机器人，到解放高空与双手的擦窗机器人，再到割草、泳池清洁，科沃斯让每个场景都有对应的专职选手，为人清空琐碎，让生活的每一刻都“无难事”。
数据来源：北京奥维云网大数据科技股份有限公司；统计时间：2015年-2025年；统计范围：中国扫地机器人市场全渠道(线上、线下)监测数据
欢迎了解更多，复制淘口令打开淘宝：48￥ CZ001 mBdFTN9ipmh￥ m.tb.cn 【新品】科沃斯X12S PRO扫地机器人滚筒活洗3.0全自动扫拖一体
京东链接
本期福利：下单备注【硅谷101】额外加赠抗菌滚筒拖布一个
把家务交给科技，享受属于你自己的惬意生活吧！
【硅谷AI视频黑客松招募】
最懂内容的影视团队，与最懂AI的一群科学家，在硅谷相遇，会碰撞出如何的火花？
今年，硅谷101把一次现场创作实验带到 Alignment 2026：STORY101 LAB — AI Storytelling Challenge。我们邀请你用AI，完成一部不超过三分钟的视频作品。
比赛设【探索组】与【专业组】双赛道，资深AI影片团队与零基础新手皆可参与。我们提供免费workshop培训，优胜者更可获丰厚奖金与千人线下展映机会。
时间：2026年10月10–11日
地点：Sunnyvale, California
报名入口
【硅谷101年会来了，线下见】
10月10日—11日，我们将在【硅谷】举办Alignment 2026年度大会，从大模型、Agent、机器人到AI Infra，从实验室里的突破，到真实世界的商业化，我们直击AI变化最剧烈的前沿。来自OpenAI、Anthropic、NVIDIA、Meta、Google DeepMind、SemiAnalysis、Cerebras等公司的研究者、创业者与投资人将齐聚现场，分享正在发生的机遇和挑战。
点击报名入口 ，使用折扣码【FANS15】注册，还可以获得15%折扣。
【相关阅读和名词解释】
Rubric（评分标准）：针对具体任务制定的一组评价条件，用来判断回答或工作成果是否达到要求。它可以包含正确性、完整性、指令遵循等维度，也可以融入专家判断。
RL Environment（强化学习环境）：让模型通过行动和反馈进行学习的环境。在本期讨论的Agent训练中，通常包括任务、可操作的软件与工具，以及判断任务是否完成、完成质量如何的验证和奖励机制。
Benchmark（评测基准）：通过一组任务与评价规则，衡量模型或智能体在特定能力和场景中的表现。评测数据与训练数据需要保持适当隔离，才能有效检验模型面对新问题的能力。
Reward Hacking（奖励投机）：模型利用评分机制的漏洞获得高分，却没有真正完成预期任务。例如，绕过正常操作修改结果，让验证程序误以为任务已经成功。
Agents’ Last Exam（ALE）：由Berkeley RDI与行业专家共同构建的智能体评测项目，关注具有经济价值、需要多步骤执行且结果可验证的专业任务。
Humanity’s Last Exam（HLE）：由Center for AI Safety与Scale AI共同组织推出的评测，覆盖数学、人文、自然科学等领域的高难度专家问题。
SWE Atlas：Scale推出的软件工程智能体评测套件，覆盖代码库问答、测试编写和代码重构。
SWE-bench Verified：经过人工审核的软件工程评测，让模型修复真实开源项目中的问题。OpenAI于2026年2月宣布停止报告其分数，指出测试设计缺陷与数据污染影响了它衡量前沿模型能力的有效性。
【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Mindscape - Lennon Hutton
Light-Footed - Bonnie Grace
Smiling Neighborhood - Claude Signet
Ruffles and Rust - Fabien Tell
Reclaim - Megan Wofford
【在这里找到我们】
公众号：硅谷101
收听渠道：Apple Podcast｜Spotify｜小宇宙｜喜马拉雅｜蜻蜓FM｜荔枝FM｜网易云音乐｜QQ音乐
其他平台：YouTube｜Bilibili 搜索「硅谷101播客」
联系我们：podcast@sv101.net
Special Guests: 何允中 and 孙一铀.
[Source](https://www.xiaoyuzhoufm.com/episode/6ab9d38f863c97e2d31452df)
Original transcript [0:00] Hello大家好,欢迎回到硅谷101,我是逸文。很多投资人在和我们聊天的时候都提到了他们最近很关注的一个赛道,那就是数据。随着模型能力的不断提升,模型公司对训练数据的需求也变得越来越复杂,越来越具体。硅谷因此出现了一批增长很快的数据公司,专门为这些模型公司提供服务。比如由三名二十多岁的年轻人创办的After Curry,估值还是3亿美元到了9月呢新一轮融资就已经把他的估值推到了32亿美元不到半年啊涨到了十倍之多创下了YC旗下公司从启动到成为独角兽的最快纪录那我们更熟悉的几家大型数据公司呢估值也已经达到了百亿美元的级别去年Meta入股Scale AI的时候给出的估值超过290亿美元McCourt去年10月这轮融资的估值也达到了100亿美元但这些高估值背后的数据生意到底是怎么做的外界其实很难看清所以我也很好奇这些公司究竟在卖什么,模型公司又为什么愿意给那么多钱呢?过去提到数据标注大家很容易想到给图片打标签给模型的回答打分这些人工标注现在数据公司还需要请来各类行业专家把他们的知识和工作经验转化成AI可以学习的任务其中一类重要的数据是请专家写清楚一个回答一份工作成果到底满足哪些条件才算好这套评分标准也就是我们经常听到的Rubric再往前一步配上任务工具和反馈机制让它在里面操作软件反复尝试并且根据结果学习这就是强化学习环境也就是我们经常听到的RL Environment与此同时新的AI评测也层出不穷从金融法律等等垂直领域到让Agent完成一整套工作流程模型要参加的考试是越来越多了但榜单上的分数提高了针对榜单做优化什么时候会让模型更好用什么时候又会变成单纯的刷分行为这期播客我们就想把这些问题聊清楚好今天聊大模型数据范式迁移,人工标注转向可验证的RL环境,但也有观点,对机器人来说最难构建可验证环境的场景,未必在实验室,反而在实际家庭里。沙盒里写代码,跑一遍就知道对错,但家务是动态环境开放任务,机器人不仅要完成动作,还要稳定做好,难度极高,家庭场景验证是行业的最硬名题。科沃斯钻研了28年从扫地擦窗到割草泳池清洁,他们没急着把机器人做得像人,而是不断打磨能帮人的机器人,在真实场景稳定解决问题。为此重设清洁决策搭建验证体系很多功夫花在看不见的地方家务难在哪科沃斯的能力就长在哪本期节目由科沃斯赞助播出向人是很迷人的方向但帮人才是科技最终的目的接下来就请收听我们关于AI数据的正片我请来了两位非常适合聊数据这个话题的嘉宾测测研究的何允忠以及加州大学伯克利分校的博士后Agent's Last Exam项目的研究者孙毅游以下就是我们的对话Hello 云忠 Hello 亦游欢迎来到硅谷101大家介绍一下自己吧OK 我叫云忠现在在Scale 负责Post Training和Eval Research大部分人关注我们可能是看我们发布的这个Benchmark还有一些RL Data Recipe的文章但是实际上我们其实也是给整个大模型行业提供数据还有一些方法论的支持吧有一点像整个行业的一个外包数据Research 团队观点都是个人观点不代表Scale AI谢谢大家的观看谢谢云忠,我是易游,我现在在UC Berkeley读Postdoc现在关注的也是Agent Evaluation这个方向我们最近推出的工作就是一个Agent's Last Exam目标是构建于迟今为止规模最大覆盖面最广的智能体评测基准是由Berkeley RDI和300多位行业专家共同领导和牵头的是希望能够衡量智能体在有可验证结果的长期具备精致价值任务中的一些表现目前的话公开的任务大概有150多个,覆盖了50多个西方的行业然后我们目标在下一次发布中直接放出一千多个任务在每个领域上做得更深
[5:00] 我们可能几个月内就会发布V2的版本你重要不要给我们讲一下现在市面上的英文系也有零零总总的数据公司吗你觉得大致的一个分类是什么样的这里面有几个大的玩家还有一些新秀有一些几个人的shop在我看来最有意思的是大家基因可能不太一样比如说有做招聘出身的像是什么Macroar HandshakeScale是这种传统书上从重包网络出身的然后也有一些新的是做合成的还有在最新的一些可能是某一些领域公司整行做数据了这里面值得说一下是这个巨森据实在现在的这个行业状况是有很多做模型的公司暂时没赚到钱但是他花了很大量的精力投资做素材然后就顺便做起了素材生意很多各个行各业的人也发现了自己的数据的价值然后转行来做这么一个数据公司我觉得大致有这么几个分类吧几个大的玩家比如说像是Macro, Surge, Scale基本上试图什么东西都能cover除此之外其实一些新修玩家把一些领域做得比较好的像是什么Bespoke或者Snorehole他们可能是比较偏Research跟Engineering一点的我猜测他们主要生产代码或者是脱扣这一类的环境就是抓住了今年的这么一个风口另外我还看到一些小的公司他们可能是解决了一些垂直领域的问题甚至他们可能不像我们是做标注数据的就是一些broker比如说可能是好莱坞的一个人他有特别多的版权数据他知道怎么把这东西卖出去就是零零种种的不同领域的东西然后现在可能在最新兴起的就是做这些垂直领域把一个领域做得特别好可能是有一些领域专家组成的大概是这么几个分类吧我会觉得说机会还很多大的树上有大的树上的优势就是想进入一个领域有比较多的资源我觉得整个饼是越来越大你讲到说像Macquare Search这样的公司是所谓的招聘公司这个能不能再跟我们具体讲一下招聘是一个什么样的商业模式 Search应该不是但是Macquare它是做招聘起家的它有自己的一个自动AI面试的这么一些产品它可能自己主打的一个重点就是说我能够在比较短的时间内找到足够量的专家有这么一个专家网络然后Surge我觉得更多的是把这个东西in-house这里反正有一些取舍吧基本上每个数商可能都需要面临这么一些取舍就是说如果我是自己完全全职培养的人,他肯定能力强一点但是这个灵活度就不够产能可能会差一点如果是更多的依靠重包的网络那么可能我的灵活性大一点但是就是每个人的质量就比较难保障然后这里面就涉及到一些质减的问题了比如说像Scale这些公司的一些优势就是说我们有一些质减的经验不光是在数据上也在人上你终于要不要讲一下你是什么时候加入Scale的在当时到现在整个市场你觉得对于数据的需求有发生什么变化吗对 故事还挺好玩的当时我是在Meta入股之前签的offer我一到人就走了所以我经历了整个大模型行业开始不管从人才的战争crazy 的这么一个故事当时我来之前我的老板刘斌跟我说有这么一个技术各个家Lab都在做但每个人都做的不太一样说你赶紧进来我就能跟你讲然后我们在这里好好做些研究然后我来了那个时候是Rubric Data那个时候还比较新可能一年多之前吧现在Rubric感觉已经过时了大家都在讲RL Environment各种各样的东西就是这一年确实经历了非常多的变化其实我们关注这个话题也是因为大概从2024年到现在感觉整个对于数据的一个需求发生了一个比较大的变化因为24年之前我们在聊数据的时候大家想到的很多还是人工标注就是一些比较基础的数据吧我们会需要非常多的数据来做pre-train来训练模型但是从2024年其实McCour之前有提到过是因为deep search的兴起有所谓的agentic data我们会需要像你刚刚说的rubric,然后包括rl环境,现在就是更多真实工作流数据,能不能帮我们先梳理一下这几个概念吧?我们先讲一下这个行业从crowdsourcing data,就是这些人工标注数据到agentic数据,这个中间是经历了一个什么样的变化?对,首先说明一下pre-training还是很重要的,不过就确实从我身边的人的兴趣来说,大家经历了一个shift。大家觉得会摔电感觉干的有点无聊了就是再继续scale调数据配比那个时候是欧系列模型出来了大家都在做 reasoning发现这RL跑通了吗一下子大家兴趣都在R2上然后R2比较有意思的一个问题就是说我需要一个可验证的信号可见真的信号在代码或者数学尤其是最早的推理模型是从数学上做出来就很简单我这个选择题答错答对了就知道了或者就是一个数字算出来但是之后大家就在想说那我数学可以做RL了我在其他领域呢比如说像是这些什么医疗金融或者就是更基础的指令应遵循这里我能不能做RL这里它存在的一个问题就是说它是有一些客观
[10:00] 不像在之前的一个阶段大家说RHF就是reward model可能没什么标达只是把大家的喜好学出来然后这里面其实就有个标达只是它这个标达它比较不结构化就好像我去答这个历史考题历史考题是有标达的但是每个人的写法可能都不太一样就我很难做pattern match就是说ABCD检查你有没有答对这个时候就是一个rubric方式相当于我让一个TA拿着教授写的打分规则来给你打分然后因为这个打算规则是提前标好的是教授写的所以这个贴也不需要特别聪明这是整个大模型数据中的一个核心概念就是叫weak to strong supervision,是问能不能用弱模型来监督强模型那他这里成立的条件就是说我有个专家把他脑海里的指使给写下来了这样弱的模型拿着他改卷的就行了这就是Rubric Data这个东西应该是火了很长一段时间但是现在还很重要但是这里面很快就把各个专家领域的rubric而就比较容易获得的收集的比较干净了看到比如说下面core或者surg的崛起其实跟这一块的专家rubric有关系但是再往前走,大家需要动手,比如说现在做这种代码模型,或者像VEO他们做的ALE,虽然它不是做代码,但它需要动手,要解各种各样的问题。这个时候他就不再是说我只是验证你一个聊天的输出了我需要是在一个agent的setting之下我可能需要给他一些工具还有一些更复杂的验证方式但还包含了rubric但是可能我需要一些检查这个环境里面的变量是不是执行了这个数据库是不是写入了或者被删除了甚至如果像是我生成一些文档里面可能有些图这个东西我还是需要书录但是我需要一个agent来检查就变得更加多样了现在可能大家追求的比较大的一个方向就是环境它不光是我标注好的一些打算规则而是说我可能包含了一整套我要做什么在什么样的环境里面做 包括了他需要的一些工具 需要执行的一些沙盒以及还有一套跟Task比较相关的验证方式验证方式非常的多样比如说有这种Programmatic Check有这种Rubric还有preference我让人选我比较喜欢哪一种这里面我暂时还没有形成特别大的共识我又看到有点像当年Rubric时代每一家要的东西都不一样就比如说像什么terminal bench他们就不要Rubric他们就是纯programmatic这里面又有不同的流派还挺有意思这个很有意思EO你要不要从LE的具体的例子来跟我们讲一下需要哪些要素其实我跟云中的看法其实有一点反过来了云中认为现在Rubric差不多已经做到头了但我的看法是我觉得Rubick这一块意思专家的主观的判断其实还做得远远不够我可以先从AOE的初中讲一下ALH当时建立的初衷就是跟云中讲的一样就是我们怎么样把vibe coding迅速发展的趋势推广到vibe everything当时web coding为什么发展那么快就是因为当时有非常非常多的benchmark都在coding这个领域而且coding它比较容易verify,它是一个确定性的rubix大家为了刷这个榜,所以在coding这上面的发展非常迅猛那么用同样的思路呢,我们如果在其他的各个领域上,尤其是工程,能够客观打分的这些领域上,能够建立各种各样的评测体系你是刷分但你只要刷的是有益的分是有益的棋那它模型带来的棋身对于人的日常工作来说就是实打实的棋身所以这就是我们当时想建立一个这样的初衷当然世界上大家职业各式各样实在是太多了好如烟海所以我们只是说在第一个版本里面给出一个相对来说覆盖面比较广的初次的一个尝试然后我们还会继续努力希望把这个覆盖的更广一些到某一天希望它能成为真正的last exam就当你解决这个benchmark的时候基本上就能解决人类社会在某些领域的真正的有意义的问题我同意EU的观点各个领域的训练肯定是远远没有到头的然后很多东西都可能还没有被lubric的方式表征出来所以这里面还有很大的空间可能我刚刚说Rubric到头了更多的是个行业趋势吧就这种静态的单轮或者多轮聊天出一个文本然后用Rubric来检查它就是纯知识类的甚至也不是说到头了因为毕竟还有不同的Lab每家的水平都不一样只是说今年的一个大趋势是在做这个Coding然后Coding逐渐转向了Aknowledge work大家要动手了这个时候呢就是存这种文本的rubric我看到需求量小了一点但还是很大还是有很多东西没解决就云中高在提到了对于很多这种文本身的输出就是说他这个文章写的好不好你可能有些这样打分的点但是事实上对于工程领域的一些产出其实有很多的评测我们确实发现了除非你把输入固定的特别死不然它的输出其实有非常非常多的可能性我举个例子你让它生成一个游戏甚至有些数学解法它都不是唯一的那这种情况下如果你给一个确定性的评判就是你一定要跟你这个Ground Choose来对比那很多时候就会造成不一致的这个问题所以说很多时候说我们怎么样定义这个Rubic让它能够兼容这种多式多案的输出其实这也是我们在构建benchmark中遇到的问题也是未来想去思考解决的一个方向稍微抛砖引玉一下我的一个想法就是未来的发展出处可能会比如说人类他对于一些好玩好看他没有办法把它
[15:00] 固化下来成为一个可以被量化的一个指标比如游士好不好玩但实际上有些游士的入门教科书里其实是有各种各样的评判的方式比如说他那个奖励曲线是不是平滑符合大脑的那个多巴胺的他一时有些有科学的指标可以去量化这个好玩和好看这个东西但我目前在现在的这benchmark上我还没有看到一个做得特别完整的公开出来的评测体系因为这个东西难度也确实非常高因为需要专家更加更加深度的参与所以这一点我也想看看云中那边关于在数据公司里有没有看到这一个趋势或者是怎么去解决这一类的问题对这个问题特别好这也是每天我们在绞尽脑汁的问题其实整个rubric或者整个大模型的验证体系我觉得它整体上是有这么一个思路大家希望左脚踩右脚就是当我的模型变强了我这个验证器也变强了验证器变强了之后我就可以允许一些更复杂的rubric就比如说如果我是一个很弱的验证器那么我就只能写一些就是一个傻子都能看出来就知道是对还是错的这个rubric但是呢随着这个模型能力的提升那我的rubric就可以写得越来越模糊可以把更多的知识交给验证器来解决但是我觉得这里总体的一个思路还是说这个rubric加上验证这两块加起来的这个知识和能力应该比我要训练的模型要多不然就达不到训练模型的目的了那么就回到比如说像是这种说Video Game这种特别特别主观的东西对吧我觉得未来可能是这样的你可能很难把它以很显示的条件一条一条写下来一个好的游戏是怎么样的那它可能有多种这样的可能所以这个时候我的Rubric就会被迫写得更加模糊这个东西就By the way其实不是我们想要的就通常来说我们会建议这个Rubric写得越严谨越好但是在某一些领域你可能就必须要写得很模糊这个时候需要验证的模型来自己做一些主观的判断那这个验证的模型我觉得甚至有可能是我要训练一个这个reward model我知道比如说在不少lab里面这不是客户透露给我们的东西是我自己的一些经验比如说生图生图它有两个部分一个是instruction following有没有遵循我的这个要求比如说我图里面有猫有狗有一个背景版写了哪几个字这个时候我是会有rubric我就写这里要有一只猫那有一只狗甚至我跑一下OCR把那个字提出来然后看看是不是我想要那几个字就这一块是属于rubric但是还有一块就是说这个字要写得好这个猫要是一只可爱的猫这种东西呢就是我可以写成rubric但它非常主观那我可能甚至专门训练一个模型就这个模型它可能掌握了一些人类的主观体验这些东西可能跟rubric结合在一起大概率这个问题如果要解决的话可能是这么一个混合的方向因为我们刚好把Rubric和环境这两个事情好像是放在对立面来说的但是听起来一他们是可以结合在一起使用的二有没有一些任务是用Rubric来做会比较好的或者用环境来做比较好的我觉得这个肯定是不能拆开来讲的环境或者说任务数据它只是一个执行的基准但是Rubric是最终用来打分用来奖励模型做的好还是不好所以它肯定是相辅相成又必须结合在一起来看的我个人更希望去从一个任务分类的一个角度去看而且人和agent这两个角色如何去合作它分别担任一个什么角色这也很重要我们从历史上来看就是从最早起Vibcode刚出来的时候就大家用cursor其实就是一个人类也是参与在执行这个代码当中的agent他只负责执行很小的一个模块的一些鞋代码但后来随着agent能力越来越强agent就你给他一个非常模糊的他能够完成一个非常大的一个project的时候那这个时候人和agent的角色又产生了一些变化那现在可以大致分成这两类就是人负责决策agent负责执行人把你决策的东西说得越清楚agent就能做得更好至于这两个分类我们来看Rubic该如何去设计如果我们需要agent参与的角色它只是执行就你如果把一个任务说得很清楚它的输出基本上是固定的为A型的那这个东西Rubic它就是一个确定性的Rubic它打分的话就是完全可以基于一个你自己做出来的一个成品来进行打分因为一般会有ground 2基准数如果我们咱们讨论未来数据需要行慢就是当人的这个决策的这部分会不会也被Agent所慢慢去取代那这一部分就是我就会回到之前语音中说的大家现在反而没太重视这些Rubic因为决策很多是非常模糊很难去量化而且云中说你对于一个具体的domain猫可不可爱你可以train一个这样的verifier但是对于一个尤其是一个上市公司一个领导层的一个决策你该如何去train一个reward它每天的那个任务都在变你很难去收集到足够的数据让你来训练出这样一个reward model来替你做这样的决策所以我个人认为在这一块的模型的发展还有很长的路需要去走而且这可能是会成为一个未来发展趋势这里我特别同意就比如ALE的这个方案我觉得就是面向未来比如说像这个猫可不可爱比如说我要是在这个Meta我有一些用户行为的反馈我可以逊这个模型但是公司的决策我就很难收到这些数据了比如说像ALE这种就让大家把以往做过的东西还有决策交起来其实是一个方案我会觉得以后收数据可能是大家怎么样找到好的激励方式
[20:00] 让大家把一些重要的东西交出来尽量的能够回溯当时这些重要的决策非常有意思我想再追溯一下评测的近几年的整个一个发展然后以及它和卖数据之间的关系因为其实我和两位私下都聊过就是卖Benchmark和卖数据这两件事情大家都觉得不能混为一谈Sco之前推出了Humanity's Last Exam就HLE这个评测能不能给我们讲一下这个评测然后以及你觉得它和数据之间是怎么样联系起来的这是个好问题我觉得从原理上来说评测它体现的是模型距离我们想要的理想状态中间的这个gap就是它更多的是一个科学研究这么一个基准就是我想要模型在哪它现在没到哪但是这个事情跟麦数据联系起来呢也比较有意思因为很多时候它提升这个模型能位的数据和它榜单的评测方式是息息相关的这里面可能比较难的是找到一个平衡如果我就生产大量的跟这个榜单差不多的数据那么它可能就在benchmarking但是呢就是这个大模型训练还是有各种各样的维度确实如果我想要提升某一类的能力我需要抓住某一个维度那么就是说它跟benchmark肯定是有一定的相关性这个是大家需要找到的一个平衡因为大家对AGI的期待太高了觉得人能做到的事情他都能做到那么就是说我在各种各样的领域都可以想到一些方式构造一个Benchmark然后发现他这个模型具体理想象当中还有一些差距通常构造这个Benchmark的人呢对于这一块的领域可能认识比较深那么就自然会给他一定卖数据的权威性大家会比较相信你手上卖的数据这个生意就这么产生了我相信EU应该也就ALE现在做的火的benchmark应该也有不少人想问你卖不卖数据或者是有可能VCA想找你投资结果逐渐逐渐的就成了一个生意我觉得就是也有好有坏就是说这个生态其实也还比较野蛮发展有多少是在做科学多少在做benchmark我觉得确实需要仔细权衡一下但是这确实有很多的利益驱动所以现在是个挺繁荣的市场对这里的话我也是要给他来敲个警钟因为云中提到了现在做benchmark的人会受到各种各样的诱惑就是要去把benchmark的数据去卖了我甚至我私下听到是有些数据公司他踩了这个红线就是他把自己在做评测的数据去卖当然这个是大家千万不能碰的一条线不能让你做的生意然后污染你这个benchmark的权威性不然的话你不仅毁了你的benchmark也毁了其他人的模型我个人认为benchmark和卖数据这两个东西角色是不一样的在这个生态生意的地位上我就认为Benchmark面向的是未来做数据面向的是现在Benchmark是面向于未来大家还希望这个模型公司去解决什么目前还没有解决的什么问题这是AOE其实我们在今年1月份2月份做的时候我们特别害怕Benchmark做的太难导致这个Benchmark失去意义因为当时的模型很多基本上平均分只有10%到20%大部分题目它都只有拿到零分我们很担心这样的评测它会失去意义但事实上没有必要担心这个事情因为Benchmark本身就是要面向于未来的模型去做的数据的话更多是去解决这个Benchmark所产生的一些需求所以说更说是现在大家在刷这个榜单然后怎么样去把这东西做好我认为Benchmark Maxing它有好有坏你只要面向着它这个数据它不是直接误染于这个Benchmark然后你这个Benchmark刷的又是有意义的一个榜单只要这个Benchmark它不一定是一个贬义词对 Benchmarking 这件事其实特别有意思因为一方面我们确实需要一个评测的基准然后另一方面你又不希望模型公司为了刷评测而去刷评测我觉得这里很自然就产生一个问题就是什么样的评测才是有意义的评测因为我们现在一周就感觉可以看到很多新的 Benchmark比如说从模型公司的角度来说他们应该怎么样去选去刷哪些评测或者把哪些评测作为他们下一步提升模型能力的目标然后从你们供应商还有research的角度来看你是怎么样去看待这件事情我觉得做模型能力提升最大的ROI还是我要放在能力上这些能力提升它应该是汇集各个benchmark当然就可能有些人有不同观点因为就对于一些模型厂商来说应用也非常重要就比如说如果我的这个benchmark是比较贴近一个应用场景他们其实有动机就把这个场景做好对他们也是有益的最有意义的事情是大家至少口头上还是奔着AGI去的那我应该考虑哪一些核心的这个认知能力是我需要提高的那么它体现在benchmark上就是说我可以看到一些泛化性如果我做了一个提高它只涨这个别的都不涨那么可能有一些不好所以就回到一开始的问题未必是说怎样的一个benchmark是最好的还是说不同的benchmark它测试了不同的东西我可能要关注的是哪一些这共同的能力能够让他们一起提升而不是说我只专注于优化同一个Benchmark另外再回到Benchmark本身的问题我倒是觉得除此之外大家确实会关心一些贴近场景的Benchmark如果这些场景是大家在意的它确实反映了这个用户体验这也是个好Benchmark它未必是那么
[25:00] Universal未必是那么大的朝着AGI去的但是它就确实体现了大家的体验吧在这个角度上来说呢那Benchmark肯定是有千奇百怪就你总会找到一个场景我觉得可能是两个要素就是说这个场景的这个gap它是不是体现了一个非常具体的能力的缺陷如果只是因为这个场景一些场景知识不太懂同时这个场景又不太重要我在一个街角角里面我解了一个什么很奇怪的智力题出了一个benchmark这个能力提升了未必代表这个模型本身的认知能力提升了那么可能就不是一个好的benchmark另外一块就是说就算不反映核心的能力它至少反映一个大家在意的场景比如说现在特别火的是Personal Assistant就是这个Muse这是一个很具体的场景大家都希望有这么一个东西那么这个benchmark它甚至未必测的是模型本身它可能还测了你的harness最后这个benchmark甚至不是为了卖模型的训练数据而是告诉你我的harness错在哪可能我可以做些工程油画就是贴近大家需求场景的banchmark也是好的banchmark所以在我看来一个是反映了核心的认知能力一种是贴合场景,大家两个都有的话是最好的我觉得最重要现在大模型公司很看重的一个就是benchmark的分布大家应该可能都听说过artificial analysis这个评测体系他们其实做的事情很简单就是把各家benchmark给不同的权重然后把它综合到一起来得到一个分数但这样它就存在一个问题它这个分布的权重是不是真的是大伙需要的这个权种然后权重以什么方式去进行迭代,这个都是挺主观的一个事情大家质疑的更多不是这个模型本身而是质疑这个榜单本身我现在倾向于认为大家可能benchmark还不够好做到大家心目中要的distribution那种级别很难达到一个ground choice所以现在很厉害的模型厂商比如Anthropic或者Operan他们都会倾向于去自建一个评测体系来让他更接近他们心目中的分布只不过第三方的指诊可以让他们对外发布的时候更有说服力一些当然比如说云中说的一个垂直领域的肯定是非常重要的因为这个就是面下一类群体它这个分布就是那个群体需要每天在做的事情如果他能把那个分刷高比如金融啊法律啊他们律师每天做的事情能把那个做扎实的那他们法律只需要看这一个benchmark就足够了第二点就是云中提到了有些benchmark它并不能代表真实的人生比如说之前有一些benchmark它是测agent智力的就是玩那种小游戏Arc Challenge那种游戏对Arc 2 Arc 3这种对是它这个benchmark的书中是说觉得能解这些游戏是人类的一个智力的体现但是没想到就这个智力其实也是可以做得特别特化我一个小模型也能把它搞出来还挺有意思的那有没有什么特别逆时的benchmark但是可能大众不太了解但其实是非常有用的测试这个模型能力的例子我可以举个我们的例子我们有一些benchmark可能不太经常出现在大家的榜单上比如说我们前一阵子做的drug discovery还有一个跟AI Tutor 相关的他可能关心的是一个比较小的垂直领域但是跟我和各Labs的交流负责相关领域的团队他们通常就会有这么一个人他们会看市面上跟他领域相关的评测他都会把它收回来然后另外一个就是说这个benchmark最后上不上榜单火不火其实也有很多随机因素比如说AA就有一个很好玩的事AI用了我们做的一个榜单叫Sweet Atlas我们当时是做了几个不同风味的SweetTest其中有Q&A就是代码仓库问答还有代码重构还有写test只不过我们是分三个阶段退出的是Q&A先退出的推出之后我们还没来得及把另外两个推出把它们合在一起然后somehow Q&A就先被AA减去了Q&A上了AA之后大家就开始set这个东西突然间就这一块需求就变大了我们当时想的很不理解Q&A是最简单的一个场景就是我们花了那么多心血做了更复杂的benchmark结果就是因为可能是时间关系还有的时候是某一个lab用了可能是碰巧它的分号这里面其实是有一些随机因素就是你在这个榜单上就大家tech report上看的东西呢有一定随机性AA收这些榜单有一些随机性最后就是你没看到的东西其实背后可能也有人在用就这个生态其实水还比较深还比较复杂一点明白一游其实我还想再问一下就你刚才提到的大家对于artificial analysis这样榜单的质疑然后你觉得说是不接近于大家理想中的分布这个分布现在有没有一个共识呢因为我理解每个模型公司其实也是不太一样的是吧如果是在这种情况下的话我们怎么样去理解这个理想状态下的分布它是应该比较接近真实世界的这样一些任务还是说是别的分布我觉得真实的分布其实本质上就是大家的用户体验就是世界上假设说存在这样一个就真实的分布的真实的打分其实有点类似于LM Arena这种模式假设说你每天prompt这个agent的时候你能够有多条模型一直在执行然后给他们打分这是最真实的评价但是这个现实生活中能够做到这样的榜单有那么以下这种因素LM Arena之前做好事因为之前的QA它这个很快他拆手很低
[30:00] 你给他一个问题他能够只秒钟之内给你个答案你很快就能进行打分但现在在Agent 的时代,一个长城任务动辄了几个小时一个用户也没有那么多的超能力每次执行一个任务都连着开几个agent一起去执行然后也没有个机制去反馈把它收集起来所以说大家的评价很多都是一个偏主观的他很难拿到这样一个真正的ground truth但如果说有哪家公司或者有哪家有某种方式解决了这个问题那肯定很厉害但我相信他们大模型公司内部肯定是有这样一个机制的就是让他有几个版本的模型然后有一些用户他是真实用了这个东西然后去测我的意思是假设有这样一个distribution然后你这个评测的分数的分布接近于这个东西那它就是一个很好的benchmark我听到一些比较有意思的很多评测benchmark跟我线上做AB test测出来结果是不一样的就是用户的反馈跟评测其实有时候不太一样甚至很难说哪个好因为用户有时候也比较主观嘛像这种聊天的对吧你可能给他特别多这种factual的东西versus给他很多这种clickbait就说他爱听的话可能这个结果也不一样所以这块还是挺复杂的对是这样的就像Cloud Code我觉得在Ariana上分数一直聊聊聊天就是因为我觉得Cloud Code它有个特点尤其中文用户或者英文用户它给出来的output format更贴近于人们心目中想看到就非常容易去理解相反的Codex它可能执行的更细致一些但是输出的东西就没有那么人那么容去相对的没那么理解所以说稍微吃了点亏但我个人体验用户下来他们两个可能是不相上下其实我个人还更偏好于OpenAI那边一点因为它做的更细致翻的错误更少所以这个确实也是很主观的一个事情去怎么定义好这个disposition所以在这种情况下模型公司还会把Benchmark视为判断自己模型能力的一个标准吗他们肯定是也是在乎外部的评价不同模型公司我说说先说美国那家大的他们肯定是倾向于自建为主就是自家的Evaluation团队因为他们有这个能力去建但是对于一些比如说刚成立的或者相对没有那么有名次的一些Frontier Labs或者他不是头部的frontal lapse他们肯定是会非常依赖于外部的评测因为它内部的评测团队可能没有那么有经验或者那么完善或者说他们的人力资源更失望投入到模型的训练和开发当中而不是去直接利用所以这个每个公司的测试都不太一样其实我的个人判断是说当一个产品逐渐成熟之后或者当你积累了一定体量的用户之后最后你其实关心的还是用户增长比如说我之前其实做了很多年在Meta做搜索跟推荐逐渐的就变成了一个类似搜索推荐的问题就你看什么样的指标跟用户增长最相关最后就是朝着赚钱的方向走的现在可能真正能够评测到这个能力的lab不太多需要一定的用户体量可能在这个聊天的场景就比较成熟了但是呢在这些agent的场景上呢能做到这个程度就更复杂一点大模型可能跟传统这个收推不太一样的地方就在于说它的场景很复杂就算我能够在这个chat场景做好很好的这个AB test甚至选这个reward model来朝用户喜欢的方向发展我总会有新的东西出来而且大家一直在看新的东西比如说现在大家都在卷这个科学发现科学发现我不可能有足够量的科学家给我显著的AB test的结果必须还是要依靠场景高速Benchmark我会说因为大家对这里的这个应用场景的期待太高了场景增长的速度赶不上我在这个领域用户沉淀的速度还是有大量的需求要依靠这个benchmark来做评价标准但我会觉得在某一些领域呈架下来之后大家会有更多的天上评测体系然后可能会像这种传统的互联网增长看看哪些指标跟用户的DAU增长跟相关对能不能深入讲一下数据采购这件事情我觉得就是有几个点非常有意思第一你提到了刚才有很多小的公司其实是现在一个创业机会这是为什么我们看到很多最近兴起的一些四五个人甚至两三个人的这些数据创业公司拿到了非常高的估值这是不是就是因为他们的目标就是这些非常垂直的领域的数据对我觉得这里可能有几块问题首先我觉得最近兴起的这些何策因为整个数据行业已经从找人标注慢慢的过渡了你要交付的是一整套环境然后这个环境可能需要大量的工程工作在里面很多在这些合成的技术站上做的比较好的一个小团队呢其实可以比较短的时间交付大量的合成环境这些未必是不好的就合成它有时候你也可以基于一些强道模型或者说基于一些半成品的这些artifact是可以做出一些好东西来的现在这里是一块增长但是再往下走呢这里面比较有意思的就是说这个东西之所以能成立因为大家今年的主题是在卷代码软件行业是最奇怪的一个就它非常的open有大量的公开资料而且就是我们生产数据的公司同时大家都懂代码所以就这个比较好解决让一些小的团队有很多机会可以自己造很多数据但是我觉得再往后面走比如说这些其他领域的锤类就更复杂了这里面我会看到了有一些公司他们可能解决两个不同的问题比如说像我们做后训练数据其实在我看来是
[35:00] 我第一次采购就是我把原材料买回来就好像ALE让大家上传对吧这是一个比较新的经历机制然后加工加工就是我们再把它标注或者是通过一些agent pipeline把它做成适合大模型训练的环境在这个垂直领域问题上呢其实采购变得越来越复杂就甚至代码领域其实采购一些私域的代码仓库谁能把这个问题解决好其实就是一个巨大的优势那么在垂直行业比如说我如果是做芯片设计的我可能要把这个芯片设计的环境给造出来可能当中设计到一些商业软件那我怎么样把这些商业软件的版权拿到把它包在这里面就是一个问题还有一个就比如说做DevOps我要是一个系统工程师我要操作什么AWS之类的然后我之后有个公司做了一整套AWS模拟器每一个锤类的这个环境都有一些很深的东西你可能要采购可能要定制软件大家抓住这两个锤类把这个东西做好其实创造了很多新的机会明白 因为刚才我们提到这些垂直场景 比如说在drug discovery 这些生物药方面的 还有一些具体行业的评测下面我们可能没有足够的场景 或者没有足够的好的评测 在这种情况下 我没有足够的好的数据吗这里其实有一个难点 每个领域它需要一些人把它的专业知识吐出来之外 我还要需要这个领域的这个东西 像药物发现 我可能需要很多私有的数据库就这里面我觉得是目前这个行业一个大的卡点就是你先要能把这东西买到你知道大家手上有什么才能把它做成Bans吗ALE其实很大程度上是在解决这个问题对ALE就是希望大家能够以中包的方式让专家把自己做过的project交上来当然这里面有一些不符合规范的我们都筛掉了因为他们甚至把一些非常非常死的东西都交上来了比如说什么法院的一些证据什么然后我们尽量把这个都筛掉了比如说我们现在在V2中我们也尝试去收一些数据比如说Steam上的一个游戏库就游戏开发的一个任务它一个那种名不见经转的一个大概几千人铁量的一个mobile的游戏它要价能要到两三百万人民币一条我觉得哪家数据公司或者做Benchmark都没有这个财力去做这个事情就是这个游戏公司会要价要到两三万一条要这个游市的圆码就比如说很多公司想要采一些游戏的视频然后做些标注游戏视频可能是版权数据这里有一个巨大的采购问题,我觉得这里是一个商业集会,我现在其实看到不少startup在解决这些问题,就值大的数商我们自己也在投入做一些采购方面的工作,但是总体上来说,我觉得这里很有巨大的问题没有被解决。有哪些现在非常热门的锤类是数据非常少的我会说至少医疗算一个就是数据比较敏感就是谁能拿到大家的病例数据那就非常有优势对因为其实也有很多新闻讲到说可能在法律或者金融的这些领域会有一些之前离职的员工可能会去分享他们的工作流不过可能工作流数据和像医疗数据里面这些病人的data还是不太一样是的各个领域我觉得甚至现在大家之所以都在说金融 医疗 其实因为跟大家比较息息相关吧 大家多少还懂一点 其实这个世界上有很多我都不知道的行业 就是你真的要跟他们聊才知道 就比如说我才知道就做这个邀无研发大家还会交易这些分子一个分子还能倒腾几套子里面还要做滴滴所以可能没有做只是因为大家不知道对其实我们在做ALAV2想要把比如说一个领域做生的时候会尝试先捋一个领域它会有哪些工作流会有一个树状这样的结构然后尤其在生物学这一方面然后我们基于Nature这个publication它会有自然的分类他对子学科分类然后把这个数展开到第三值的时候大概有3000个节点然后我们也做一下工作就是把现在已有的市面上的life和bio的这个benchmark已经覆盖了多少做了一个统计大概是可能10% 5%都不到甚至他连一个成型就是覆盖面完全的一个benchmark市面上都没有更别说是针对这个去做相应的数据明白那像我们刚刚提到了这些做合成数据的小公司他们能赚钱的周期有多长呢因为听传好像都是这几年新出现的这样一些公司这些数据他的生命周期有多长呢这是个好问题至少现在需求还是挺大的然后未来可能说比如说这一波coding讲完了那么他们需要新的品类大家你能不能抓住下一个机会而且下一个机会可能跟你现在的运行模式不太一样比如说我自己也会觉得采购会很重要那么采购能力比较差的或者就像意犹他们你可能有些新的激励机制让大家把东西交进来对吧所以可能以前的一个激励机制是招聘平台或者就给你一个小时供但是以后可能有新的机力机制就谁能把这个东西玩了转可能会继续有一些优势这个地方我想问一遍众你的看法因为我个人认为随着模型能力越来越强模型公司自己内部创造数据的能力也越来越强这一点你认为这个饼是越来越大的但有没有可能会出现一个情况这个饼面向于非头部公司的这个机会反而是门槛是越来越高的入场圈是越来越高的
[40:00] 难拿的就是数学这块领域之前的话大家只是要去影印那些二数课本就能够去批量造出大量的数据但这些数据现在基本上是零价值所以你是怎么看待这个趋势就未来的数据公司的这个发展方向我会觉得从第一性原则上来说还有巨量的问题没有解决你要想这个世界上还有多少东西没被蒸馏干净是巨大的机会但是如果你就看现在大家是怎么运行的这个事情当然会越来越难因为越来越多的这个玩家进来了我觉得大家如果只盯着我手上的工作这个一定是越来越难做的就算这个Labs不自己做越来越多竞争对手进来你的margin也会越来越低所以在我看来一个好的书上其实最后解决的是个研发问题了就好像一个软件公司一样我要提前投入未来大家需要的东西赚到钱之后再投入下一个东西在lab本身呢我有个暴论可能lab是未必有最好的基因来解决数据的问题这里面可能有几块比如说核心数据合成数据其实按理说很多就是这个lab research 的本职工作了尤其是搞后训练的大部分时间都在画的搞数据上就是买数据和数据验证数据洗数据但是这个领域你会觉得为什么外面的人会有机会呢 somehow今年的这一波增长都来自于一些懂行的人在外面把这个数据合了再卖回去所以这个事情是存在的我觉得一方面是因为大模型公司现在有太多的钱就是你自己造外面买其实也不矛盾但是在更长远上来说呢其实有很多问题可能模型公司没有太好的基因解决比如说如果我要采购我要把一些行业的东西先采购过来蒸馏出来这个时候我会觉得大的lab它甚至可能会有一些conflict of interest比如说一方面把你的FDE派到了人家企业里面然后另一方面你有一拨人在搞企业数据那么我会觉得如果我是一个企业我是不太放心把我的数据交给你的出于这些原因有一些东西可能Lab不太适合自己做他可能还是需要第三方的这个人帮他做一些采购或者深入到一些行业领域里面去我会觉得一个树上真正要做的事情是研发看看未来还有哪些行业是重要的这些行业有哪些东西我要值得投入把东西买回来然后我自己先投入R&D把这个行业的问题给研究清楚然后再把它做成Danshmark或者做成数据甚至证明这个东西有效性然后我再转车买给Lab从Lab来说就是大家的这个deadline都很死如果我是一个lab的research如果你让我花半年的时间来解决一个行业可能有时候大家其实没有自由度就是这个时候你看到那边有一个树商说我把那个行业的东西搞清楚了你要不要大家通常都会看一眼所以我觉得其实长期来说拼的还是一个研发能力你觉得这个趋势对于大模型公司来说会持续吗因为现在模型公司里面也有自己的数据团队但是你觉得他们更愿意去从第三方那里收数据而不是自己去造环境造数据这里我觉得可能不矛盾吧因为最后模型公司最高的优先机还是把东西做好如果他们自己能生产好的数据的话有可能会倾向于自己生产只是现在大方向上来看这个世界上还有太多的这个工作了有没有被彻腾清楚了那么对外部树上的依赖我觉得是长期存在的甚至就是一个大模型实验室自己可能未必想要投入那么多的资源做的这么重可能更不灵活一点缺点就是说大家可能希望更多的东西是第一方的不希望所有人都能从树上中获得这些能力所以就从这个角度来看会有一定的动机自己研发然后就比如说现在可能很多laps他在做这个expert matching就是说你把人拍到我这里来就也有这么一些趋势我自己也会觉得说现在有太多东西没有被解决了不管是谁把这些问题解决了那他一定是有赚钱的机会这个东西可能跟在哪里发生不是很有所谓现在是机会多比你再变大了这么一个阶段但这也是大家对于数据一直有一个问题也就是说如果一个第三方供应商把同样的数据卖给不同的模型公司那他中间怎么样去区分呢这里通常来说有个比较简单的解决方案就是说你可以花多点钱把这个数据买断模型公司来说在数据供应商收到那么多数据的情况下他们怎么样去使用这些数据这个流程能不能给我们讲一下就这里面一般来说它是有一些比较固定的训练方式我们把它叫training recipe就比如说像是比较简单的这种数据我可能就是直接SFT就是我把对的答案给他就行了然后像是rubric这一种呢他可能就是在做强化学习因为就是不停的有一个模型在给他打分嘛比较有意思的是现在这些RL环境,比如说最近大家在卷的一些特别长城的任务,现在今年的一个主题是RSI,就是Recursive Self-Improvement,它其实是个Buzzword,就是说AI自己研发自己,那大家最近就在看那些,我跑一把,可能要跑个几天一个星期,其中你可能要有个GPU,真的在上面模型虚模型的任务。这里的训练方式其实就开始变得有一些模糊了我们也在一起研究这里面的训练方式要怎么搞
[45:00] 但是我自己就觉得这里面其实还没有太多的共识所以还有很多有意思的空间就对于树商来说有时候也不完全是就造一个模拟的task这么简单你还要考虑到他模型公司拿去要怎么训然后针对它怎么训练可能还要有一些定制对这一块我也比较好奇如果说你就是为了benchmax你就是你拿ALE的一些任务你直接去训练就类似做一批这样的数据那你怎么保证这个数据它训练出来它模型能力泛化能力是能够提升能够被迁移到其他的任务上去然后这个东西有没有一些比较视同化的科学化的方法来做这样的验证呢如何在不train一个模型之处上然后能够评判这个数据能给模型带来怎样的提示对 我觉得这里其实有一些技术比如说现在如果我要造一个环境大家最怕的就是remote hack就是它有捷径如果明明我没有完成这个Task,我可能是做使了一些手脚,结果 somehow我的这个Fur可以打得很高,就是我迅速来这个模型肯定会变成一个耍滑头模型,这种东西肯定是不希望发生的,那么通常来说会有一些技术我可以用Agent来做这个Writing,就是我会让一些比较强的模型来试试看能不能在这个Task里面找到捷径。另外就是这里面很多是我自己的个人猜想就不代表Scale AI或者任何客户就是说在训练这些东西的时候很多benchmark我们可能只关心最后有没有完成这个任务就是我们验证器是围绕这些东西设计的但是我怎么样完成它这些东西可能也会在模型训练里面有一些关键作用一个比较trivial的例子就是说budget就比如说我去模型的时候我会关心他是不是消耗了过多的token或者用了这些部署那么我们在训练它比如说在拿NLE的模型数据训练的时候呢肯定我最后reward会很复杂不是说我把这种一解出来就行了我可能还关注它消耗了多少资源最后可能是在各种各样维度的检查reward防止它作弊这些东西结合起来才能完成一个训练的recipe其实就感觉也没那么简单这些可能是训练数据更多要考虑的问题就是说我这些数据能不能导出一个比较好的训练方式能不能讲一下像RSI或者就因为刚才我们也提到很多neolab像在这些训练数据上情况下做这些训练需要的数据有什么不一样吗或者需要的定制有什么不一样吗通常来说最常见的定制其实是难度大家做benchmark的时候一般来说至少希望它不那么饱和那就意味着越难越好但也不一定毕竟毕竟说的也不要就完全解不出来就是Benchmark的难度更多的是一个客观的反映我这个行业难度的事情但是在我迅模型的时候需要做一个特化就是说这个难度对他的模型要是适中的我们有时候会做这个事情模型厂商会把它甚至还没有发布的这个模型给我们然后我们帮他筛数据这个题目对他来说不能太难也不能太简单因为现在做这个强化学习是说让摩西在上面自己试如果试对了的话他就能学到一些东西我给他提太难了他啥也做不出来肯定就不行所以在这个难度上会做一些适配然后另外可能我们会做一些轨迹采集就比如说如果你把你的模型的轨迹给我们我们可能把这些轨迹采集出来然后帮你做一些筛选甚至我们想办法用人给你搞一些可以解这些问题的轨迹这样你可以拿回去不需要做强化学习你可以直接造这个轨迹做SFT针对它的这个训练需求其实也有一些特化的这种工作OK 接下来还想再聊一下数据污染的这个问题因为今年2月的时候呢OpenAI就宣布停止报告它在SWE Bench Verify里面的分数这个其实也是一套评测啊那具体来说呢就是让AI修复真实开源软件里面的项目问题再通过这个测试来判断它有没有修好当时OpenAI主要是指出了两类问题,一类是它测试本身可能会有缺陷,比如说有的功能上正确的解法也会被判错另一类呢就是数据污染这个我觉得很有意思啊他们发现是在特定提示下面模型能够复现部分题目原本的人类修复代码也就是说模型很可能在训练过程当中就已经接触过相关内容了所以这个分数就变得有点难解释了我想问一下两位是怎么理解数据污染这个问题的呢就Swebine这一类数据其实有一个问题它可能甚至还不是污染就是它task可能就做得不够好就比如说有时候有一些错误是假错误就比如说可能我的测试脚本要求的太多了或者是我的Task没讲清楚有这么一些类型的原因吧另外一个污染可能是说模型域训练的时候把这些东西都训练进去了这里面其实是有一些技术可以检测到这些东西我想这ALE上面应该会有一些这种经验要不然他说不采用SweetBench是他是连SweetBenchVerified也不采用就是当一个Benchmark他我印象中他是在过去的六个月内只从74%提升到80%然后剩下的那些问题可能是脚本写的太耗实了然后或者他的题目本身就是不可解或者是会有各种各样的问题然后
[50:00] 那剩下的可能20%都是只用在这个问题上那这个编制码本身可能就失去了它对比的意义ALE也没有解决一个问题这个也想跟言伦探讨一下就当一个专家他本身提交上来的材料本身是错的时候我该如何去预防这个问题这个是我们真实发生过的因为我们专家这个五花八门当然这个这样的人很少他是为了提交这个任务然后为了拿到作者因为我们的奖励机制就是你提交了这个东西然后我们接纳了你这个任务你就能被纳为作者列表的一部分确实是有人为了提交而提交,然后Sassett起了agent去合成一堆乱七八糟数据甚至有些数据浇上来,肉眼看出来它就是颠的这个东西是确实对我们工作造成了很大的困扰这是个特别大的问题scale总是有人总是可以靠人解决的这里有个特别有意思的问题比如说EU提到了我给他authorship是一种奖励极致那他会带有一定的问题比如说scale更原始的比如说我就给你小时工那大家也有一些投篮作弊的方案我会觉得这个奖励机制是个特别特别难的问题长远来说比如说我的目标是把人类都振留干净对吧怎么样设计一个好的奖励机制把大家的目标都align我觉得这里其实有特别大的空间这里可能是个巨大的research area我自己心中可能有一些方案Proof of work就比如说我要求你把做这个东西的一整段工作流程全部都录下来你必须要做到多少时长或者怎么样不同形式的问题它有不同形式的奖励和验证机制这里面其实有很多玩法值得大家探索这里面其实也涉及了一个更大的问题就是很多数据它本来也就是公开数据就是网上的一些资料公开代码这些东西所以这些数据是不是本身就注定了会有污染一般是怎么样处理这些情况其实最简单的污染你直接其实问Agent他都能找到公开数据其实还好检测我觉得最难的是编造数据比如说让你去做一个化学模拟就他根本就没有跑过这个任务他自己编了一套似是而非的东西你没有个几个月根本查不出来这个问题因为他看上去很真能发现这个问题当所有的agent他的能力只不然远超这个问题本身的时候他发现所有的答案他们都是做出来是一样的但是跟这个真实答案是不一致的这个时候我们就会查出问题但这个周次会非常查但是你让另外一个专家去验证这个问题它成本又非常非常高因为它本身这个问题它都是要专家化一个多礼拜或者两个礼拜才能做出来对然后那个验证的专家你要保证它验证的专家他本身也会为了一些东西偷尖耍耍说这个东西它就是对的所以每个涉及到专家评测都会有这个问题吗对都会有重包的benchmark为什么难做就是难做在这里人性是非常复杂的是我觉得这里他可能甚至验证是一环我自己觉得确实在奖励机制上比如说如果你就让他在那老老实实呆着住12个小时对吧就你给我和解假数据你也要把每一步都给我交出来要求你必须做这么多的动作那他可能就没有那么大的动机给你合假数据了这些是比较值得研究的方向很有意思其实我本来是想问一下真实工作流的数据但是听下来大家现在还是在卷coding数据是吗就不是在做真的workflow因为我理解是比如说像Macord这样的公司就是有在卖一些真的workflow的数据但是听下来coding现在还是这个赛道最卷的其实您怎么定义真实工作流的数据就真实工作流的数据本质上它都能够被划挥到一个coding的问题感谢观看就比如说对3D建模这个问题其实有很多比如FreeCAD什么它都是提供了现成的API让你去做这个事情的就是这不是传统意义上的coding就是让你去写一段代码去解一个leadcode的这种coding题它是用coding去解决真实workflow所以说只要有足够的MCP API调用它其实本质上95%以上的它任务都能够被花回到coding的问题上来对就是可能有一些小的可以看他这个task本身是要的什么东西它涉及到的一些环节是什么能把它归结到不同领域的工作流上去但是就我同意EU说的现在因为你让agent来做事情代码就是他的手跟叫嘛所以它其实归根结底Coding肯定是其中的一款明白你们觉得在私有数据需求依然很大的情况下未来的数据公司会不会从卷采购本身变成卷并购就是去收获一些附近领域的公司对不评论scale AI我是听说有一块很大的private equity business就是说以前大家是flip公司现在flip公司的一个新的方式就是说我买的这个公司然后我用AI让他体效把一些人裁了之后把这个公司的价值做上去再把它卖了现在就多了一层就是除了我买这个公司可以帮他重组打包用AI提效之外呢我还能把他的数据发掘出来他的数据还能卖一些钱所以就是让这些整个买公司的行业又多了一个玩法就很自然的大家就是树上或者就传统做Profit Equity的公司也在看这个数据怎么能够卖钱然后就兴起了一整个领域我甚至觉得说如果真的未来比如说五年十年还是这个速度发展
[55:00] 大家还没有遇到瓶颈的话把各个行业的东西都给拿出来可能这个东西跟大模型本身就是世界上最大的两个行业当然这是比较极端的这个AI多密集图可能会导出这么一个世界是的但是听起来其实数据行业本身也是在变化的非常快因为就像我们刚才提到从这个Rubric Data叫RL环境的这样一个变化所以有什么信号会让你觉得有某一个领域或者某一个赛道它可以持续的增长吗我会觉得就首先还有很多没有解决的问题机会还是很多的另外一方面有越来越多的玩家进来了比如说每年都有很多新的new lab资本市场还是以这个方式运作的话就这个饼是越来越大的但是这个数据变化很快不太像是一个我可以躺在一个地方一直吃老本的生意树上要疯狂的迭代自己那么最后可能是骗大家的R&D的能力那或者说谁能把这个R&D的这个能力本身固化做成一个flywheel我有一个流水线可以一直在发掘新的东西也许这个是未来最大的优势但是就这东西上来说我会觉得现在是百花齐放吧未来机会还很多这我也是从一些地方听说就是树商的它估值空间一般没有传统的这个公司来的大就是因为它很难把这个杠杆保持住然后让你以很轻松的方式在一个积累的用户量情况下就能躺在那里吃老板挣钱就像Facebook Google的一些生物研,它已经有之类大量用,它就能躺在这些APP上赚钱,但数据生意的领导者必须持续的去思考下一步在哪里持续去迭代因为模型迭代速度太恐怖了你觉得你们现在在做ALE2.0的时候最难的是什么我觉得学术上相对容易一些的比他们做商一商因为他们给我们的数据很多都是无偿的但是我能够想象得出我如果是一家树商去搜这个树子它这些都是天文树子就那些收上来的原始项目和代码而且很难找到一个很好的奖励之致让这些专家能够自愿地把这个交上来我拿Mercury他们官网上的给专家的一个小时的那个价格来说比如说制造业的工程师大概是可能一两百刀一个小时这种价格就限定了它不可能招到特别特别高级的工程师但是为什么学书记好做因为我们能够自然而然吸引到一些这种级别的人来帮我们收集数据因为他们不求钱他们图的是大家一起把这个事情做好图的是个名所以说这个奖励制度不一样就导致你能适应到的人不一样你的上游是不一样OK很有意思好呀那我们就到这里结束吧谢谢允钟谢谢一游参加我们的节目谢谢一游谢谢好了以上就是我们这期播客的全部内容了国内的听众可以通过小宇宙苹果播客网易云音乐喜马拉雅QQ音乐蜻蜓FM海外的听众可以通过苹果播客和Spotify或者在YouTube上搜索硅谷101播客来关注我们我们部分的文字稿还会收录在硅谷101的微信公众号上谢谢大家我们下次再见啦
