AI Engineer
企业级复杂任务的核心瓶颈在于缺乏工具调用纪律而非通用推理深度,单表数据强化学习即可自发泛化解决复杂多表业务。
AI-assisted summary of Stop Making Models Bigger, Make Them Behave — Kobie Crawford, Snorkel — original source. Check the original for full context.
Source published:
Key ideas
- Snorkel 联合 UC Berkeley 展示了通过强化学习(GRPO)与高质量专家数据,单次训练成本不到 500 美元即可让 4B 小模型在金融工具调用任务上超越 235B 规模的 Qwen 3。 (10:48)
- 大模型在具体业务中频频受挫的核心在于缺乏“工具纪律”而非推理深度;Qwen 3 235B 在面对不存在的数据表时反复盲猜并最终产生幻觉,而 4B 模型学会了查看 Schema 和自纠错。 (7:08)
- 仅使用单表交互数据进行强化学习训练,模型在复杂的跨多表推理基准 FinQA Reasoning 上的准确率从 13.9% 跃升至 26.6%,证明规范的基础工具操作行为具备极佳的泛化能力。 (16:23)
- 通过引入细粒度评分细则(Rubrics)将模型执行轨迹拆解为多个维度,可以在合成或标注数据前精准定位行为故障点,从而反向指导高价值训练数据的构建。 (18:37)
Detailed notes
## Background 该视频由 AI Engineer 频道于 2026 年 6 月 10 日发布在 YouTube 平台上,记录了 Snorkel 的开发者倡导者 Kobie Crawford 的主题演讲。视频简介指出,235B 的 Qwen 3 在查询 YouTube 广告收入时因盲目查表失败而产生幻觉,而经过强化学习微调的 4B 小模型在训练成本不足 500 美元的情况下,凭借检查 Schema 和自我纠错成功获取正解,阐明了在工具调用任务中工具纪律远胜于推理深度。
## TL;DR Kobie Crawford 挑战了企业落地 AI 时盲目追求超大参数模型的惯性思维,指出大模型面对特定业务工具时往往存在缺乏执行纪律的“陶哲轩效应”。Snorkel 联合 UC Berkeley 团队,利用专家在环的高质量数据与 GRPO 算法在自包含的 FinQA 沙箱环境中微调了一个 4B 模型,单次训练成本不到 500 美元。该小模型在金融分析任务中展现出主动探查 Schema、捕获报错并自我纠错的严谨工具纪律,表现彻底反超未微调的 235B 大模型。实验还表明,单纯针对单表场景训练所培养的工具操作习惯能直接泛化至复杂的多表推理基准,并提倡使用细粒度评分准则(Rubric)精准诊断行为故障以指导数据生成。
## Atmosphere & style 演讲整体呈现出一种务实、犀利且极具号召力的技术分享氛围。Kobie 登台时带着结束大会最后一场汇报的轻松幽默,随后迅速切入严肃硬核的工程困局,用生动的“陶哲轩效应”比喻直接击碎行业对大模型的盲目迷信。整个分享节奏紧凑、论证层层递进,既有大模型频繁翻车的真实讽刺感,又有以小博大、用极低成本实现逆袭的技术自豪感,给台下被算力成本和落地合规所困扰的企业工程师带来了极具确定性的启发。
## Bulletin - [10:48](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=648s) Snorkel 联合 UC Berkeley 展示了通过强化学习(GRPO)与高质量专家数据,单次训练成本不到 500 美元即可让 4B 小模型在金融工具调用任务上超越 235B 规模的 Qwen 3。 - [07:08](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=428s) 大模型在具体业务中频频受挫的核心在于缺乏“工具纪律”而非推理深度;Qwen 3 235B 在面对不存在的数据表时反复盲猜并最终产生幻觉,而 4B 模型学会了查看 Schema 和自纠错。 - [16:23](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=983s) 仅使用单表交互数据进行强化学习训练,模型在复杂的跨多表推理基准 FinQA Reasoning 上的准确率从 13.9% 跃升至 26.6%,证明规范的基础工具操作行为具备极佳的泛化能力。 - [18:37](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=1117s) 通过引入细粒度评分细则(Rubrics)将模型执行轨迹拆解为多个维度,可以在合成或标注数据前精准定位行为故障点,从而反向指导高价值训练数据的构建。
## Key takeaways - [03:32](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=212s) 企业级应用受限于隐私、合规与推理成本,不能一味追求堆砌大模型,而应优先考虑可本地掌控的小型模型。 - [03:32](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=212s) “陶哲轩效应”形象地说明了通用推理深度过剩的弊端:解决具体业务问题并不需要顶尖数学家的深奥推导,而是需要精准执行查表与基础计算。 - [07:08](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=428s) Qwen 3 235B 在金融查询测试中由于缺乏工具调用纪律,未查验数据表直接报错,且在重试失败后凭空编造虚假数据。 - [08:53](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=533s) 高质量的“专家在环”(Experts in the loop)数据生成与客观验证步骤,是强化学习有效调优小模型的基础前提。 - [10:48](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=648s) 基于 RLLM 框架与 GRPO 算法,4B 模型的强化学习微调在 21 至 24 小时内完成,总算力成本控制在 500 美元以内。 - [10:48](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=648s) 自包含的 FinQA 训练与评测环境已全面开源,支持在 PrimeIntellect、GitHub(OpenEnv)及 Hugging Face Spaces 上快速部署。 - [13:55](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=835s) 微调后的 4B 模型掌握了严格的工具使用规范:先调用 get_table_names 探测表,再查验 Schema,并在捕获列名报错后成功完成自我纠错。 - [16:23](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=983s) 对比全量混合与课程学习,仅用单表样本训练带来的性能提升最显著,反映出解决单步基础工具使用是修复失败模式的关键。 - [16:23](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=983s) 基础工具交互纪律的建立具有强大的迁移性,推动 4B 模型在复杂的 FinQA Reasoning 多表任务上的准确率直接由 13.9% 提升至 26.6%。 - [18:37](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=1117s) 传统的二元对错评估无法有效诊断错误源头,建立细粒度 Rubrics 能透视出模型在探索、Schema 解析或纠错哪个环节脱轨。 - [18:37](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=1117s) 细粒度 Rubrics 主要用于诊断与指导合成针对性训练数据,而后端的强化学习算法(如 GRPO)在训练闭环中仍可维持标量奖励输入。
## Detailed walkthrough ### [00:07](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=7s) 开场介绍与 Snorkel 的数据质量定位
演讲者 Kobie Crawford 轻松登台,打趣提到这是他在本次大会上的最后一场演讲,内心已经涌起一种“终于快结束了”的释然与兴奋。他先与现场观众互动,询问大家在会议期间是否收获了预期的“高信号量”(high-signal)价值,并坦言 Snorkel 作为赞助商,非常希望确认与会者是否觉得物有所值、未来是否还会再来,现场观众对此报以热烈的肯定回应。
进入正式汇报后,Kobie 介绍了自己的职务与公司的核心使命:他是 Snorkel 的开发者倡导者(Developer Advocate)。Snorkel 自创立起就以研究为基石,自称为“前沿 AI 数据实验室”(Frontier AI Data Lab)。当前 Snorkel 的核心业务聚焦于提供有质量保证的数据集,核心理念是建立严格的“专家在环”(expert in the loop)机制。他们通过引入各领域的专家贡献者参与数据生成流程,确保数据达到极高水准,帮助那些顶级基础模型实验室精准“爬坡”(hill climbing),切实提升模型性能。
- **演讲者身份**:Kobie Crawford,Snorkel 开发者倡导者(Developer Advocate)。 - **公司定位**:Frontier AI Data Lab,专注提供经前沿研究与专家在环验证的高质量训练数据。 - **合作研究团队**:加州大学伯克利分校(UC Berkeley)的 RLLM 团队(智能体研究项目组)。 - **核心成果预告**:借助高质量数据与强化学习(RL),训练一个 40 亿参数(4B)的小模型,在金融分析工具调用任务上击败拥有 2350 亿参数(235B)的庞大基座模型。
---
[03:32](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=212s) 企业级场景的落地困局与“陶哲轩效应”
在企业级生产环境落地 AI 过程中,情况与个人助手的大规模爆发截然不同。企业级落地受制于严苛的安全、合规、推理成本与执行确定性限制。Kobie 指出,面对复杂任务表现不佳时,行业内最常见的本能反应就是“简单粗暴换个更大的模型”,指望大模型更强的通用推理能力能自动解决问题。然而,这种做法不仅带来了高昂的算力成本、延迟和部署复杂性,而且往往在私有化部署、数据主权与合规审计上制造巨大障碍。对于金融和医疗等对数据隔离要求极高的场景,在本地运行自主掌控的小型模型才是更理想的路径。
在此背景下,Snorkel 提出一个截然相反的假设:能否让小模型通过强化学习(RL)习得特定的“行为模式”(behavior),从而在特定工具调用任务上打败大模型?Kobie 解释说,模型参数庞大并不等于擅长具体业务操作。UC Berkeley 的 RLLM 合作团队将大模型的这一盲区形象地比作“陶哲轩效应”(Terence Tao effect)——陶哲轩是一位举世闻名的顶尖数学家,理论上能解决任何高深的数学难题;但一个现实中的金融分析师根本不需要会推导潜狄利克雷分布(LDA)等极其深奥的算法,其日常工作核心只是精准编写 SQL 查找数据,然后完成加减乘除与比率计算。过度堆砌庞大的通用推理能力,就像拿大铁锤去砸核桃一样不得要领。
Kobie 强调,强化学习的优势在于重塑操作行为而非灌输基础事实知识,他在剖析大模型与专业工具调用的矛盾时明确指出: > “有时引入大模型更像是拿着大铁锤去砸核桃;我们在此要挑战的观念,正是那种认为必须依靠更聪明、推理更深的模型才能把事情做好的预设。”
```mermaid flowchart TD accTitle: Model Selection Dilemma in Enterprise Tool Use accDescr: Comparison between relying on a giant generalist model versus training a small model via RL for disciplined tool usage.
subgraph Trap["常规误区:盲目堆砌参数"] A["遇到复杂业务失败"] --> B["替换为超大模型 (235B)"] B --> C["推理能力过剩 ('陶哲轩效应')"] C --> D["缺乏工具调用纪律与状态感知"] D --> E["高成本、高延迟、幻觉频发"] end
subgraph Solution["优化路径:聚焦行为规范"] F["特定业务任务 (金融分析)"] --> G["选用精简小模型 (4B)"] G --> H["引入RL强化行为习惯"] H --> I["严守工具纪律:查Schema/自纠错"] I --> J["低成本、私有部署、高准确率"] end ```
---
[07:08](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=428s) 235B 大模型翻车现场:缺乏工具纪律导致的幻觉
为了直观证明“推理深度无法替代工具纪律”,Kobie 展示了一个对比评测实验。他们向参数量高达 2350 亿的 Qwen 3 235B 模型提出了一个典型的金融分析问题: > “2023 年到 2024 年 YouTube 广告收入的同比增长率是多少?”(What is the year-over-year growth rate of YouTube ads revenue from '23 to '24?)
面对该任务,Qwen 3 235B 展现了典型的缺乏纪律性调用:它没有首先检查数据库环境,也没有使用元数据工具去探查到底存在哪些数据表,而是直接盲猜并查询了一个根本不存在的数据表名称。查询失败没有返回任何数据后,该模型依然不查看 Schema,而是继续凭空猜测并发起第二次查询,再次扑空。连续两次空手而归之后,模型直接退回到底层权重的生成机制,凭空捏造了一个百分比数字作为最终回答。
Kobie 指出,尽管 235B 模型在通用逻辑推理上远比 4B 模型强大,但当面对严格的外部环境与工具协议时,推理能力并不能掩盖工具纪律的缺失。相反,Snorkel 仅花费不到 500 美元训练出来的 4B 小模型,在面对同一道题目时却展现出完全不同的行为规范(先调用 `get_table_name` 查看环境结构,发现报错自主纠正)。Kobie 将大模型的失败核心一针见血地总结道: > “尽管它拥有所有的推理能力,但在使用工具时却毫无纪律可言。”
- **问题提问**:计算 YouTube 广告收入从 2023 年至 2024 年的同比(YoY)增长率。 - **235B 模型的执行轨迹**: 1. 未做任何环境探测,直接发起 SQL 查询不存在的数据表; 2. 查询失败无返回后,再次盲目猜测另一表名重试; 3. 依然无果,彻底放弃工具,直接幻觉编造出一个答案返回给用户。 - **根本缺陷**:缺乏状态检查、环境探索与基于工具反馈自省的调用纪律(Tool Discipline)。
[08:53](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=533s) 高质量专家数据生成与验证
为了通过强化学习(RL)让小模型实现卓越表现,第一步必须构建极高质量的数据集。在 Snorkel 的方法论中,“专家在环”(experts in the loop)是整个数据流水线的核心基石。团队依托内部平台与各领域的顶尖专家深度协同,根据具体任务精准引入人才:面对财务分析场景,便邀请具备深厚从业经验的行业人士,或直接引入对应领域的博士级研究人员。这种对数据质量的极度重视,构成了后续所有训练的基础。
生成初始数据后,必须执行严格的验证步骤(verification step)。该环节旨在确保数据集中定义的各项任务切合实际应用场景,保证查询可以正常执行、能够稳定返回所需结果,并且存在可自动校验的标准答案(verifiable answer)。通过层层验证确认无误后,数据才算准备就绪。对于小模型的强化学习而言,精心清洗与验证的高质量数据是带来非凡提升的前提。
- **专家构成**:涵盖长期深耕行业的资深业务专家,以及特定学术领域的博士级研究人员。 - **任务验证标准**:确保环境可查询、能获取预期结果,并具备客观可验证的明确基准答案。
---
[10:48](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=648s) 低成本的 GRPO 训练与开源 FinQA 环境
在具体训练实施上,团队采用了业内成熟的 SOTA 方案:基于 4B 参数规模的模型,结合 GRPO 算法展开强化学习微调。环境构建则依赖与 UC Berkeley 团队合作开发的 RLLM 框架,搭建了专门的 FinQA 交互环境。整套强化学习任务在约 21 到 24 小时内即可跑完,单次训练成本不到 500 美元。Kobie Crawford 对此打趣道,即便 Andrej Karpathy 对此类方法可能持保留态度,但这种极具性价比的训练范式证明了小模型完全能以极低门槛追赶大模型。
```mermaid flowchart LR accTitle: FinQA 4B 模型强化学习训练流程 accDescr: 展示从专家数据经 RLLM 框架与 GRPO 算法在 FinQA 环境训练小模型的过程
subgraph DataPrep["数据准备"] A["专家在环生成数据"] --> B["任务验证与答案校验"] end
subgraph RLTrain["强化学习闭环"] B --> C["4B 基础模型"] C --> D["RLLM 框架 + GRPO"] D --> E["FinQA 交互环境"] E -->|"单次成本 < $500\n耗时 21-24 小时"| F["微调后 4B 模型"] end ```
该 FinQA 环境被设计为完全自包含的独立沙箱,内置专用工具集,杜绝任何外部数据中心不可控依赖,与 Harbor 或 OpenEnv 的使用体验高度契合。团队已将该环境全面开源,支持在 PrimeIntellect 基础设施上直接启动,并已合入 GitHub 上的 OpenEnv 仓库;同时,OpenEnv 团队、PyTorch 团队与 Hugging Face 合作,在 Hugging Face Spaces 提供了在线托管。在评测基准设计上,该环境内置了两个子集:包含 290 个样本的标准 FinQA 测试集,以及包含 79 个样本、需要跨多表查询的进阶 FinQA Reasoning 复杂推理评测集。
Kobie Crawford 在强调强化学习的可行性时明确指出:“RL is not have to be a very expensive thing to be able to get non-trivial performance gains.”(强化学习不一定非得极其昂贵,才能获得显著的性能提升。)他进一步向考虑本地化部署的工程师们呼吁:“And if you aren't already thinking that you can improve the models the way you that you want, then this is like a call to action that you actually can. That it's actually a very tractable thing to get a model that you want to work with actually up to the performance levels that you need using RL.”(如果你还没有意识到自己能够随心所欲地改进模型,那么请把这当作一次行动号召——利用强化学习将你选定的模型提升至所需性能水平,其实是一件非常可行的事情。)
- **模型与算法**:4B 参数量级小模型,配合 GRPO(Group Relative Policy Optimization)。 - **训练开销**:单次运行耗时 21~24 小时,总算力成本控制在 500 美元以内。 - **环境部署渠道**:开源自包含沙箱,现已上线 PrimeIntellect、GitHub(OpenEnv 仓库)及 Hugging Face Spaces。 - **评测数据集规模**:FinQA 标准测试集 290 题;FinQA Reasoning 多表进阶测试集 79 题。
---
[13:55](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=835s) 表现反超 235B:工具纪律与自我纠错
经过该强化学习微调后,4B 模型的 Pass@1 准确率实现了翻倍,综合表现直接超越了未精调的 Qwen 3 235B 大模型。此项成果最引人深思之处,并非单纯的指标增长,而是模型在微调过程中究竟学会了何种底层行为。先前的 235B 模型在两眼一抹黑的情况下直接胡乱猜表查询,查无所获后立刻幻觉作答;而经过 RL 训练的 4B 模型展现出了极强的“工具纪律”。
面对同样的数据环境,4B 模型的行为链路展现出严谨的探索逻辑:它首先主动调用 `get_table_names` 工具排查环境中存在哪些数据表;在锁定目标表后,紧接着执行 `get_table_info` 工具检查表结构(Schema),以此弄清该如何编写正确的 SQL。随后,模型执行查询并遇到了报错——它尝试请求并不存在的 `revenue` 列。面对这一异常,模型并未崩溃或胡言乱语,而是立刻解析错误日志、调整 SQL 语法,准确检索到所需的真实列名并成功修正,最终给出了完全正确的答案。这一系列操作证明,模型任务失败的根本痛点并非欠缺深层推理,而是缺乏合理调度工具的规矩与容错机制。
```mermaid flowchart TD accTitle: 4B 模型工具纪律与自我纠错链路 accDescr: 展示 4B 模型从发现表名、检查模式、捕获查询报错到自我修正输出正解的完整步骤
A["收到业务提问"] --> B["调用 get_table_names 探测可用数据表"] B --> C["调用 get_table_info 检视 Schema"] C --> D["构建并运行初次 SQL 查询"] D --> E{"检测执行结果"} E -->|"抛出列错误 (找不到 revenue 列)"| F["解析报错,自我纠错重新定位字段"] F --> D E -->|"查询成功返回数据"| G["输出经过校验的准确答案"] ```
关于模型成功背后的真实原因,Kobie Crawford 一针见血地指出:“The reality is what it needed to do was to learn how to use tools.”(残酷的现实是,它真正需要做的,仅仅是学会如何使用工具。)
- **235B 基础模型表现**:不看表结构直接盲猜查询,无返回数据后直接幻觉编造。 - **4B RL 模型表现**:主动枚举表名 $\rightarrow$ 探测 Schema $\rightarrow$ 编写 SQL $\rightarrow$ 捕获列名报错 $\rightarrow$ 自主重试修复 $\rightarrow$ 给出正解。
---
[16:23](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=983s) 单表训练对复杂多表推理的泛化迁移
在探究训练机制时,团队还收获了意料之外的研究发现。训练集中同时包含单表(Single-table)查询问题与跨多表(Multi-table)查询问题。评测过程中,团队对比了三种不同的训练机制:仅使用单表数据训练、混合单表与多表的全量数据训练,以及从单表起步再逐步引入多表题目的课程学习(Curriculum learning)。实验结果出人意料:单纯使用单表数据训练出的模型,在整体任务上的性能跃升幅度最大。
更令人惊叹的是这种能力的跨难度泛化表现。即便模型只经过了单表场景的训练,但在面对极具挑战性、必须联动多表推理的 FinQA Reasoning 复杂基准时,其准确率依然从 13.9% 激增到了 26.6%,实现了跨测试集的大幅跨越。这充分证明,模型在该任务族中的核心瓶颈从来不是跨表格的多步推理能力本身,而是如何严谨操作工具。一旦通过基础任务根治了“工具纪律匮乏”这一核心失败模式(core failure mode),模型所习得的探索、自省与纠错能力便能自然泛化到结构更复杂的业务场景中。
Kobie Crawford 在总结这一结论时强调:“Interestingly enough again, the tool discipline, just knowing how to use the tools that are in the environment turned out to be a bigger deal than anything else in terms of how to make these models actually get better at what they need to do in this space.”(再次耐人寻味的是,工具纪律——仅仅是懂得如何使用环境中的工具——在让这些模型切实提升该领域任务表现方面,被证明比其他任何因素都更为关键。)他随后补全了这一论断:“Turned out it wasn't the reasoning that was the issue. It was the tool use. We focused only on single step for the best performance. And we're able to fix that core failure mode.”(事实证明,问题并不出在推理能力上,而是在于工具使用。为了获得最佳性能,我们仅仅专注于单步(单表)场景,就成功修复了那个核心失败模式。)
| 训练机制模式 | 训练数据组成 | 最终整体表现 | |:--- |:--- |:--- | | **单表独享训练(Single-table only)** | 仅包含单表交互样本 | **性能增益最高(最优策略)** | | 混合全量训练(Mixed multi-table) | 单表与多表数据随机混合 | 表现次于纯单表训练 | | 课程学习训练(Curriculum learning) | 单表起步,渐进式追加多表 | 表现次于纯单表训练 |
- **FinQA Reasoning 泛化成绩**:在仅用单表样本训练的前提下,针对多表推理测试集的准确率从 13.9% 飙升至 26.6%。 - **核心工程启示**:优先定位并纠正基础工具交互层面的核心失败模式,其通用收益远高于盲目死磕高阶推理链路。
[18:37](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=1117s) 利用细粒度评测准则诊断模型行为与指导数据生成
在针对模型行为进行定向修复时,核心难点在于找出究竟是哪一个具体行为环节出了纰漏。Kobie Crawford 指出,Snorkel 的研究团队近期反复深入探讨的一个核心方法,就是在评测体系中引入细粒度的评分细则(Rubrics)。传统的强化学习或通用评估往往只看最终输出是否正确,给出一个简单的“是”或“否”的二元判断;但这对于诊断模型究竟错在何处毫无帮助。通过建立一套完整的 Rubric,将模型响应的正确与否逐层拆解为一系列具体可判定的细分问题,工程师就能顺藤摸瓜,在错综复杂的潜在故障点中精准直觉定位出真正的症结所在。
这种细粒度反馈在决定“为模型补充什么样的数据”时起到了决定性作用。单纯知道模型最终答错了,无法告诉你应当生成工具调用数据、Schema 检查数据还是自纠错数据;而 Rubric 输出的丰富诊断信息,让团队能够基于客观缺陷有针对性地决定数据集的设计方向。值得注意的是,虽然诊断与数据工程需要 Rubric 提供的细颗粒度多维透视,但后端的强化学习算法(例如 GRPO)在执行优化循环时,通常依然只需要接收一个单一的标量奖励值(Single Value)。两者各司其职:Rubric 负责照亮问题与指引数据构建,强化学习算法则负责吸收标量奖励完成策略更新。
Kobie Crawford 在强调这一方法论时总结道:“And then those rubrics by breaking down the rightness or wrongness of a model's response into a full list of different questions that can be answered. And looking at each of those individual questions, you can then start to use the rubric as as a way to find and intuit like and find where the actual problem is among all the multiple possible arenas.”
```mermaid flowchart TD accTitle: 基于 Rubric 的行为诊断与 RL 闭环 accDescr: 展示模型评测如何通过细粒度 Rubric 拆解问题,进而指导数据生成,并与 GRPO 单值奖励强化学习结合的流程图
subgraph EvalDiagnosis["评测与行为诊断"] Response["模型输出响应"] --> Rubric["细粒度 Rubric 拆解<br/>(逐项问题检查)"] Rubric --> RichFeedback["多维细粒度反馈<br/>(精确定位行为故障点)"] end
subgraph DataEngineering["数据生成与决策"] RichFeedback --> DataStrategy["决策训练数据需求"] DataStrategy --> GenDataset["定向合成/构建针对性数据集"] end
subgraph RLLoop["强化学习对齐循环"] Response --> SingleReward["标量奖励聚合 (Single Value)"] SingleReward --> GRPO["GRPO / RL 训练周期"] GenDataset -.-> GRPO end ```
- **评测拆解逻辑**:不局限于最终答案对错,而是将执行轨迹拆解为一系列质询问题(例如:是否查询了正确的表、是否核对了 Schema、遭遇报错时是否触发了自纠错)。 - **数据策略制定**:根据 Rubric 揭示的行为短板,反向定制专门的数据集配比,避免盲目堆砌通用数据。 - **强化学习适配**:GRPO 等强化学习算法在实际训练循环中维持单值奖励输入,与分析层面的多维 Rubric 形成分工。
---
[19:45](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=1185s) 研究成果总结与合作团队成果分享
Kobie Crawford 对整个研究进行了收尾总结,认为这项工作展示了一个极具启发性的结论:通过精准定位并解决“正确的问题”,完全可以用极小规模的模型和低廉的成本达成甚至超越超大模型的效果。对于希望深入探究这项研究技术细节的参会者,Kobie 展示了相关的博客链接,并特别提及该项目还关联了来自加州大学伯克利分校(UC Berkeley)Agentyca 团队的联合合作文章,观众可以在两篇博文中查阅到更详尽的实验设置、评测指标与复现路径。
由于演讲时间已完全耗尽,现场无法展开观众提问环节。Kobie Crawford 略带遗憾地表示时间确实抓得很紧,但他随即热情地邀请所有对技术细节有疑问的开发者在场外走廊继续交流探讨,并在全场的掌声中结束了演讲。
- **深度资料与博客链接**:Snorkel 官方发布了关于该实验的深度技术博客,完整披露了 4B 模型在 RL 引导下超越大规模模型的全过程。 - **学术合作伙伴**:加州大学伯克利分校(UC Berkeley)的 Agentyca 团队同步发布了联合研究博文,提供了互补的视角与更多数据结果。 - **会后交流**:由于演讲时长限制,未设置台上有问必答环节,Kobie 留在会场外为参会工程师提供面对面答疑。
## Notable quotes > [03:32](https://www.youtube.com/watch?v=TNwJ1LMiENk&t=212s) 有时引入大模型更像是拿着大铁锤去砸核桃;我们在此要挑战的观念,正是那种认为必须依靠更聪明、推理更深的模型才能把事情做好的预设。 — Kobie Crawford
## Mentioned Kobie Crawford, Snorkel, Qwen 3 235B, FinQA, FinQA Reasoning, GRPO, RLLM, 加州大学伯克利分校 (UC Berkeley), Agentyca, OpenEnv, PrimeIntellect, Hugging Face, Hugging Face Spaces, PyTorch, 陶哲轩 (Terence Tao), Andrej Karpathy
## Video description Qwen 3 235B was asked for YouTube's year over year ad revenue growth from 2023 to 2024. It queried a table that didn't exist, tried again, got nothing back both times, and hallucinated an answer. The 4B model Snorkel finetuned with RL called `get_table_name` first, inspected the schema, ran a query, hit a column error, self-corrected, and got the right answer. The training run cost under $500.
Kobe Crawford covers why tool discipline matters more than reasoning depth for this class of tasks, how single table training transferred cleanly to harder multi table problems (13.9% to 26.6% on the FinQA reasoning benchmark), and why breaking evals into rubrics helps identify which specific behavior to fix before writing any training data.
Speaker info: - https://www.linkedin.com/in/kobie-crawford - https://snorkel.ai/author/kobie-crawford/
---
Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/TNwJ1LMiENk-stop-making-models-bigger-make-them-behave-kobie-crawford-snorkel
Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):
- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney
---
[Source](https://www.youtube.com/watch?v=TNwJ1LMiENk)