谷歌测试Gemini 3.0令LM Arena泄密，曝大模型评测由静态走向专家对战

硅谷101

传统静态测试因题库泄露失效，大模型评估进入以高难度专家数据与实战对抗为核心的下半场。

AI-assisted summary of 谁是AI之王？聊聊备受争议的AI评测与崛起的LMArena【硅谷101】 — original source. Check the original for full context.

Source published: 2025-10-31

Detailed notes

## Background 该内容由Bilibili频道“硅谷101”于2025年10月31日发布。视频简介指出，在大模型激战的今天，传统Benchmark测试因“题库泄露”和“刷分”逐渐失去公信力，而LMArena平台通过“匿名对战+人类投票”的方式重新定义了评测标准，但在其崛起的同时，也面临着Meta“刷榜”风波、数据不对称及商业化带来的公平性挑战。

## TL;DR 节目详细探讨了大模型评测标准的演进，指出传统静态基准测试存在过拟合与无法反映真实交互的局限。LM Arena凭借动态匿名对战和人类盲测机制迅速崛起，成为科技巨头发布新模型前的常规赛场与信任标杆。然而，随着平台影响力的扩大，它也陷入了人类偏好偏差、数据分发向头部厂商倾斜、 Meta刷榜事件以及商业化中立性的争议中。未来，AI评测正走向静态测试与动态实战（如Alpha Arena）相结合的融合框架，并依赖高成本的专家数据推动模型能力与评估体系的双螺旋演进。

## Atmosphere & style 整个节目呈现出一种前沿、客观且充满思辨色彩的科技对谈与深度观察氛围。叙事风格紧凑而专业，通过引入谷歌神秘模型、Meta刷榜争议等鲜活的科技圈事件，营造出如同身处大模型竞技场前线的紧迫感。在解读复杂的 Bradley-Terry 模型或 RL 演进时，语调冷静且富有逻辑，既有对LM Arena创新机制的赞赏，又带着批判性思维层层剥茧其背后的数据不公与资本介入隐忧，给听众带来一种在科技浪潮中理性审视大模型技术下半场变局的沉浸体验。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 在传统的Benchmark测试因刷分和作弊失去公信力时，LM Arena（原Chatbot Arena）通过“匿名对战+人类投票”的方式提供了相对客观的大模型衡量标准。 - [00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 各大主流AI大模型厂商（如谷歌、OpenAI、Anthropic、DeepSeek等）已形成在正式发布新模型前，先在LM Arena上以神秘代号上线进行测试的惯例。 - [00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 随着技术创新趋于饱和，大模型竞赛下半场的焦点正在转向模型评估，即如何更准确地衡量和理解模型的智能边界。 - [07:39](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=459s) 传统的静态基准测试（如MMLU、BigBench等）由于存在题库泄露、过拟合以及无法反映真实单轮/多轮开放式交互等局限性，其权威性受到挑战。 - [07:39](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=459s) LM Arena于2023年5月由伯克利LMSYS团队创立，核心机制是用户盲测两两比较（Pairwise Comparison），并采用源自国际象棋的Bradley-Terry模型（Ello评分机制）计算动态排名。 - [15:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=959s) 由于人类盲测受语言、文化和个人习惯影响，LM Arena存在偏好偏差，例如用户更倾向于选择语气自然、回答冗长的模型，而非逻辑最严谨的回答。 - [15:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=959s) 由于不同厂商获得的对战数据分配极不不均，谷歌和OpenAI占据了近四成数据流，使得头部供应商能够利用更多真实用户交互数据进行针对性优化。 - [15:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=959s) Meta在2025年4月引发“刷榜”风波，其提交的Llama 4 Maverick专供优化版在榜单表现极佳但实际开源版表现不符，迫使官方更新政策要求厂商披露配置。 - [15:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=959s) LM Arena团队于2025年5月成立商业公司并完成1亿美元种子轮融资，这引发了业界对其作为公共评测平台能否保持中立性的担忧。 - [24:19](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=1459s) 大模型评测正在转向将静态Benchmark与动态Arena相结合的“融合式评测框架”，且测试场景开始向真实世界和实战对抗演化（如Alpha Arena的加密货币交易实战）。 - [24:19](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=1459s) 随着推理模型和强化学习（RL）的引入，简单与常规困难问题已被逐渐攻克，模型训练与评估正呈现出“双螺旋演进”的互相促进关系。 - [24:19](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=1459s) 未来的评估体系和强化学习训练极度依赖由顶尖数学、计算机博士标注的高难度环境与专家数据，目前一条高质量专家数据的成本可高达几千美金。

## Detailed walkthrough 以下是根据视频录音整理的详细、忠实且保留丰富细节的 walkthrough 笔记。

---

[00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 永不打烊的 AI 竞技场：LM Arena 的崛起与谷歌的“惯例”

在大模型激战的当下，究竟谁才是最强王者？是 OpenAI 的 GPT、Anthropic 的 Claude、谷歌的 Gemini，还是中国黑马 DeepSeek？当各大厂商的 AI 模型排行榜开始充斥着刷分和作弊，大模型谁最牛的问题变得极其主观。直到一个名为 LM Arena（原名 Chatbot Arena）的线上排行榜诞生，才为这个混乱的战场提供了一个相对客观的衡量标准。

不久前爆火的谷歌最新文生图模型“nano banana”（就是那个能把小娃变成小星星的 AI 应用），最早就是以神秘代号出现在 LM Arena 上并引发破圈关注的。最近，网友们发现谷歌故技重施，其未发布的 Gemini 3.0 已经悄然现身 LM Arena。根据网友测试： - 代号 **Lith & Flow** 预计对应的是 **Gemini 3.0 Pro**。 - 代号 **Orionist** 对应的是 **Gemini 3.0 Flash**，据说其读表、作曲和演奏能力实现了全方位飞升。

在正式发布新模型之前，先放到 LM Arena 上“跑一跑”，似乎已经成了谷歌的惯例操作。事实上，不仅是谷歌，OpenAI、Anthropic、Meta（Llama）、DeepSeek、腾讯混元、阿里千问等几乎所有头部大模型，都把这里当成了常规赛场。在文字、视觉、搜索、文生图、文生视频等细分领域，LM Arena 每天都在进行上千场实时匿名对战，由普通用户投票选出更好的回答。

随着技术创新趋于饱和，许多 AI 研究者指出，大模型竞赛下半场最重要的事情之一就是“重新思考模型评估”。真正拉开差距的不再是参数量或推理速度，而是谁能更准确地衡量和理解模型的智能边界。LM Arena 就像一座永不打烊的竞技场，用真实的用户、真实的投票和动态更新的排名，试图重新定义衡量模型的方式。

---

[04:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=299s) 传统 Benchmark 的局限与 LM Arena 的诞生机制

在 LM Arena 出现之前，学术界主要依赖传统的静态基准测试（Benchmark），如 MMLU、BigBench、Hellaswag 等。 - **MMLU（Massive Multitask Language Understanding）**：涵盖从高中到博士级别的 57 个知识领域（历史、医学、法律、数学、哲学等），既考查“神经网络中梯度消失如何解决”等技术问题，也考查“美国宪法第14修正案核心内容”等社科问题。 - **Big Bench**：偏向推理与创造力，例如让模型解释冷笑话、写诗或完成逻辑填空。 - **Hela Swag**：专门测试模型对日常情境的理解，比如“一个人打开冰箱后最可能发生什么”。

这些静态测试在过去 20 年主导了 AI 研究，其优点是标准统一、结果可复现。但随着模型越来越强，它们的局限性也暴露无遗： 1. **题库泄露与过拟合（Overfitting）**：测试题极易出现在模型的训练语料中，模型拿高分可能只是因为“记住了答案”而非真正理解。 2. **无法反映真实交互**：静态测试多为单轮选择题，更像封闭式考试，而非开放式对话。

英伟达首席研究科学家、LM Arena 早期框架搭建参与者周邦华在接受《硅谷101》采访时指出，正是因为传统 benchmark 存在过拟合和数据污染问题，才催生了 Arena 这种动态测评。Arena 的每个问题都是独特的，由世界各地（如俄罗斯、越南）的用户随时随地根据即时想法提出，在当时没有任何“Arena data”可供模型提前拟合。

2023 年 5 月，LM Arena 的雏形诞生于加州大学伯克利分校的 LMSYS 团队（核心成员包括威林、铲联、明正等）。当时他们刚发布开源模型 Vicuna，而斯坦福也推出了 Alpaca。由于两者都蒸馏自 ChatGPT 的数据，团队想知道谁更胜一筹。他们尝试了两种方法： 1. **GPT-4 充当评委**：对不同模型的答案打 0 到 10 分（后演化为 MT-Bench）。 2. **人类两两比较（Pairwise Comparison）**：随机挑选两个模型针对同一问题生成答案，由人类盲测评审。

第二种方式被证明更可靠，由此诞生了 Chatbot Arena。其核心机制是：用户输入问题，系统随机分配两个匿名模型（如 GPT-4 和 Claude）给出回答，用户投票后揭示模型身份。系统采用源自国际象棋的 **Bradley-Terry 模型（Ello 评分机制）**，根据胜负实时调整分数，形成动态排行榜。此外，平台通过算法自动平衡模型的出场频率、任务类型和样本分类，防止曝光量偏差，且所有数据和算法开源。周邦华透露，其技术本质是经典统计方法的工程化实现，团队在“主动模型选择（Active Model Selection）”等动态调度机制上做了较多探索。

---

[09:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=599s) 黄金标准的信任红利，与“刷榜、数据不公”的争议

LM Arena 这种匿名对战加动态评分的方式，实现了从静态到动态评测的跃迁。2023 年底，前特斯拉 AI 总监、OpenAI 早期成员 Andrej Karpathy 在 X（原 Twitter）上发文称，他当时只信任两个 LLM 测评方式：Chatbot Arena 和 Llama 社区（R Local Llama）。这为平台带来了第一波爆发性流量。

随着 GPT-4、Claude、Gemini、Mistral、DeepSeek 等模型陆续接入，平台访问量暴增。到了 2024 年底，平台扩展至 Code Arena（代码）、Search Arena（搜索）、Image Arena（多模态图像理解）等细分赛道，并在 2025 年 1 月正式更名为 **LM Arena**。

然而，随着影响力扩大，LM Arena 也面临着诸多质疑： - **偏好偏差与讨好型人格**：人类评判并非绝对中立，受语言、文化和个人习惯影响。用户更倾向于选择语气自然、回答冗长的模型，而非逻辑最严谨、信息最准确的那一个。Cohere 与斯坦福等机构的联合研究指出，Arena 结果与传统 benchmark 分数并非强相关，且存在话题和地区偏差。 - **游戏化与针对性优化**：一些厂商开始专门针对 Arena 的投票机制优化回答风格（如使用模糊语气、提升数字密度、精细调教 Prompt）。 - **数据分配不公**：Cohere 的研究指出，头部供应商拥有巨大优势。Arena 上 **62.8% 的对战数据流向了特定厂商**，其中谷歌和 OpenAI 分别获得了约 19.1% 和 20.2% 的数据，而其余 83 个开源模型总共仅分到 29.7%。这使得专用模型供应商能利用更多用户交互数据进行针对性优化。 - **Meta 刷榜事件**：2025 年 4 月，Meta 在 Arena 上提交的 **Llama 4 Maverick** 版本超越了 GPT-4o 和 Claude，跃居排行榜第二。但当开源版上线后，开发者发现其实际表现并不好，质疑 Meta 提供了“Arena 专供优化版”。舆论爆发后，官方更新了政策，要求厂商披露模型版本与配置，并将 Hugging Face 公开版的 Llama 4 Maverick 重新加入评估。

此外，LM Arena 的商业化也引发了对其“中立性”的担忧。2025 年 5 月，团队正式注册成立公司 **Arena Intelligence Inc**，并完成了由 A16Z、UC Investments 和 Light Speed 等领投的 **1 亿美元种子轮融资**。业界担忧，当资本介入后，它是否还能保持最初的开放与中立。

---

[14:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=899s) 融合式评测的未来：从 Alpha Arena 到专家数据的“双螺旋”演进

在 LM Arena 之后，大模型评测进入了新的拐点。传统的静态 benchmark 并没有过时，而是向着更高难度和更细分的领域演化，例如推出了 **MMLU Pro**、**BigBench Heart**，以及： - **AIME-2015**（数学与逻辑） - **SWE-Bench**（编程） - **AgentBench**（多智能体）

同时，评测也在走向真实世界。例如创业公司 NUV1 推出的 **Alpha Arena**，在首轮活动中选取了 DeepSeek、Gemini、GPT、Claude、Grok 和 Qwen 六大模型，在真实的加密货币交易市场中进行实战对战。平台给每个模型相同的资金和 Prompt，让它们独立决策交易，最终以实际收益和策略稳定性作为评测依据。结果，具有量化基金背景的 **DeepSeek 获得了胜利**。虽然这带有一定噱头，但这种实战式测评让 AI 在动态对抗的开放世界中接受了检验。

未来的模型评估将是“融合式评测框架”：静态 benchmark 提供可复现、可量化的标准，而 Arena 提供动态、开放、面向真实交互的验证。

周邦华指出，随着模型能力提升，简单问题（Easy Prompts）越来越多，Arena 之前推出了自动难度过滤（Hard Filter Version）。但随着 Thinking Model（推理模型）和强化学习（RL）的引入，原本困难的问题也变简单了。未来的方向是由人类专家与强化学习环境共同推动的高难度数据建设。 - **双螺旋演进**：训练（Training）和评估（Evaluation）像双螺旋一样互相促进。模型变强迫使评估体系升级，而更难的评估又反过来定义模型能力的边界。 - **高昂的专家数据成本**：目前大部分 RL 环境标注工作都需要寻找顶尖的数学、计算机 PhD（博士）来标注数学和代码数据，**一条高质量数据的价格甚至高达几千美金**。周邦华目前在英伟达的工作之一，就是构建一个 RL Environment Hub，引入更多、更难的环境让大家用 RL 训练模型。

正如 OpenAI 研究员姚顺雨在博客《The Second Half》中所写：“AI 的上半场是关于如何训练模型，而下半场则是如何定义与衡量智能。” 评测不再只是终点，而是成为了 AI 向前发展的核心科学。

- **LM Arena 融资额**：1 亿美元种子轮融资（2025 年 5 月）。 - **数据倾斜比例**：谷歌（19.1%）与 OpenAI（20.2%）占去近四成对战数据，83 个开源模型仅占 29.7%。 - **专家标注成本**：顶尖数学/CS PhD 标注的高难数据，单条成本可达数千美元。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 在正式发布新模型之前，先放到 LM Arena 上“跑一跑”，似乎已经成了谷歌的惯例操作。

> [00:00](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=0s) 真正拉开差距的不再是参数量或推理速度，而是谁能更准确地衡量和理解模型的智能边界。

> [04:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=299s) 模型拿高分可能只是因为“记住了答案”而非真正理解。

> [04:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=299s) 正是因为传统 benchmark 存在过拟合和数据污染问题，才催生了 Arena 这种动态测评。 — 周邦华

> [09:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=599s) 用户更倾向于选择语气自然、回答冗长的模型，而非逻辑最严谨、信息最准确的那一个。

> [14:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=899s) 未来的方向是由人类专家与强化学习环境共同推动的高难度数据建设。 — 周邦华

> [14:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=899s) 训练（Training）和评估（Evaluation）像双螺旋一样互相促进。模型变强迫使评估体系升级，而更难的评估又反过来定义模型能力的边界。 — 周邦华

> [14:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=899s) AI 的上半场是关于如何训练模型，而下半场则是如何定义与衡量智能。 — 姚顺雨

> [14:59](https://www.bilibili.com/video/BV1ai1PB5EUJ?t=899s) 评测不再只是终点，而是成为了 AI 向前发展的核心科学。

## Mentioned OpenAI, GPT, Anthropic, Claude, 谷歌, Gemini, DeepSeek, LM Arena, Chatbot Arena, nano banana, Lith & Flow, Gemini 3.0 Pro, Orionist, Gemini 3.0 Flash, Meta, Llama, 腾讯混元, 阿里千问, MMLU, BigBench, Hellaswag, 周邦华, 英伟达, 加州大学伯克利分校, LMSYS, 威林, 铲联, 明正, Vicuna, 斯坦福, Alpaca, GPT-4, MT-Bench, Bradley-Terry 模型, Ello 评分机制, Andrej Karpathy, X, R Local Llama, Code Arena, Search Arena, Image Arena, Cohere, Llama 4 Maverick, Hugging Face, Arena Intelligence Inc, A16Z, UC Investments, Light Speed, MMLU Pro, BigBench Heart, AIME-2015, SWE-Bench, AgentBench, NUV1, Alpha Arena, Grok, Qwen, Thinking Model, RL Environment Hub, 姚顺雨

[Source](https://www.bilibili.com/video/BV1ai1PB5EUJ)

中文简报

谷歌测试Gemini 3.0致LM Arena泄密，大模型评测迈向专家对战传统静态测试因题库泄露失效，大模型评估进入以高难度专家数据与实战对抗为核心的下半场。节目详细探讨了大模型评测标准的演进，指出传统静态基准测试存在过拟合与无法反映真实交互的局限。LM Arena凭借动态匿名对战和人类盲测机制迅速崛起，成为科技巨头发布新模型前的常规赛场与信任标杆。然而，随着平台影响力的扩大，它也陷入了人类偏好偏差、数据分发向头部厂商倾斜、Meta刷榜事件以及商业化中立性的争议中。未来，AI评测正走向静态测试与动态实战（如Alpha Arena）相结合的融合框架，并依赖高成本的专家数据推动模型能力与评估体系的双螺旋演进。在传统 Benchmark 测试因题库泄露与刷分失去公信力之际，LM Arena 通过“匿名盲测对战+人类投票”与 Bradley-Terry（Elo）动态评分机制，成为谷歌、OpenAI、DeepSeek 等头部厂商新模型发布前的常规赛场。 (0:00) 英伟达科学家周邦华指出，静态测试多为封闭式选择题且容易过拟合，而 LM Arena 汇聚全球用户的即时独特问题，弥补了传统评测难以反映真实交互的缺陷。 (4:59) LM Arena 虽成行业标杆，但也面临语言风格偏好、Meta 专供模型“刷榜”争议，以及谷歌和 OpenAI 独占近四成交互数据导致的不公平问题，其商业化完成 1 亿美元融资后中立性亦受考验。 (9:59) AI 评测正迈向与实战结合的“融合式评测”，评估与训练正形成双螺旋演进，未来高难度评测日益依赖单条成本达数千美元的博士专家标注数据与强化学习环境。 (14:59)

Reading summary

随着传统静态基准测试出现严重的数据污染与过拟合，基于真实用户盲测的 LM Arena 成为衡量大模型能力的新标尺，但其自身也面临着刷榜偏好、数据倾斜与商业化中立性的争议。静态测试失效与 LM Arena 的诞生 (4:59) 在过去二十年，AI 研究主要依赖 MMLU、BigBench 和 Hellaswag 等静态基准测试，其优势在于标准统一且可复现。但英伟达首席研究科学家周邦华指出，随着模型能力增强，静态评测普遍暴露出题库泄露、过拟合以及无法体现多轮真实交互的短板，模型高分往往仅因“记住了答案”。为解决过拟合与数据污染，加州大学伯克利分校 LMSYS 团队于 2023 年 5 月开发出 Chatbot Arena 雏形。系统基于用户即时提出的真实问题，随机分配两个匿名模型生成回答，由用户盲测投票，并引入国际象棋的 Bradley-Terry（Elo）评分模型实时计算动态排名。平台算法自动平衡模型出场频率和任务样本，提供动态、防拟合的测评环境。行业影响力扩大与前置测试惯例 (0:00) 随着 GPT-4、Claude、Gemini、DeepSeek 等头部模型陆续接入，LM Arena 获得了极高的业界关注，前特斯拉 AI 总监 Andrej Karpathy 曾公开表示其是少数值得信任的评测方式之一。该平台随后拓展至代码、搜索和图像等细分领域，并于 2025 年 1 月正式更名为 LM Arena。在发布前将未公开模型投放至竞技场盲测已成为厂商的常规操作。例如谷歌先以“nano banana”代号测试文生图模型，随后其未发布的 Gemini 3.0 也以代号“Lith & Flow”（预计为 Gemini 3.0 Pro）和“Orionist”（Gemini 3.0 Flash）在平台上测试读表、作曲与演奏等能力。针对性刷榜、数据倾斜与中立性隐忧 (9:59) 伴随权威地位的确立，LM Arena 的评测机制也引发了学术界与开发者的质疑。研究显示，用户投票更偏好语气自然、回答冗长的模型，部分厂商针对此机制进行优化。2025 年 4 月，Meta 的 Llama 4 Maverick 在 Arena 冲至第二，但开源版本实际表现引发争议，促使官方更新规范，要求披露版本配置并重新评测开源版。此外，Cohere 与斯坦福等机构的研究揭示了严重的数据分配不公：Arena 平台 62.8% 的对战数据流向特定厂商，其中谷歌占 19.1%、OpenAI 占 20.2%，而 83 个开源模型共计仅获得 29.7%。2025 年 5 月，团队成立公司 Arena Intelligence Inc 并完成由 A16Z 等领投的 1 亿美元种子轮融资，资本的介入也引发了外界对其能否维系中立的担忧。融合式评测与专家数据构建的下半场 (14:59) 大模型评测正迈向“静态与动态结合”的融合模式。一方面，静态基准向 AIME-2015、SWE-Bench 及 AgentBench 等高难度和垂直领域升级；另一方面，实战化动态测评也在展开，例如创业公司 NUV1 推出的 Alpha Arena 让 DeepSeek、Gemini、GPT 等在真实加密货币市场中直接依据交易收益和稳定性对战，最终 DeepSeek 获胜。周邦华指出，推理模型与强化学习（RL）使原本困难的问题变简单，模型训练与评估正形成“双螺旋”演进。未来的评测依赖顶尖环境与高难度数据，目前顶尖数学与计算机博士标注的单条 RL 数据成本可达数千美元。评估智能已不再是单一测试，而是推动模型能力边界的核心科学。当前 AI 竞争正从单纯的模型训练转向如何定义和衡量智能边界，但在评测机制的客观性、防作弊能力及高昂的专家标注成本面前，建立真正公正的评估标准仍是一个持续演化的课题。

Source quotes

[0:00] 在正式发布新模型之前，先放到 LM Arena 上“跑一跑”，似乎已经成了谷歌的惯例操作。 [0:00] 真正拉开差距的不再是参数量或推理速度，而是谁能更准确地衡量和理解模型的智能边界。 [4:59] 模型拿高分可能只是因为“记住了答案”而非真正理解。 [4:59] 周邦华: 正是因为传统 benchmark 存在过拟合和数据污染问题，才催生了 Arena 这种动态测评。 [9:59] 用户更倾向于选择语气自然、回答冗长的模型，而非逻辑最严谨、信息最准确的那一个。 [14:59] 周邦华: 未来的方向是由人类专家与强化学习环境共同推动的高难度数据建设。 [14:59] 周邦华: 训练（Training）和评估（Evaluation）像双螺旋一样互相促进。模型变强迫使评估体系升级，而更难的评估又反过来定义模型能力的边界。 [14:59] 姚顺雨: AI 的上半场是关于如何训练模型，而下半场则是如何定义与衡量智能。 [14:59] 评测不再只是终点，而是成为了 AI 向前发展的核心科学。

Original transcript

[0:00] 在大模型激战的当下究竟谁更强是OpenAI的GPT还是Andravic的Cloud是谷歌的Gemini还是中国的DeepseekCloud is the bestGPT is the bestGoogle is the bestRock is the best听大家都别吵了当AI模型排行榜开始被各种刷分作弊之后谁家大模型最牛这个问题就变得非常的主观直到一家线上排行榜的诞生它叫LM Arena或许你还记得不久之前爆火的谷歌最新文神图模写nano banana对就是把我家娃变成小星星的那个AI应用它其实最早以神秘代号出现并且引发破全式关注的地方就是LM Arena对了最近网友们又发现谷歌又故技重施X319的Gemini 3.0被发现已经出现在了LM Arena上根据网友们的测试展会Gemini 3.0 Pro的代号应该就是Lith & Flow而Gemini 3.0 Flush是Orionist据说能够读表能作曲和演奏能力再一次全方位的飞升你可能会在对战中随机的遇到他们如果遇到的话记得一定要抓住机会好好的拷问拷问不能看出在正式发布新模型之前让他们在LM Arena上面跑一跑似乎就已经成为了谷歌的惯例操作而实际上各家模型其实早就已经把LM Arena当做了常规赛场用来测试普通用户最真实的反馈除了Google OpenAIAndroidLamaDeepSeek混元签问几乎所有的头部模型都在LM Arena上打了一台在文字视觉搜索纹身图纹身视频等不同的AI大模型细分领域LM Arena上面每天都有上千场的实时对战由普通用户来匿名投票选出哪一方的回答更好最近以来很多AI研究者都纷纷发声认为大模型竞赛的下半场最重要的事情之一就是重新的思考模型评估因为当技术创新区与宝盒真正拉开差距的可能将不再是谁的参数更多推理更快而是谁能更准确的衡量理解模型的智能边界而如LM Arena这样的平台正是当前这一领域中最前沿也是最具实践意义的探索之一它就像一座永不打烊的AI竞技场真实的用户真实的投票并且排名动态更新用一场场真实的人机交锋试图重新定义我们衡量模型的方式那么在大模型评测上传统的benchmark基准测试究竟存在什么样的问题是已经过时了吗LM Arena的竞技场模式为什么会被视为一种新的标准它的技术机制公平性和商业化隐藏着什么样的挑战而下一代的大模型评测又可能会走向哪里呢Hello大家好我是陈倩欢迎收看硅谷101那这期视频我们来聊一聊LM Arena那么在LM Arena之前AI大模型是怎么被评估的呢方法其实非常的传统研究者通常会准备一组固定的题库比如说MMLUBigBenchHellaswa等等那么这些名字普通人看起来很陌生但是在AI学术界几乎是家喻户晓的这些题库涵盖学科语言常识推理等多个维度通过让不同模型作答再根据答对率或者得分来对模型进行比较那比如说MMLU全称是Massive Multitask Language Understanding它涵盖了从高中到博士级别的57个知识领域包括历史、医学、法律、数学、哲学等等模型既需要回答向神经网络中的T度销售问题如何解决这样的技术问题也需要回答美国宪法第14修正案的核心内容是什么这样的社会科学问题学科跨度很大而Big Bench更偏向推理和创造力比如说让模型结实冷笑话继续写诗或者完成逻辑填空Hela Swag则专门用来测试模型对日常情境的理解能力比如说一个人正在打开冰箱接下来最可能会发生什么等等这些benchmark在过去20年几乎主导了整个AI的研究领域他们的优点显而易见就是标准统一结果可复显那学术论文只要能够在相关公开数据集上刷新分数就意味着性能更强而AI的上半场也正是在这种比成绩的节奏下高速发展起来的但是这些早期的benchmark是静态的多以单纹问答选择题形式为主屏幕结构简单评测维度明确便于统一打分和横向的比较然而当模型的能力越来越强训练数据越来越庞大的时候这些benchmark的局限就开始显现了首先是所谓的题库陷漏很多测试题早就出现在模型的训练预料当中于是一个模型在这些测试上得分再高也不代表他真的理解了问题只能说明他记住了答案其次Benchmark永远测不出模型在真实交互中的表现它更像是一场封闭的考试而不是一次开放的对话华盛顿大学助理教师 [4:59] 英伟达首席研究科学家同时也是LM Arena早期框架搭建的参与者周邦华在跟我们硅谷101的采访中就表示这是因为传统的静态benchmark所存在的过拧和数据污染等问题才催生出了Arena这种新的模型测评方式Natic benchmark比如Mass500或者MMU有几个问题一共就是说大家非常容易overfit因为这个比如说一共就几百个问题而且我都有ground truth如果存在ground truth上没有人能detect出来虽然有一些所谓的contamination detection method但其实这个是比较难真的100%就是做到detection然后所以这种static benchmark当时大家就说首先一是数量很少二是就是说大家可能coverage可能不太够它可能就有最简单的math然后最简单的一些knowledge然后最简单的一些coding像这个human evolve这种然后当时的benchmark数量少同时这个coverage不太好的情况下这Arena就作为一个非常独特的端程式出现了因为它每一个问题都是unique它可能是世界各地的人问然后它可能是俄罗斯或者越南的人在问你这样一个问题然后同时它问的问题都是随时随地当时当地去想的一个问题所以这个事就很难去在当时overfit尤其是在当时大家都没有什么Arena data的时候那么LM Arena究竟是如何运作的呢2023年5月LM Arena的雏形诞生于加州大学伯克利的LMSYS团队核心成员包括威林铲联明正等人当时他们刚刚发布了开源模型Vacuna而斯坦福大学在此之前也推出了另外一个类似的叫Alpaka因为这两个模型都是从ChartGPT的数据中蒸馏得到的于是LMSYS的团队就想知道从性能和表现上来看究竟谁更胜一筹呢当时并没有合适的测评方法能够回答这个问题LMSYS团队是尝试了两种方法第一种是尝试让GPT三张虎作为评委对不同模型生成的答案打0到10分这种方法后来演化成为了MTBench也就是Model Test Benchmark另外一种方式是采用人类比较Pairwise Comparison即随机挑选两个模型针对同一个问题分别生成答案再让人类去评审选择哪个更好最终第二种方式被证明更可靠并由此诞生了Arena的核心机制基于此他们首先搭建了一个实验性网站Chabot Arena也就是今天的LM Arena的前身在传统的基准测试里模型是在预设题库中答题而在Chabot Arena上他们则要上场打擂台当用户输入一个问题之后系统会随机分配两个模型比如说GPT4和Cloud但是用户并不知道自己面对的是谁两边的模型几乎同时生成回答用户只需要投票左边好还是右边好等投票完成之后系统才会揭示他们的真实身份这个过程被称作匿名对战投票结束之后系统会基于Bradley Terry模型实现Ello式评分机制分数会根据胜负实时变化从而形成一个动态的排行榜Ello排名机制最早来自于国际象棋每个模型都会有一个初始分数每次赢一场就会涨分输一场就会扣分随着对战次数的增加分数会逐渐收敛最终形成一个动态的模型排行榜这种机制的妙处在于它让测评变成了一场真实世界的动态实验而不再是一次性的B券考试除此之外LM Arena不仅仅是让模型打架它背后还有一个独特的人机协同评估框架这个框架的逻辑是用人类的投票去捕捉真实偏好再通过算法去保证统计公平平台会自动平衡模型的出场频率任务类型和样本分类防止某个模型因为曝光量大而被高估换句话说它让评测既开放又可控更重要的是Chabble Arena的所有数据和算法都是开源的任何人都可以复现或者分析结果作为LM Arena早期搭建的核心参与者周邦华就告诉我们LM Arena的技术本身并不是新算法更多的是经典统计方法的工程化实现它的创新点不在于模型本身而在于系统架构与调度机制一方面就是说它虽然这个Brandi Terry Model本身没有什么太多技术上的新的东西但是你怎么选Model这个事可能是something new也不是特别new但就是说是大家摸索出来的就是说因为你现在假设有100个Model然后我想了解他们互相之间到底哪一个更好这个事你其实需要一些active learning就是说你需要假设我选了一些Model出来我已经知道他们大概怎么样了那我下面选Model我应该选一些我更不确定的模型ranking然后去做这个 comparison然后怎么去dynamically选去做比较optimal这种Active Model Selection这个事是我们当时explorer比较多的一个事然后当时就是Anaesthesius做了一些这种相关的theory study然后同时就大家又一起去做了一些这种experimental research [9:59] 比较一下不同的这种怎么去调这些参数让这个model能更好地去被选出来这是一个component当然就是说我个人觉得就是说这种项目它可能本身还有一些timing和luck的成分在里因为当时确实是所有人都需要很好的evaluationbenchbar然后这个时候human preference又完全没有被saturate就是大家那个时候的human preference确实能比较真实地反映这个model本身的capability所以在那个时候我觉得Arena作为这个industry gold benchmark是非常make sense也是比较顺利成章LM Arena这种匿名对战加动态评分的方式被认为是从静态benchmark向动态评测的一次跃迁它不再追求一个最终的分数而是让评测变成一场持续发生的真实世界实验它就像是一个实时运行的AI智能观测站那么在这里模型的优劣不再由研究者定义而是由成千上万的用户选择来共同决定2023年12月底前特斯拉AI总监OpenAI的早期成员Andre Karpathy在X上是发了一条关于LLM Arena的推文称目前他只信任两个LLM的测评方式Chabot Arena和R Local Llama给Chabot Arena社区中是收获到了第一批流量2023年年底的2024年年初随着GPT4 Cloud Gemini Mistro DeepSeek的模型的陆续接入Chabot Arena平台的访问量迅速增长研究者、开发者甚至普通用户都在这里观察模型的真实表现到了2024年年底平台的功能和评测任务开始扩展除了语言模型的对话任务团队还逐渐设计到了大模型的细分赛道陆续上线了专注代码生成的Code Arena专注搜索评估的Search Arena专注多模态图像理解的Image Arena等字平台为了体现测评范围的扩展平台也在2025年1月正式从Chaba Arena更名为LM Arena及Large Model Arena几个月前谷歌的Nano Banana的爆火也是让更多普通用户关注到了LM Arena至此LM Arena从一个研究者间的小众项目彻底成为了AI圈乃至公众视野中的大模型竞技舞台LM Arena的火爆让它几乎成为了大模型评测的非官方标准了但是和所有新的实验一样随着光滑越来越大它也受到了越来越多的质疑首先是公平性问题在LM Arena的匿名对战机制中用户的投票结果直接决定模型的Allopaming然而这种人类评判的方式并不总是中立的不同的语言背景文化偏好甚至是个人使用习惯都会影响投票结果一些研究发现用户更倾向于选择语气自然回答种常的模型而不一定是逻辑最严谨信息最准确的那一个这意味着模型可能因为讨人喜欢而获胜而非真的更聪明2025年年初来自Cohere斯塔福大学以及多家研究机构的团队联合发布了一篇研究论文系统的分析了LL Marina的投票机制与数据分析研究就指出Arena的结果与传统benchmark分数之间并非强相关而且存在话题偏差与地区偏差也就是说不同类型的问题或不同用户群体的投票可能会显著改变模型的排名此外还有游戏化和过拟壳的问题当LM Arena的排名被广泛引用甚至被媒体视为模型能力的权威榜单时一些公司开始为上榜专门优化模型的回答风格比如说更积极地去使用模糊语气提升数字密度或者在提示工程上精细调教以希望赢得投票Cokehier的那篇研究论文就明确地指出大型供应商在获取用户数据方面拥有明显的优势通过API接口他们能够收集到大量的用户与模型交互的数据包括提示和偏好设置然而这些数据并没有被公平的共享62.8%的所有数据是流向了特定的模型提供商比如说Google和OpenAI的模型就分别获得了Arena上大约19.1%和20.2%的全部用户对战数据而其他83个开源模型的总数据占比仅为29.7%这使得专用模型供应商能够利用更多的数据进行优化甚至可能针对LM Arena平台进行专门优化导致过度拧合特定指标从而提升排名一个典型的例子就是Meta的刷榜事件那今年2025年4月Meta在LM Arena上提交的Lama 4 Maverick模型版本它的表现是超越了GPT4O和Cloud是跃居了整个排行榜的第二但随着Lama 4大模型开源版的上线诶开发者们发现它的真实效果的表现其实并不好因此质疑Meta疑似给LM Arena提供了经过专门针对投票机制的优化的专供版模型是导致了Lama 4的口碑 [14:59] 急转直下那舆论爆发之后LM Arena官方更新了排行榜政策要求厂商披露模型版本与配置以确保未来评估的公平性和可重复性并把公开的Hugging Face版本的Lama 4Maverick是加入了排行榜进行重新的评估但事件依然在当时引发了业内关于评测公平性的激烈讨论了而除了系统和技术上的挑战LM Arena的商业化也让它的中立性受到质疑2025年5月LM Arena背后的团队正式注册公司Arena Intelligence Inc并且宣布完成了1亿美元的种资论融资投资方就包括了A16Z UC Investments和Light Speed等这也意味着LM Arena正式从一个开源研究项目转变为了具备商业化运营能力的企业公司化之后平台就可能会开始探索数据分析定制化评测和企业级报告等商业服务那么这一转变也开始让业界担忧当资本介入用户需求与市场压力叠加的时候LM Arena是否还能保持最初开放与中立它的角色是否会从裁判变成利益相关方能那在LM Arena之后呢大模型评测似乎呢就进入到了一个新的拐点它解决了过去benchmark静态封闭的问题但是却也暴露出新的矛盾那就是当评测数据用户偏好甚至投票机制都可能会成为商业竞争的一部分我们该如何去界定公平这两个字呢那么究竟什么样的模型评估方式才是当前所需要的呢实际上LM Arena的出现并不意味着传统的benchmark已经过时在它之外静态的benchmark依然在持续的演化最近几年来基于传统的benchmark研究者们是陆续推出了难度更高的版本比如说MMLU ProBigBench Heart等等此外一些全新的聚焦于细分领域的benchmark也在不断的被创造出来比如说数学与逻辑领域的AIME-2015编程领域的SWE-Bench多智能体领域的AgentBench等等那这些新的benchmark不再只是考知识而是在模拟模型在真实世界中的工作方式从过去单一的考试题集演化为了一个庞大而多层次的体系有的评推理有的测代码有的考记忆与交互与此同时评测也在进一步走向真实世界比如说最近一家名为Alpha Arena的新平台就引发了大量的关注它由创业公司NUV1推出在首轮活动中平动中平台选取了DeepSeekGeminiGBTClawedBrock和Chamlin等六大模型在真实的加密货币交易市场中进行对战它给了每个模型相同的资金和Prompt让它们独立决策和交易最终以实际收益和策略稳定性作为评测依据结果是DeepSeek竟然赢了无愧是量化基金部公司加密做出来的AI模型虽然这个对战更多是噱头为主大约模型去预测股市现在还是非常不靠谱的但是Alpha Arena的这种实战式测评是再一次跳出了传统的题库和问答框架让模型在动态对抗的环境中被检验被视为世纪LM Arena之后再一次尝试让AI在开放世界中接受考验的实验不过Alpha Arena更偏向特定任务领域的真实验证其结果也更难复现和量化实际上这些Arena出现的意义也并非是要取代静态的benchmark而是为这个体系提供一面镜子试图把静态测试中难以衡量的人类偏好和语意细节重新引入到评测系统当中那也就是说呢未来的模型评估不再是静态benchmark和arena之间的二选一而更可能是一种融合式的评测框架那么静态benchmark负责提供可复现可量化的标准而Arena负责提供动态开放面向真实交互的验证那么两者结合进而构成衡量智能的完整坐标系那么在这样的一个评估体系中目前最重要也最具挑战的部分是什么呢那周邦华就认为啊随着大模型能力提升原有测试及太简单的问题愈发突出Arena的自动难度过滤是提出了阶段性的解决方案但是真正的方向是由人类专家与强化学习环境共同推动的高难度数据建设大家之前比如说包括Arena在内大家会complain一个问题就是大家觉得可能比较简单的query太多了但随着model变得越来越强它这个简单的定义也会变得越来越大就可能越来越多的prompt都属于是easy prompt然后所以当时Arena出了一个hard filter version它会根据这个prompt的它直接问model说这个哪一个更难然后去filter一些hard prompt出来现在随着thinking model的引入然后随着比如说大家接着用RL串各种各样的model原来难的problem现在也不是特别难所以这个时候可能就更需要human expert去标各种各样更难的数据作为benchmark这也是我们作为model developer我们现在在做的一个事如果你看Grockford的话他们claim做pre-training skill的RL其实这个是 [19:59] 一方面就是说你RL的data得非常多另一方面如果你RL data都是用非常简单的data那其实对Model不会有任何体验所以你需要大量的非常困难的data包括我现在在Avidia做的一个事也是就是说想做一个RL environment hub让大家去所谓更多更难的这种environment进来能让更多人用RL来去train它那朱邦华就谈到说但模型评估的未来不会是线性的一个改进而会是螺旋式的共演一边是不断变强的模型另外一边是不断变难的评测模型的突破迫使评测体系升级而新的评测又反过来定义了模型能力的边界而高质量的数据成为了连接这两者的中枢IL和Evaluation或者是training和Evaluation就像是双楼悬的感觉就是你一方面training不断地让model变强然后Evaluation就会有更难的benchmark出来说你这个现在model还不行你就会提升你的training比如environment的难度或者是你找更好的model architecture更好的算法然后把model capability再提升你可能就需要更难的一般对付然后现在似乎就已经到了就是说大家这两步都得慢慢不断的找human expert来去标的程度现在大部分其实和很多这种RI environment labeling的工作他们都会去找比如说PhD他们会找top math PhDtop CS PhD去标这个math coding data然后这个data卖的也非常贵这一条可能就是几千刀的水平所以现在大家慢慢的都偏向就是说找这种expert data能够真的让GP5或者是top model都没有办法回答的这种或者说回答错的这种然后通过这种来去构造更难的Tranet Data和U10S除了数据至关重要之外朱邦华还认为说研究者不仅是要造benchmark更要学会选benchmark如何在成百上千个数据集中进行筛选组合和聚合建立一个坚固统计有效性与人类偏好的聚合框架也是接下来几年重要的工作方向正如OpenAI的研究员姚舜宇在大家的博客The Second Half当中写道AI的上半场是关于如何训练模型而下半场则是如何定义与衡量智能如今评测不再只是AI模型性能的终点而正在成为AI向前发展的核心科学那究竟什么样的评估方法才是最优的呢或许我们目前还无法下定论但能够预见的是这将是一场持续进行的实验我们需要在成牌上千个benchmark当中找到那些真正有价值的任务然后在类似于LM Arena这样的竞技场当中去捕捉人类偏好的信号最后再将它们结合成为一个动态开放可信的智能测量体系也许在那一天我们就不再需要问一个模型最强而是真正去探索智能究竟是什么欢迎大家给我们留言你们觉得LM Arena的方式是不是衡量模型的最好标准呢你们的留言点赞和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见啦Bye