大模型离线高分频现线上退化研发借负反馈回流重构评测闭环

AI大模型-阿水

静态评测集易因过拟合与评委偏好导致虚高分数，模型落地须以重新生成率等线上隐式行为校准指标并将坏例回流门禁。

AI-assisted summary of 面试官：离线评测和在线评测分别评什么？ — original source. Check the original for full context.

Source published: 2026-09-25

Key ideas

离线与在线评测的本质区别在于“能力上限”与“使用意愿”：离线评测是闭卷考试，用于上线门禁与防退化；在线评测则是市场检验，用于在真实流量中验证业务价值。 (0:00)
在线评测的核心抓手是“重新生成率”等隐式行为反馈，结合 Interleaving（交错实验）可在真实用户交互中有效消除个体差异。 (1:50)
“离线分数涨而线上体验跌”的背离现象通常源于评测集分布失真、静态题库过拟合，或模型迎合了评委模型的偏好（如 LLM 打分器的长文本偏好导致回答冗长）。 (3:20)
高水平大模型工程体系依赖数据飞轮：定期校准离线与线上指标的相关性，并将线上点踩、重写等 Bad Cases 自动化清洗回流至离线评测集以驱动迭代。 (3:20)

Detailed notes

## Background 该视频由UP主“AI大模型-阿水”于2026年9月25日发布在Bilibili平台。视频简介提供了大模型与Agent学习路线、实战案例集、电子书及答疑资源的获取链接，内容主要面向大模型技术求职与面试场景。

## TL;DR 视频深入剖析了面试高频题“离线评测与在线评测分别评什么”，指出离线看“能力”（闭卷考试，验证能否答对），在线看“意愿”（市场检验，观察用户是否愿用）。内容系统拆解了离线评测的六大能力维度与在线评测的显隐式反馈指标（重点强调重新生成率与交错实验），并深度探讨了离线提分而线上暴跌的三大根因（分布失真、过拟合与评委模型偏好）。最后，作者给出了Bad Case数据回流工程闭环方案，以及一段可直接套用的30秒结构化高分面试回答范式。

## Atmosphere & style 整体风格务实精炼、直切痛点，带有鲜明的资深大厂面试官与实战导师视角。讲解节奏明快且极具层次感，通过“闭卷考试与市场检验”等形象比喻快速拉开认知差距。行文不仅停留于概念罗列，更充满对工业界真实工程踩坑细节的敏锐洞察，给求职者带来醍醐灌顶且可直接落地的备考底气。

## Bulletin - [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线与在线评测的本质区别在于“能力上限”与“使用意愿”：离线评测是闭卷考试，用于上线门禁与防退化；在线评测则是市场检验，用于在真实流量中验证业务价值。 - [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线评测的核心抓手是“重新生成率”等隐式行为反馈，结合 Interleaving（交错实验）可在真实用户交互中有效消除个体差异。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) “离线分数涨而线上体验跌”的背离现象通常源于评测集分布失真、静态题库过拟合，或模型迎合了评委模型的偏好（如 LLM 打分器的长文本偏好导致回答冗长）。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 高水平大模型工程体系依赖数据飞轮：定期校准离线与线上指标的相关性，并将线上点踩、重写等 Bad Cases 自动化清洗回流至离线评测集以驱动迭代。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线评测与在线评测的核心定调：离线看能力（模型能不能把题答对），在线看意愿（用户愿不愿意继续用）。 - [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线评测的六大核心板块包括通用能力、业务能力、生成质量、安全对齐、指令遵循以及工程性能与成本。 - [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 在业务大模型落地中，RAG 检索召回率与忠实度（Faithfulness）、意图识别准确率和工具调用（Tool Calling）成功率比纯通用基准跑分更为关键。 - [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线评测具备快、便宜、可复现的优势，专用于“版本回归”与“上线门禁”，但无法反映动态分布且容易被过拟合。 - [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线评测依赖真实流量交互，指标涵盖显式反馈、隐式行为、用户价值、业务结果、负向风险与系统体验六个层级。 - [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线隐式行为指标中，用户的“重新生成率”是极具参考价值的强负反馈，比点赞点踩等低频显式反馈更具敏感度。 - [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线实验除常规 A/B 测试与灰度发布外，可采用 Interleaving（交错实验）将不同模型结果交错展示给同一用户，消除统计学上的个体差异。 - [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线评测的劣势在于周期慢、成本高、数据噪声大、因果归因困难，且劣质模型上线会直接产生业务风险。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 离线评测是防止能力退化的“护栏”，在线评测是度量真实商业价值的“标尺”，二者缺一不可。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 离在线指标背离的三大诱因：离线测试集与线上真实流量分布脱节、Prompt 或微调过拟合测试题库、模型过度迎合评委模型的偏好（如长文本打分偏向）。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 工程团队必须定期计算离线指标与线上用户满意度的相关系数，动态剔除或降低低相关性离线指标的门禁权重。 - [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 线上 Bad Cases（点踩、重写、修改、举报）的自动化清洗、去重与高质量回流，是持续维护与校准离线评测集的关键数据闭环。 - [04:40](https://www.bilibili.com/video/BV1Jhac6XEoD?t=280s) 回答评测类面试题时，深入阐述指标背离归因与闭环治理机制，能有效向面试官证明候选人具备真实业务落地与工程推进经验。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 定调：离线评测与在线评测的本质区别

面对大模型面试中常考的“离线评测和在线评测分别评什么”，多数候选人往往脱口而出：“离线评测就是上线之前跑个分数，在线评测就是上线之后看数据。”这种回答虽然没错，但只能算及格线水平。面试官真正想考察的不是死记硬背的名词定义，而是候选人是否理解两者底层逻辑评估的“根本不是同一样东西”。

要瞬间拉开与普通候选人的差距，可以用一句高屋建瓴的话直接定调：**“离线评测评的是模型能不能把题答对，在线评测评的是用户愿不愿意继续用——一个看能力，一个看意愿。”**

离线评测的本质是一场标准的“闭卷考试”，依托固定的题库与固定的输入，评测结果可复现，且全程不接触任何真实用户。在面试中回答离线评测时，可以将其拆解为六大核心板块（实战回答时挑出 3 到 4 块深入阐述即可）：

1. **通用能力**：侧重客观题与基准跑分，能实现自动判分。例如知识类的 MMLU、C-Eval，数学类的 GSM8K，代码类的 HumanEval，以及对话类的 MT-Bench。 2. **业务能力**：这是大模型落地具体业务岗位时的关键项，光有通用基准跑分远远不够。需要明确说出意图识别的准确率、信息抽取的 F1 值、RAG 场景中的检索召回率与忠实度（Faithfulness），以及工具调用（Tool Calling/Function Calling）的成功率。 3. **生成质量**：包括准确性、相关性、完整性、逻辑性与流畅度。此类维度通常依赖评委模型（LLM-as-a-Judge）打分，或者通过人工标注进行两两对比看胜率（Win Rate）。 4. **安全与对齐**：重点考察有害内容的拦截率、幻觉率、诱导攻击（Jailbreak/Prompt Injection）的防御成功率，以及拒答行为的合理性（避免过度拒答）。 5. **指令遵循**：偏向硬性规则校验，可自动判定。例如 JSON 格式合规率、Schema 校验通过率、输出长度与字数控制的精准度等。 6. **性能与成本**：包括首 Token 延迟（Time to First Token, TTFT）、吞吐量（Throughput）以及单次调用成本等工程指标。

阐述完指标后，必须向面试官点出离线评测的**核心价值与局限性**： - **价值**：快、便宜、完全可复现；核心用于“版本回归”与“上线门禁”，严防新迭代版本造成老能力的退化。 - **局限**：数据分布是完全静态的，题库容易被刷分或导致模型过拟合；离线分数高，绝不等于用户线上满意。

```mermaid flowchart LR accTitle: 离线与在线评测的核心定位对比 accDescr: 展示离线评测的闭卷考试逻辑与在线评测的市场检验逻辑之间的对比关系。

subgraph Offline["离线评测（闭卷考试）"] direction TB A1["固定题库 / 输入"] --> A2["评测模型能力上限"] A2 --> A3["版本回归与上线门禁"] end

subgraph Online["在线评测（市场检验）"] direction TB B1["真实流量 / 随机交互"] --> B2["评测用户使用意愿"] B2 --> B3["业务验证与体验度量"] end

Offline -.->|"保障上线底线"| Online ```

---

[01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 在线评测的核心指标与观测维度

转到在线评测时，其本质是“市场检验”。评测处于真实流量、真实场景与真实用户交互中，过程带有随机性，核心评估的是用户是否愿意持续使用。在线评测的指标体系可以自上而下分为多个层次：

- **显式反馈（Explicit Feedback）**：点赞、点踩、打星评分、满意度调研问卷等。显式反馈虽然直观，但用户主动触发的门槛高、比例低。 - **隐式行为（Implicit Behavior）——核心抓手**：面试中务必重点强调**“重新生成率”**。用户点击重新生成，意味着对当前给出的回答大概率不满意，属于非常直接的强负反馈行为。此外还涵盖内容采纳率、复制率、修改率、多轮追问率、会话轮次深度以及提前终止率。 - **用户价值**：次日/七日留存率、使用频次、单次会话的任务完成率（Task Completion Rate），以及客服场景中的转人工率。 - **业务结果**：产品转化率、客服场景的一次性解决率（First Contact Resolution）、大盘工单量是否实质性下降。 - **负向风险**：用户投诉率、人工举报率，以及线上敏感内容/风控规则的触发率。 - **系统体验**：端到端请求延迟、接口超时率、服务错误率。

在线评测的执行手段主要依靠 A/B 测试、灰度发布，以及 **Interleaving（交错实验）**——即将两个不同版本的模型生成结果交错展示给同一个用户，从而在统计学上直接消除用户个体差异对实验带来的干扰。

在线评测的价值在于它最贴近真实业务场景，但局限性同样明显：**慢、贵、数据噪声大、因果归因困难**，且一旦新模型表现糟糕，会对线上用户体验产生直接的业务风险。

---

[03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 离线与在线的关系：指标对齐与数据闭环

掌握了离线与在线评测的基础定义，仅能算作答完整。真正能拉开面试层级、展现资深工程实践能力的，是阐述清楚两者之间的动态关系与工程闭环：

```mermaid flowchart TD accTitle: 离线与在线评测的闭环流转机制 accDescr: 展示模型从离线门禁到线上验证，再将坏例子回流修正离线集的数据闭环全流程。

1. **分工不同**：离线评测是“护栏”，专门负责门禁把控和功能回归防退化，离线不过关坚决不允许上线；在线评测是“标尺”，负责在真实场景中度量商业收益。 2. **离在线背离现象与根因**：面试中应主动提及行业经典痛点——“为什么离线评测分数涨了，线上数据却没涨，甚至大幅下滑？”通常有三大原因： - **评测集分布失真**：离线数据集与线上真实用户提问的分布产生了严重偏离。 - **过拟合题库**：模型在训练或 Prompt 调优中针对静态测试集产生了过拟合。 - **过度迎合评委偏好**：例如作为评委的 LLM 往往自带“长文本偏好”（普遍给更长的回答打高分），导致模型被优化得越来越啰嗦，离线评分节节攀升，但线上真实用户面对冗长繁琐的回复体验大幅下降。 3. **指标对齐机制**：在工程体系中，必须定期计算离线评测指标与线上真实用户满意度之间的相关系数；如果发现某个离线指标与线上体验的相关性很弱，必须及时降低该指标在门禁中的权重。 4. **数据飞轮与闭环驱动**：将线上真实产生的 Bad Cases（如用户点踩、重新生成、修改、举报的数据）建立自动化回流机制，经过去重、清洗和高质量标注后，重新补充进离线评测集，直接驱动下一轮模型迭代。

“这句话说出来，面试官会觉得你是真做过事的人，不是背过概念的人。”

---

[04:40](https://www.bilibili.com/video/BV1Jhac6XEoD?t=280s) 高分 30 秒面试总结模板

针对面试现场的短平快作答，可以凝练为以下 30 秒标准陈述结构：

> “**离线评测**是在上线前用固定评测集评估模型的能力和风险，包括通用基准、业务指标、生成质量、安全对齐与格式遵循。它的特点是快、便宜、可复现，主要用于版本回归与上线门禁。 > > **在线评测**是上线后在真实流量中观测用户反馈，涵盖点赞点踩、重新生成率、采纳率、留存率、转人工率等行为指标，以及端到端延迟和 A/B 实验结论。其特点是慢、成本高、噪声大，但最贴近真实业务。 > > 在工程实践中，我们用离线做门禁防退化，用在线验证真实收益；同时将线上的 Bad Case 持续回流至离线评测集，形成对齐闭环。如果遇到离线分数上涨而线上表现下跌的情况，通常意味着离线数据集分布失真，或者模型过拟合了评委偏好。”

回答这道面试题存在三个 Level：第一层答出名词定义，第二层展开系统评测维度，第三层深入到指标背离、相关性校准与数据闭环。面试官考察的核心不在于背概念，而在于候选人是否真正把大模型推到过真实用户面前经受过检验。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线评测评的是模型能不能把题答对，在线评测评的是用户愿不愿意继续用——一个看能力，一个看意愿。 — AI大模型-阿水

> [00:00](https://www.bilibili.com/video/BV1Jhac6XEoD?t=0s) 离线评测就是上线之前跑个分数，在线评测就是上线之后看数据。

> [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 重新生成率 — AI大模型-阿水

> [01:50](https://www.bilibili.com/video/BV1Jhac6XEoD?t=110s) 慢、贵、数据噪声大、因果归因困难 — AI大模型-阿水

> [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 为什么离线评测分数涨了，线上数据却没涨，甚至大幅下滑？ — AI大模型-阿水

> [03:20](https://www.bilibili.com/video/BV1Jhac6XEoD?t=200s) 这句话说出来，面试官会觉得你是真做过事的人，不是背过概念的人。 — AI大模型-阿水

> [04:40](https://www.bilibili.com/video/BV1Jhac6XEoD?t=280s) 离线评测是在上线前用固定评测集评估模型的能力和风险，包括通用基准、业务指标、生成质量、安全对齐与格式遵循。它的特点是快、便宜、可复现，主要用于版本回归与上线门禁。 — AI大模型-阿水

> [04:40](https://www.bilibili.com/video/BV1Jhac6XEoD?t=280s) 在线评测是上线后在真实流量中观测用户反馈，涵盖点赞点踩、重新生成率、采纳率、留存率、转人工率等行为指标，以及端到端延迟和 A/B 实验结论。其特点是慢、成本高、噪声大，但最贴近真实业务。 — AI大模型-阿水

> [04:40](https://www.bilibili.com/video/BV1Jhac6XEoD?t=280s) 在工程实践中，我们用离线做门禁防退化，用在线验证真实收益；同时将线上的 Bad Case 持续回流至离线评测集，形成对齐闭环。如果遇到离线分数上涨而线上表现下跌的情况，通常意味着离线数据集分布失真，或者模型过拟合了评委偏好。 — AI大模型-阿水

## Mentioned AI大模型-阿水, MMLU, C-Eval, GSM8K, HumanEval, MT-Bench, LLM-as-a-Judge, Interleaving

## Video description 视频Agent学习籽料、大模型学习路线、、实战案例集、电子书+问题解答👉https://www.bilibili.com/read/cv52978347/?spm_id_from=333.1387.0.0&jump_opus=1自取哦

[Source](https://www.bilibili.com/video/BV1Jhac6XEoD)

中文简报

大模型离线高分频现线上退化研发借负反馈回流重构评测闭环静态评测集易因过拟合与评委偏好导致虚高分数，模型落地须以重新生成率等线上隐式行为校准指标并将坏例回流门禁。视频深入剖析了面试高频题“离线评测与在线评测分别评什么”，指出离线看“能力”（闭卷考试，验证能否答对），在线看“意愿”（市场检验，观察用户是否愿用）。内容系统拆解了离线评测的六大能力维度与在线评测的显隐式反馈指标（重点强调重新生成率与交错实验），并深度探讨了离线提分而线上暴跌的三大根因（分布失真、过拟合与评委模型偏好）。最后，作者给出了Bad Case数据回流工程闭环方案，以及一段可直接套用的30秒结构化高分面试回答范式。离线与在线评测的本质区别在于“能力上限”与“使用意愿”：离线评测是闭卷考试，用于上线门禁与防退化；在线评测则是市场检验，用于在真实流量中验证业务价值。 (0:00) 在线评测的核心抓手是“重新生成率”等隐式行为反馈，结合 Interleaving（交错实验）可在真实用户交互中有效消除个体差异。 (1:50) “离线分数涨而线上体验跌”的背离现象通常源于评测集分布失真、静态题库过拟合，或模型迎合了评委模型的偏好（如 LLM 打分器的长文本偏好导致回答冗长）。 (3:20) 高水平大模型工程体系依赖数据飞轮：定期校准离线与线上指标的相关性，并将线上点踩、重写等 Bad Cases 自动化清洗回流至离线评测集以驱动迭代。 (3:20)

Reading summary

“AI大模型-阿水”指出，大模型离线评测与在线评测的本质区别在于“能力”与“意愿”的差异：离线评测评测模型能否把题答对，属于上线门禁；在线评测评测用户是否愿意继续使用，负责在真实场景中检验商业收益。离线评测的能力维度与门禁作用 (0:00) 离线评测本质是一场基于固定题库和输入的“闭卷考试”，其特点在于低成本、高效率和可复现，核心职能是版本回归与上线门禁，防止迭代导致已有能力退化。其考察维度涵盖六大方向：MMLU、C-Eval、GSM8K等通用能力基准；意图识别、RAG检索召回与工具调用等业务落地能力；借助大模型评委（LLM-as-a-Judge）或人工胜率评估的生成质量；有害内容拦截与防诱导等安全对齐；JSON等格式遵循；以及首Token延迟和吞吐量等工程性能。该模式的局限性在于测试集分布完全静态，模型容易对题库过拟合或刷分，因此离线跑分高并不等同于线上用户满意。在线评测的交互行为与体验度量 (1:50) 在线评测是将模型置于真实流量与动态交互中的“市场检验”。指标体系分为显式与隐式反馈：显式的点赞、点踩和问卷门槛较高；隐式行为则是核心抓手，其中“重新生成率”是强负反馈指标，同时需结合采纳率、复制率、修改率和会话深度等进行综合判断。在业务与系统层面，在线评测进一步观测留存率、任务完成率、客服转人工率、转化率以及接口超时和端到端延迟。评测落地主要依托A/B测试、灰度发布以及能够消除用户个体差异的交错实验（Interleaving）。该方式虽最贴近真实业务，但伴随着因果归因困难、数据噪声大、实验周期慢以及潜在业务受损风险等代价。离在线背离诱因与数据闭环治理 (3:20) 工程实践中的常见痛点是“离线分数上涨，线上表现反而下滑”。主讲人总结了三大诱因：离线评测集与线上真实提问分布产生严重偏离；模型训练或提示词针对静态集产生了过拟合；以及模型过度迎合评委偏好（例如大模型评委普遍带有长文本偏好，导致模型生成内容冗长而严重降低真实用户体验）。解决该问题的关键在于构建动态对齐机制：定期计算离线指标与线上真实满意度的相关系数，动态降权弱相关指标；同时建立自动化数据飞轮，将线上产生的点踩、重新生成、修改和举报等负反馈样本（Bad Cases）进行清洗标注，持续补充进离线评测集以驱动下一轮迭代。该解析认为，单纯背诵评测指标仅停留在初级认知，成熟的大模型工程能力体现在理解离线做护栏、在线做标尺的分工，并通过校准评委偏差与沉淀真实用户负反馈来完成指标对齐与数据闭环。

Source quotes

[0:00] AI大模型-阿水: 离线评测评的是模型能不能把题答对，在线评测评的是用户愿不愿意继续用——一个看能力，一个看意愿。 [0:00] 离线评测就是上线之前跑个分数，在线评测就是上线之后看数据。 [1:50] AI大模型-阿水: 重新生成率 [1:50] AI大模型-阿水: 慢、贵、数据噪声大、因果归因困难 [3:20] AI大模型-阿水: 为什么离线评测分数涨了，线上数据却没涨，甚至大幅下滑？ [3:20] AI大模型-阿水: 这句话说出来，面试官会觉得你是真做过事的人，不是背过概念的人。 [4:40] AI大模型-阿水: 离线评测是在上线前用固定评测集评估模型的能力和风险，包括通用基准、业务指标、生成质量、安全对齐与格式遵循。它的特点是快、便宜、可复现，主要用于版本回归与上线门禁。 [4:40] AI大模型-阿水: 在线评测是上线后在真实流量中观测用户反馈，涵盖点赞点踩、重新生成率、采纳率、留存率、转人工率等行为指标，以及端到端延迟和 A/B 实验结论。其特点是慢、成本高、噪声大，但最贴近真实业务。 [4:40] AI大模型-阿水: 在工程实践中，我们用离线做门禁防退化，用在线验证真实收益；同时将线上的 Bad Case 持续回流至离线评测集，形成对齐闭环。如果遇到离线分数上涨而线上表现下跌的情况，通常意味着离线数据集分布失真，或者模型过拟合了评委偏好。

Original transcript

[0:00] 面试官问你离线评测和在线评测分别凭什么先别急着背概念,我想先问你一个问题,如果让你用一句话区分他俩,你会怎么说?很多人会脱口而出,离线评测就是上线之前跑个分数。在线评测就是上线之后看数据,这句话对吗?对,但这么答只能算及格,因为面试官真正想听的不是这两个词的定义,而是你有没有意识到这两种评测评的根本不是同一样东西?如果这道题你也不会回答的话,我整理了让大厂面试官沉默的必考题库,包含大模型基础面试,REG微调,Transformer,Deepseek,Agent,项目方案面试题等等,只要是我粉丝留下666打包带走。来我给你一句可以直接定调的话,离线评测评的是模型能不能把T答对,在线评测评的是用户愿不愿意继续用,一个看能力,一个看意愿。这一句话甩出去,你的回答就已经和多数人拉开距离了。好。我们先说离线评测,它的本质是一场考试,固定体库,固定输入,答案可以复线,全程不接触真实用户。那它考什么,我给你拆成6块,你答的时候挑三四个说出来就够了。第一块通用能力知识类的MMLU C Evo数学类的GSM8K代码类的HumanEvil对话类的MTBench这些是客观题能自动判分第二块业务能力这一步很关键到了具体岗位上光有通用分数不够用你要说得出意图识别的准确率信息抽取的F1 RAC场景里的召回率和忠实度工具调用的成功率第三块,生成质量、准确性、相关性、完整性、逻辑性、流畅度。这一块一般靠评委模型打分或者人工标注,两两对比看胜率。第四块安全和对齐有嗨内容的拦截率、幻觉率、诱导攻击的成功率巨大的合理性。第五块,指令遵循,比如JSON格式合规率,SCHEMA校验能不能过,长度控制准不准。这类是硬规则能自动判第六块性能和成本向首token时间吞吐单调成本说完这些记得补一句它的价值离线评测快便宜可复线主要用来干两件事做版本回归做上线门禁也就是防止新版本把老能力搞退化但局限你也要点出来分布是静态的容易被刷分也容易过拟合,分数高,不等于用户满意。好,切到在线评测,在线评测评的是用户愿不愿意继续用,它是真实流量,真实场景,真实用户,结果带有随机性,本质上是市场检验。那具体看什么?重点看这几层。第一层是显示反馈,点赞,点踩,星级评分,满意度问卷,但真正在干活的是第二层,影视行为。这里我特别想让你记住一个指标,重新生成率,用户点一下重新生成,基本就说明他对刚才那个答案不满意。这是很直接的负反馈,除此之外还有采纳率、复制率、修改率、多轮追问率、绘画深度、提前终止率。第三层是用户价值、留存、使用评次、任务完成率、转人工率。第四层是业务结果、转化率、克服的一次解决率、供单量有没有下降。第五层是负向风险、举报率、投诉率、敏感内容出发。再往下还有系统体验,端到端,延迟,超时率,错误率,那怎么评?靠AB实验,灰度发布,还有Interleaving,就是把两个版本交错展示给同一个用户。把用户个体差异给消掉,价值很清楚,它更贴近真实,局限也很清楚,慢,贵,噪声大,归音难,而且有线上风险。到这儿,定义部分你已经答得挺完整了,但真正拉开差距的是接下来这一段,你得讲清楚他俩的关系。第一,分工不同,离线是护栏,负责门禁和回归,在线是标尺,负责验证真实收益,离线不过关,不许上线。但离线分数高也不代表线上就一定好第二记得提那个经典现象离线分数涨了线上数据没涨甚至还跌了为什么通常三个原因停测及分布失真模型过拟合了题库或者模型过度迎合评委偏好举个例子,评委模型普遍喜欢常回答,模型就越讯越啰嗦,分数上去了,用户体验反而下来了。第三,说指标对齐,定期去算离线指标和线上满意度之间的相关性,相关性差的指标,权重该降就降。第四,说数据闭环。线上的坏例子,点彩的,重写的,被举报的,自动回流,去重标注之后,进离线评测集,驱动下一轮迭代。这句话说出来,面试官会觉得你是真做过事的人,不是背过概念的人。最后,我给你一个可以直接背的版本。大概30秒离线评测是在上线前用固定评测机评估模型的能力和风险包括通用基准业务指标生成质量安全对齐格式遵循特点是快便宜可复现主要用来做版本回归和上线门禁在线评测是上线之后在真实流量上看用户反馈包括点赞点踩重新生成率采纳率留存转人工率这些行为指标以及延迟成本和AB实验结论特点是慢贵有噪声但它更贴近真实 [5:00] 实践里我会用离线做门禁房退化,用在线验证真实收益,并且把线上的坏粒子回流到离线级,形成一个持续对齐的闭环。如果离线分数涨了,线上没涨,往往说明评测级失真,或者模型过拟合了评测偏好。你看,同样一道题能达到定义,能达到维度,还能达到闭环,这就是三个level。面试官问的不是概念,他问的是,你有没有真的把模型放到用户面前过?

大模型离线高分频现线上退化 研发借负反馈回流重构评测闭环