微软 Pamela Fox 演示模型自由切换技术以规避供应商风险

The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft — AI Engineer

AI Engineer

大语言模型的能力差距难以通过提示词工程完全抹平,企业必须部署自动化评测与基于规范的测试集生成机制以确保生产环境的可靠性。

AI-assisted summary of The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft — original source. Check the original for full context.

Source published:

Key ideas

  • 大模型在相同提示词下的表现差异巨大,尤其在计数、逻辑推理和复杂工具调用中,这要求开发者必须建立模型平替能力以规避供应商单一依赖风险。 (3:43)
  • RAG系统的核心不在于检索技术,而在于模型是否具备“承认未知”的能力;Mistral等模型在缺少事实时倾向于产生幻觉,难以完全通过Prompt约束。 (13:58)
  • Agent的性能瓶颈往往源于工具调用效率,支持并行调用(Parallel Tool Calls)的模型能显著提升链路速度,而串行调用会导致明显的延迟和成本增长。 (28:33)
  • ASSERT工具通过产品规范(Spec)自动化生成评估集,解决了行业内缺乏真实边缘用例的痛点,比通用基准测试更能反映实际生产环境的表现。 (66:47)
  • DSPy结合遗传算法(GEPA)实现了提示词的自动化调优,证明了通过声明式程序设计可以让小模型达到大模型的任务执行效果。 (75:52)

Detailed notes

## Background 该视频由 YouTube 频道“AI Engineer”于 2026 年 10 月 19 日发布,记录了在旧金山举办的 AI Engineer World's Fair 2026 上的一场实战工作坊。根据页面简介,微软首席云倡导者 Pamela Fox 在 Microsoft Foundry 上横向对比了 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 四款主力模型,重点探讨模型在字符计数、RAG 真实性、视觉理解、工具调用及自动化评测上的实际行为差异。

## TL;DR Pamela Fox 强调 AI 工程师必须具备“模型自由平替”的能力,而不能盲信通用基准排行榜。工作坊通过递进式的实验,揭示了四款模型在字符统计、RAG 事实依附、多模态视觉以及串并行工具调用上的显著差距与短板。针对不同模型的缺陷,她展示了从基础思维链提示词工程、字符串断言、LLM-as-a-judge 到微软最新开源工具 ASSERT 的全套评测范式。最后,她演示了如何利用 DSPy 搭配遗传算法自动优化 Prompt,帮助成本较低的小模型攻克复杂业务约束,实现高质量的低成本模型平替。

## Atmosphere & style 整场工作坊节奏明快且极具实战气息,Pamela 采用“边写代码边跑结果”的现场演示风格,毫不掩饰模型翻车时的真实细节。她的讲解风趣幽默,穿插着对 Mistral 法语发音的调侃、对 GPT-5.5 傲娇数学能力的吐槽以及对评测玄学表情包的会心一笑。现场互动自然松弛,既有应对限流和报错的工程师松弛感,又充斥着对前沿框架与工程避坑指南的硬核干货输出。

## Bulletin - [03:43](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=223s) 大模型在相同提示词下的表现差异巨大,尤其在计数、逻辑推理和复杂工具调用中,这要求开发者必须建立模型平替能力以规避供应商单一依赖风险。 - [13:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=838s) RAG系统的核心不在于检索技术,而在于模型是否具备“承认未知”的能力;Mistral等模型在缺少事实时倾向于产生幻觉,难以完全通过Prompt约束。 - [28:33](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1713s) Agent的性能瓶颈往往源于工具调用效率,支持并行调用(Parallel Tool Calls)的模型能显著提升链路速度,而串行调用会导致明显的延迟和成本增长。 - [01:06:47](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4007s) ASSERT工具通过产品规范(Spec)自动化生成评估集,解决了行业内缺乏真实边缘用例的痛点,比通用基准测试更能反映实际生产环境的表现。 - [01:15:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4552s) DSPy结合遗传算法(GEPA)实现了提示词的自动化调优,证明了通过声明式程序设计可以让小模型达到大模型的任务执行效果。

## Key takeaways - [05:08](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=308s) 模型基准排行榜(Benchmarks)仅供参考,生产环境中的模型优劣必须通过针对具体业务场景的实测来判定。 - [12:28](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=748s) 计数任务测试表明,通过提示词引入思维链(Chain of Thought)可以有效修正中小型模型在长字符串分析时的缺陷。 - [21:43](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1303s) 多模态视觉能力存在明显的“硬天花板”,图像解析错误很难仅靠Prompt Engineering进行补救,模型视觉编码器本身的能力决定了任务的成败。 - [26:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1618s) 跨语言多模态任务中,模型往往因视觉推理与词汇对齐的双重负担而导致准确率大幅下降,不能直接用英语环境的测试结果进行推断。 - [28:33](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1713s) 函数调用(Tool Calling)的准确性高度依赖于JSON Schema的描述质量,模糊的字段命名或参数描述是模型参数生成错误的主要原因。 - [35:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2103s) 在Agent循环调用中,应优先选择能够将复杂逻辑整合为单次调用而非拆解为多次调用的模型,以降低端到端的调用成本。 - [39:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2358s) LangChain v1 等现代框架能够有效简化Agent逻辑,但随着上下文窗口变长,模型容易出现遗忘初始任务步骤的现象。 - [50:27](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=3027s) 针对工具调用的生产评测,应建立包含极端俚语、日期计算及多语言场景在内的动态测试集,并与线上真实流量保持同步。 - [58:32](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=3512s) LLM-as-a-Judge(大模型裁判)模式下,需强制要求裁判模型输出判定理由,并将应用业务代码与裁判评估逻辑解耦以提高迭代效率。 - [01:06:47](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4007s) ASSERT通过自动追踪Agent执行路径,能够识别任务执行中的违规行为,是比单纯的输出文本比对更高级的评估范式。 - [01:12:12](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4332s) 行业普遍存在的“只跑连贯性指标”是一种误区,真正的评测应聚焦于特定业务准则的合规性与工具调用逻辑的完备性。 - [01:15:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4552s) DSPy将Prompt从手动工程转变为可优化的参数,为企业降低推理成本、利用小模型完成生产任务提供了科学化的路径。 - [01:22:02](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4922s) Anthropic的Messages API通过原生的Citations机制,在RAG引用标注方面提供了比传统正则匹配更稳健的工程解决方案。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=0s) 工作坊环境配置与四款模型的接入

Pamela Fox 以轻松热烈的开场拉开工作坊序幕。此时现场时间已接近 11:12,她决定直入主题,以“实时演示搭配现场动手”的引导式形式进行。所有演示代码都开源在一个 GitHub 仓库中,所需的 API 密钥和环境变量则通过一个专用的配置文件向大家提供,用以访问她在 Microsoft Foundry 项目上提前部署好的多款尖端模型。

由于这个工作坊在很短的时间内才获准通过,Pamela 在极紧凑的筹备期内尽可能申请了最多的计算资源。然而,在全场观众同时发送请求的高峰下,可能会触发 Token 用量上限。对此,她在 `.env` 文件里准备了多组备用的环境变量端点供大家切换注释;万一出现 429 速率限制(Rate Limit Exceeded)报错,现场同学可以迅速换用其他候选端点继续实验。此外,Pamela 的同事 Cedric 也在会场巡视走动,协助解决大家在连线与环境配置时遇到的突发问题。

在技术栈工具的选择上,Pamela 推荐已经安装了 Python 和 uv 的参会者直接执行 `git clone` 拉取仓库并运行 `uv sync`,这能瞬间同步并拉齐所有运行示例所需的依赖。而对那些本地没有配好 Python 环境的同学,她建议直接在 GitHub 页面点击代码按钮创建 GitHub Codespace,在云端浏览器中一键启动预置完毕的 VS Code 环境。在现场调查中,她风趣地询问有多少人平时使用 uv 和 Python,发现 Python 用户依然占绝对多数,而 uv 的渗透率仍在逐步上升。

```mermaid flowchart TD accTitle: 工作坊环境配置流程图 accDescr: 展示本地 uv 环境配置与 GitHub Codespace 云端启动两种方式,二者最终统一通过配置.env 接入 Microsoft Foundry 模型集群。

subgraph Setup["开发环境准备"] Local["本地机器 (Python + uv)<br/>git clone & uv sync"] Cloud["云端方案<br/>GitHub Codespaces (一键预置)"] end

subgraph Auth["认证与资源调度"] ENV["下载配置.env 凭据<br/>提供备用端点防 429 速率限制"] end

subgraph Foundry["Microsoft Foundry 模型接入"] M1["GPT-5.5 (基准基石)"] M2["Kimi K2.6 (强力新秀)"] M3["DeepSeek V4 Flash (极速性价比)"] M4["Mistral Large 3 (高性能开源阵营)"] M5["Anthropic 系列 (独立协议项目)"] end

Local --> ENV Cloud --> ENV ENV --> M1 ENV --> M2 ENV --> M3 ENV --> M4 ENV -.->|"单独项目条款"| M5 ```

- **核心模型矩阵**:工作坊主要横向评测四款在 Microsoft Foundry 上部署的主力模型: - **GPT-5.5**:全能型基准模型,以高可靠性和极强的推理能力著称。 - **Kimi K2.6**:近期上线且表现非常出色的一流模型。 - **DeepSeek V4 Flash**:极高性价比的快速推理模型。 - **Mistral Large 3**:欧洲开源与企业级领域的头部高性能模型。 - **环境隔离**:Anthropic 旗下的模型因为服务协议和项目条款存在差异,被单独配置在另外的项目空间中。

[02:23](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=143s) 为什么 AI 工程师必须掌握“模型自由平替”的能力

进入核心议题,Pamela 直击所有 AI 工程师面临的痛点:为什么我们绝不能把自己死锁在单一模型上?大语言模型迭代极为迅速,层出不穷的新模型随时可能以更低的成本或更高的性能颠覆现有方案;更现实的是,外部供应商由于政策、配额或商业策略,在任何时候都可能突然掐断对某款模型的访问权限。

“And I think this is a really important thing for all us to be doing as AI engineers because, you know, as you've seen, like there's so many new models that come out all the time... at any point could cut off access to a model. So we need to have options, right?”

Pamela 强调,真正的 AI 工程能力不仅是跑通一个 Demo,更在于拥有一套健全的评估机制与提示词工程策略,使得应用架构可以在不同厂商的模型之间无缝切换。如果某个模型在某个场景表现不佳,优秀的工程师应当知道如何通过提示词优化(Prompt Engineering)去抹平差异,让低成本或高可用性的模型也能胜任生产任务。

[05:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=318s) 测试一:数字母陷阱——基准跑分与真实业务场景的鸿沟

在正式开始测试前,Pamela 警示大家不要盲信公共排行榜上的通用 Benchmark。无论是质量跑分还是安全评测,亦或是吞吐量与成本数据,都只能提供粗略的参考预期。“...but you don't really know how good a model is until you use it for your particular scenario.” 每家企业调用模型的方式千差万别,只有将具体业务场景落地实测,才能看清模型的真本事。

为了从最底层的逻辑机制切入,Pamela 设计了一个极其极简的开局实验:通过 Python 脚本调用 OpenAI 兼容的 Foundry API,让模型统计一句话中字母“E”出现的频次。

- **测试提示词**:`How many times does the letter E appear in the following sentence? The elderly gentleman eagerly entered the elevator. COUNT CAREFULLY.`(在以下句子中,字母 E 出现了多少次?“The elderly gentleman eagerly entered the elevator.” 请仔细计数。)

这句话共有 13 个字母“E”(包含大小写)。针对该测试,四款模型的原始输出结果展现出了明显的梯队分化:

| 测试模型 | 原始输出结果 | 正确与否 | 表现细节与说明 | |:--- |:--- |:--- |:--- | | **GPT-5.5** | **13** | **正确** | 数学与符号计算极强,能在“脑内”精准完成分步统计 | | **Kimi K2.6** | **13** | **正确** | 与 GPT-5.5 旗鼓相当,直接给出准确数字 | | **DeepSeek V4 Flash** | **6** | **错误** | 漏掉了整整 7 个 E,显现出小型快速模型在逐字符注意力的缺陷 | | **Mistral Large 3** | **8** | **错误** | 原始直接问答下少统计了 5 个 E |

Pamela 补充道,她的很多金融领域同事最近在 GPT-5.5 上跑了大量的财务与数学基准,对其心算与数值处理能力惊叹不已;而 DeepSeek V4 Flash 在这种未经分解的硬性字符串统计上,差距就显现了出来。

[07:48](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=468s) 提示词工程的威力:用思维链扭转 Mistral 的表现

当看到 Mistral 和 DeepSeek 在字符计数上翻车时,Pamela 没有直接放弃它们,而是演示了工程师如何通过调整 Prompt 来补齐模型的短板。既然模型在面对长句整体推理时无法精细捕捉局部细节,就可以强制它引入思维链(Chain of Thought, CoT)。

她在提示词中增加了三项明确约束:“break the sentence into words, count per word, and sum show your reasoning”(将句子拆分成单个单词,按单词分别统计,最后相加并展示你的推理过程)。

带着这层提示词工程的约束,Pamela 再次以 Mistral Large 3 发起调用。控制台输出显示,Mistral 这次规规矩矩地逐词拆解:列出“The”、“elderly”、“gentleman”等每个词里有几个 E,最后列出算式汇总,得出了完全正确的数字 **13**。这一对照生动证明了:模型能力的差距往往可以通过结构化的引导机制得到相当程度的弥补。

[08:38](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=518s) 测试二:RAG 与事实依附(Groundedness)的考验

在完成了玩具级别的计数测试后,Pamela 将场景推进到企业级应用的核心骨干——检索增强生成(RAG)。她指出:“Arguably, really, everything is RAG. Agents are RAG, too.” RAG 的本质是要求大语言模型在给定的检索上下文(Context)之内回答问题。

在这一架构中,最重要的考核指标就是**真实性与事实依附(Groundedness)**:模型必须严格基于提供给它的上下文进行归纳,绝不能将自身预训练权重中残留的记忆或虚构知识包装成上下文的事实输出。Pamela 的实战经验表明,不同模型在此处的表现参差不齐,尤其是参数较小或能力稍弱的模型,常常忍不住去调用自身的通用知识,并“假装”这是来自检索文档的内容。

为了严格测试这四款模型的事实依附底线,Pamela 构建了一个具有对抗性陷阱的测试集: - **测试提问**:蜜蜂(Honey Bees)与木蜂/木匠蜂(Carpenter Bees)在筑巢方式上有何核心区别? - **提供上下文**:语料库中只灌入了关于**木蜂(Carpenter Bees)**的生物学资料,对蜜蜂(Honey Bees)一字未提。 - **系统指令**:明确要求模型必须完全基于所给资料作答,并标注引用来源。 - **理想预期回答**:优秀的模型应当详细回答木蜂是如何在木材中钻孔筑巢的,然后明确告知用户:“对不起,根据给定的参考资料,我无法提供有关蜜蜂筑巢方式的信息。”

Pamela 随即在终端中触发测试,准备逐一验证四款模型在面对信息缺失时,究竟是会老老实实承认无知,还是会脱离上下文开始凭空臆测。

[10:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=600s) RAG 实测:模型能否承认“不知道”与幻觉抑制

在检索增强生成(RAG)的实际测试中,Pamela Fox 先让系统执行了一次非常基础的搜索,查询关于“蜜蜂如何筑巢”的信息。检索返回的参考资料中仅包含木蜂的内容,并不涉及蜜蜂筑巢的细节。此时 GPT-5.5 的表现堪称标杆,它明确回答数据集并未提供蜜蜂筑巢的细节。Pamela 称赞道:“GPT-5.5 非常擅长辨别自己不知道的事情。”为了节省时间,她跳过了同样表现不错的 Kimi K2.6,直接切换到 DeepSeek V4 Flash 进行验证。DeepSeek 也顺利通过了考验,准确提示提供的参考来源没有明确信息。

然而,当轮到来自法国团队的 Mistral Large 3 时(现场还引发了一段关于法语“Mistral”地道发音的小玩笑,Pamela 调侃让台下的 Cedric 担任整场演讲的法语翻译),模型却出现了典型的“擅自发挥”。尽管检索文档中完全没有相关事实,Mistral 依然调用了自身预训练权重里的内部知识来回答问题。为了纠正这种不受控的调用行为,Pamela 尝试利用 Prompt Engineering 施加严格约束,在提示词中加入规则:“如果某处细节在来源中不存在,就必须说明‘未提供参考来源’,切勿编造答案”,并试图逼迫它把答案中的每一处事实与参考来源强行绑定。

经过一段长时间的深度思考后,Mistral 输出的回答确实贴上了“除与木蜂的相互作用外未提供参考来源”的标签,但它依然把具体知识写了出来。虽然比直接幻觉进了一步,但它仍然无法彻底闭嘴。Pamela 强调,这正是各个大语言模型在 RAG 场景中最根本的区别:

> “所以当你评估用于 RAG 的模型时,真正需要考量的是:这些模型是否愿意承认自己不知道?它们编造内容的概率到底有多大?”

- **GPT-5.5**:严格锚定检索上下文,未找到事实时明确拒绝作答。 - **DeepSeek V4 Flash**:能够遵从边界指示,正确指出材料缺失。 - **Mistral Large 3**:倾向于滑向模型内置权重,即便用强约束的 Prompt 也难以完全阻止其吐出未经验证的背景知识。

---

[13:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=783s) 图像输入评测:多模态能力的硬天花板

随后现场进入了多模态视觉评测环节。由于 DeepSeek V4 Flash 是一款纯文本模型,并不支持图像输入,因此该项对比仅在 GPT-5.5、Kimi K2.6 和 Mistral Large 3 之间展开。Pamela 在本地准备了三张测试图片,由浅入深考察模型的视觉理解极限:第一张是一头原牛(Aurochs)的照片,考察它是否会错认成神话中的独角兽;第二张是她在哥斯达黎加旅游时拍下的一群鳄鱼,这是一道生物学难题,需要仔细观察口鼻吻部的形状才能区分是短吻鳄(Alligator)还是真鳄(Crocodile);第三张则是植物价格目录的截图,表格字体极小、排版密集,要求模型从中找出单价最便宜的植物。

GPT-5.5 与 Kimi K2.6 在这三项任务中展现了极为出色的解析能力。两款模型不仅迅速确认第一张绝对不是独角兽,还凭借对吻部轮廓的精确捕捉,准确判定第二张为真鳄(Pamela 幽默地感叹道:“幸好 GPT-5.5 也跟我一样在维基百科恶补过鳄鱼知识”)。在最考验 OCR 和结构化排版理解的植物表格中,它们都准确找到了标价为 0.58 美元的最便宜植物。

轮到 Mistral Large 3 时,测试结果出现了断崖式下滑。虽然它能看出图片不是独角兽,却没能认出那是原牛;面对鳄鱼照片时,它犹豫不决并错误地判断为短吻鳄;而在表格读取上,它挑出的植物售价高达 2.30 美元,完全忽略了真正的最低价。Pamela 指出,多模态任务与纯文本有着本质差异:

> “现在核心问题在于:谈到多模态理解时,你很难做太多的提示词工程,因为模型要么理解那张图片,要么就是不理解。”

- **提示词工程的局限**:除非是特定领域内给模型提供图表坐标或轴线的先验线索,否则普通图像解析无法靠 Prompt 弥补底层视觉编码器的不足。 - **场景适配建议**:多模态选型必须拿真实业务截图进行实地测试,看特定分布的图片是否落在该模型的能力圈内。

---

[16:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=978s) 跨语言陷阱:当多模态遇上非英语提问

在多模态视觉评测的延伸中,Pamela 揭示了一个极具隐蔽性的多语言陷阱:模型在英语环境下的优秀视觉感知,一旦切换语言就可能全面崩塌。目前主流大模型在训练数据上普遍严重偏向英语,当她在提问时改用西班牙语询问照片里的是“caimanes”(凯门鳄/短吻鳄)还是“cocodrilos”(鳄鱼)时,原本在英语下能够答对的模型直接给出了错误答案。

这种失败的原因在于跨语言映射与视觉推理的多重负担。在西班牙语环境中,词汇含义的地域差异与英语之间存在复杂的对应关系(例如在西班牙语日常语境中 caimán 常泛指短吻鳄类,但其生物学概念与美国佛罗里达常见的凯门鳄又不能完全画等号)。对于模型而言,一边要观察细微的动物鼻吻特征,一边还要处理复杂的跨语言词义对齐,认知负荷瞬间过载。Pamela 结合加州的开发环境提醒现场工程师,很多本地应用都需要双语支持,开发者决不能以为模型在英文下跑通就代表多语言视觉任务同样高枕无忧。

---

[17:13](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1033s) 工具调用基础:用 JSON Schema 驱动函数决策

在解决完感知问题后,工作坊进入了重头戏——函数调用(Function Calling,即 Tool Calling)。Pamela 指出,工具调用是当今所有智能体(Agent)的底层基石,是模型在预训练与后训练阶段经过专门调教出来的核心能力。它要求模型阅读外部注入的函数定义与用户输入,自主决策是否调用、何时调用以及构造何种参数,最终以结构化的形式返回给宿主程序。

```mermaid flowchart TD accTitle: Low-level tool calling flow accDescr: Diagram showing how a user request and JSON schema lead to an LLM tool call decision and external execution.

subgraph Input["输入准备"] A["用户自然语言请求"] B["JSON Schema 工具定义"] end

subgraph LLM["模型决策层"] C["LLM 推理判断"] D["生成结构化工具调用<br>(函数名 + 参数 JSON)"] end

subgraph Host["宿主执行层"] E["宿主代码实际执行函数"] F["将结果写回上下文"] end

A --> C B --> C C --> D D --> E E --> F ```

Pamela 强调,即便是以 JSON Schema 的形式编写函数定义,其本质依然是高密度的 Prompt Engineering。编写 schema 时选择的字段名称、数据类型以及 `description` 的措辞,都会直接影响模型的决策质量。她在现场演示了一个极其底层的原始工具调用示例:定义了一个名为 `create_calendar_event` 的日历函数,包含会议主题、参会者、时间与地点等字段;随后给模型一条自然语言请求:“你能帮我在日历上加个会吗?平台团队同步会。参会人是我、工程团队的 Sarah、Marcus 以及新来的 PM Priya。时间是明天下午 1:30,在 Microsoft Teams 线上开。”系统上下文提示词设定当前时间为 6 月 29 日星期一。

在底层调用模式下,模型自身并不执行任何代码,而是输出预期的函数名与一组格式化的 JSON 参数。将 GPT-5.5 的实际输出与左侧的基准进行对比,GPT-5.5 准确提取了会议时间、线上 Teams 地点与绝大部分人员,唯一瑕疵是它把输入语句里的“我”(me)也作为字面参会人塞进了列表。随后,Pamela 开始将相同的日历调度任务切换给 DeepSeek 进行对比测试,观察其能否准确命中工具并传参。

[20:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1200s) 工具调用的参数约束与模糊性消除

在测试工具调用的场景中,Pamela Fox 指出,不仅要看模型是否调用了目标工具,还要检查传参是否符合预期。在上一轮调用中,DeepSeek 的表现暴露出明显的参数偏差:它在参会人列表中擅自将“你”(you)也当作一个 attendee 传了进去;而在地点(location)参数上,它生成了带括号的 `"virtual (Microsoft Teams)"`,这完全不是提示词最初要求的值。这表明该模型对参数约束的遵循并不严格。Pamela 紧接着换用 Mistral 进行测试,借此阐述如何通过工具调用的表现来反思 Prompt 设计:

“So once I see this, I can start to realize, like, okay, there's some ambiguity, right? And, you know, if it called it with the wrong arguments, that means there's ambiguity, I need to go back into my descriptions and say, you know, don't include me or you just to named attendees.”

Pamela 强调,一旦发现模型传参错误,通常意味着工具描述中存在歧义。开发者需要回到 schema 和参数说明中,把规则交代得更明确——例如注明“仅填写真实姓名,不要包含 me 或 you”或者“若提供请给出全名”。通过在不同输入上测试各模型的参数生成,开发者才能看清模型能力边界并逐步完善提示词。

[21:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1263s) 循环工具调用与执行效率差异

从单次工具调用过渡到 Agent 架构的核心一步是“循环中的工具调用”(tool calling in a loop)。真正的 Agent 往往需要在循环中反复调用工具,直到达成最终目标。Pamela 在 Notebook 中定义了一个接收数学表达式并返回计算结果的基础函数 `calculate`,并向模型提供了一道应用题:商场正在促销,如果购买三件衬衫并按特定税率缴税,最终总金额是多少?

解决这个问题可以有两种截然不同的执行策略: 1. 简单机械地按步骤一步一步发请求:先算折扣,再算三件总价,接着算税费,最后算总计,每一小步都发起一次工具调用。 2. 足够聪明的模型会把所有逻辑整合进一个完整的长表达式中,仅仅发起一次工具调用就直达结果。

为了严格测试,系统提示词中唯一的指令是:“do not do math in your head”(不要心算)。Pamela 调侃道:“That one's really for GPT-5.5, 'cause it's so proud of its math abilities that it's always trying to do it in its head, like, come on.”

测试结果呈现出巨大的效率落差: - **GPT-5.5**:展现出极高的效率,将整个复合算式打包成单条表达式,仅用 1 次工具调用就得出了最终结果。 - **DeepSeek**:虽然最终也得出了正确答案,但它一步一步拆分执行,足足发起了 4 次工具调用。 - **Kimi K2.6**:Pamela 解释自己经常跳过 Kimi 是因为其综合实力非常强、日常表现与 GPT-5.5 不相上下。但在循环调用测试中,Kimi 偶尔会陷入一种“自己反复核对(double checking)”的怪圈。她提到前一天测试时,Kimi 第一次调用就已经拿到了正确答案,但随后又连续发了 4 次工具调用来反复验算。不过在现场运行中,Kimi 表现稳定,没有复现死循环。

Pamela 总结道,评估循环工具调用时,绝不能只盯最终答案是否正确,还要衡量达成目标所需的步数,因为每一次工具调用都是一次真实的底层网络请求,调用次数直接关系到系统的端到端延迟和 API 成本。

[23:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1438s) 基于 LangChain v1 的旅行规划 Agent

构建完循环调用的概念后,Pamela 开始搭建更完善的完整 Agent 示例。她在示例工程中内置了三种主流 Agent 框架供大家选用:LangChain、Pydantic AI 以及 Agent Framework(微软件自研框架)。现场观众投票选择了 LangChain。Pamela 介绍这里使用的是 LangChain v1,如果大家过去一年没跟进过,这个全新的 SDK 版本设计非常精炼。通过 LangChain 可以直接接入 Azure AI Foundry 上的各个模型。

本次演示的场景是经典的“旅行规划 Agent”(Travel Planning Agent)。该 Agent 注册了 4 个主要工具函数: - `search_flights`:搜索航班 - `search_hotels`:搜索酒店 - `check_budget`:校验选定的航班与酒店总花费是否符合预算 - `search_activities`:在城市内基于剩余预算搜索娱乐活动

系统提示词中为 Agent 规划了明确的履约流程:先分别搜索航班和酒店,优先直飞航线;拿到结果后务必调用 `check_budget` 验证;最后利用剩余的预算调用 `search_activities` 搜索活动。

用户的实际请求是: “I need to fly from SF to New York City next month for three nights. My total budget is $600. And I want direct flights and an activity.”

```mermaid flowchart TD accTitle: Travel Planning Agent Workflow accDescr: Standard sequence of steps an agent takes to plan a trip within budget constraints

subgraph Phase1 ["1. 检索阶段 (支持并行)"] A["search_flights<br/>(旧金山至纽约)"] B["search_hotels<br/>(纽约 3 晚)"] end

subgraph Phase2 ["2. 预算校验"] C["check_budget<br/>(核对航班与酒店总额)"] end

subgraph Phase3 ["3. 活动安排"] D["search_activities<br/>(根据剩余预算推荐)"] end

Phase1 --> Phase2 Phase2 --> Phase3 ```

[26:17](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1577s) 并行工具调用(Parallel Tool Calls)与跨模型断层

在实际运行旅行规划 Agent 并打印工具调用日志时,不同模型在任务调度与并行化支持上的差距显露无遗。Pamela 重点指出了并行工具调用(Parallel Tool Calling)对生产环境性能的核心价值:

“So one thing you can do with LLMs is, many LLMs support parallel tool calling, where if you give them a bunch of tool definitions, they can suggest multiple tools that can be called at the same time in the same turn. And this is really good from a performance perspective, because on your server, you can send off requests in parallel to two different databases, right?”

在测试中,四家模型的调度行为存在极大反差:

| 模型 | 并行工具调用 | 总调用轮数/行为细节 | 执行效率与完整度评价 | |:--- |:--- |:--- |:--- | | **GPT-5.5** | **支持** | 在第 1 轮同时并发发起 `search_hotels` 和 `search_flights`;拿到两组数据后在第 2 轮调用 `check_budget` 计算余额;第 3 轮基于结余调用 `search_activities`。 | **最高**:调度严谨,完全榨干并发性能,是该场景下最理想的高效链路。 | | **Kimi K2.6** | 不支持 / 未采用 | 将搜机票和搜酒店拆分到两个独立轮次中前后执行;之后甚至调用了两次 `check_budget` 验证不同组合;最后搜活动。 | **较低**:因未并行化且额外多查了一组预算,多花了两次工具调用,耗时明显更长。 | | **DeepSeek V4 Flash** | 不支持 / 未采用 | 未进行并行化,完全串行处理;但执行逻辑较为收敛,按部就班发起了 4 次工具调用覆盖全部流程。 | **中等**:在不具备并发调用的前提下,依然完整达成了全部指令,中规中矩。 | | **Mistral Large 3** | 不支持 / 未采用 | 串行执行完搜机票和搜酒店后,直接停下,彻底遗忘了后续的预算校验和活动搜索步骤。 | **失败**:上下文展开后发生指令遗忘,未完成既定业务链路,出现任务烂尾。 |

Pamela 结合实际评测感叹道:“Agents are the hardest to evaluate because there's so much going on. There's so many different things that are happening along the way. It's like, is it calling the right tools? Is it calling them efficiently? Is it calling things in parallel?”

对于 Mistral 出现的这种“虎头蛇尾”中途放弃现象,Pamela 分析,很多模型随着上下文窗口逐渐被历史步骤填满,容易把最开始的指令抛之脑后,注意力逐渐溃散。针对这种短板,开发者必须在链路中施加额外的引导机制(steering),比如引入自动化校验循环来主动询问模型“你确定所有步骤都完成了吗?”,或者采用现场观众 Jeff Huntley 提出的 Ralph Loop 等控制结构来进行状态把控与流程约束。

[30:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1800s) 基于字符串匹配的基础自动化评测(String Checks)

在演示完不同 Agent 框架的代码实现后,Pamela Fox 指出,尽管各个框架在语法细节上有所不同,但当下的智能体框架在核心思路上“相似之处远多于差异之处”。在工作坊的前半部分,大家一直是通过手动触发提示词并用肉眼观察输出结果来对比模型,这种方式非常适合建立对模型行为差异的直观感知;但如果要迈向生产环境,团队必须建立起能够批量执行、可重复运行并横向对比各版本结果的自动化评测机制(Bulk Automated Evaluations)。

评测流程中最直接的第一步就是基于传统代码逻辑的字符串比对(String Comparison)。Pamela 以创建日历日程(`create_calendar_event`)的工具调用为例进行讲解:当模型返回工具调用的参数字典时,开发者可以直接编写断言(Assertion),验证其返回的参数值是否完全符合预期(例如检查会议类型参数是否精准返回了预期的字符串 `"virtual"`)。在对单次工具调用进行基准测试时,测试用例只需要精准核验两件事:模型是否调用了正确的工具,以及传入工具的参数是否正确。

```mermaid flowchart LR accTitle: 字符串比对评测架构 accDescr: 用户输入经过测试用例集输入到待测大模型,触发工具调用后提取参数,并通过断言逻辑完成通过或失败判定。

subgraph InputStage["输入构造"] A["测试用例集<br/>(真实用户查询/边缘情况)"] end

subgraph ExecStage["模型调用"] B["待测模型<br/>(GPT-5.5 / Kimi / DeepSeek / Mistral)"] C["返回工具调用<br/>(Tool Call & Arguments)"] end

subgraph EvalStage["断言验证"] D{"参数字符串/列表比对<br/>(String/List Assertions)"} E["判定 Pass / Fail"] end

A --> B B --> C C --> D D --> E ```

Pamela 强调了构建高质量测试集的重要性。应用上线进入真实生产环境后,真实用户的输入往往五花八门,开发者很快就会遭遇各种意料之外的边缘情况:“一旦应用上线,你就会看到用户到底是怎么使用它的,然后你会惊呼:‘天哪,全部都崩掉了。’”为了防止评测集与线上真实流量脱节(即所谓的“评测漂移”),团队必须建立一套能将线上真实异常用例快速回流沉淀到评测集中的机制。在她的演示用例集中,涵盖了多种棘手的极端场景: - **日期计算(Date Math)**:她提醒道:“我总会测试大模型的日期计算能力,因为它们通常非常不擅长这个。如果你要在应用里处理日期,干脆直接给模型一个工具去做日期运算,光靠脑子(内部注意力)算太难了,尤其是在遇到闰年时。” - **模糊时间长度(Ambiguous Durations)**:例如未明确起止时间的会议需求。 - **多语言测试**:加入西语用例(西班牙语),验证模型在本地化环境下的参数抽取稳定性。 - **俚语与口语化表达**:例如传入用词极其随便的口语句子(“Yo, can you book the big comp room?”)。

Pamela 接着在全量待测模型上并行跑了一轮评测用例。她指出,平时实际开发中往往只针对单模型运行并对比历史版本,但今天为了横向比对,需要让所有模型同时跑这组工具调用测试。她同时提醒大家,千万不要把耗时漫长的大模型评测直接塞进普通的 PyTest 单元测试套件里当作常规 CI 跑,因为这些包含 API 请求的调用不仅速度缓慢,而且成本不菲。

---

[33:42](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2022s) 评测框架与工具生态(Q&A 互动)

在 Pamela 演示基于基础断言的代码时,现场一位观众举手提问,表达了对这种硬编码字符串比对的疑虑:“面对各种角色、参数强度校验,有没有现成的框架能更优雅地处理这些断言,尤其是针对并发调用的场景?”

Pamela 笑着打趣道:“你不喜欢我的字符串检查啊?”随后她系统地梳理了当下主流的大模型评测生态工具链: - **可观测性厂商内置框架**:几乎所有主流的 LLM 可观测性与追踪平台都集成了自己的评测套件,例如 LangFuse、LangSmith(LangChain 体系)、Arize 等。 - **云端与厂商官方工具**:在 Microsoft Foundry 生态中,常用的有 Azure AI Evaluation SDK 以及 OpenAI 官方的 `openai-evals` 包。 - **独立开源与多语言库**:Python 生态中有 DeepEval 等专注于断言与质量打分的工具;如果开发者使用的是 JavaScript/TypeScript 技术栈,可以使用 Promptfoo;现场观众补充提到了 Vally 等细分评测工具。

Pamela 总结道,对于最简单的单一字符串或确定性字段验证,其实并不需要引入过重的第三方重型框架,直接用轻量级脚本即可搞定;但一旦涉及复杂的工具调用调用链(Tool Calling Traces)、执行路径判定或者并行调用分析时,借助成熟框架能够省去大量编写样板代码的精力。

---

[35:12](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2112s) 大模型充当裁判(LLM-as-a-Judge)与基准校准

当测试结果返回时,Pamela 看到全员基础匹配表现不错,不由赞许道:“这次大家竟然都跑得挺好,真棒!”但她话锋一转指出,在真实应用场景中,绝大多数任务的输出都是非确定性、发散性极强的模糊文本(Fuzzy Outputs),根本无法通过简单的字符串包含或正则表达式来判断对错,这时候就必须引入“大模型作为裁判”(LLM-as-a-Judge)。

```mermaid flowchart TD accTitle: LLM-as-a-Judge 评测与双重调用架构 accDescr: 单次评测涉及业务模型调用与裁判模型调用的双重开销,裁判综合多方上下文输出 JSON 评定。

subgraph RunApp["第一阶段:业务数据获取"] U["用户查询 (Query)"] --> M["业务待测模型"] M --> R["生成回答 (Response)"] CTX["检索参考上下文 (Context)"] end

subgraph JudgeStage["第二阶段:裁判模型仲裁"] P["裁判系统提示词<br/>(Evaluator Persona / Criteria)"] R --> J["裁判大模型 (GPT-5.5)"] U --> J CTX --> J P --> J end

subgraph OutputStage["输出与结构化判定"] J --> JSON["结构化 JSON 输出:<br/>- Pass / Fail<br/>- 判定理由 (Reason)"] end ```

为了让大家透彻理解底层原理,Pamela 没有套用现成框架,而是在代码中直接手写了裁判逻辑。她指出,构建一个合格的 LLM 裁判提示词有几个核心要素: 1. **身份切换与强制判定**:将大模型置于“评估员(Evaluator)”的人设模式中,限定其评分准则,并强制其在最终结论中给出二值化的结论——究竟是通过(Pass)还是失败(Fail)。 2. **强制提供裁判理由(Reasoning)**:要求模型在判定结论前必须写下分析推导原因,“这对于排查问题极其有帮助”。 3. **注入全流程上下文**:如果是评估 RAG 系统的真实性(Groundedness),不能只提供用户的问句(Query)和模型的回答(Response),必须同时将检索出的背景资料(Context)作为输入喂给裁判模型。如果是评估工具调用效率,甚至需要向其提供完整的工具调用定义(Tool Definitions)和模型实际执行的追踪轨迹(Traces)。 4. **输出结构化结果**:例如指定强推理模型 GPT-5.5 作为裁判模型,要求其严格以 JSON 格式输出判定结果与解释。

Pamela 提醒大家警惕 LLM-as-a-Judge 的双重调用开销与延迟问题:“每运行一个用例,实际上都是至少两次 LLM 调用——既要运行自己的业务代码去调用一次模型,接着又要调用另外一个 LLM 去审判这个输出。”如果在复杂场景下挂载了 5 个不同维度的评测指标,单次测试就会迅速膨胀成 6 次以上的模型调用。在生产级的 RAG 评测中,基准数据集通常包含 200 到 800 个测试用例,这就意味着数千次大模型请求,全量跑完极其耗时,因此绝对无法在每次 GitHub CI 甚至每次代码提交(Commit)时全量触发。

为了提高工程迭代效率,Pamela 推荐了一种实践模式:在测试前将业务模型的问答结果与上下文预先跑出来固化存储,将裁判模型的评估解耦出来独立运行。因为在实践中经常会发生一种尴尬的局面——“你测了半天发现结果不对,最终却意识到并不是你的应用本身写砸了,而是你的裁判提示词(Evaluator)本身写错了!”因此,团队必须将“应用本身出 bug”与“裁判误判”区分开来,并引入领域专家(Domain Expert)对测试数据进行人工标注,对裁判模型的结果进行持续校准(Calibration)。

在最终的 RAG 真实性裁判评分中,各模型的表现拉开了差距:多数主流模型在本次样例中拿到了 3 题中通过 2 题的成绩(2/3),而 Mistral 模型仅通过了 1 题(1/3),暴露出在事实依据锚定(Groundedness)上仍有较大的优化空间。在这一节的尾声,Pamela 强烈推荐了专注于大模型评测的专家 Hamill(Hamel Husain,hamel.dev),盛赞他的开源评测课程、深度指南以及精准讽刺评测困境的表情包(Meme),并打趣道:“昨晚在群里跟人聊起评测时,我还用了他的梗图——构建一个可靠的 LLM 裁判真的很让人头秃。”

[40:07](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2407s) ASSERT:基于规范自动生成测试集与评测指标

在探讨如何构建优秀的评测体系时,Pamela Fox 首先推荐大家关注 Hamel Husain 的 Twitter 并学习其课程,以此掌握编写高质量评测的最佳实践。随后,她隆重介绍了微软研究院(Microsoft Research)最新推出的一款工具——ASSERT。该工具非常新,仅在一周前刚刚发布。ASSERT 的核心价值在于能够根据开发者编写的产品规范(spec)自动生成评测裁判(Judges)。开发者只需在规范中写明正在构建的 Agent 类别、预期行为逻辑以及所需支持的用户类型,ASSERT 就会基于严谨的学术研究成果,自动拓展出一整套测试用例,并将规范具象化为实际的打分准则(judging rubrics)。

```mermaid flowchart TD accTitle: ASSERT 评测工作流 accDescr: 展示从 YAML 规范定义到生成测试集再到多模型评测的完整流程 subgraph Spec["1. 规范定义"] A["YAML 配置文件<br/>(维度/预算分层/裁判模型)"] B["Agent 辅助技能<br/>(自动编写 YAML)"] B --> A end

subgraph Gen["2. ASSERT 自动化生成"] A --> C["行为类别与准则<br/>(允许/禁止的行为)"] A --> D["多场景测试集<br/>(模拟不同真实用户画像)"] end

subgraph Eval["3. 运行评测"] C --> E["LangChain Travel Planner<br/>(完整追踪每一轮 Tool Call)"] D --> E E --> F["评测结果看板<br/>(违规次数统计)"] end ```

Pamela Fox 现场展示了此前 LangChain 旅行规划 Agent 的 `assert_eval` 配置。评测的起点是一个 YAML 文件。她笑着打趣道:“我们都希望生命中能有更多的 YAML,我对 YAML 的领悟是:尽管我可能讨厌它,但面对当前的需求,它确实比其他任何东西都好用。”在 YAML 文件中,开发者定义了评测上下文、选用的裁判模型(Judge Model),以及关心的核心维度(例如“预算压力” Budget Pressure)。开发者可以对维度进行预先分层(Stratification,如“充裕预算”、“紧张预算”、“不可行预算”),也可以交由系统自动分层。为了降低门槛,ASSERT 甚至提供了一个 Agent Skill 来协助生成该 YAML 文件,免去了人工手写的繁琐。评测运行时,底层运行的是之前构建的 LangChain 旅行规划器,系统会全程追踪每一次工具调用(Tool Call),确保评测具备完整可观测性。

- **行为准则分类**:ASSERT 自动梳理出行为准则分类,包括预算与可行性、直飞偏好、规则违反情况以及必要工具的使用(Required tool use)等,明确界定 Agent 哪些行为是被允许的、哪些是绝对禁止的。 - **生动的测试场景**:测试集完全由大模型根据 YAML 生成,场景标题极具特点,例如“红眼航班前安装人员带六个家长在周末看 AMA”、“拿着写字板的教练”等,高度还原各种刁钻的真实用户行为。 - **冷启动优势**:解决了进入生产环境前缺乏真实测试集的难题,大幅降低评测系统的冷启动(Bootstrapping)门槛。

[43:32](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2612s) 多模型在 ASSERT 下的评测表现与内置评测陷阱

在 ASSERT 运行完成后,前端展示了 DeepSeek、Kimi 和 GPT-5.5 在各类场景下的评测数据。在 ASSERT 的打分逻辑中,分值代表违规行为(Violations)的数量,因此数值越低表现越优秀。测试结果显示,GPT-5.5 的违规次数显著低于其他两个模型,取得了全场最佳的成绩。Pamela Fox 坦言这一结果有些出乎意料,因为在当天的其他测试中,Kimi 的综合表现一直非常出色,她原以为两者会旗鼓相当,但在复杂的旅行规划规则约束场景下,GPT-5.5 展现出了更强的规范遵循能力。

谈及评测方法论时,Pamela Fox 对业界常见的“表面评测”提出了尖锐的批评。她指出,业内一直在呼吁“必须跑评测”,但很多人要么完全不跑,要么仅仅依赖平台内置的通用指标,这是巨大的误区。Pamela Fox 直截了当地告诫在场工程师:“大模型在连贯性上极其擅长,你永远不需要去检查一个大模型是否连贯。如果它们都不连贯了,那一定是发生了非常严重的事故。”

> “人们一直在说:你必须运行评测,你必须运行评测。然后根本没人去跑评测,或者他们只跑连贯性(Coherence)和流畅度(Fluency)这种默认指标。永远不要跑那些指标。” —— Pamela Fox

- **内置指标的局限**:除了在做 RAG 检索时偶尔会使用真实性/扎根性(Groundedness)和相关性(Relevance)指标外,绝大多数开箱即用的默认评测指标对具体业务场景毫无价值。 - **定制化评测的核心地位**:要想真正衡量 Agent 表现的好坏,必须根据业务定制评测器,而 ASSERT 的核心价值正是帮助开发者自动化搭建专属的定制评测集。

[45:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2752s) 利用 DSPy 与 GEPA 算法自动化优化 Prompt

面对在不同模型间迁移时“提示词需要反复微调”的工程痛点,Pamela Fox 指出人工调优极其痛苦——开发者不仅工作量巨大,而且很难摸清每一个模型的底层脾气。为此,她展示了基于 DSPy(Declarative Self-improving Python)的自动化 Prompt 优化方案。DSPy 彻底颠覆了传统的开发范式:开发者不再硬编码 Prompt,而是在代码中声明程序的输入、输出规范(Spec)与业务约束(Constraints),Prompt 反而成为了优化过程的输出物。

```mermaid flowchart LR accTitle: DSPy 提示词优化流程 accDescr: 展示 DSPy 如何通过 GEPA 遗传算法迭代优化提示词以满足代码约束 A["定义程序约束与规格<br/>(词数要求/首字母缩写/测试用例)"] --> B["初始化 Student 模型<br/>(例如 Mistral Large)"] B --> C["Reflection 模型 +<br/>GEPA 遗传帕累托算法"] C --> D{"爬山法迭代验证<br/>是否满足所有约束?"} D -- 否 (迭代变异) --> C D -- 是 (找到最优解) --> E["输出优化后的 System Prompt<br/>(低成本小模型稳定达标)"] end ```

在具体示例中,Pamela Fox 设定了一个高难度任务:生成一个编号列表,要求每一行的单词数必须完全精准,且每行开头的第一个字母必须拼出一个指定的目标单词。在代码中,所有的检查逻辑均被编写成测试断言,用于验证输出是否满足约束。DSPy 引入了 GEPA(Genetic Pareto Algorithms,遗传帕累托算法),配合“学生模型”(Student Model)和“反思模型”(Reflection Model),利用遗传算法与爬山法(Hill climbing)不断尝试、变异并寻找下一个最优提示词,直至完全满足业务约束。

- **算法用时**:在演示的复杂任务中,DSPy 结合 GEPA 算法耗时约 6 分钟,自主迭代跑出了完全符合规范的最优指令。 - **攻克弱势模型**:Pamela Fox 特意选用在此前测试中最难调优的 Mistral 模型作为实验对象,最终 DSPy 成功为 Mistral 找到了能够稳定执行约束的 System Prompt。 - **降本价值**:借鉴了 Dropbox 和 Shopify 的实际工业落地案例,证明企业可以通过 DSPy + GEPA 找到极致调优的 Prompt,从而摆脱对昂贵大模型的依赖,将业务平替至成本极低的小模型甚至自建私有化部署的基础设施上。

[49:22](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2962s) Anthropic 的 Citations 机制与工作坊收尾

在工作坊临近尾声时,Pamela Fox 补充介绍了因 API 架构不同而未在主流程演示的 Anthropic 模型。与大多数遵循类 OpenAI 接口标准的模型不同,Anthropic 采用 Messages API,虽然接入时需要重写部分交互代码,但它在 RAG 场景中具备一项极具杀伤力的原生能力——内置引用机制(Citations)。

开发者在调用 Anthropic 时,可以直接在请求体中以结构化的文档形式提供上下文源材料(指定文档类型与文本内容),并显式开启 `citations` 参数。Anthropic 模型在训练时就内嵌了这一行为模式,能够直接返回带有精确文本块引用的结构化数据。前端开发人员可以极其轻松地解析这些引文并生成跳转链接,从底层避免了传统 RAG 依靠后处理正则匹配导致引用错位的困扰。

最后,Pamela Fox 提醒现场学员,由于工作坊代码库中的 `.env` 文件包含她个人真实的临时 API Key,会后她将尽快进行密钥轮换(Key Rotation)以保证安全。该 GitHub 代码库将永久保留,并且前一天刚刚增加了对 Ollama 的完整支持。开发者只需将端点指向本地 Ollama 服务并切换模型名称,即可零成本在本地离线复现本场工作坊的所有模型切换、评测及调优实验。伴随着对现场听众的致谢与分发贴纸的轻松笑声,本场工作坊圆满结束。

- **Anthropic 结构化引用**:原生支持将上下文标记为 Source Documents 并开启 Citations,模型直接返回内联引用结构块,极大简化了 RAG 应用的前端交互设计。 - **本地环境无缝平替**:代码库已完成 Ollama 适配,采用一致的 API 抽象,支持开发者将 GPT-5.5、Kimi 等云端模型一键平替为本地开源模型进行本地化测试。

## Mentioned Pamela Fox, Cedric, Hamel Husain, Microsoft Foundry, GPT-5.5, Kimi K2.6, DeepSeek V4 Flash, Mistral Large 3, Anthropic, LangChain v1, ASSERT, DSPy, Ollama, Python, uv, GitHub Codespaces, RAG

## Video description Benchmarks won't tell you how a model behaves in your app. Swapping it in and testing will.

Pamela Fox, Principal Cloud Advocate at Microsoft, runs the same scenarios against GPT-5.5, Kimi K2.6, DeepSeek V4 Flash and Mistral Large 3 on Microsoft Foundry so you can see where models differ and what you can do about it. She works up from a letter-counting prompt to RAG groundedness, image input, multilingual pitfalls, tool calling, tool calling in a loop and a LangChain v1 travel agent, then moves to evaluation: string-check evals, LLM-as-a-judge, Microsoft's new ASSERT tool for generating test sets from a spec, and DSPy prompt optimization that finds a prompt the cheapest model can satisfy.

In this video: - Where top models differ: counting, groundedness, vision, tool calls and parallel tool calling - How prompt engineering closes some gaps but not image understanding - Bulk evals with string checks and LLM-as-a-judge - Generating test sets with ASSERT and optimizing prompts with DSPy

SPEAKER Pamela Fox, Principal Cloud Advocate, Microsoft X: https://x.com/pamelafox LinkedIn: https://www.linkedin.com/in/pamela-s-fox GitHub: https://github.com/pamelafox

LINKS ASSERT (GitHub): https://github.com/responsibleai/ASSERT

CHAPTERS 0:00 Workshop setup 2:23 Why you need to be able to swap models 3:08 The four models 5:18 Benchmarks vs your scenario 5:38 Test 1: counting letters 7:48 Fixing it with prompt engineering 8:38 Test 2: RAG and groundedness 13:03 Test 3: image input 16:18 Switching languages 17:13 Test 4: tool calling 21:03 Test 5: tool calling in a loop 23:58 Agents with LangChain v1 26:17 Parallel tool calls 30:27 Evals with string checks 33:42 Q&A: eval frameworks 35:12 LLM as a judge 40:07 ASSERT: evals from a spec 43:32 ASSERT results across models 45:52 Prompt optimization with DSPy 47:52 A DSPy prompt for Mistral 49:22 Anthropic and citations 50:32 Wrap-up

Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.

AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/

#LLM #Evals #AIEngineer

[Source](https://www.youtube.com/watch?v=UGjk3Uk0MxM)

中文简报

微软测试显示GPT-5.5在实时智能体任务中超越竞品 标准基准无法预测生产级应用的表现,因为提示工程无法弥补多模态感知差距或智能体执行中断,必须借助基于规范的评估框架与自动化提示编译器才能安全部署更便宜的模型。 Pamela Fox在Microsoft Foundry上通过实时模型切换实验向开发者演示了为何已发布的基准无法反映真实世界的应用表现。从基础的字母计数和RAG真实性测试开始,她展示了各模型在幻觉倾向、视觉感知以及LangChain旅行智能体内的工具调用循环中存在的显著差异。她指出,尽管提示工程可以弥补某些文本推理不足,但多模态感知限制是硬性瓶颈,智能体工作流必须经过严格评估。该研讨会最终聚焦于自动化评估方法,对比了确定性字符串检查与LLM-as-a-judge架构,随后介绍了用于基于规范生成合成测试的微软ASSERT,以及用于自动化提示编译的DSPy。 标准AI基准无法预测应用行为;模型能力在基础任务上分化明显,例如在直接提示下的字母计数中,GPT-5.5和Kimi K2.6成功,而DeepSeek V4 Flash与Mistral Large 3失败。 (5:18) 多模态视觉感知无法通过提示工程解决:视觉模型要么具备解析图像所需的分辨率和OCR精度,要么就会彻底失败。 (13:03) 在多轮智能体工作流中,模型效率差异极大;GPT-5.5并行执行了航班和酒店搜索,而Kimi与DeepSeek采用串行工具调用,Mistral则在中途放弃了执行。 (26:17) 微软研究院的ASSERT工具通过构建分层用户场景,并对完整中间智能体追踪中的行为规则违背情况进行评判,从而实现自动化测试生成。 (40:07) DSPy和遗传帕累托算法(GEPA)使开发者能够根据声明式Python约束编译特定于模型的提示,从而让Mistral等成本更低或开放权重的模型能够满足严格的格式规范。 (45:52)

精炼阅读摘要

微软工程师 Pamela Fox 指出,通用跑分无法代表模型在特定业务场景下的真实表现,AI 开发者必须具备模型无缝切换(Model Swapping)与针对性评测的能力,以应对模型差异和供应商风险。 基准测试与实际表现的断层 (5:00) 在基础文本任务测试中,不同模型展现出明显分化。例如在统计特定字母“E”出现次数的简单任务中,GPT-5.5 和 Kimi K2.6 能准确识别出全部 13 处,而 DeepSeek V4 Flash 仅数出 6 个,Mistral Large 3 则得出 8 个。然而,通过提示词工程引入思维链,强制 Mistral 按单词拆解并累加计数,其计算准确率可迅速弥补至 13。这表明基础能力的欠缺有时可以通过更精细的提示词结构来修复。 RAG 事实依据与多模态能力的边界 (8:38) 在检索增强生成(RAG)场景中,核心挑战在于模型能否严格依据外部检索内容回答。当测试文档仅包含木蜂信息,而用户询问蜜蜂巢穴差异时,GPT-5.5 和 DeepSeek V4 Flash 能够准确指出信息缺失并拒绝回答;Mistral Large 3 却倾向于调取预训练权重中的幻觉知识进行解答,即使在提示词中严格要求标注“未提供信源”,它依然会输出参数中的事实。此外,多模态测试表明视觉感知存在硬性天花板:GPT-5.5 与 Kimi 能精准识别原牛特征及低分辨率价格表中的 0.58 美元商品,而 Mistral 则将鳄鱼误认为短吻鳄并错选 2.30 美元的商品。多模态在缺乏底层分辨率和识别能力时,很难仅依靠提示词工程予以修正,且跨语言视觉任务还会进一步加剧分类误判。 工具调用与智能体工作流的效率差异 (17:13) 智能体系统依赖底层工具调用的准确性与并发能力。在数学应用题评测中,GPT-5.5 能将多步算式合并为单次运算工具调用直接完成,而 DeepSeek V4 Flash 则拆解为 4 次顺序调用,产生了额外的网络延迟;Kimi K2.6 虽然能解出答案,但偶发性地出现冗余复查循环。在 LangChain v1 构建的三晚旅行规划测试中,GPT-5.5 展现了优秀的并发能力,能在第一轮并行发起机票和酒店查询;而 DeepSeek、Kimi 仅支持顺序调用,Mistral Large 3 甚至在执行两步查询后丢失了后续指令,说明不同模型在长上下文下的抗衰减能力和遵循约束能力差异巨大。 自动化评测架构与提示词自动优化 (30:00) 针对模型切换后的质量评估,手动核验难以支持复杂系统。业内常规的通用流畅度指标已无法为现代前沿模型提供有效区分度,评测必须围绕具体业务规则展开。从简单的结构化字符串断言,到利用大模型作为裁判(LLM-as-a-judge)并配合人类专家校验,构成了评测演进路径。微软开源的 ASSERT 工具可根据高层 YAML 规范自动生成分层合成测试集,并全程追踪审计智能体的工具调用链路。面对模型切换导致的提示词重构成本,开发者可借助 DSPy 框架,将硬编码提示词转变为声明式代码与断言约束,利用 GEPA 等遗传算法自动编译出适配小模型(如 Mistral)的最佳提示词,从而在不牺牲质量的前提下大幅降低推理开销。 模型切换不仅需要统一的应用层接口抽象,更依赖于端到端的自动化评测流水线与针对性优化工具;如何在生产环境中低成本校准裁判模型并平衡评测本身的推理开销,仍是工程落地的关键挑战。

Detailed notes — zh

## Background 该视频由 YouTube 频道“AI Engineer”于 2026 年 10 月 19 日发布,记录了在旧金山举办的 AI Engineer World's Fair 2026 上的一场实战工作坊。根据页面简介,微软首席云倡导者 Pamela Fox 在 Microsoft Foundry 上横向对比了 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 四款主力模型,重点探讨模型在字符计数、RAG 真实性、视觉理解、工具调用及自动化评测上的实际行为差异。 ## TL;DR Pamela Fox 强调 AI 工程师必须具备“模型自由平替”的能力,而不能盲信通用基准排行榜。工作坊通过递进式的实验,揭示了四款模型在字符统计、RAG 事实依附、多模态视觉以及串并行工具调用上的显著差距与短板。针对不同模型的缺陷,她展示了从基础思维链提示词工程、字符串断言、LLM-as-a-judge 到微软最新开源工具 ASSERT 的全套评测范式。最后,她演示了如何利用 DSPy 搭配遗传算法自动优化 Prompt,帮助成本较低的小模型攻克复杂业务约束,实现高质量的低成本模型平替。 ## Atmosphere & style 整场工作坊节奏明快且极具实战气息,Pamela 采用“边写代码边跑结果”的现场演示风格,毫不掩饰模型翻车时的真实细节。她的讲解风趣幽默,穿插着对 Mistral 法语发音的调侃、对 GPT-5.5 傲娇数学能力的吐槽以及对评测玄学表情包的会心一笑。现场互动自然松弛,既有应对限流和报错的工程师松弛感,又充斥着对前沿框架与工程避坑指南的硬核干货输出。 ## Bulletin - [03:43](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=223s) 大模型在相同提示词下的表现差异巨大,尤其在计数、逻辑推理和复杂工具调用中,这要求开发者必须建立模型平替能力以规避供应商单一依赖风险。 - [13:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=838s) RAG系统的核心不在于检索技术,而在于模型是否具备“承认未知”的能力;Mistral等模型在缺少事实时倾向于产生幻觉,难以完全通过Prompt约束。 - [28:33](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1713s) Agent的性能瓶颈往往源于工具调用效率,支持并行调用(Parallel Tool Calls)的模型能显著提升链路速度,而串行调用会导致明显的延迟和成本增长。 - [01:06:47](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4007s) ASSERT工具通过产品规范(Spec)自动化生成评估集,解决了行业内缺乏真实边缘用例的痛点,比通用基准测试更能反映实际生产环境的表现。 - [01:15:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4552s) DSPy结合遗传算法(GEPA)实现了提示词的自动化调优,证明了通过声明式程序设计可以让小模型达到大模型的任务执行效果。 ## Key takeaways - [05:08](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=308s) 模型基准排行榜(Benchmarks)仅供参考,生产环境中的模型优劣必须通过针对具体业务场景的实测来判定。 - [12:28](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=748s) 计数任务测试表明,通过提示词引入思维链(Chain of Thought)可以有效修正中小型模型在长字符串分析时的缺陷。 - [21:43](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1303s) 多模态视觉能力存在明显的“硬天花板”,图像解析错误很难仅靠Prompt Engineering进行补救,模型视觉编码器本身的能力决定了任务的成败。 - [26:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1618s) 跨语言多模态任务中,模型往往因视觉推理与词汇对齐的双重负担而导致准确率大幅下降,不能直接用英语环境的测试结果进行推断。 - [28:33](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1713s) 函数调用(Tool Calling)的准确性高度依赖于JSON Schema的描述质量,模糊的字段命名或参数描述是模型参数生成错误的主要原因。 - [35:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2103s) 在Agent循环调用中,应优先选择能够将复杂逻辑整合为单次调用而非拆解为多次调用的模型,以降低端到端的调用成本。 - [39:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2358s) LangChain v1 等现代框架能够有效简化Agent逻辑,但随着上下文窗口变长,模型容易出现遗忘初始任务步骤的现象。 - [50:27](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=3027s) 针对工具调用的生产评测,应建立包含极端俚语、日期计算及多语言场景在内的动态测试集,并与线上真实流量保持同步。 - [58:32](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=3512s) LLM-as-a-Judge(大模型裁判)模式下,需强制要求裁判模型输出判定理由,并将应用业务代码与裁判评估逻辑解耦以提高迭代效率。 - [01:06:47](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4007s) ASSERT通过自动追踪Agent执行路径,能够识别任务执行中的违规行为,是比单纯的输出文本比对更高级的评估范式。 - [01:12:12](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4332s) 行业普遍存在的“只跑连贯性指标”是一种误区,真正的评测应聚焦于特定业务准则的合规性与工具调用逻辑的完备性。 - [01:15:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4552s) DSPy将Prompt从手动工程转变为可优化的参数,为企业降低推理成本、利用小模型完成生产任务提供了科学化的路径。 - [01:22:02](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=4922s) Anthropic的Messages API通过原生的Citations机制,在RAG引用标注方面提供了比传统正则匹配更稳健的工程解决方案。 ## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=0s) 工作坊环境配置与四款模型的接入 Pamela Fox 以轻松热烈的开场拉开工作坊序幕。此时现场时间已接近 11:12,她决定直入主题,以“实时演示搭配现场动手”的引导式形式进行。所有演示代码都开源在一个 GitHub 仓库中,所需的 API 密钥和环境变量则通过一个专用的配置文件向大家提供,用以访问她在 Microsoft Foundry 项目上提前部署好的多款尖端模型。 由于这个工作坊在很短的时间内才获准通过,Pamela 在极紧凑的筹备期内尽可能申请了最多的计算资源。然而,在全场观众同时发送请求的高峰下,可能会触发 Token 用量上限。对此,她在 `.env` 文件里准备了多组备用的环境变量端点供大家切换注释;万一出现 429 速率限制(Rate Limit Exceeded)报错,现场同学可以迅速换用其他候选端点继续实验。此外,Pamela 的同事 Cedric 也在会场巡视走动,协助解决大家在连线与环境配置时遇到的突发问题。 在技术栈工具的选择上,Pamela 推荐已经安装了 Python 和 uv 的参会者直接执行 `git clone` 拉取仓库并运行 `uv sync`,这能瞬间同步并拉齐所有运行示例所需的依赖。而对那些本地没有配好 Python 环境的同学,她建议直接在 GitHub 页面点击代码按钮创建 GitHub Codespace,在云端浏览器中一键启动预置完毕的 VS Code 环境。在现场调查中,她风趣地询问有多少人平时使用 uv 和 Python,发现 Python 用户依然占绝对多数,而 uv 的渗透率仍在逐步上升。 ```mermaid flowchart TD accTitle: 工作坊环境配置流程图 accDescr: 展示本地 uv 环境配置与 GitHub Codespace 云端启动两种方式,二者最终统一通过配置.env 接入 Microsoft Foundry 模型集群。 subgraph Setup["开发环境准备"] Local["本地机器 (Python + uv)<br/>git clone & uv sync"] Cloud["云端方案<br/>GitHub Codespaces (一键预置)"] end subgraph Auth["认证与资源调度"] ENV["下载配置.env 凭据<br/>提供备用端点防 429 速率限制"] end subgraph Foundry["Microsoft Foundry 模型接入"] M1["GPT-5.5 (基准基石)"] M2["Kimi K2.6 (强力新秀)"] M3["DeepSeek V4 Flash (极速性价比)"] M4["Mistral Large 3 (高性能开源阵营)"] M5["Anthropic 系列 (独立协议项目)"] end Local --> ENV Cloud --> ENV ENV --> M1 ENV --> M2 ENV --> M3 ENV --> M4 ENV -.->|"单独项目条款"| M5 ``` - **核心模型矩阵**:工作坊主要横向评测四款在 Microsoft Foundry 上部署的主力模型: - **GPT-5.5**:全能型基准模型,以高可靠性和极强的推理能力著称。 - **Kimi K2.6**:近期上线且表现非常出色的一流模型。 - **DeepSeek V4 Flash**:极高性价比的快速推理模型。 - **Mistral Large 3**:欧洲开源与企业级领域的头部高性能模型。 - **环境隔离**:Anthropic 旗下的模型因为服务协议和项目条款存在差异,被单独配置在另外的项目空间中。 ### [02:23](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=143s) 为什么 AI 工程师必须掌握“模型自由平替”的能力 进入核心议题,Pamela 直击所有 AI 工程师面临的痛点:为什么我们绝不能把自己死锁在单一模型上?大语言模型迭代极为迅速,层出不穷的新模型随时可能以更低的成本或更高的性能颠覆现有方案;更现实的是,外部供应商由于政策、配额或商业策略,在任何时候都可能突然掐断对某款模型的访问权限。 “And I think this is a really important thing for all us to be doing as AI engineers because, you know, as you've seen, like there's so many new models that come out all the time... at any point could cut off access to a model. So we need to have options, right?” Pamela 强调,真正的 AI 工程能力不仅是跑通一个 Demo,更在于拥有一套健全的评估机制与提示词工程策略,使得应用架构可以在不同厂商的模型之间无缝切换。如果某个模型在某个场景表现不佳,优秀的工程师应当知道如何通过提示词优化(Prompt Engineering)去抹平差异,让低成本或高可用性的模型也能胜任生产任务。 ### [05:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=318s) 测试一:数字母陷阱——基准跑分与真实业务场景的鸿沟 在正式开始测试前,Pamela 警示大家不要盲信公共排行榜上的通用 Benchmark。无论是质量跑分还是安全评测,亦或是吞吐量与成本数据,都只能提供粗略的参考预期。“...but you don't really know how good a model is until you use it for your particular scenario.” 每家企业调用模型的方式千差万别,只有将具体业务场景落地实测,才能看清模型的真本事。 为了从最底层的逻辑机制切入,Pamela 设计了一个极其极简的开局实验:通过 Python 脚本调用 OpenAI 兼容的 Foundry API,让模型统计一句话中字母“E”出现的频次。 - **测试提示词**:`How many times does the letter E appear in the following sentence? The elderly gentleman eagerly entered the elevator. COUNT CAREFULLY.`(在以下句子中,字母 E 出现了多少次?“The elderly gentleman eagerly entered the elevator.” 请仔细计数。) 这句话共有 13 个字母“E”(包含大小写)。针对该测试,四款模型的原始输出结果展现出了明显的梯队分化: | 测试模型 | 原始输出结果 | 正确与否 | 表现细节与说明 | |:--- |:--- |:--- |:--- | | **GPT-5.5** | **13** | **正确** | 数学与符号计算极强,能在“脑内”精准完成分步统计 | | **Kimi K2.6** | **13** | **正确** | 与 GPT-5.5 旗鼓相当,直接给出准确数字 | | **DeepSeek V4 Flash** | **6** | **错误** | 漏掉了整整 7 个 E,显现出小型快速模型在逐字符注意力的缺陷 | | **Mistral Large 3** | **8** | **错误** | 原始直接问答下少统计了 5 个 E | Pamela 补充道,她的很多金融领域同事最近在 GPT-5.5 上跑了大量的财务与数学基准,对其心算与数值处理能力惊叹不已;而 DeepSeek V4 Flash 在这种未经分解的硬性字符串统计上,差距就显现了出来。 ### [07:48](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=468s) 提示词工程的威力:用思维链扭转 Mistral 的表现 当看到 Mistral 和 DeepSeek 在字符计数上翻车时,Pamela 没有直接放弃它们,而是演示了工程师如何通过调整 Prompt 来补齐模型的短板。既然模型在面对长句整体推理时无法精细捕捉局部细节,就可以强制它引入思维链(Chain of Thought, CoT)。 她在提示词中增加了三项明确约束:“break the sentence into words, count per word, and sum show your reasoning”(将句子拆分成单个单词,按单词分别统计,最后相加并展示你的推理过程)。 带着这层提示词工程的约束,Pamela 再次以 Mistral Large 3 发起调用。控制台输出显示,Mistral 这次规规矩矩地逐词拆解:列出“The”、“elderly”、“gentleman”等每个词里有几个 E,最后列出算式汇总,得出了完全正确的数字 **13**。这一对照生动证明了:模型能力的差距往往可以通过结构化的引导机制得到相当程度的弥补。 ### [08:38](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=518s) 测试二:RAG 与事实依附(Groundedness)的考验 在完成了玩具级别的计数测试后,Pamela 将场景推进到企业级应用的核心骨干——检索增强生成(RAG)。她指出:“Arguably, really, everything is RAG. Agents are RAG, too.” RAG 的本质是要求大语言模型在给定的检索上下文(Context)之内回答问题。 在这一架构中,最重要的考核指标就是**真实性与事实依附(Groundedness)**:模型必须严格基于提供给它的上下文进行归纳,绝不能将自身预训练权重中残留的记忆或虚构知识包装成上下文的事实输出。Pamela 的实战经验表明,不同模型在此处的表现参差不齐,尤其是参数较小或能力稍弱的模型,常常忍不住去调用自身的通用知识,并“假装”这是来自检索文档的内容。 为了严格测试这四款模型的事实依附底线,Pamela 构建了一个具有对抗性陷阱的测试集: - **测试提问**:蜜蜂(Honey Bees)与木蜂/木匠蜂(Carpenter Bees)在筑巢方式上有何核心区别? - **提供上下文**:语料库中只灌入了关于**木蜂(Carpenter Bees)**的生物学资料,对蜜蜂(Honey Bees)一字未提。 - **系统指令**:明确要求模型必须完全基于所给资料作答,并标注引用来源。 - **理想预期回答**:优秀的模型应当详细回答木蜂是如何在木材中钻孔筑巢的,然后明确告知用户:“对不起,根据给定的参考资料,我无法提供有关蜜蜂筑巢方式的信息。” Pamela 随即在终端中触发测试,准备逐一验证四款模型在面对信息缺失时,究竟是会老老实实承认无知,还是会脱离上下文开始凭空臆测。 ### [10:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=600s) RAG 实测:模型能否承认“不知道”与幻觉抑制 在检索增强生成(RAG)的实际测试中,Pamela Fox 先让系统执行了一次非常基础的搜索,查询关于“蜜蜂如何筑巢”的信息。检索返回的参考资料中仅包含木蜂的内容,并不涉及蜜蜂筑巢的细节。此时 GPT-5.5 的表现堪称标杆,它明确回答数据集并未提供蜜蜂筑巢的细节。Pamela 称赞道:“GPT-5.5 非常擅长辨别自己不知道的事情。”为了节省时间,她跳过了同样表现不错的 Kimi K2.6,直接切换到 DeepSeek V4 Flash 进行验证。DeepSeek 也顺利通过了考验,准确提示提供的参考来源没有明确信息。 然而,当轮到来自法国团队的 Mistral Large 3 时(现场还引发了一段关于法语“Mistral”地道发音的小玩笑,Pamela 调侃让台下的 Cedric 担任整场演讲的法语翻译),模型却出现了典型的“擅自发挥”。尽管检索文档中完全没有相关事实,Mistral 依然调用了自身预训练权重里的内部知识来回答问题。为了纠正这种不受控的调用行为,Pamela 尝试利用 Prompt Engineering 施加严格约束,在提示词中加入规则:“如果某处细节在来源中不存在,就必须说明‘未提供参考来源’,切勿编造答案”,并试图逼迫它把答案中的每一处事实与参考来源强行绑定。 经过一段长时间的深度思考后,Mistral 输出的回答确实贴上了“除与木蜂的相互作用外未提供参考来源”的标签,但它依然把具体知识写了出来。虽然比直接幻觉进了一步,但它仍然无法彻底闭嘴。Pamela 强调,这正是各个大语言模型在 RAG 场景中最根本的区别: > “所以当你评估用于 RAG 的模型时,真正需要考量的是:这些模型是否愿意承认自己不知道?它们编造内容的概率到底有多大?” - **GPT-5.5**:严格锚定检索上下文,未找到事实时明确拒绝作答。 - **DeepSeek V4 Flash**:能够遵从边界指示,正确指出材料缺失。 - **Mistral Large 3**:倾向于滑向模型内置权重,即便用强约束的 Prompt 也难以完全阻止其吐出未经验证的背景知识。 --- ### [13:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=783s) 图像输入评测:多模态能力的硬天花板 随后现场进入了多模态视觉评测环节。由于 DeepSeek V4 Flash 是一款纯文本模型,并不支持图像输入,因此该项对比仅在 GPT-5.5、Kimi K2.6 和 Mistral Large 3 之间展开。Pamela 在本地准备了三张测试图片,由浅入深考察模型的视觉理解极限:第一张是一头原牛(Aurochs)的照片,考察它是否会错认成神话中的独角兽;第二张是她在哥斯达黎加旅游时拍下的一群鳄鱼,这是一道生物学难题,需要仔细观察口鼻吻部的形状才能区分是短吻鳄(Alligator)还是真鳄(Crocodile);第三张则是植物价格目录的截图,表格字体极小、排版密集,要求模型从中找出单价最便宜的植物。 GPT-5.5 与 Kimi K2.6 在这三项任务中展现了极为出色的解析能力。两款模型不仅迅速确认第一张绝对不是独角兽,还凭借对吻部轮廓的精确捕捉,准确判定第二张为真鳄(Pamela 幽默地感叹道:“幸好 GPT-5.5 也跟我一样在维基百科恶补过鳄鱼知识”)。在最考验 OCR 和结构化排版理解的植物表格中,它们都准确找到了标价为 0.58 美元的最便宜植物。 轮到 Mistral Large 3 时,测试结果出现了断崖式下滑。虽然它能看出图片不是独角兽,却没能认出那是原牛;面对鳄鱼照片时,它犹豫不决并错误地判断为短吻鳄;而在表格读取上,它挑出的植物售价高达 2.30 美元,完全忽略了真正的最低价。Pamela 指出,多模态任务与纯文本有着本质差异: > “现在核心问题在于:谈到多模态理解时,你很难做太多的提示词工程,因为模型要么理解那张图片,要么就是不理解。” - **提示词工程的局限**:除非是特定领域内给模型提供图表坐标或轴线的先验线索,否则普通图像解析无法靠 Prompt 弥补底层视觉编码器的不足。 - **场景适配建议**:多模态选型必须拿真实业务截图进行实地测试,看特定分布的图片是否落在该模型的能力圈内。 --- ### [16:18](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=978s) 跨语言陷阱:当多模态遇上非英语提问 在多模态视觉评测的延伸中,Pamela 揭示了一个极具隐蔽性的多语言陷阱:模型在英语环境下的优秀视觉感知,一旦切换语言就可能全面崩塌。目前主流大模型在训练数据上普遍严重偏向英语,当她在提问时改用西班牙语询问照片里的是“caimanes”(凯门鳄/短吻鳄)还是“cocodrilos”(鳄鱼)时,原本在英语下能够答对的模型直接给出了错误答案。 这种失败的原因在于跨语言映射与视觉推理的多重负担。在西班牙语环境中,词汇含义的地域差异与英语之间存在复杂的对应关系(例如在西班牙语日常语境中 caimán 常泛指短吻鳄类,但其生物学概念与美国佛罗里达常见的凯门鳄又不能完全画等号)。对于模型而言,一边要观察细微的动物鼻吻特征,一边还要处理复杂的跨语言词义对齐,认知负荷瞬间过载。Pamela 结合加州的开发环境提醒现场工程师,很多本地应用都需要双语支持,开发者决不能以为模型在英文下跑通就代表多语言视觉任务同样高枕无忧。 --- ### [17:13](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1033s) 工具调用基础:用 JSON Schema 驱动函数决策 在解决完感知问题后,工作坊进入了重头戏——函数调用(Function Calling,即 Tool Calling)。Pamela 指出,工具调用是当今所有智能体(Agent)的底层基石,是模型在预训练与后训练阶段经过专门调教出来的核心能力。它要求模型阅读外部注入的函数定义与用户输入,自主决策是否调用、何时调用以及构造何种参数,最终以结构化的形式返回给宿主程序。 ```mermaid flowchart TD accTitle: Low-level tool calling flow accDescr: Diagram showing how a user request and JSON schema lead to an LLM tool call decision and external execution. subgraph Input["输入准备"] A["用户自然语言请求"] B["JSON Schema 工具定义"] end subgraph LLM["模型决策层"] C["LLM 推理判断"] D["生成结构化工具调用<br>(函数名 + 参数 JSON)"] end subgraph Host["宿主执行层"] E["宿主代码实际执行函数"] F["将结果写回上下文"] end A --> C B --> C C --> D D --> E E --> F ``` Pamela 强调,即便是以 JSON Schema 的形式编写函数定义,其本质依然是高密度的 Prompt Engineering。编写 schema 时选择的字段名称、数据类型以及 `description` 的措辞,都会直接影响模型的决策质量。她在现场演示了一个极其底层的原始工具调用示例:定义了一个名为 `create_calendar_event` 的日历函数,包含会议主题、参会者、时间与地点等字段;随后给模型一条自然语言请求:“你能帮我在日历上加个会吗?平台团队同步会。参会人是我、工程团队的 Sarah、Marcus 以及新来的 PM Priya。时间是明天下午 1:30,在 Microsoft Teams 线上开。”系统上下文提示词设定当前时间为 6 月 29 日星期一。 在底层调用模式下,模型自身并不执行任何代码,而是输出预期的函数名与一组格式化的 JSON 参数。将 GPT-5.5 的实际输出与左侧的基准进行对比,GPT-5.5 准确提取了会议时间、线上 Teams 地点与绝大部分人员,唯一瑕疵是它把输入语句里的“我”(me)也作为字面参会人塞进了列表。随后,Pamela 开始将相同的日历调度任务切换给 DeepSeek 进行对比测试,观察其能否准确命中工具并传参。 ### [20:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1200s) 工具调用的参数约束与模糊性消除 在测试工具调用的场景中,Pamela Fox 指出,不仅要看模型是否调用了目标工具,还要检查传参是否符合预期。在上一轮调用中,DeepSeek 的表现暴露出明显的参数偏差:它在参会人列表中擅自将“你”(you)也当作一个 attendee 传了进去;而在地点(location)参数上,它生成了带括号的 `"virtual (Microsoft Teams)"`,这完全不是提示词最初要求的值。这表明该模型对参数约束的遵循并不严格。Pamela 紧接着换用 Mistral 进行测试,借此阐述如何通过工具调用的表现来反思 Prompt 设计: “So once I see this, I can start to realize, like, okay, there's some ambiguity, right? And, you know, if it called it with the wrong arguments, that means there's ambiguity, I need to go back into my descriptions and say, you know, don't include me or you just to named attendees.” Pamela 强调,一旦发现模型传参错误,通常意味着工具描述中存在歧义。开发者需要回到 schema 和参数说明中,把规则交代得更明确——例如注明“仅填写真实姓名,不要包含 me 或 you”或者“若提供请给出全名”。通过在不同输入上测试各模型的参数生成,开发者才能看清模型能力边界并逐步完善提示词。 ### [21:03](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1263s) 循环工具调用与执行效率差异 从单次工具调用过渡到 Agent 架构的核心一步是“循环中的工具调用”(tool calling in a loop)。真正的 Agent 往往需要在循环中反复调用工具,直到达成最终目标。Pamela 在 Notebook 中定义了一个接收数学表达式并返回计算结果的基础函数 `calculate`,并向模型提供了一道应用题:商场正在促销,如果购买三件衬衫并按特定税率缴税,最终总金额是多少? 解决这个问题可以有两种截然不同的执行策略: 1. 简单机械地按步骤一步一步发请求:先算折扣,再算三件总价,接着算税费,最后算总计,每一小步都发起一次工具调用。 2. 足够聪明的模型会把所有逻辑整合进一个完整的长表达式中,仅仅发起一次工具调用就直达结果。 为了严格测试,系统提示词中唯一的指令是:“do not do math in your head”(不要心算)。Pamela 调侃道:“That one's really for GPT-5.5, 'cause it's so proud of its math abilities that it's always trying to do it in its head, like, come on.” 测试结果呈现出巨大的效率落差: - **GPT-5.5**:展现出极高的效率,将整个复合算式打包成单条表达式,仅用 1 次工具调用就得出了最终结果。 - **DeepSeek**:虽然最终也得出了正确答案,但它一步一步拆分执行,足足发起了 4 次工具调用。 - **Kimi K2.6**:Pamela 解释自己经常跳过 Kimi 是因为其综合实力非常强、日常表现与 GPT-5.5 不相上下。但在循环调用测试中,Kimi 偶尔会陷入一种“自己反复核对(double checking)”的怪圈。她提到前一天测试时,Kimi 第一次调用就已经拿到了正确答案,但随后又连续发了 4 次工具调用来反复验算。不过在现场运行中,Kimi 表现稳定,没有复现死循环。 Pamela 总结道,评估循环工具调用时,绝不能只盯最终答案是否正确,还要衡量达成目标所需的步数,因为每一次工具调用都是一次真实的底层网络请求,调用次数直接关系到系统的端到端延迟和 API 成本。 ### [23:58](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1438s) 基于 LangChain v1 的旅行规划 Agent 构建完循环调用的概念后,Pamela 开始搭建更完善的完整 Agent 示例。她在示例工程中内置了三种主流 Agent 框架供大家选用:LangChain、Pydantic AI 以及 Agent Framework(微软件自研框架)。现场观众投票选择了 LangChain。Pamela 介绍这里使用的是 LangChain v1,如果大家过去一年没跟进过,这个全新的 SDK 版本设计非常精炼。通过 LangChain 可以直接接入 Azure AI Foundry 上的各个模型。 本次演示的场景是经典的“旅行规划 Agent”(Travel Planning Agent)。该 Agent 注册了 4 个主要工具函数: - `search_flights`:搜索航班 - `search_hotels`:搜索酒店 - `check_budget`:校验选定的航班与酒店总花费是否符合预算 - `search_activities`:在城市内基于剩余预算搜索娱乐活动 系统提示词中为 Agent 规划了明确的履约流程:先分别搜索航班和酒店,优先直飞航线;拿到结果后务必调用 `check_budget` 验证;最后利用剩余的预算调用 `search_activities` 搜索活动。 用户的实际请求是: “I need to fly from SF to New York City next month for three nights. My total budget is $600. And I want direct flights and an activity.” ```mermaid flowchart TD accTitle: Travel Planning Agent Workflow accDescr: Standard sequence of steps an agent takes to plan a trip within budget constraints subgraph Phase1 ["1. 检索阶段 (支持并行)"] A["search_flights<br/>(旧金山至纽约)"] B["search_hotels<br/>(纽约 3 晚)"] end subgraph Phase2 ["2. 预算校验"] C["check_budget<br/>(核对航班与酒店总额)"] end subgraph Phase3 ["3. 活动安排"] D["search_activities<br/>(根据剩余预算推荐)"] end Phase1 --> Phase2 Phase2 --> Phase3 ``` ### [26:17](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1577s) 并行工具调用(Parallel Tool Calls)与跨模型断层 在实际运行旅行规划 Agent 并打印工具调用日志时,不同模型在任务调度与并行化支持上的差距显露无遗。Pamela 重点指出了并行工具调用(Parallel Tool Calling)对生产环境性能的核心价值: “So one thing you can do with LLMs is, many LLMs support parallel tool calling, where if you give them a bunch of tool definitions, they can suggest multiple tools that can be called at the same time in the same turn. And this is really good from a performance perspective, because on your server, you can send off requests in parallel to two different databases, right?” 在测试中,四家模型的调度行为存在极大反差: | 模型 | 并行工具调用 | 总调用轮数/行为细节 | 执行效率与完整度评价 | |:--- |:--- |:--- |:--- | | **GPT-5.5** | **支持** | 在第 1 轮同时并发发起 `search_hotels` 和 `search_flights`;拿到两组数据后在第 2 轮调用 `check_budget` 计算余额;第 3 轮基于结余调用 `search_activities`。 | **最高**:调度严谨,完全榨干并发性能,是该场景下最理想的高效链路。 | | **Kimi K2.6** | 不支持 / 未采用 | 将搜机票和搜酒店拆分到两个独立轮次中前后执行;之后甚至调用了两次 `check_budget` 验证不同组合;最后搜活动。 | **较低**:因未并行化且额外多查了一组预算,多花了两次工具调用,耗时明显更长。 | | **DeepSeek V4 Flash** | 不支持 / 未采用 | 未进行并行化,完全串行处理;但执行逻辑较为收敛,按部就班发起了 4 次工具调用覆盖全部流程。 | **中等**:在不具备并发调用的前提下,依然完整达成了全部指令,中规中矩。 | | **Mistral Large 3** | 不支持 / 未采用 | 串行执行完搜机票和搜酒店后,直接停下,彻底遗忘了后续的预算校验和活动搜索步骤。 | **失败**:上下文展开后发生指令遗忘,未完成既定业务链路,出现任务烂尾。 | Pamela 结合实际评测感叹道:“Agents are the hardest to evaluate because there's so much going on. There's so many different things that are happening along the way. It's like, is it calling the right tools? Is it calling them efficiently? Is it calling things in parallel?” 对于 Mistral 出现的这种“虎头蛇尾”中途放弃现象,Pamela 分析,很多模型随着上下文窗口逐渐被历史步骤填满,容易把最开始的指令抛之脑后,注意力逐渐溃散。针对这种短板,开发者必须在链路中施加额外的引导机制(steering),比如引入自动化校验循环来主动询问模型“你确定所有步骤都完成了吗?”,或者采用现场观众 Jeff Huntley 提出的 Ralph Loop 等控制结构来进行状态把控与流程约束。 ### [30:00](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=1800s) 基于字符串匹配的基础自动化评测(String Checks) 在演示完不同 Agent 框架的代码实现后,Pamela Fox 指出,尽管各个框架在语法细节上有所不同,但当下的智能体框架在核心思路上“相似之处远多于差异之处”。在工作坊的前半部分,大家一直是通过手动触发提示词并用肉眼观察输出结果来对比模型,这种方式非常适合建立对模型行为差异的直观感知;但如果要迈向生产环境,团队必须建立起能够批量执行、可重复运行并横向对比各版本结果的自动化评测机制(Bulk Automated Evaluations)。 评测流程中最直接的第一步就是基于传统代码逻辑的字符串比对(String Comparison)。Pamela 以创建日历日程(`create_calendar_event`)的工具调用为例进行讲解:当模型返回工具调用的参数字典时,开发者可以直接编写断言(Assertion),验证其返回的参数值是否完全符合预期(例如检查会议类型参数是否精准返回了预期的字符串 `"virtual"`)。在对单次工具调用进行基准测试时,测试用例只需要精准核验两件事:模型是否调用了正确的工具,以及传入工具的参数是否正确。 ```mermaid flowchart LR accTitle: 字符串比对评测架构 accDescr: 用户输入经过测试用例集输入到待测大模型,触发工具调用后提取参数,并通过断言逻辑完成通过或失败判定。 subgraph InputStage["输入构造"] A["测试用例集<br/>(真实用户查询/边缘情况)"] end subgraph ExecStage["模型调用"] B["待测模型<br/>(GPT-5.5 / Kimi / DeepSeek / Mistral)"] C["返回工具调用<br/>(Tool Call & Arguments)"] end subgraph EvalStage["断言验证"] D{"参数字符串/列表比对<br/>(String/List Assertions)"} E["判定 Pass / Fail"] end A --> B B --> C C --> D D --> E ``` Pamela 强调了构建高质量测试集的重要性。应用上线进入真实生产环境后,真实用户的输入往往五花八门,开发者很快就会遭遇各种意料之外的边缘情况:“一旦应用上线,你就会看到用户到底是怎么使用它的,然后你会惊呼:‘天哪,全部都崩掉了。’”为了防止评测集与线上真实流量脱节(即所谓的“评测漂移”),团队必须建立一套能将线上真实异常用例快速回流沉淀到评测集中的机制。在她的演示用例集中,涵盖了多种棘手的极端场景: - **日期计算(Date Math)**:她提醒道:“我总会测试大模型的日期计算能力,因为它们通常非常不擅长这个。如果你要在应用里处理日期,干脆直接给模型一个工具去做日期运算,光靠脑子(内部注意力)算太难了,尤其是在遇到闰年时。” - **模糊时间长度(Ambiguous Durations)**:例如未明确起止时间的会议需求。 - **多语言测试**:加入西语用例(西班牙语),验证模型在本地化环境下的参数抽取稳定性。 - **俚语与口语化表达**:例如传入用词极其随便的口语句子(“Yo, can you book the big comp room?”)。 Pamela 接着在全量待测模型上并行跑了一轮评测用例。她指出,平时实际开发中往往只针对单模型运行并对比历史版本,但今天为了横向比对,需要让所有模型同时跑这组工具调用测试。她同时提醒大家,千万不要把耗时漫长的大模型评测直接塞进普通的 PyTest 单元测试套件里当作常规 CI 跑,因为这些包含 API 请求的调用不仅速度缓慢,而且成本不菲。 --- ### [33:42](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2022s) 评测框架与工具生态(Q&A 互动) 在 Pamela 演示基于基础断言的代码时,现场一位观众举手提问,表达了对这种硬编码字符串比对的疑虑:“面对各种角色、参数强度校验,有没有现成的框架能更优雅地处理这些断言,尤其是针对并发调用的场景?” Pamela 笑着打趣道:“你不喜欢我的字符串检查啊?”随后她系统地梳理了当下主流的大模型评测生态工具链: - **可观测性厂商内置框架**:几乎所有主流的 LLM 可观测性与追踪平台都集成了自己的评测套件,例如 LangFuse、LangSmith(LangChain 体系)、Arize 等。 - **云端与厂商官方工具**:在 Microsoft Foundry 生态中,常用的有 Azure AI Evaluation SDK 以及 OpenAI 官方的 `openai-evals` 包。 - **独立开源与多语言库**:Python 生态中有 DeepEval 等专注于断言与质量打分的工具;如果开发者使用的是 JavaScript/TypeScript 技术栈,可以使用 Promptfoo;现场观众补充提到了 Vally 等细分评测工具。 Pamela 总结道,对于最简单的单一字符串或确定性字段验证,其实并不需要引入过重的第三方重型框架,直接用轻量级脚本即可搞定;但一旦涉及复杂的工具调用调用链(Tool Calling Traces)、执行路径判定或者并行调用分析时,借助成熟框架能够省去大量编写样板代码的精力。 --- ### [35:12](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2112s) 大模型充当裁判(LLM-as-a-Judge)与基准校准 当测试结果返回时,Pamela 看到全员基础匹配表现不错,不由赞许道:“这次大家竟然都跑得挺好,真棒!”但她话锋一转指出,在真实应用场景中,绝大多数任务的输出都是非确定性、发散性极强的模糊文本(Fuzzy Outputs),根本无法通过简单的字符串包含或正则表达式来判断对错,这时候就必须引入“大模型作为裁判”(LLM-as-a-Judge)。 ```mermaid flowchart TD accTitle: LLM-as-a-Judge 评测与双重调用架构 accDescr: 单次评测涉及业务模型调用与裁判模型调用的双重开销,裁判综合多方上下文输出 JSON 评定。 subgraph RunApp["第一阶段:业务数据获取"] U["用户查询 (Query)"] --> M["业务待测模型"] M --> R["生成回答 (Response)"] CTX["检索参考上下文 (Context)"] end subgraph JudgeStage["第二阶段:裁判模型仲裁"] P["裁判系统提示词<br/>(Evaluator Persona / Criteria)"] R --> J["裁判大模型 (GPT-5.5)"] U --> J CTX --> J P --> J end subgraph OutputStage["输出与结构化判定"] J --> JSON["结构化 JSON 输出:<br/>- Pass / Fail<br/>- 判定理由 (Reason)"] end ``` 为了让大家透彻理解底层原理,Pamela 没有套用现成框架,而是在代码中直接手写了裁判逻辑。她指出,构建一个合格的 LLM 裁判提示词有几个核心要素: 1. **身份切换与强制判定**:将大模型置于“评估员(Evaluator)”的人设模式中,限定其评分准则,并强制其在最终结论中给出二值化的结论——究竟是通过(Pass)还是失败(Fail)。 2. **强制提供裁判理由(Reasoning)**:要求模型在判定结论前必须写下分析推导原因,“这对于排查问题极其有帮助”。 3. **注入全流程上下文**:如果是评估 RAG 系统的真实性(Groundedness),不能只提供用户的问句(Query)和模型的回答(Response),必须同时将检索出的背景资料(Context)作为输入喂给裁判模型。如果是评估工具调用效率,甚至需要向其提供完整的工具调用定义(Tool Definitions)和模型实际执行的追踪轨迹(Traces)。 4. **输出结构化结果**:例如指定强推理模型 GPT-5.5 作为裁判模型,要求其严格以 JSON 格式输出判定结果与解释。 Pamela 提醒大家警惕 LLM-as-a-Judge 的双重调用开销与延迟问题:“每运行一个用例,实际上都是至少两次 LLM 调用——既要运行自己的业务代码去调用一次模型,接着又要调用另外一个 LLM 去审判这个输出。”如果在复杂场景下挂载了 5 个不同维度的评测指标,单次测试就会迅速膨胀成 6 次以上的模型调用。在生产级的 RAG 评测中,基准数据集通常包含 200 到 800 个测试用例,这就意味着数千次大模型请求,全量跑完极其耗时,因此绝对无法在每次 GitHub CI 甚至每次代码提交(Commit)时全量触发。 为了提高工程迭代效率,Pamela 推荐了一种实践模式:在测试前将业务模型的问答结果与上下文预先跑出来固化存储,将裁判模型的评估解耦出来独立运行。因为在实践中经常会发生一种尴尬的局面——“你测了半天发现结果不对,最终却意识到并不是你的应用本身写砸了,而是你的裁判提示词(Evaluator)本身写错了!”因此,团队必须将“应用本身出 bug”与“裁判误判”区分开来,并引入领域专家(Domain Expert)对测试数据进行人工标注,对裁判模型的结果进行持续校准(Calibration)。 在最终的 RAG 真实性裁判评分中,各模型的表现拉开了差距:多数主流模型在本次样例中拿到了 3 题中通过 2 题的成绩(2/3),而 Mistral 模型仅通过了 1 题(1/3),暴露出在事实依据锚定(Groundedness)上仍有较大的优化空间。在这一节的尾声,Pamela 强烈推荐了专注于大模型评测的专家 Hamill(Hamel Husain,hamel.dev),盛赞他的开源评测课程、深度指南以及精准讽刺评测困境的表情包(Meme),并打趣道:“昨晚在群里跟人聊起评测时,我还用了他的梗图——构建一个可靠的 LLM 裁判真的很让人头秃。” ### [40:07](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2407s) ASSERT:基于规范自动生成测试集与评测指标 在探讨如何构建优秀的评测体系时,Pamela Fox 首先推荐大家关注 Hamel Husain 的 Twitter 并学习其课程,以此掌握编写高质量评测的最佳实践。随后,她隆重介绍了微软研究院(Microsoft Research)最新推出的一款工具——ASSERT。该工具非常新,仅在一周前刚刚发布。ASSERT 的核心价值在于能够根据开发者编写的产品规范(spec)自动生成评测裁判(Judges)。开发者只需在规范中写明正在构建的 Agent 类别、预期行为逻辑以及所需支持的用户类型,ASSERT 就会基于严谨的学术研究成果,自动拓展出一整套测试用例,并将规范具象化为实际的打分准则(judging rubrics)。 ```mermaid flowchart TD accTitle: ASSERT 评测工作流 accDescr: 展示从 YAML 规范定义到生成测试集再到多模型评测的完整流程 subgraph Spec["1. 规范定义"] A["YAML 配置文件<br/>(维度/预算分层/裁判模型)"] B["Agent 辅助技能<br/>(自动编写 YAML)"] B --> A end subgraph Gen["2. ASSERT 自动化生成"] A --> C["行为类别与准则<br/>(允许/禁止的行为)"] A --> D["多场景测试集<br/>(模拟不同真实用户画像)"] end subgraph Eval["3. 运行评测"] C --> E["LangChain Travel Planner<br/>(完整追踪每一轮 Tool Call)"] D --> E E --> F["评测结果看板<br/>(违规次数统计)"] end ``` Pamela Fox 现场展示了此前 LangChain 旅行规划 Agent 的 `assert_eval` 配置。评测的起点是一个 YAML 文件。她笑着打趣道:“我们都希望生命中能有更多的 YAML,我对 YAML 的领悟是:尽管我可能讨厌它,但面对当前的需求,它确实比其他任何东西都好用。”在 YAML 文件中,开发者定义了评测上下文、选用的裁判模型(Judge Model),以及关心的核心维度(例如“预算压力” Budget Pressure)。开发者可以对维度进行预先分层(Stratification,如“充裕预算”、“紧张预算”、“不可行预算”),也可以交由系统自动分层。为了降低门槛,ASSERT 甚至提供了一个 Agent Skill 来协助生成该 YAML 文件,免去了人工手写的繁琐。评测运行时,底层运行的是之前构建的 LangChain 旅行规划器,系统会全程追踪每一次工具调用(Tool Call),确保评测具备完整可观测性。 - **行为准则分类**:ASSERT 自动梳理出行为准则分类,包括预算与可行性、直飞偏好、规则违反情况以及必要工具的使用(Required tool use)等,明确界定 Agent 哪些行为是被允许的、哪些是绝对禁止的。 - **生动的测试场景**:测试集完全由大模型根据 YAML 生成,场景标题极具特点,例如“红眼航班前安装人员带六个家长在周末看 AMA”、“拿着写字板的教练”等,高度还原各种刁钻的真实用户行为。 - **冷启动优势**:解决了进入生产环境前缺乏真实测试集的难题,大幅降低评测系统的冷启动(Bootstrapping)门槛。 ### [43:32](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2612s) 多模型在 ASSERT 下的评测表现与内置评测陷阱 在 ASSERT 运行完成后,前端展示了 DeepSeek、Kimi 和 GPT-5.5 在各类场景下的评测数据。在 ASSERT 的打分逻辑中,分值代表违规行为(Violations)的数量,因此数值越低表现越优秀。测试结果显示,GPT-5.5 的违规次数显著低于其他两个模型,取得了全场最佳的成绩。Pamela Fox 坦言这一结果有些出乎意料,因为在当天的其他测试中,Kimi 的综合表现一直非常出色,她原以为两者会旗鼓相当,但在复杂的旅行规划规则约束场景下,GPT-5.5 展现出了更强的规范遵循能力。 谈及评测方法论时,Pamela Fox 对业界常见的“表面评测”提出了尖锐的批评。她指出,业内一直在呼吁“必须跑评测”,但很多人要么完全不跑,要么仅仅依赖平台内置的通用指标,这是巨大的误区。Pamela Fox 直截了当地告诫在场工程师:“大模型在连贯性上极其擅长,你永远不需要去检查一个大模型是否连贯。如果它们都不连贯了,那一定是发生了非常严重的事故。” > “人们一直在说:你必须运行评测,你必须运行评测。然后根本没人去跑评测,或者他们只跑连贯性(Coherence)和流畅度(Fluency)这种默认指标。永远不要跑那些指标。” —— Pamela Fox - **内置指标的局限**:除了在做 RAG 检索时偶尔会使用真实性/扎根性(Groundedness)和相关性(Relevance)指标外,绝大多数开箱即用的默认评测指标对具体业务场景毫无价值。 - **定制化评测的核心地位**:要想真正衡量 Agent 表现的好坏,必须根据业务定制评测器,而 ASSERT 的核心价值正是帮助开发者自动化搭建专属的定制评测集。 ### [45:52](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2752s) 利用 DSPy 与 GEPA 算法自动化优化 Prompt 面对在不同模型间迁移时“提示词需要反复微调”的工程痛点,Pamela Fox 指出人工调优极其痛苦——开发者不仅工作量巨大,而且很难摸清每一个模型的底层脾气。为此,她展示了基于 DSPy(Declarative Self-improving Python)的自动化 Prompt 优化方案。DSPy 彻底颠覆了传统的开发范式:开发者不再硬编码 Prompt,而是在代码中声明程序的输入、输出规范(Spec)与业务约束(Constraints),Prompt 反而成为了优化过程的输出物。 ```mermaid flowchart LR accTitle: DSPy 提示词优化流程 accDescr: 展示 DSPy 如何通过 GEPA 遗传算法迭代优化提示词以满足代码约束 A["定义程序约束与规格<br/>(词数要求/首字母缩写/测试用例)"] --> B["初始化 Student 模型<br/>(例如 Mistral Large)"] B --> C["Reflection 模型 +<br/>GEPA 遗传帕累托算法"] C --> D{"爬山法迭代验证<br/>是否满足所有约束?"} D -- 否 (迭代变异) --> C D -- 是 (找到最优解) --> E["输出优化后的 System Prompt<br/>(低成本小模型稳定达标)"] end ``` 在具体示例中,Pamela Fox 设定了一个高难度任务:生成一个编号列表,要求每一行的单词数必须完全精准,且每行开头的第一个字母必须拼出一个指定的目标单词。在代码中,所有的检查逻辑均被编写成测试断言,用于验证输出是否满足约束。DSPy 引入了 GEPA(Genetic Pareto Algorithms,遗传帕累托算法),配合“学生模型”(Student Model)和“反思模型”(Reflection Model),利用遗传算法与爬山法(Hill climbing)不断尝试、变异并寻找下一个最优提示词,直至完全满足业务约束。 - **算法用时**:在演示的复杂任务中,DSPy 结合 GEPA 算法耗时约 6 分钟,自主迭代跑出了完全符合规范的最优指令。 - **攻克弱势模型**:Pamela Fox 特意选用在此前测试中最难调优的 Mistral 模型作为实验对象,最终 DSPy 成功为 Mistral 找到了能够稳定执行约束的 System Prompt。 - **降本价值**:借鉴了 Dropbox 和 Shopify 的实际工业落地案例,证明企业可以通过 DSPy + GEPA 找到极致调优的 Prompt,从而摆脱对昂贵大模型的依赖,将业务平替至成本极低的小模型甚至自建私有化部署的基础设施上。 ### [49:22](https://www.youtube.com/watch?v=UGjk3Uk0MxM&t=2962s) Anthropic 的 Citations 机制与工作坊收尾 在工作坊临近尾声时,Pamela Fox 补充介绍了因 API 架构不同而未在主流程演示的 Anthropic 模型。与大多数遵循类 OpenAI 接口标准的模型不同,Anthropic 采用 Messages API,虽然接入时需要重写部分交互代码,但它在 RAG 场景中具备一项极具杀伤力的原生能力——内置引用机制(Citations)。 开发者在调用 Anthropic 时,可以直接在请求体中以结构化的文档形式提供上下文源材料(指定文档类型与文本内容),并显式开启 `citations` 参数。Anthropic 模型在训练时就内嵌了这一行为模式,能够直接返回带有精确文本块引用的结构化数据。前端开发人员可以极其轻松地解析这些引文并生成跳转链接,从底层避免了传统 RAG 依靠后处理正则匹配导致引用错位的困扰。 最后,Pamela Fox 提醒现场学员,由于工作坊代码库中的 `.env` 文件包含她个人真实的临时 API Key,会后她将尽快进行密钥轮换(Key Rotation)以保证安全。该 GitHub 代码库将永久保留,并且前一天刚刚增加了对 Ollama 的完整支持。开发者只需将端点指向本地 Ollama 服务并切换模型名称,即可零成本在本地离线复现本场工作坊的所有模型切换、评测及调优实验。伴随着对现场听众的致谢与分发贴纸的轻松笑声,本场工作坊圆满结束。 - **Anthropic 结构化引用**:原生支持将上下文标记为 Source Documents 并开启 Citations,模型直接返回内联引用结构块,极大简化了 RAG 应用的前端交互设计。 - **本地环境无缝平替**:代码库已完成 Ollama 适配,采用一致的 API 抽象,支持开发者将 GPT-5.5、Kimi 等云端模型一键平替为本地开源模型进行本地化测试。 ## Mentioned Pamela Fox, Cedric, Hamel Husain, Microsoft Foundry, GPT-5.5, Kimi K2.6, DeepSeek V4 Flash, Mistral Large 3, Anthropic, LangChain v1, ASSERT, DSPy, Ollama, Python, uv, GitHub Codespaces, RAG ## Video description Benchmarks won't tell you how a model behaves in your app. Swapping it in and testing will. Pamela Fox, Principal Cloud Advocate at Microsoft, runs the same scenarios against GPT-5.5, Kimi K2.6, DeepSeek V4 Flash and Mistral Large 3 on Microsoft Foundry so you can see where models differ and what you can do about it. She works up from a letter-counting prompt to RAG groundedness, image input, multilingual pitfalls, tool calling, tool calling in a loop and a LangChain v1 travel agent, then moves to evaluation: string-check evals, LLM-as-a-judge, Microsoft's new ASSERT tool for generating test sets from a spec, and DSPy prompt optimization that finds a prompt the cheapest model can satisfy. In this video: - Where top models differ: counting, groundedness, vision, tool calls and parallel tool calling - How prompt engineering closes some gaps but not image understanding - Bulk evals with string checks and LLM-as-a-judge - Generating test sets with ASSERT and optimizing prompts with DSPy SPEAKER Pamela Fox, Principal Cloud Advocate, Microsoft X: https://x.com/pamelafox LinkedIn: https://www.linkedin.com/in/pamela-s-fox GitHub: https://github.com/pamelafox LINKS ASSERT (GitHub): https://github.com/responsibleai/ASSERT CHAPTERS 0:00 Workshop setup 2:23 Why you need to be able to swap models 3:08 The four models 5:18 Benchmarks vs your scenario 5:38 Test 1: counting letters 7:48 Fixing it with prompt engineering 8:38 Test 2: RAG and groundedness 13:03 Test 3: image input 16:18 Switching languages 17:13 Test 4: tool calling 21:03 Test 5: tool calling in a loop 23:58 Agents with LangChain v1 26:17 Parallel tool calls 30:27 Evals with string checks 33:42 Q&A: eval frameworks 35:12 LLM as a judge 40:07 ASSERT: evals from a spec 43:32 ASSERT results across models 45:52 Prompt optimization with DSPy 47:52 A DSPy prompt for Mistral 49:22 Anthropic and citations 50:32 Wrap-up Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #LLM #Evals #AIEngineer [Source](https://www.youtube.com/watch?v=UGjk3Uk0MxM)