NDC Conferences
大语言模型不执行工具调用且缺乏能力边界认知,其非确定性与对外部输出的盲信会导致操作失控及敏感数据泄露。
AI-assisted summary of AI Agents In-Depth – Function Calling, MCP and Tool Use Under the Hood - Alan Smith - NDC AI 2026 — original source. Check the original for full context.
Source published:
Key ideas
- 大语言模型在工具调用机制中本身不执行代码或外部 API,仅负责在分析提示词后输出带有参数的函数指令,实际调用与结果回传全由宿主应用程序负责完成。 (2:13)
- Agentic RAG 通过赋予模型动态查询重写和多工具路由能力打破了传统硬编码检索管道,但若直接抓取全文会导致 Token 暴涨引发速率限制,需引入预摘要工具做二次提炼。 (20:48)
- 针对模型在超长上下文突破 50% 后推理效能暴跌的痛点,引入 Skills(技能)机制常驻元数据并在触发时按需动态加载,可有效防范上下文膨胀与性能衰减。 (52:01)
- 真正的 MCP 是 Agent 与外部服务器间基于 Streaming HTTP 或 Stdio 的分布式通信协议,与模型内部在内存中抹平的工具载荷格式不可混为一谈。 (45:33)
Detailed notes
## Background 本内容由 YouTube 官方技术频道 NDC Conferences 发布于 2026 年 7 月 1 日,记录了在挪威奥斯陆举办的 NDC AI 会议演讲。演讲由微软 MVP Alan Smith 主讲,视频简介指出本次分享聚焦 Agentic AI 的底层机制,通过高密度的现场实操深入剖析大语言模型的函数调用(Function Calling)、提示词引导策略、安全规范以及模型上下文协议(MCP)。
## TL;DR Alan Smith 通过分步解构协议与多组对照实验,破除了大众对 Agent 无所不能的“神灯精灵”迷信,明确指出 LLM 本身并不直接执行工具,而是由应用程序基于模型返回的指令完成调用闭环。他现场展示了在零 System Prompt 极端约束下模型如何仅凭函数元数据自省能力,并对比了传统硬编码 RAG 与 Agentic RAG 的架构差异,提出预摘要机制以根治长上下文下的“Token 爆炸”。针对工程实践,演讲深入揭示了智能体面临的“锤子与钉子”盲信陷阱、非幂等写入破坏以及敏感数据泄露等安全与非确定性隐患,并正本清源地厘清了真正的 MCP 协议与模型上下文之间的本质区别,最后展示了如何利用动态 Skills 加载机制高效赋能日常 Copilot 编码与音乐创作。
## Atmosphere & style 整场演讲呈现出一种资深工程师特有的冷幽默与务实批判风格,既不兜售技术焦虑,也不盲目吹捧当下概念。Alan 将现场演讲称为直面不可控变量的“实验现场”,即便遭遇平台拦截或云端缓存 Bug 也泰然处之,笑谈大模型的“胡说八道”与行为漂移。通过自制的“克林贡语点餐”、代码解释器翻车截图以及现场代码驱动的摇滚电音混音,他在轻松写意的技术交流氛围中,直击了 Agentic AI 在现实落地中的脆弱边界与工程底色。
## Bulletin - [02:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=133s) 大语言模型在工具调用机制中本身不执行代码或外部 API,仅负责在分析提示词后输出带有参数的函数指令,实际调用与结果回传全由宿主应用程序负责完成。 - [20:48](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1248s) Agentic RAG 通过赋予模型动态查询重写和多工具路由能力打破了传统硬编码检索管道,但若直接抓取全文会导致 Token 暴涨引发速率限制,需引入预摘要工具做二次提炼。 - [52:01](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3121s) 针对模型在超长上下文突破 50% 后推理效能暴跌的痛点,引入 Skills(技能)机制常驻元数据并在触发时按需动态加载,可有效防范上下文膨胀与性能衰减。 - [45:33](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2733s) 真正的 MCP 是 Agent 与外部服务器间基于 Streaming HTTP 或 Stdio 的分布式通信协议,与模型内部在内存中抹平的工具载荷格式不可混为一谈。
## Key takeaways - [02:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=133s) 大语言模型的本质仍是概率预测下一个 Token,工具调用的执行权完全保留在客户端或宿主应用层,模型仅负责意图识别与参数提取。 - [04:44](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=284s) OpenAI 通过微调专门训练了模型对 JSON Schema 工具定义的解析能力,写操作或涉及资金的操作可通过工具元数据接入人工在环(Human-in-the-loop)确认机制。 - [09:06](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=546s) 微软 Agent Framework 在 .NET 与 Python 双语言实现中保持了高度对称的类名与架构设计,优于早期在两门语言间差异显著的 LangChain 与 Semantic Kernel。 - [10:25](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=625s) 即使系统提示词(System Prompt)完全置空,大模型仅凭注入上下文的工具定义与方法签名元数据即可完成自我认知与能力对齐。 - [12:42](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=762s) Agent 推理具备显著的非确定性(Non-deterministic),相同需求在多次运行下可能产生数量剧烈波动的决策分歧,在严谨业务中需谨慎权衡。 - [16:03](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=963s) 多模态大模型词表扩充使其具备极强的跨语种甚至虚拟幻想语言(如克林贡语)的意图泛化能力,能跨语言准确映射到英文工具参数中。 - [20:48](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1248s) 朴素 RAG 采用机械拼接上下文的固定流程,无法应对客套闲聊或多轮代词追问;Agentic RAG 则将检索视作按需调用的工具并支持查询重写。 - [24:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1453s) 在维基百科检索等全文本场景中,直接灌入原始网页极易触发 Token 暴涨与平台速率限制,通过嵌套轻量模型先定向提炼再注入能将消耗压降近一个数量级。 - [29:58](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1798s) 模型存在“手握锤子看什么都是钉子”的工具误用问题,例如商业 Copilot 会误派 DALL-E 尝试绘制确定性的数学二维码,直至使用 Code Interpreter 才成功解决。 - [33:18](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1998s) 模型对工具输出存在盲目信任倾向,即使工具内部逻辑被故意篡改,除非涉及常识算术被心算识破,面对复杂输入时模型依然会直接采纳错误数据。 - [39:47](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2387s) 低代码与无代码 Agent 构建工具缺乏严格的外围边界隔离与访问控制,易被恶意提示注入利用并导致底层数据库或企业敏感数据外泄。 - [41:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2473s) 非幂等操作的工具调用可能破坏业务账目一致性,且在未接入强制拦截确认时,模型可能会直接将系统提示词中的敏感信息抽取并泄露给外部工具。 - [45:33](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2733s) 澄清业界对 MCP 的认知误区:单进程单体架构适用原生函数调用,而 MCP 是面向分布式系统、具备双向通知通道的轻量化集成规范。 - [50:20](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3020s) 将本地 MCP 服务挂载至 VS Code 或 GitHub Copilot 等开发现成工具中,能以极低成本将内部系统的复杂 API、音视频与数据桥接至日常工作流。 - [52:01](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3121s) 基于 Skills 的按需加载策略仅在常驻上下文保留名称与定义,待命中意图后再注入技能规范,有效解决了上下文窗口使用率超 50% 时的推理悬崖式衰退。 - [58:23](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3503s) 底层平台(如 Azure AI Foundry 与 OpenAI 原生端点)的安全过滤与行为漂移存在难以预测的异构性,使得即使相同指令也会在不同时期触发非预期的拦截与逻辑混乱。
## Detailed walkthrough ### [00:07](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=7s) 会议开场与主题概览:深入 Agentic AI 底层机制
Alan Smith 在 NDC AI 会议上发表了题为“AI Agents In-Depth”的演讲。他明确表示,虽然业界普遍在谈论 Agent、模型上下文协议(Model Context Protocol,简称 MCP)以及工具使用(tool usage),但他希望在此次分享中带大家“更深入一个层级”,去探究大语言模型到底是如何理解并决定何时调用工具的。具体而言,系统提示词(system prompt)、用户意图(user intent)以及工具定义(tool definitions)是如何共同作用来驱动这一决策过程的。
与工具调用的强大功能并存的,是可能出现的偏差与故障。Alan 借用了一句俗话来形容这种现象:“‘如果你手里唯一的工具是一把锤子,你看所有问题都会像钉子’(There's this kind of old adage: if your only tool is a hammer, you see every problem as a nail)。”语言模型也经常会误用不相关的工具,或者对工具返回的结果寄予过度的信任。他强调,本次演讲的演示不会追求极其复杂的业务架构,核心目的在于直观剖析模型是如何推断出需要使用某种工具的;开发者唯有深刻理解底层的推理机制,才能构建出更加稳健、优质的解决方案。此外,他还提到可以借助对 Agent、工具和技能(skills)的理解,进一步定制日常使用的自动化 Copilot(例如借助 Claude Code 等工具来完成任务)。
- 演讲者背景:Alan Smith 来自英国,目前定居斯德哥尔摩;从事有偿编程工作约 30 年,登台演讲技术内容约 20 年;连续 20 年荣获微软 MVP(最有价值专家)称号,目前所属领域为 AI Foundry。 - 业余爱好:在斯德哥尔摩短暂的夏季玩帆板和桨板(paddle board);利用 Sonic Pi 配合“Vibe Coding”及生成式 AI 编写代码进行现场音乐打碟(DJ with code)。 - 交流方式:会后可通过 LinkedIn 与其建立联系,并在现场答疑交流。
---
[02:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=133s) 破除神话:LLM 与 Agentic AI 的本质运作流程
Alan 首先回顾了底层大语言模型(LLM)的本质。现代主流模型(包括但不限于 GPT 家族)均基于生成式预训练变换器(Generative Pre-trained Transformer,即 GPT)架构模式。归根结底,模型在接收到一组输入 token 序列后,所做的仅仅是预测概率最高的下一个 token。“如果我们输入 1 + 1,大语言模型会进行大约 5 万亿次浮点运算,然后预测出答案很可能是 2(So if we feed in 1 + 1, the large language model will do like 5 trillion floating point operations and it will predict that the answer is probably going to be two)。”
当进入 Agent 时代后,很多没有亲自动手编写过 Agent 业务逻辑的用户往往会产生一种“神话般的误解”。在普通用户眼中,手机应用更新为带有“Agentic”属性的新版本后,后台仿佛住进了一个无所不知的“神灯精灵(genie)”,能够直接看穿人类意图并自动把事情办妥。然而现实中,底层完全由确定性的程序逻辑和严格的交互闭环组成:
```mermaid flowchart TD accTitle: Agentic AI Tool Calling Workflow accDescr: A sequence showing how the user, agentic application, LLM, and external tools interact during a function call.
subgraph UserInteraction["用户层"] U["用户 (User)"] end
subgraph ClientSide["应用层 (Agentic Application)"] APP["Agent 宿主应用程序"] TOOL["外部工具 / 天气服务 (Weather Tool)"] end
subgraph ModelLayer["模型提供商 (LLM)"] LLM["大语言模型 (如 GPT-4o)"] end
U -->|"1. 提问:奥斯陆天气如何?"| APP APP -->|"2. 传递用户提示词 + 可用工具定义 (JSON Schema)"| LLM LLM -->|"3. 决定调用工具 (返回函数名及参数,不直接调用)"| APP APP -->|"4. 实际发起 API 请求 (city='Oslo')"| TOOL TOOL -->|"5. 返回气象数据"| APP APP -->|"6. 将工具执行结果回传"| LLM LLM -->|"7. 基于工具数据组织最终自然语言答案"| APP APP -->|"8. 呈现最终答案给用户"| U ```
在整个工作流中,Alan 着重强调了一个至关重要的核心原则:“重要的一点在于,大语言模型本身并不执行工具调用(And the important thing is that the large language model does not call the tool)。”模型只是在分析了系统提示词与用户意图后,向应用程序发回指令:“请帮我调用天气服务,并将参数设为城市‘奥斯陆’”。真正发起网络请求、访问外部数据库或执行计算的是宿主应用程序;应用层获取响应后,将数据再次作为上下文喂回模型,最后由模型生成给用户的自然语言回答。整个过程对终端用户而言只表现为略微增加的网络延迟,并不会在界面上暴露这一连串的往返调度。
---
[04:44](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=284s) Postman 协议级实操演示与人工确认机制
为了揭示底层协议的真实交互过程,Alan 使用 Postman 直接向部署在 Microsoft AI Foundry 上的 GPT-4o 端点发送原生 JSON 请求,进行了分步演示。
在初次请求中,他没有设置任何系统提示词,仅仅以 `user` 角色发送了一句提问:“奥斯陆的天气怎么样?”(What's the weather like in Oslo?)。模型在返回结果中包含了安全过滤评估信息,并直接拒绝了提供实时信息:“我无法提供实时天气更新,因为我的训练数据截止日期为 2023 年 10 月。我没有实时数据可用性。”这正是传统文本生成模型的标准表现——它无法感知当下的真实物理世界。
随后,Alan 展示了如何通过提供工具定义(Tool Definition)来增强该请求。针对 OpenAI 选用的函数调用(Function Calling)规范,他在请求体中注入了一个名为 `get_weather` 的函数声明,该函数定义接收一个名为 `city`、类型为 `string` 的参数对象:
1. **发起带工具定义的请求**:将用户提问与该 JSON Schema 工具定义一同送入 GPT-4o。 2. **模型的推理停止与指示**:模型返回的 `finish_reason` 不再是常规的 `stop`,而是表明遇到了函数调用。响应内容返回了一个函数调用请求,指明函数名称为 `get_weather`,提取出的参数为 `{"city": "Oslo"}`。 3. **模拟外部工具响应**:Alan 在本地模拟宿主代理执行了该查询,构造了一个工具执行结果消息,内容为“奥斯陆今天阳光明媚”(Nice and sunny in Oslo)。(Alan 在此打趣道:昨天奥斯陆的天气其实并不晴朗,但今天确实变好了)。 4. **生成最终回答**:将带有天气结果的上下文再次发送给 GPT-4o,模型最终流畅地向用户输出:“奥斯陆今天天气晴朗。”
Alan 补充指出,OpenAI 最初是在 GPT-4(早期版本并不支持)上通过微调专门训练了模型对工具 JSON 格式的解析与参数抽取能力。在此基础之上,实际应用往往需要引入“人工在环”(Human-in-the-loop)的确认机制。查询天气这种无副作用的操作可以全自动执行,但如果是涉及预订航班、预订火车票或酒店房间等具有写操作或资金流转的场景,应用可以通过在工具定义上添加元数据注解,暂停自动化流并向用户弹出确认弹窗。再次强调,“大语言模型仅负责决定调用哪个工具,而具体由 Copilot 应用程序去执行调用”。
---
[08:21](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=501s) 从原生 API/SDK 到开发框架的选择
在构建真正的 Agent 解决方案时,开发者需要考虑接入层与代码抽象。开发者不能直接接触模型底层权重,通常必须通过各家模型提供商(例如 OpenAI、微软 Microsoft Foundry 或 Anthropic)提供的 HTTP API。
虽然通过原生 REST API 发送 JSON 请求有助于理解底层原理,但在工程实践中开发者更常依赖 SDK。然而,“每个 SDK 都是特定于提供商的(each SDK will be specific to the provider)”,比如 OpenAI、Microsoft Foundry 和 Anthropic 各有一套 SDK,各厂商在接口设计和参数格式上的细微差异导致开发者无法轻松地在不同模型提供商之间无缝切换。
为了解决多模型适配与复杂 Agent 流程编排的问题,开发者普遍会转向开源或成熟的开发框架。Alan 回顾道,自己早在 GPT-3.5 时代就开始使用 LangChain 这一类框架来搭建应用,框架为管理提示词、维护上下文状态以及对接外部工具提供了更高层级的抽象。
- 厂商原生 SDK:针对单一提供商深度优化,但存在明显的厂商锁定(Vendor Lock-in),替换模型成本高。 - 框架层(如 LangChain、Semantic Kernel 等):统一了工具定义与调用流程,屏蔽了底层 REST 接口的协议差异,便于灵活切换后端模型。
[09:06](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=546s) Agent 开发框架演进与微软 Agent Framework
在构建 Agent 应用时,开发者经历了几代主流框架的迭代。Alan Smith 提到自己所在的公司是一家主营.NET 的软件厂商(.NET shop),早年由于他长期从事机器学习相关工作,一直主要使用 Python,并且最初试图说服身边的.NET 开发者转投 Python,“And uh there's a lot of resilience there.”(面对了相当大的阻力)。随着 LangChain 逐渐支持多语言以及微软推出了同时支持.NET 和 Python 的 Semantic Kernel,许多.NET 团队才真正拥抱了 LLM 开发。
然而,Alan 目前最推崇的是微软推出的全新 Agent 框架(Microsoft Agent Framework)。他偏爱该框架的核心原因在于:无论使用 Python 还是.NET 编写代码,其类名(class names)与代码架构都保持了极高的对称性与一致性,而这在 LangChain 与 Semantic Kernel 之间是完全做不到的——这两者的跨语言实现往往差异巨大。
Agent 框架为开发者封装并提供了诸多基础能力:上下文与配置管理、Prompt 管理、RAG(检索增强生成)机制、会话历史管理(chat history),以及工具与插件的调度注册等。其中极其关键的一环是模型抽象层(Model Abstraction),开发者可以极为轻量地在 Azure AI Foundry 与原生 OpenAI Service 等不同服务商之间切换,或随心选择不同的底层模型(如 GPT-4o 等响应极快、适合现场演讲演示的模型)。
```mermaid flowchart TD accTitle: Agent Framework 核心抽象与功能架构 accDescr: 展示 Agent Framework 如何在多语言支持、底层能力管理和模型服务之间进行解耦与连接。
subgraph Lang["编程语言层 (高一致性设计)"] PY[".NET 实现"] DOT["Python 实现"] end
subgraph Framework["Agent Framework 核心功能"] direction TB F1["Prompt 与上下文管理"] F2["Chat History 与 RAG 检索"] F3["Tools / Plugins 调度机制"] F4["模型抽象层 (Model Abstraction)"] end
subgraph Providers["底层模型服务商"] P1["Azure AI Foundry"] P2["OpenAI 原生 API"] end
Lang --> Framework Framework --> Providers ```
---
[10:25](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=625s) 极简披萨点单 Agent:零 System Prompt 下的工具自我认知
为了探究模型究竟如何感知工具的存在与边界,Alan 现场展示了一个极简的披萨订购 Agent。该应用最初基于 LangChain 编写,随后迁移至 Semantic Kernel,如今则完全运行在微软的 Agent 框架中。整个架构由用户界面、业务应用和两个核心工具服务构成:一个用于向订单添加披萨(`add_pizza_to_order`),另一个用于列出可选配料(`get_toppings`)。
令人惊讶的是,Alan 在 System Prompt(系统提示词)中完全没有提及“你是一个披萨助手”或“你可以下单披萨”。但在控制台交互中,当 Alan 输入空字符串触发默认问句“你是谁?你能做什么?”时,模型却回答:“我是一个友好的 AI 助手……可以协助处理点披萨等任务。”Alan 解释道,模型之所以在毫无预设人设的情况下知道自己具备点餐能力,是因为框架在向大模型发送消息上下文时,自动附加了工具定义的元数据,大语言模型通过自主阅读这些元数据便推理出了自身具备的功能。
- **模型选型**:现场演示采用 GPT-4o,核心诉求在于其极其敏捷(snappy)的吞吐响应,避免现场演示冷场。 - **无显式指引的工具感知**:在未配置 System Prompt 的情况下,工具名称 `add_pizza_to_order` 及其最基础的方法描述,就足以让模型完成意图对齐与能力自省。
---
[12:42](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=762s) 复杂意图拆解、错误处理与非确定性陷阱
当测试复杂订单时,模型的推理拆解能力展现得淋漓尽致。Alan 键入了一句典型的模糊口语需求:“我想要三张大号素食披萨,一张额外加橄榄,一张额外加芝士。”面对这一复合请求,大模型自动推导出了执行计划:它并没有尝试合并调用,而是连续触发了三次 `add_pizza_to_order` 工具调用,每次准确指定了 1 张大号素食披萨,并将各自特异性的定制选项填入附加信息参数中。“The model is very, very clever to be able to understand how to make those tool calls.” Alan 如此评价。
除了成功拆解参数,模型在遭遇业务异常时也展现了极佳的韧性。当底层方法限制尺寸只能为 `small`、`medium` 或 `large` 时,Alan 故意下单了一个家庭装尺寸(family size)。后台方法抛出校验错误后,模型立刻捕获该错误信息,并重新组织语言引导用户修正为大号(large)。然而,这种基于大模型的 Agent 推理伴随着显著的非确定性(Non-deterministic):
- **用户组聚会推理实验**:Alan 模拟了一场技术用户组聚会的需求:“100 人报名,预估 20% 缺席,需要订披萨,包含部分素食者和过敏人群。” - **三次运行的剧烈波动**: 1. 第一次运行:模型经过逻辑推算,累计下单了 12 张披萨(5 + 3 + 2 + 2)。 2. 第二次运行:在完全相同的输入下,模型推算出需要 16 张披萨。 3. 第三次运行:模型一口气下单了整整 40 张披萨。 - **一致性权衡**:Alan 风趣地调侃道,如果你每个月都办技术沙龙,或许每次吃到不同数量和口味的披萨是种乐趣,但如果你的系统需要严格的确定性,“these agents are going to be very very inconsistent there.”(这些 Agent 在这类场景下会极其缺乏一致性)。
---
[16:03](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=963s) 跨语种泛化能力与克林贡语极限压力测试
大模型工具调用的另一大优势在于跨语言理解的零成本迁移。即便底层工具的函数名、入参说明以及开发环境完全基于英文构建,用户使用瑞典语(Swedish)或丹麦语等小语种下达点餐指令时,模型依然能够准确识别意图并将瑞典语中的尺寸映射为工具所需的英文参数。
Alan 回顾了自己早期在做相关技术分享时的经历。当时他常用泰卢固语(Telugu)做测试,早期的 GPT 模型由于分词词表(Tokenization Vocabulary)中缺乏泰卢固语字符,导致处理这类语言时经常产出荒谬的幻觉或错误响应;而随着现代多模态大模型大幅扩充了词表容量,泰卢固语下单也能丝滑触发底层的工具调用。
在演讲现场的高潮部分,Alan 向观众展示了一串奇特的外星文字,台下极少数《星际迷航》死忠粉迅速认出这是“克林贡语”(Klingon)。面对这种人造幻想语言,模型依然尝试先调用 `get_toppings` 去探测配料列表,但由于克林贡语本身在词汇体系上严重缺乏现代披萨点单的相关表达,最终翻译出的需求变成了“长条状、铺满根茎类蔬菜的白色长条配料”。尽管在现实业务中这种点单不合常理,但这足以证明模型在符号泛化与工具调度上的惊人宽容度。
---
[17:45](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1065s) Vibe Coding 辅助助手:仅凭三个文件操作工具构建网站
紧接着,Alan 演示了一个极具趣味性的“Vibe Coding Assistant”。这一演示早在“Vibe Coding”这个词汇爆火流行之前便已完成构思与搭建。该应用的核心理念依然是追求极致的极简主义——Alan 只向该 Agent 注册了三个与本地文件系统交互的基础工具: 1. 列出指定目录下的文件(`list_files`) 2. 保存文件并写入内容(`save_file`) 3. 读取文件内容(`load_file`)
在代码实现中,Alan 既没有为 System Prompt 注入任何指令,也没有向 Agent 声明“你是一个能够编写 Web 前端代码的高级 Copilot”。环境初始状态下,目标 Web 根目录被彻底清空。当通过控制台唤醒该助手并询问其功能边界时,模型凭借这三个工具的签名,自主推断出“我可以管理网站相关文件”。
随后,Alan 触发预设指令 `build`,向其灌入一段让其构建一个简单宠物网站(Pets website)的宏观需求。接收到需求后,模型的第一反应是主动调用 `list_files` 去检查当前工作目录是否存在存量代码,在确认目录为空后,紧接着自主在内部推导并生成整套 HTML/CSS 代码,并进一步调用 `save_file` 将结构化页面输出保存至磁盘。这充分展示了大语言模型在仅获得最基础 I/O 原语时,所能自主编排出的强劲 Agent 行为。
[19:24](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1164s) 极简提示词与工具驱动的“Vibe Coding Copilot”
Alan Smith 展示了刚刚生成的宠物网站。整个生成过程几乎没有写多少代码,提示词也极度简短,却已经自动创建出了包含 `index`、`cats`、`rabbits` 等页面的完整网站结构。为了进一步美化页面,Alan 在终端输入了一条极为随性的指令:“add a CSS link it to the pages and make the site look nice.”(添加 CSS,将其链接到页面,并让网站看起来好看一点)。
```mermaid flowchart TD accTitle: Vibe Coding Copilot 网页生成与美化工作流 accDescr: 展示模型如何利用消息历史中的上下文,自主决定仅调用文件保存工具来更新 CSS 和 HTML。
subgraph UserInput["用户交互"] A["简单自然语言指令<br/>'添加 CSS 并让网页好看'"] end
subgraph AgentLogic["Agent 与上下文处理"] B["大语言模型 (LLM)<br/>读取完整对话历史"] C{"是否需要重新读取磁盘文件?"} end
subgraph ToolExecution["工具调用执行"] D["保存 CSS 样式表"] E["直接覆写/更新各个 HTML 文件<br/>(无需额外调用 load_file)"] end
UserInput --> B B --> C C -- "已记住上一轮文件内容" --> D C -- "直接生成带样式标签的页面" --> E ```
执行后,模型先是成功保存了生成的 CSS 文件。Alan 解释道,模型可以选择先读取已有的文件,也可以直接保存新文件,因为在消息历史(message history)中,模型其实已经记住了前一步在各个文件中写入的具体内容。因此它根本不需要重新调用读文件工具,而是直接并发调用写入工具,一口气更新了所有 HTML 文件。刷新页面后,整个站点瞬间换上了崭新优雅的样式。Alan 借此调侃道,所谓的商业级 Copilot 背后并没有什么高深莫测的魔法:
> “The model is doing most of the work here. Very, very simple system prompt, very, very simple tools, and I've got my Vibe Coding Copilot working fine.” —— Alan Smith
- **自动化步骤**:模型首先创建 CSS 样式文件,随后无需重新读取上下文便直接重写 `index`、`cats`、`rabbits` 等页面以注入 `<link>` 标签。 - **核心推理机制**:在多次提问与单次批量提问场景下,模型都能借助历史上下文评估当前状态并做出连续的工具调用决策。
---
[20:48](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1248s) 传统朴素 RAG 的局限与 Agentic RAG 的演进
Alan 将话题切入 RAG(检索增强生成)技术的演进,强调从“朴素 RAG”转向“Agentic RAG”(智能体检索增强生成)对于构建现代应用至关重要。他回忆起在早期的 GPT-3.5 时代,GPT-4 虽然已经存在,但又慢又贵,绝大多数企业客户提的需求几乎千篇一律:“嘿,我们想跟自己的数据对话、跟我们的文档对话,你能帮我们搭一套 RAG 解决方案吗?”
然而,早期基于硬编码管道的朴素 RAG 非常笨拙脆弱。典型的流程是:用户提出一个问题(例如“谁赢得了上届大奖赛?”),系统不管三七二十一,直接把用户的原始问题扔给外部搜索服务;拿到搜索结果后,再把系统提示词、用户提问以及检索到的文本拼装成一个巨大的上下文发送给大模型。Alan 打趣道自己还没看摩纳哥大奖赛,千万别剧透,不过多半又是基米·莱科宁(Kimi Räikkönen)赢了,因为他最近好像无所不赢。
```mermaid flowchart LR accTitle: 朴素 RAG 与 Agentic RAG 的架构对比 accDescr: 展现朴素 RAG 固定的机械管道与 Agentic RAG 由 LLM 动态掌控工具调用的本质区别。
subgraph NaiveRAG["传统朴素 RAG (硬编码管道)"] direction TB N1["用户原始输入"] --> N2["强制直接触发搜索引擎"] N2 --> N3["机械拼接: 提示词 + 搜索结果 + 问题"] N3 --> N4["LLM 输出最终答案"] end
subgraph AgenticRAG["现代 Agentic RAG (模型自主决策)"] direction TB A1["用户输入 (含上下文)"] --> A2["LLM 智能研判"] A2 -- "改写查询 / 选择路由" --> A3["特定搜索工具 (Wiki/产品/简历/制度)"] A3 -- "返回结构化检索信息" --> A2 A2 -- "无需检索 (如闲聊/感谢)" --> A4["直接回复用户"] end ```
这种传统架构面临致命缺陷: 1. **无法识别用户意图**:如果用户只是客气地输入一句“Thanks”或者打个招呼“Hello”,硬编码的系统依然会机械地去触发搜索。 2. **缺乏多轮追问的上下文重写能力**:如果用户紧接着追问“跟我说说那场比赛的情况”或者“谁拿了第二和第三名?”,朴素 RAG 无法提取代词指代,直接拿这些零散字眼去搜必然一无所获。
在现代的 Agentic 模式下,搜索服务彻底退化成了 Agent 手中的一个“工具”。大语言模型拥有自主权来决定**何时**发起搜索,更关键的是实现了**查询重写(query rewrite)**——模型结合完整的对话历史,自动将模糊的追问转化为精准的检索词(如自动生成“加拿大或摩纳哥大奖赛赛事总结”)。此外,系统还能挂载多个异构工具:产品知识库搜索、内部员工简历检索、公司人事与规章制度搜索等,模型能够根据提问意图精准将请求路由到对应的工具接口。
---
[24:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1453s) Wikipedia 实战:从“Token 爆炸”到“先摘要再注入”
Alan 切换到代码演示,通过一个以 Wikipedia 为底层搜索 API 的案例展现 Agentic RAG 的演变过程。他在教学课程中经常使用这个例子。系统提示词设置得非常克制:“You are a friendly assistant. Keep your answers brief.”(你是一个友好的助手,请保持简明扼要)。
在第一阶段,Alan 没有给 Agent 配备任何工具。当用户提问“告诉我关于奥斯陆(Oslo)的信息”时,模型完全依赖其底层预训练权重中的内部记忆来作答。
随后,Alan 为模型注册了维基百科搜索工具(Wikipedia Search Tool)。再次执行相同的提问时,模型在推理日志中立即决定调用该工具,发起对“Oslo”的搜索。然而,Wikipedia 默认搜索 API 仅返回 3 条极其精简的页面片段(snippets),导致模型最终给出的回答也过于单薄。
```mermaid flowchart TD accTitle: 维基百科 RAG 从直接注入到智能摘要的优化演进 accDescr: 说明直接获取全文导致 Token 暴涨甚至超限,而引入二次摘要工具能将上下文急剧压缩。
Q["用户提问: 介绍奥斯陆"] --> Decision{"Agent 调用的检索工具"}
subgraph BadCase["方案 A: 直接获取全文 (Token 爆炸)"] Decision -->|"检索全文工具"| Full["抓取近 60,000 字符维基原文"] Full --> Hist1["直接塞入消息历史"] Hist1 --> Blowup["单轮消耗 14,500 Token<br/>第二轮提问斯德哥尔摩超 62,000 字符<br/>触发 Azure 速率限制 (Rate Limit) 崩溃"] end
subgraph GoodCase["方案 B: 引入 LLM 预摘要工具"] Decision -->|"智能摘要工具"| SumTool["LLM 针对兴趣领域进行预摘要"] SumTool --> Hist2["仅注入过滤提炼后的上下文"] Hist2 --> Success["首轮仅 1,372 Token<br/>追问奥斯陆历史仅 2,500 Token<br/>平稳运行且无损答题质量"] end ```
为了获得丰富内容,Alan 引入了第二个工具:直接获取维基百科页面全文(Page Content)。这立刻引发了严重的“Token 爆炸”: - **单轮消耗剧增**:奥斯陆的维基页面长达近 60,000 个字符,模型虽然提取出了摘要,但单次请求的输入 Token 猛增到了 **14,500** 个。 - **对话历史累积雪崩**:当 Alan 紧接着发起第二轮提问“那斯德哥尔摩呢?”,模型再次抓取了超过 62,000 字符的斯德哥尔摩页面,并把两轮庞大的文本同时堆叠在历史上下文中,当场触发了 Azure 平台的 API 速率限制(Rate Limit)报错。
为了彻底解决这一痛点,Alan 演示了第三种设计范式:提供一个带有特定兴趣过滤的**维基百科页面摘要工具(Summarized Wikipedia Page Content)**。该工具在底层利用另一个轻量大语言模型,在内容被塞进主对话 Prompt 之前,根据用户的具体意图(如传入“兴趣领域”与“页面名称”)在外部先行做一次信息提炼与过滤。
- **Token 优化效果**:引入预摘要后,首轮关于奥斯陆的问答仅消耗了 **1,372** 个 Token,相较于全量注入的 14,500 个 Token 降低了一个数量级。 - **定向过滤**:当追问“Oslo history”(奥斯陆历史)时,摘要工具精准定向抽取出历史相关的段落,两轮对话结束后总 Token 仅控制在 **2,500** 左右。
---
[29:32](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1772s) 工具调用盲区:手握锤子,满眼皆是钉子
在展示完工具调用的强大威力后,Alan 抛出了当前 Agent 体系中一个广泛存在却常被忽视的隐患。他将其形象地称为“锤子与钉子问题”(Hammer-and-nail problem):如果你手里唯一的工具是一把锤子,你看待世间的所有问题都会觉得是一颗钉子。
Alan 指出,目前即便是许多成熟的商业级 Copilot,在面对工具调用时也经常犯下荒谬的错误。核心症结在于:系统虽然被赋予了工具,但模型并没有真正深度理解这些工具的核心边界与适用场景,一旦接收到用户的指令,往往会不由自主、不加节制地滥用手中的工具去强行套用场景。紧接着,Alan 准备通过具体实例来深入拆解这种误判现象是如何在现实中发生的。
[29:58](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1798s) 工具能力的理解偏差与代码解释器的救场
Alan Smith 分享了他在哥本哈根讲课时遇到的一个真实案例:他曾要求 Bing Copilot 为某个特定网站生成二维码。由于 Bing Copilot 拥有聊天上下文历史,当他再次尝试时,模型直接回答道:“Alan,我还记得我们上次生成二维码翻车的事情。所以这一次我会给你提供真正可扫描的内容,并且让你拥有完全的控制权。”Alan 顺着历史记录向上翻找,找到了最初的翻车现场并截图展示。
最初,Bing Copilot 试图通过调用 OpenAI 的 DALL-E 模型来满足“生成二维码”的请求。DALL-E 擅长将文本转化为图像,正如 Alan 调侃的那样:“如果你想要一只踩着滑板的獾,或者一只骑着山地车的猫鼬,这非常棒。”但二维码生成是一种高度确定性且严格依赖数学算法的任务。DALL-E 只是生成了一张“看起来像二维码”的无效图片。当 Alan 质问它为何无法扫描时,Bing Copilot 的思考链暴露了它的困惑:“用户可能生气了,我必须澄清我在这里其实无法输出可扫描的图像”,并辩称自己调用了“本应生成可扫描二维码的内部图像生成功能”。Alan 一针见血地指出:“它的任务不是生成可扫描的二维码图像,它的任务是生成踩滑板的獾这类东西。在这里,它看到自己有一个工具,却不理解该工具的能力边界。”
随后事情迎来了转机。Bing Copilot 意识到纯图像生成不可行,便主动写出了一段用于生成真实二维码的 Python 代码。Alan 进一步让它运行该代码——借助内置的 Code Interpreter(代码解释器),模型在后台沙箱中执行了 Python 脚本,并向用户提供了一个可以点击下载的真实可用二维码链接。
```mermaid flowchart TD accTitle: 二维码生成尝试的两种工具调用路径对比 accDescr: 展示了大语言模型处理二维码请求时误用DALL-E绘图与正确使用代码解释器的对比流程。
UserReq["用户请求:生成网站二维码"]
subgraph FailurePath["错误调用:图像生成"] DalleTool["DALL-E 模型"] BadOutput["伪造的'二维码图片'<br/>(外表像但不可扫描)"] end
subgraph SuccessPath["正确调用:逻辑代码生成与执行"] PythonGen["编写 Python 二维码脚本"] Interpreter["Code Interpreter(代码解释器沙箱)"] ValidQR["真实可扫描的二维码图片 & 下载链接"] end
UserReq -->|"缺乏对工具能力的理解"| DalleTool --> BadOutput UserReq -->|"重新推理与代码执行"| PythonGen --> Interpreter --> ValidQR ```
- 大语言模型若缺乏对工具特性的清晰描述,往往会仅根据名称或浅层语义错误匹配工具。 - Code Interpreter 赋予了模型编写代码、在安全隔离环境执行代码并输出衍生文件(如图像下载链接)的闭环能力。 - 即使是 Bing Copilot 这样成熟的商业落地产品,也会出现将确定性编码任务误派发给非确定性图像生成工具的失误。
---
[33:18](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1998s) Agentic 计算器实验:工具调用的非确定性与盲信问题
Alan 将演示改称为“实验”,因为模型更迭迅速,同样的提示词每月都可能产生不同结果。他在控制台项目中构建了一个简单的“Agentic 计算器”,向模型公开了加法(`add`)和乘法(`multiply`)两个基础工具,并在系统提示词中保持最简配置(仅包含“你是一个友好的助手,回答保持简短”)。
在测试过程中,工具调用的非确定性(Nondeterministic)特征非常明显。当被问及“14 周有多少天”时,模型直接通过内化常识给出了答案“98 天”(没有调用乘法工具);但紧接着当被问到纯算式“14 * 7 是多少”时,它却触发了乘法工具调用。当 Alan 追问“为什么第二问用了工具而第一问没有”时,模型给出了看似合理实则圆场的狡辩:“对于第一个问题,计算很简单且基于常识,所以我直接回答了;对于第二个问题,我使用工具来确保乘法的准确性。”即便 Alan 修改 System Prompt 强制要求“回答任何涉及计算的问题都必须使用工具”,受大模型内部采样(Sampling)等随机过程的影响,工具的调用依然具有不稳定的随机性。
更严峻的问题在于模型对工具输出的盲目信任(Tool Trust)。Alan 在代码中故意埋下 Bug,将加法工具的逻辑篡改成返回 `A + B + 1`:
- 当使用 GPT-4 询问 `14 + 16` 时,工具返回 `31`,GPT-4 便信誓旦旦地回答:“14 + 16 就是 31。” - 面对 Alan 的反问“你确定吗?”,模型坚称:“是的,我确定,14 加 16 的和就是 31。” - 直到 Alan 用逻辑质问“14 和 16 都是偶数,偶数相加必得偶数”,GPT-4 才绕开工具,凭借语言推理推翻了错误结论。 - 当把底层模型切换到更新的 GPT-5 时,面对 `14 + 16`,GPT-5 尽管调用了返回 `31` 的有缺陷工具,却能够主动识破工具逻辑有误并输出正确答案 `30`。 - 然而,一旦输入极其复杂的长数字加法,GPT-5 的心算检测机制失效,它便再度全盘信任并采纳了被篡改的错误工具输出。
Alan 总结道:“记住,工具可以是其他人构建的 MCP(Model Context Protocol)服务器。如果你连接到别人构建的 MCP 服务器,对方可能会向大模型注入误导性信息,从而引发大量问题。”
---
[39:47](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2387s) 权限控制、外围安全与无代码智能体隐患
会场突然响起了蜂鸣提示音,Alan 告知观众不必离场,这只是会场事先提醒过的一场测试,随后继续切入 Agent 安全维度的讨论。他指出,随着 MCP 等协议的普及,安全威胁已经从理论推演变成了迫在眉睫的现实。大语言模型本身缺乏天然的权限边界意识与行为意图判断能力,很难在缺少强外围约束的情况下自主区分合法操作与恶意利用。
Alan 列举了一系列典型的意图边界判定难题: - “查询我这个月的奖金是多少” vs “查询我老板这个月的奖金是多少” - “在测试服务器上重新安装 Windows” vs “在生产服务器上重新安装 Windows” - “编写代码对我们自己的 Web 应用进行渗透测试” vs “编写代码入侵竞争对手的 Web 应用”
让 Alan 格外感到担忧的是面向平民开发者的低代码/无代码工具。以微软 Power Platform 体系下的 Copilot Studio 为例,它允许没有任何编程经验或安全背景的业务人员,通过可视化界面快速组装 Agent 并一键发布为公网服务。业务人员(例如普通销售)为了方便,可能会随手将 Agent 直连到企业核心内部数据库提供智能问答支持。这种缺乏安全过滤、数据隔离和访问控制的设计,极易被恶意提示注入利用,导致内部敏感数据库直接在公网上裸奔泄露。
[41:13](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2473s) 非幂等操作隐患与敏感数据泄露实验
Alan Smith 首先探讨了非幂等(non-idempotent)函数调用在数据库交互中可能引发的灾难性后果。他举例说明:如果用户要求 Copilot 设法提升手机销售的利润率,模型可能会调用接口直接修改销售条目、强行削减手机的成本价;由于此类操作不具备幂等性,“我们可以多次运行它,账面看起来会越来越好,直到年底审计时暴雷”。Alan 坦言自己在构建演示时,确实遇到过 Agent 对底层数据库进行破坏性篡改的真实场景。
紧接着,Alan 切入安全议题,并在之前的比萨订购演示(Pizza Agent)中引入敏感信息注入实验。他将一段形如真实信用卡号的敏感字符串硬编码写入系统提示词(System Prompt)中,并指出在生产环境中,这类信息完全可能来自检索增强生成(RAG)管道或上游业务系统。随后,他修改了代码,在 `add_pizza_to_order` 方法中新增了一个必填的信用卡号参数,并要求函数在被调用时将卡号打印到控制台。当他再次运行程序并下达买比萨的指令时,模型毫无防备地直接提取了提示词中的信用卡号作为参数传入工具函数中,在控制台上赫然输出了卡号,中途完全没有停下来向用户请求任何二次确认。
```mermaid flowchart LR accTitle: Sensitive Data Leakage in Tool Calling accDescr: LLM extracts sensitive credit card information from prompt context and passes it directly to tool parameters without user confirmation.
subgraph PromptContext ["上下文与提示词"] A["系统提示词 (包含信用卡号)"] B["用户输入: 下单买比萨"] end
subgraph LLMExecution ["模型决策"] C["OpenAI 模型 / Agent"] end
subgraph ToolCall ["工具调用"] D["add_pizza_to_order(card_number)"] E["控制台输出敏感卡号 (未请求用户确认)"] end
A --> C B --> C C -->|"未经确认直接填入卡号"| D D --> E ```
- 在此前的用户群组测试中,模型偶尔会停下并反问用户“这些是否是确认要下单的比萨”,但其行为表现出明显的不确定性,本次测试则直接跳过了确认机制。 - Alan 强调这种行为在不同时间段会发生漂移,这正是将其定义为“实验”而非普通演示的原因。
---
[43:34](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2614s) Azure AI Foundry 护栏与内容过滤器的非确定性
为了验证平台层安全防线的表现,Alan 切换到了 Azure AI Foundry 的环境。他此前测试时发现,即便在平台中明确启用了信用卡阻断过滤器(Credit Card Block Filter),工具调用依然能成功将信用卡号传递出去。在现场演示切换提供商时遇到了异常,Alan 叹了口气向台下观众打趣道:“我跟你们说过这些东西是非确定性的(non-deterministic),这就是为什么它是一个实验,而不是一个演练好的演示。”
为了探究之前看到的奇怪现象是否由过滤器引起,Alan 进入了 Azure AI Foundry 项目的“护栏与控制”(Guardrails and Controls)后台。平台提供了可自定义的内容过滤器,允许开发者增减各类安全敏感度级别,并支持开启个人身份信息(PII)防护功能。Alan 检查了输出过滤器配置,确认针对 GPT-4 模型的 PII 与信用卡保护项均被设置为拦截注释(Annotation Block)。然而在现场重新启用并保存该策略后再次触发比萨订购,模型依然成功输出了卡号。Alan 分析这很可能是由于云端内容过滤规则生效存在缓存延迟(Caching Issue),但他依然决定暂时搁置排查,抓紧时间转入本次分享的核心主题——模型上下文协议(MCP)。
---
[45:33](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2733s) 澄清误区:究竟什么是模型上下文协议(MCP)
Alan 对网络上流行的 MCP 认知进行了正面纠偏。他尖锐地指出,很多博客、技术分享甚至 YouTube 视频都给出了完全错误的定义,而罪魁祸首之一恰恰是其命名本身——“Model Context Protocol(模型上下文协议)”。在自然语言处理中,“模型上下文(Model Context)”历来是指 Agent 与大语言模型之间传递的所有数据总和,涵盖系统提示词、用户消息、对话历史、RAG 检索资料以及工具调用的 JSON 消息;为了优化这段上下文,业界还专门衍生出了“上下文工程(Context Engineering)”的概念。
由于不同厂商(如 OpenAI、Anthropic、Meta Llama 等)训练出的模型在工具调用格式上互不兼容,开发者在发起调用时需要组装不同的 JSON 载荷。但 Alan 澄清道,这类针对模型上下文的消息格式差异,完全是由框架层的聊天客户端(Chat Client)在内存中封装抹平的,根本不是 MCP。真正的 MCP 是指“Agent 与外部 MCP 服务器(MCP Server)之间的通信协议”。MCP 不走传统请求-响应式的单一 REST API,而是底层依赖流式 HTTP(Server-Sent Events / Streaming HTTP)或标准输入输出(Standard I/O),这样服务端才能具备主动向 Agent 发送通知(Notifications)的通道。
> “真正的模型上下文协议,是 Agent 与 MCP 服务器之间的通信协议。” —— Alan Smith
```mermaid flowchart TD accTitle: MCP Architecture vs Model Context accDescr: Clarification contrasting the internal Model Context between Agent and LLM against the external MCP communication over SSE or Stdio between Agent and MCP Server.
subgraph InternalProcess ["模型上下文 (Model Context)"] Agent["Agent 应用程序"] ChatClient["Chat Client (OpenAI / Anthropic SDK)"] LLM["大语言模型 (LLM)"] Agent <-->|"组装 Prompt、历史、RAG 向量"| ChatClient ChatClient <-->|"专属 JSON 格式工具调用"| LLM end
subgraph MCPNetwork ["模型上下文协议 (MCP)"] Agent <-->|"MCP 规范 (Streaming HTTP / Stdio)"| MCPServer["MCP 服务器 (FastMCP / 自建服务)"] MCPServer -->|"提供 Tools、Resources、Prompts"| Agent MCPServer -.->|"主动发送 Notifications 通知"| Agent end ```
- 传统 REST 架构仅支持单向的请求-响应机制,一旦 Agent 发出 HTTP 请求就只能被动等待返回,无法支撑 MCP 服务端随时反向推送状态通知的需求。 - MCP 核心协议向客户端暴露三大核心元能力:工具(Tools)、资源(Resources)以及提示词模板(Templates/Prompts)。
---
[47:31](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2851s) MCPDJ 现场演示与分布式架构选型思辨
为了拆解 MCP 的真实工作流,Alan 展示了一个名为 `MCPDJ` 的微型本地 MCP 服务端。该服务用 Python 和 FastMCP 库构建,核心逻辑仅有数行代码,挂载了一个包含本地 MP3 文件的音乐目录,并暴露出获取音轨列表(`list_tracks`)、播放音轨(`play_track`)以及获取艺术家简介(`get_artist_bio`)三个工具。接着,他启动了一个使用 C# Semantic Kernel 编写的 MCP 客户端控制台程序。当客户端初次连接到 `MCPDJ` 时,双方自动完成握手协商;随后 Alan 输入自然语言“播放一些挪威 House 音乐”,客户端立即解析意图,调用 MCP 工具在现场音箱中成功播放了 Alan Walker 的电音曲目。
借由该演示,Alan 深入分析了软件架构决策背后的本质差异:早先演示的函数调用(Function Calling)适合将业务逻辑全部内聚在单个进程内的单体架构(Monolithic Application);而 MCP 则是针对分布式系统(Distributed Application)的一套标准化集成手段。针对社交媒体上层出不穷的技术焦虑,Alan 毫不留情地讽刺了那些动辄声称“某某技术已死”的言论:“提示词工程死了,因为大家都在搞上下文工程;函数调用死了,因为人人都必须用 MCP……这些论调全来自领英(LinkedIn)上的专家。而在我看来,他们所谓的‘死亡’无非就是这个词带来的帖子曝光量(Post Impressions)不如预期,所以他们不打算再聊了而已。”
> “如果你做过软件架构设计,你就知道什么时候该建分布式应用,什么时候该建单体应用。你不需要仅仅因为微服务摆在那儿、人人都挂在嘴边就非去用微服务不可。用不用取决于你:想要单体应用就用函数调用,想要分布式就用 MCP。” —— Alan Smith
---
[50:20](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3020s) 赋能开发环境:在 GitHub Copilot 中集成 MCP 扩展
在验证完 Semantic Kernel 的对接后,Alan 展示了 MCP 跨工具生态集成的杀手级优势——直接打通现有的开发工具生态。他在本地的 Visual Studio Code 中将 `MCPDJ` 注册为 GitHub Copilot 的外部 MCP 扩展服务器。启动服务后,开发者可以直接在 VS Code 的 Copilot 聊天窗中输入日常提示词,例如“来点法国 House 音乐(French House)”。
Copilot 在接收到请求后,通过内部协议向用户弹出工具授权确认窗口。在获得许可后,Copilot 自动调取 MCP 服务端的 `list_tracks` 方法遍历本地库,并选定 Daft Punk 的曲目直接在后台拉起系统播放器播放。Alan 笑着指出了这个简单 demo 的尴尬漏洞:由于自己在代码里忘了给 MCP 服务写 `stop` 暂停或停止工具,一旦音乐响起来就无法通过自然语言打断,唯一的关停办法就是把整个 Visual Studio / VS Code 进程彻底杀掉。他总结道,尽管这只是一个放音乐的趣味用例,但它直观说明了一旦理解了 Agent、工具与 MCP 的底层运行机制,开发者就能极低成本地将企业内部复杂系统的 API、文档与数据库无缝桥接到 GitHub Copilot 或 Claude Code 这样的现成 AI 编程助手当中。
[52:01](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3121s) 定制 Copilot 行为与基于技能(Skills)的上下文优化
在定制开发助理或 Copilot 时,开发者可以通过提示词注入非常个性化的逻辑。Alan Smith 现场展示了一个在自己日常 Copilot 中广泛使用的有趣指令:他让 Copilot 描述马丘比丘(Machu Picchu)的建筑架构,由于处理该任务耗时较长,Copilot 竟在生成答案前提示道:“在我处理此任务期间,请完成以下锻炼以激活专注力:做 10 次自体重深蹲(10 body weight squats)。”Alan 笑称自己正在努力多做运动,虽然现场不会做,但他平时在家里确实会跟着做;只要大模型需要长时间思考,就会自动推荐锻炼项目。这种轻量级指令展现了如何极低门槛地向 Copilot 注入额外行为准则。
```mermaid flowchart TD accTitle: Copilot 技能动态加载架构 accDescr: 展示技能名称与描述常驻上下文,技能主体按需加载以节省 Token 的流程 subgraph ContextWindow["轻量上下文窗口"] A["系统提示词"] B["技能清单 (仅含 Name 与 Definition)"] end AgentDecision{"Agent 决策:<br/>是否需要使用特定技能?"} ContextWindow --> AgentDecision AgentDecision -- "无需技能" --> DirectResponse["常规回答 / 忽略主体"] AgentDecision -- "命中技能需求" --> LoadSkill["按需检索并加载 Skill Body"] LoadSkill --> ExpandedContext["注入完整技能逻辑到上下文"] ExpandedContext --> Execution["准确执行复杂领域转换"] ```
随后 Alan 深入讨论了如何避免上下文膨胀(Context Bloating)的核心技术——“技能(Skills)”机制。当开发者构建拥有庞大知识体系的复杂系统时,大模型虽然号称支持 200,000 个 Token 的超长上下文,但经验表明,一旦上下文使用率突破 50%,模型的理解效率和推理质量就会出现断崖式下跌。为了解决这一痛点,技能机制采用了分级加载策略:
- **元数据常驻**:平时仅将技能的名称(Name)和简短定义(Definition)置入上下文,技能的具体内容与指令主体(Skill Body)完全不占用上下文窗口。 - **动态按需加载**:只有当智能体(Agent)根据用户意图研判出当前任务必须借用某项技能时,才会动态将对应技能的实现规范加载到上下文中。 - **避免硬编码注入**:相比于一股脑将所有业务规则堆砌在 System Prompt 或每次通信必带的 Instructions 中,这种按需调度数百个技能的方式极大降低了 Token 消耗,守住了模型的推理效能。
---
[54:18](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3258s) 全“氛围编码”打造 Mashup 编辑器与 Sonic Pi 代码生成
Alan 切入了一段极具个人色彩的实战项目演示:用代码进行 DJ 混音与音乐创作。他平时使用 Sonic Pi 编写代码现场打碟,并借助音频 Embedding 算法分析音乐音轨,找出节拍与调性契合的曲目进行混音。在现场,他启动了一个自制的 Mashup 编辑器,并演示将 SAINt JHN 的《Roses》与 Nirvana 的经典摇滚《Smells Like Teen Spirit》进行 Mashup。两首歌处于同一调性且节奏高度相符,他把《Roses》的 Bassline、Nirvana 的吉他伴奏以及科特·柯本(Kurt Cobain)的人声清唱轨道进行拖拽拼接,整体听感极为自然契合。
```mermaid flowchart LR accTitle: 音乐混音生成与代码转换管线 accDescr: 从 Mashup 编辑器序列化到技能转换为 Sonic Pi 代码并运行的流程 subgraph Frontend["编辑器 (Vibe Coding)"] UI["拖拽混音界面"] JSON["JSON 序列化配置<br/>(持久化至 Blob Storage)"] UI --> JSON end subgraph AgentSkill["Agent Skill 转换"] SkillDef["Sonic Pi 语法 Skill"] Generator["Python 转换引擎"] SkillDef --> Generator end subgraph Target["目标执行环境"] SonicPi["Sonic Pi v5 混音运行"] end JSON --> Generator Generator --> SonicPi ```
最令观众惊叹的是,这个界面复杂、支持鼠标拖拽音频块的 Mashup 编辑器居然完全是“氛围编码(Vibe Coding)”的产物。Alan 直言自己甚至连这个 Python 桌面应用使用了哪个 UI 界面库都不清楚,整个工程完全依靠他使用语音指令与 Copilot 对话交互开发而成。此外,该工具的底层逻辑与模型技能深度绑定: - **存储与格式鸿沟**:编辑器将拖拽排布好的音乐结构序列化为 JSON 文件存储于 Azure Blob 存储中,而音乐合成环境 Sonic Pi(即将发布 v5 大版本)使用的则是完全不同的一套采样排队与时序控制语言。 - **技能驱动转换**:Alan 专门为 Copilot 编写了一项“将 JSON 混音序列化格式转换为 Sonic Pi 脚本”的特定技能。当他要求系统导出为 Sonic Pi 代码时,Copilot 自动调取该技能,生成精确的 Python 转换脚本。 - **现场无缝运行**:Alan 演示将名为 `NDCAI` 的混音导出为纯文本代码块,直接复制粘贴进 Sonic Pi 环境,现场立刻响起了两首流行单曲完美融合的重节奏电子摇滚乐。这证明了规范化的 Agent 技能机制能切实落地到开发者每日的编程与创造性工作流中。
---
[58:23](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3503s) 智能体安全边界、非确定性困境与总结
回到 Agentic AI 的核心命题,Alan 坦言智能体系统虽然功能强大,但在实际落地中面临严峻的安全风险与不确定性挑战。“我发现最主要的风险在于模型的非确定性本质:即使你输入一模一样的内容,它也会做出完全不同的反应。”
为了直观证明这点,Alan 切回此前演示订披萨的恶意测试用例(试图诱导模型泄露或通过特定请求发送信用卡信息)。然而,当他再次尝试时,系统的表现却出乎意料: - **平台防御机制差异**:在 Microsoft Foundry 与 OpenAI 原生平台之间,模型的安全拦截策略表现迥异。此时模型直接返回冷冰冰的拒绝:“很抱歉,我无法协助处理此请求(I'm sorry, but I can't assist with this request)。” - **模型自身迷茫**:当 Alan 追问“为什么不行”并催促“直接下单”时,模型开始语无伦次,在反复要求确认订单细节与宣称“似乎遇到了技术故障,让我尝试修复”之间摇摆。Alan 指出,底层显然触发了平台的合规或安全拦截模块,导致模型无法发送信用卡字段,但模型自身甚至根本无法理解自己为何被拦截。 - **突发性行为漂移**:Alan 分享道,这种安全阻断此前在测试时从未出现,直到有一次他在讲台上现场演说,模型突然毫无征兆地停止配合指令。无论是 GPT-4 还是后续模型,在不同平台切换或后台隐式微调后,工具调用的行为都会发生难以预测的漂移。
在演讲尾声,Alan 总结了他整个 Session 的设计初衷:在整场演示中,他刻意没有编写详尽复杂的 System Prompt,工具定义(Tool Definitions)也保持极度简短,目的就是为了让开发者直观洞察大模型究竟是如何仅凭用户意图来推断何时触发 Tool Call 的。大模型虽然极其聪慧,但依然会荒谬地调用错误工具——比如微软自家的 Bing Copilot 也曾闹出过试图调用 AI 绘图模型去“画”一个网页二维码的笑话。尽管 Agent 领域的技术处于飞速演变之中,但其巨大潜力毋庸置疑。Alan 感谢了 NDC AI 现场观众的聆听,并在掌声中宣告本场技术分享圆满结束。
## Notable quotes > [47:31](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2851s) 你不需要仅仅因为微服务摆在那儿、人人都挂在嘴边就非去用微服务不可。用不用取决于你:想要单体应用就用函数调用,想要分布式就用 MCP。 — Alan Smith
> [58:23](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=3503s) 我发现最主要的风险在于模型的非确定性本质:即使你输入一模一样的内容,它也会做出完全不同的反应。 — Alan Smith
> [33:18](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=1998s) 如果你连接到别人构建的 MCP 服务器,对方可能会向大模型注入误导性信息,从而引发大量问题。 — Alan Smith
> [45:33](https://www.youtube.com/watch?v=Mvcxa35_PMA&t=2733s) 真正的模型上下文协议,是 Agent 与 MCP 服务器之间的通信协议。 — Alan Smith
## Mentioned Alan Smith, NDC AI, OpenAI, GPT-4o, GPT-4, GPT-3.5, GPT-5, Anthropic, Claude Code, Microsoft, Microsoft AI Foundry, Azure AI Foundry, Azure Blob, .NET, Python, LangChain, Semantic Kernel, Microsoft Agent Framework, Bing Copilot, GitHub Copilot, DALL-E, Code Interpreter, FastMCP, Sonic Pi, Power Platform, Copilot Studio, Postman, Wikipedia, Kimi Räikkönen, Alan Walker, Daft Punk, Kurt Cobain, Nirvana, SAINt JHN
## Video description This talk was recorded at NDC AI in Oslo, Norway. #ndcai #ndcconferences #developer #softwaredeveloper
Attend the next NDC conference near you: https://ndcconferences.com https://ndc-ai.com/
Subscribe to our YouTube channel and learn every day: / @NDC
Follow our Social Media!
https://www.facebook.com/ndcconferences https://twitter.com/NDC_Conferences https://www.instagram.com/ndc_conferences/
#ai #openai #code #llm
Agentic AI enables large language models to use tools to interact beyond system boundaries. From no-code implementations in Copilot Studio to developing sophisticated solutions using LangChain and Semantic Kernel, developers of all levels can leverage tools to create agentic solutions.
But how does agentic AI work under the hood? How are models able to understand when to use a tool and how to use it?
In this demo intensive session Alan will explain the concepts of agentic AI in detail. Starting with the basics of function calling in the Open AI models, he will cover the techniques used to provide tools to models, and how the models are able to understand and use the tools. The use of prompting to guide models and improve tool call behavior will be covered, along with guidelines for adding tools to your solution. Alan will also cover the protocols used by Open AI models as well as how the model context protocol is used to provide compatibility between services and LLM solutions.
Join this session if you want to understand what goes on under the hood of function calling, MCP and agentic AI.
[Source](https://www.youtube.com/watch?v=Mvcxa35_PMA)