AI大模型架构混淆指令与数据攻防聚焦四层纵深防御

AI大模型-阿水

针对无法天然区分指令与数据的架构根源，Agent 防注入必须依赖输入隔离、模型抗训练、执行侧确定性权限控制及输出审计构筑纵深防御。

AI-assisted summary of 面试官问：Agent怎么防止Prompt注入？ — original source. Check the original for full context.

Source published: 2026-08-01

Detailed notes

## Background 该内容由 Bilibili 频道“AI大模型-阿水”于 2026 年 8 月 1 日发布。视频简介提示观众关注并一键三连，同时提供了大模型学习路线、笔记及面试真题的获取链接。

## TL;DR 视频深入剖析了 AI Agent 防范 Prompt 注入攻击的根本逻辑，指出单靠修改 Prompt 无法彻底防御，因为大模型底层无法区分指令与数据。为此，阿水提出了“纵深防御”四层体系：输入侧进行隔离与检测，模型侧通过对抗训练提升鲁棒性，执行侧实施硬性的确定性权限控制（如最小权限和人工确认），输出侧进行敏感信息过滤与全链路审计。最终总结出“前两层降低概率，执行侧守住底线，输出侧保证可追溯”的面试回答框架。

## Atmosphere & style 视频整体呈现出专业、高效且高度导向实战的教学氛围，宛如一位经验丰富的大厂面试官或技术导师在进行面对面点拨。讲解风格干货满满、条理极其清晰，语气既严肃犀利——直击“纸糊防线”的技术误区，又兼具亲和力与启发性。听众能清晰感受到从揭示底层漏洞到层层拆解防御方案的逻辑推演，给人一种醍醐灌顶、信心倍增的学习体验。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV13YGA6hEdX?t=0s) Prompt 注入攻击的根源在于大模型底层无法区分指令与数据，系统指令、工具返回值与用户输入均被拼接为无硬件边界的同一 Token 序列。 - [00:00](https://www.bilibili.com/video/BV13YGA6hEdX?t=0s) 单纯依赖 Prompt 添加限制词是无效的，防御 Prompt 注入必须构建不追求单点拦截的纵深防御体系，以抬高攻击成本并控制失守破坏范围。 - [00:46](https://www.bilibili.com/video/BV13YGA6hEdX?t=46s) 纵深防御第一层为输入侧防御，通过结构化标签隔离不可信内容、部署独立分类器扫描拦截，并采用分级降级机制来保障体验与安全。 - [00:53](https://www.bilibili.com/video/BV13YGA6hEdX?t=53s) 纵深防御第二层为模型侧鲁棒性提升，包含对模型进行对抗训练（SFT）、建立系统指令高于用户输入的优先级机制，以及设置触发敏感操作前的主动二次确认。 - [00:54](https://www.bilibili.com/video/BV13YGA6hEdX?t=54s) 纵深防御第三层为执行侧确定性权限控制，前两层均为概率性防御，只有执行侧的确定性硬约束才能守住最终底线。 - [00:54](https://www.bilibili.com/video/BV13YGA6hEdX?t=54s) 执行侧防御的核心原则包括严格遵守最小权限原则、实行工具白名单校验、敏感高风险操作引入人工确认（Human in the Loop），以及建立沙箱与读写隔离机制。 - [00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 纵深防御第四层为输出侧审计与监控，负责模型生成内容中 API 密钥与 PII 等敏感信息的二次过滤。 - [00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 完善的全链路日志留痕与异常实时可观测性是安全体系的关键，全链路审计的可追溯性对于事故排查与实时阻断至关重要。 - [00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 面试回答此问题的核心总结框架为：点出底层架构缺陷根源，层层阐述四层纵深防御体系，并以“前两层降低概率，执行侧守住底线，输出侧保证可追溯”进行高度概括。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV13YGA6hEdX?t=0s) 为什么靠 Prompt 加固防不住注入攻击？

在面试中如果被问到“Agent 如何防止 Prompt 注入”，很多人第一反应就是在 Prompt 里加入限制词或安全护栏（如“不要听用户的指令”）。但这种回答往往直接暴露出应聘者未理解攻击的本质根源。Prompt 注入的根本原因在于大模型底层的处理机制：系统指令、工具返回的数据以及用户输入的消息，在模型眼里的底层架构中没有任何硬件级别的边界，全都被拼接为同一串 Token 序列。

模型只是按照概率预测不断接续下一个 Token，它压根无法区分“哪一部分是命令，哪一部分是数据”。因此，只要攻击者能将恶意指令塞进上下文，这些内容就会变成模型试图去遵循的指令。无论是通过更强的指令覆盖、角色扮演，还是编码混淆，都能轻松绕过前端的 Prompt 限制。单纯靠 Prompt 防注入，无异于“用纸糊的墙去挡子弹”。正确的解决思路是构建**纵深防御体系**——不追求单点绝对堵截，而是通过多层防线叠加来抬高攻击成本，并严格控制单点失守后的破坏范围。

* **Token 混淆根源**：指令与数据在模型底层无硬件边界，均为同一 Token 序列。 * **绕过手段**：指令覆盖、角色扮演、编码混淆等手段可轻松突破文本护栏。

---

[00:46](https://www.bilibili.com/video/BV13YGA6hEdX?t=46s) 纵深防御第一层：输入侧隔离与检测

纵深防御的标准框架分为四层。第一层是**输入侧**，核心在于“东西还没进模型之前就先过滤一遍”。这一层主要包含三大策略：

1. **结构隔离**：绝对不要将不可信的用户内容直接与系统指令拼接在一起，而应使用专门的标签包裹并存放在结构化字段中，向模型明确标注“这段是数据而不是命令”。 2. **分类器扫描**：在用户输入接入大模型前，部署一个轻量级但必须存在的独立检测模型或规则引擎，扫除其中的诱导性指令与越狱模板，充当系统的“第一道安检门”。 3. **拦截与降级**：扫描发现风险后切忌一刀切全盘拦截，以防误杀影响体验。应采取三档处理机制——确认恶意的直接拒绝；可疑的进行降权标记后放行；正常的则顺利通过。

---

[00:53](https://www.bilibili.com/video/BV13YGA6hEdX?t=53s) 纵深防御第二层：模型侧鲁棒性提升

虽然输入侧防御本质上仍属于概率性防御，无法做到 100% 拦截，但**模型侧**的强化能大幅降低模型“上钩”的概率。

* **对抗训练**：在模型微调（SFT）阶段，将大量 Prompt 注入的攻击样本混入训练集，并统一标注为拒绝执行，使模型从权重层面学会对攻击套路直接说“不”。 * **指令优先级机制**：训练模型理解层级概念，明确“系统级指令优先级最高 > 工具返回数据次之 > 用户输入最低”。即使用户输入带有强烈的命令语气，模型也能因其低优先级而拒绝遵循。 * **二次确认表达**：在触发敏感操作前，要求模型主动复述操作意图（如“我理解你要做的是某某操作，确认吗？”）。这一机制能有效打断攻击者试图“一句话直接诱导执行”的攻击节奏。

---

[00:54](https://www.bilibili.com/video/BV13YGA6hEdX?t=54s) 纵深防御第三层：执行侧确定性权限控制

**执行侧**是整个纵深防御中最关键的一层，因为前两层均为概率性防线，唯有执行侧的权限控制是**确定性的硬约束**。即使 LLM 被成功注入并下达了“删除服务器文件”的指令，只要 Agent 本身根本没有 Delete 工具的调用权限，攻击就无法造成实质破坏。

执行侧防线需遵循四大原则：

1. **最小权限原则**：Agent 仅获取完成当前任务所必需的最小权限，坚决不给管理员权限、root 身份或危险接口，能用只读用户就绝不给写权限。 2. **工具白名单**：Agent 能调用的工具及其参数格式必须经过严格的白名单校验，绝非模型“想调什么就调什么”。 3. **高风险人工确认（Human in the Loop）**：涉及删除、支付、群发邮件、执行系统命令等敏感操作时，必须在前端界面弹出人工确认框，人类点击同意后方可执行。虽然牺牲了微小的体验，但安全提升是质的飞跃。 4. **沙箱与读写分离**：敏感操作须放在隔离沙箱中运行，且读操作与写操作使用不同的凭据和通道，写操作引入更严格的审批流程。

> "执行侧的权限控制是最后也是最硬的防线。"

---

[00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 纵深防御第四层：输出侧审计与面试回答框架总结

当攻击无法彻底拦截时，**输出侧**要保障两件事：“敏感信息不外泄”与“出了事全链路可追溯”。

* **内容过滤**：模型生成的内容在返回给终端用户前需再扫一遍，过滤掉可能夹带的 API 密钥、内部 IP 以及个人隐私信息（PII）。 * **全链路日志与可追溯性**：从用户输入、分类器判决、模型推理到每一步工具调用的详情及返回值，进行全链路留痕，形成完整的审计链。“安全事件的可追溯性有时候比预防本身更重要”，确保能在被攻击后精准排查攻击者的行为。 * **异常可观测性**：建立实时监控，一旦检测到高频工具调用或异常参数模式立刻告警，实现攻击进行中的实时阻断。

**面试回答总结框架：** 在面试中回答此问题，建议按照以下层次逻辑定调： 1. **点出根音**：Prompt 注入的本质是大模型无法从架构上区分指令与数据，系统指令与用户输入在模型内部均无天然边界，因此单靠 Prompt 加限制词治标不治本。 2. **给出解法（纵深防御四层体系）**：输入侧做结构化隔离与分类检测，模型侧做对抗训练提升鲁棒性，执行侧用最小权限、白名单和人工确认做硬约束，输出侧做内容过滤与全链路审计。 3. **一句话总结**：“前两层降低概率，执行侧守住底线，输出侧保证可追溯。”

## Notable quotes > [00:00](https://www.bilibili.com/video/BV13YGA6hEdX?t=0s) 用纸糊的墙去挡子弹 — AI大模型-阿水

> [00:00](https://www.bilibili.com/video/BV13YGA6hEdX?t=0s) 哪一部分是命令，哪一部分是数据 — AI大模型-阿水

> [00:46](https://www.bilibili.com/video/BV13YGA6hEdX?t=46s) 东西还没进模型之前就先过滤一遍 — AI大模型-阿水

> [00:46](https://www.bilibili.com/video/BV13YGA6hEdX?t=46s) 一段是数据而不是命令 — AI大模型-阿水

> [00:46](https://www.bilibili.com/video/BV13YGA6hEdX?t=46s) 第一道安检门 — AI大模型-阿水

> [00:53](https://www.bilibili.com/video/BV13YGA6hEdX?t=53s) 系统级指令优先级最高 > 工具返回数据次之 > 用户输入最低 — AI大模型-阿水

> [00:53](https://www.bilibili.com/video/BV13YGA6hEdX?t=53s) 我理解你要做的是某某操作，确认吗？ — AI大模型-阿水

> [00:54](https://www.bilibili.com/video/BV13YGA6hEdX?t=54s) 执行侧的权限控制是最后也是最硬的防线。 — AI大模型-阿水

> [00:54](https://www.bilibili.com/video/BV13YGA6hEdX?t=54s) 想调什么就调什么 — AI大模型-阿水

> [00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 安全事件的可追溯性有时候比预防本身更重要 — AI大模型-阿水

> [00:05](https://www.bilibili.com/video/BV13YGA6hEdX?t=5s) 前两层降低概率，执行侧守住底线，输出侧保证可追溯。 — AI大模型-阿水

## Mentioned AI大模型-阿水, Bilibili, Agent, Prompt, Token, LLM, SFT, Human in the Loop, PII

## 弹幕氛围 (Danmaku mood) — 8 条观众整体氛围偏向质疑与吐槽，伴有部分技术讨论与调侃。视频开头有观众对Up主专业度的直接质疑，中段则逐渐转向对具体技术细节的讨论、总结和梗排查，整体呈现出较强的负面与中性批评色彩。

**整体情绪**：😊 正面 10% · 😐 中性 40% · 😞 负面 50%

**热议点** - **质疑Up主专业度与内容质量** —— “别看，up自己都没搞懂，就在这乱说” - **内容总结与省流提炼** —— “省流：加四层护栏” - **技术细节梗与命令调侃** —— “shell：rm：？” - **技术方案与解决方案讨论** —— “直接容器化就行” - **认可部分面试相关内容** —— “是真正看过面试题的”

**代表弹幕** > 别看，up自己都没搞懂，就在这乱说

> 省流：加四层护栏

> 经典凉了

> shell：rm：？

> 直接容器化就行

> 是真正看过面试题的

[Source](https://www.bilibili.com/video/BV13YGA6hEdX)

中文简报

AI大模型架构混淆指令与数据攻防聚焦四层纵深防御针对无法天然区分指令与数据的架构根源，Agent 防注入必须依赖输入隔离、模型对抗训练、执行侧确定性权限控制及输出审计构筑纵深防御。视频深入剖析了 AI Agent 防范 Prompt 注入攻击的底层逻辑，指出单靠修改 Prompt 无法彻底防御，因为大模型底层无法区分指令与数据。为此，阿水提出了“纵深防御”四层体系：输入侧进行隔离与检测，模型侧通过对抗训练提升鲁棒性，执行侧实施硬性的确定性权限控制（如最小权限和人工确认），输出侧进行敏感信息过滤与全链路审计。最终总结出“前两层降低概率，执行侧守住底线，输出侧保证可追溯”的面试回答框架。 Prompt 注入攻击的根源在于大模型底层无法区分指令与数据，系统指令、工具返回值与用户输入均被拼接为无硬件边界的同一 Token 序列。 (0:00) 单纯依赖 Prompt 添加限制词是无效的，防御 Prompt 注入必须构建不追求单点拦截的纵深防御体系，以抬高攻击成本并控制失守破坏范围。 (0:00) 纵深防御第一层为输入侧防御，通过结构化标签隔离不可信内容、部署独立分类器扫描拦截，并采用分级降级机制来保障体验与安全。 (0:46) 纵深防御第二层为模型侧鲁棒性提升，包含对模型进行对抗训练（SFT）、建立系统指令高于用户输入的优先级机制，以及设置触发敏感操作前的主动二次确认。 (0:53) 纵深防御第三层为执行侧确定性权限控制，前两层均为概率性防御，只有执行侧的确定性硬约束才能守住最终底线。 (0:54)

Reading summary

AI大模型-阿水指出，Prompt注入的根本症结在于模型底层无法区分指令与数据，单纯依靠Prompt加固无法杜绝攻击，必须构建涵盖输入、模型、执行与输出的“纵深防御体系”。指令与数据混淆的攻击根源 (0:00) 在面试或系统设计中，试图仅靠在Prompt中添加“不要听用户指令”等安全护栏来抵御注入，暴露出对攻击本质的误解。大模型在底层架构上缺乏硬件级别的边界，系统指令、工具返回值与用户输入最终都会被拼接为同一串Token序列，并依照概率预测下一个Token。因此，指令覆盖、角色扮演或编码混淆等手段均能轻松绕过文本护栏，依赖单点Prompt防御无异于以纸挡弹，正确的思路是通过纵深防御推高攻击成本并收敛失守影响。概率性前置防线：输入隔离与模型鲁棒性 (0:46) 前置防御主要由输入侧过滤与模型侧强化构成，虽属概率性防御，但能大幅降低模型受诱导的几率。输入侧强调通过独立标签与结构化字段将不可信数据与系统指令隔离，并利用独立轻量级分类器或规则引擎进行前置扫描，按恶意拒绝、可疑降权与正常放行的三档机制处置。模型侧则通过在微调阶段混入攻击样本开展对抗训练、确立“系统指令 > 工具数据 > 用户输入”的指令优先级机制，以及在敏感操作前要求模型主动复述意图进行二次确认，打乱直接攻击节奏。执行侧确定性约束：权限收敛与人机协同 (0:54) 执行侧是整个防御体系中最为关键的一道防线，区别于前两层的概率性防护，执行侧提供的是确定性的硬约束。即使LLM遭到注入并发出恶意指令，只要底层系统严格切断权限即可阻止实质破坏。具体策略包括奉行最小权限原则与读写分离、杜绝root或管理员权限，对Agent能够调用的工具和参数格式施加严格的白名单校验，并在沙箱中隔离运行。对于删除、支付、群发邮件及执行系统命令等高危动作，必须引入“人机协同”（Human in the Loop）的弹窗确认流程。输出侧审计与全链路可追溯机制 (0:05) 当攻击未能被前置环节彻底阻断时，输出侧负责兜底敏感信息防泄漏与事后溯源。系统需在内容输出至用户前扫描过滤API密钥、内部IP和个人隐私信息（PII）。同时，必须完整记录从输入、分类器判定、模型推理到工具调用详情与返回值的全链路审计日志，并配备异常模式与高频调用的实时监控告警，确保在遭到攻击时能够迅速完成定位与行为排查。在面试或工程实践中，回答Agent防注入的核心逻辑可概括为：前两层降低被攻击概率，执行侧守住安全底线，输出侧保证全链路可追溯。

Source quotes

[0:00] AI大模型-阿水: 用纸糊的墙去挡子弹 [0:00] AI大模型-阿水: 哪一部分是命令，哪一部分是数据 [0:46] AI大模型-阿水: 东西还没进模型之前就先过滤一遍 [0:46] AI大模型-阿水: 一段是数据而不是命令 [0:46] AI大模型-阿水: 第一道安检门 [0:53] AI大模型-阿水: 系统级指令优先级最高 > 工具返回数据次之 > 用户输入最低 [0:53] AI大模型-阿水: 我理解你要做的是某某操作，确认吗？ [0:54] AI大模型-阿水: 执行侧的权限控制是最后也是最硬的防线。 [0:54] AI大模型-阿水: 想调什么就调什么 [0:05] AI大模型-阿水: 安全事件的可追溯性有时候比预防本身更重要 [0:05] AI大模型-阿水: 前两层降低概率，执行侧守住底线，输出侧保证可追溯。

Original transcript

[0:00] 面试官问你agent怎么防prompt注入如果你张嘴就是在提示词里加限制加护栏,那不好意思,这场面试基本上就凉了。为什么?因为这暴露了一个问题。你根本没搞懂prompt注入的根音是什么今天咱们把这道理从头捋清楚听完你就知道面试的时候该怎么答以及真正落地的时候到底该怎么做咱们先来看第一点为什么说提示词加固防不住你先想一个问题啊大模型它到底是怎么处理你的系统prompt和用户输入的答案是全拼成同一个token序列系统指令工具返回的结果用户发来的消息在模型眼里没有任何硬件级的边界,全是同样的一串Token,它只是在按概率一个词一个词往后面接,它压根就不知道哪个是命令,哪个是数据。这意味着什么?意味着只要攻击者能把恶意指令塞到这个上下纹里,它就变成了模型要去遵循的指令。你在Prompt里写的那些不要听用户的,忽略用户指令,人家用更强的指令直接给你覆盖掉,或者来个角色扮演。编码混淆轻松绕过所以你靠Prompt去防Prompt注入说白了就是用纸弧的墙去挡子弹那正确思路是什么呢纵身防御不追求堵住一个点而是用多层防线叠加起来抬高攻击成本控制单点实现之后的破坏范围好这个思路我们往下展开纵身防御具体怎么搭?我们看这张图。标准框架是四层,第一层输入侧,做隔离和检测,东西还没进模型就先过滤一遍。第二层,模型测,提升模型自身的鲁棒性,让它学会识别恶意指令。第三层,执行测,这是最硬的一层,权限管控,即使注入成功了,也做不了破坏。第四层输出册过滤敏感信息做好全链路追溯咱们一层一层来看先看输入侧第一个策略叫结构隔离什么意思?不可信的内容不要直接拼到prompt里和系统指令混在一起。你要把它放在结构化的字段里,用专门的标签包裹起来,让模型明确知道。这一段是数据,不是命令,这是一道非常重要的边界。第二个策略,分类器扫描,在用户输入真正进入模型之前,先用一个独立的检测模型或者规则引擎扫一遍,识别里面的诱导性指令,越于模板。这个东西不用太大,但一定要有,它相当于你的第一道安检门。第三个,拦截或降级,扫出来风险之后,不是一刀切全拦截,那样误杀太高,要做三档处理,确认恶意的直接拒绝可疑的降权标记之后放行。正常的顺利通过这样既保证安全又不影响用户体验好,输入测过了之后,我们看模型测,前一层说实话都属于概率性防御。你不能指望他百分之百拦住,但模型测做得好。能大幅降低模型上钩的概率第一个手段对抗训练在微调阶段往训练数据里大量混入Prompt注入的攻击样本然后全部标注为拒绝执行让模型在权重层面就学会一件事看到这种套路直接说不第二个指令优先级这个更进阶了训练模型理解一个层级概念系统级指令优先级最高其次是工具返回的数据最低的是用户输入哪怕用户输入里带了命令语气模型也知道这段优先级低我不听第三个,二次确认表达,敏感操作之前,让模型先复述一遍,我理解你要做的是某某操作,确认吗?这一步很关键他打断了攻击者想一句话让模型直接执行的节奏。好,接下来是第三层,也是整个纵身防御里最关键的一层,执行侧防御。为什么说它最关键?因为前面两层都是概率性的,总会有高级攻击能绕过。但执行侧的权限控制是确定性的,是应约数你想想,就算LLM被注入了把服务器上所有文件删掉如果这个Agent根本就没有Delete工具的调用权限它能做什么,什么都做不了所以第一个原则,最小权限Agent 只拿完成当前任务必须的最小权限,不给管理员权限,不给root,不给危险接口,能用只读用户的绝不给写权限。第二个工具白名单,Agent能调什么工具,能传什么参数,全都有白名单校验,不是模型说调什么就调什么,每一层调用都要经过检查。第三个高风险人工确认,删除,支付,群发邮件,执行系统命令,这些操作必须在界面上弹出一个确认,人类点了同意之后才能真正执行。这就是Human in the Loop。代价式体验会下降一点,但安全性的提升是质的飞跃。第四个,沙香加毒血分离。敏感操作放在隔离沙香里跑,毒操作和血操作用不同的凭据和通道。读的归读,写的归写,写操作有更严格的审批流程。记住一句话,执行册的权限控制是最后也是最硬的防线。最后一层输出侧,攻击防不住的时候,你要保证两件事。第一,敏感信息别漏出去,第二,出了事能查得到。第一个输出 [5:00] 感谢观看模型生成的内容在返回给用户之前,再做一次扫描,过滤掉里面可能夹带的密钥、内部IP、个人隐私信息。第二个,全链路日志,从用户输入到分类器判决,到模型推理,到每一步工具调用的详情和返回。全链路记录每一步都留痕形成完整的神级链安全事件的可追溯性有时候比预防本身更重要你不可能防住所有攻击但你必须知道被攻击了攻击者做了什么第三个异常可观测建立实时监控一旦出现异常高频的工具调用异常的参数模式立刻告警这样能在攻击进行中就发现它,而不是事后翻日志才知道。好,全部四层讲完了,咱们回到面试场景。面试官问你agent怎么防prompt注入你应该怎么答记住这个回答框架首先点出根音prompt注入的本质是大模型无法从架构上区分指令和数据系统指令和用户输入在模型里都是token没有天然边界所以单靠prompt加限制词是治标不治本然后给出解法纵身防御四层体系输入侧做结构化隔离和分类检测模型侧做对抗训练提升鲁棒性执行册用最小权限、白命单和人工确认做应约数。输出册做内容过滤和全链路审计最后一句话定调前两层降低概率执行侧手助底线输出册保证可追溯面试官听完这个框架就知道你是真正在业务里落过地的好,以上就是Agent from Prompt注入的完整拆解。希望能帮到正在准备面试的同学咱们下期见那么下次再见啦!

AI大模型架构混淆指令与数据 攻防聚焦四层纵深防御