Venice AI主管称私有模型防不住泄密 凭证须从LLM剥离至执行层

How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI — AI Engineer

AI Engineer

智能体系统的数据泄露主要源于外围日志与直接向提示词投喂密钥,开发者必须将凭证库物理隔离在确定性执行层,才能彻底阻断提示词注入引发的凭证外泄。

AI-assisted summary of How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI — original source. Check the original for full context.

Source published:

Key ideas

  • Venice AI 强调数据泄露是必然事件,隐私工程的核心在于通过零服务端日志、匿名化代理和双钥加密存储,最大化缩小数据泄露的“爆炸半径”。 (0:12)
  • AI 系统的泄密往往发生在模型外围:未经脱敏的可观测性日志会静默捕获凭证,而将密钥直接拼接进 Prompt 上下文更会导致凭据通过第三方 Tool Call 外泄。 (4:15)
  • 系统安全的关键在于架构解耦:必须将凭据金库(Vault)绑定在确定性的 Agent 执行层,LLM 推理层仅负责输出抽象操作指令,永不接触明文密码。 (10:44)
  • 沙盒环境防不住具备合法外网权限的数据偷运,唯有结合硬件级 TEE 机密计算与密码学远程证明才能实现推理层的完全物理隔离,但机密工具调用的 API 人体工学设计仍属行业未决难题。 (12:04)

Detailed notes

## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 10 月 11 日发布,内容为 Venice AI 的开发者关系主管 Joshua Mo 在旧金山举办的 AI Engineer World's Fair 2026 上的技术演讲。视频简介指出,单凭私有模型无法构建真正私有的产品,数据往往在外围系统中发生泄漏;演讲探讨了 Venice 的零日志与加密防御机制,并深入分析了智能体系统中秘密泄漏的根源与防护模式。

## TL;DR Joshua Mo 阐述了构建安全智能体系统的核心理念,指出企业必须通过源头减少数据存储来降低安全事件的“爆炸半径”。他深入剖析了生产系统中可观测性日志抓取明文凭据,以及将密码错误注入 LLM 推理层导致第三方工具调用外泄的常见架构漏洞。针对这些风险,他提出了使用哈希 ID 代替 PII、采用具备有效期的可撤销句柄、收窄智能体工具作用域以及前置注入拦截等一系列最佳实践。最后,他强调了将凭据金库严格隔离在确定性执行层的重要性,并介绍了结合 TEE 硬件机密计算与密码学远程证明的防护方案,同时指出了机密工具调用在开发者体验上仍面临的开放挑战。

## Atmosphere & style 整场演讲呈现出务实、严谨且高度聚焦工程落地的技术风格。Joshua Mo 以一线架构师的视角冷静剖析当前 AI 系统的隐私虚幻感,语言沉稳而直击痛点,没有空洞的行业吹嘘,全篇围绕具体代码架构与底层攻防展开。听众能直观感受到一种警醒且充满极客探索欲的氛围,从系统层面的漏洞剖析一路推导至硬件级密码学证明,既具启发性又带有对前沿安全技术边界的理性敬畏。

## Bulletin - [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) Venice AI 强调数据泄露是必然事件,隐私工程的核心在于通过零服务端日志、匿名化代理和双钥加密存储,最大化缩小数据泄露的“爆炸半径”。 - [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) AI 系统的泄密往往发生在模型外围:未经脱敏的可观测性日志会静默捕获凭证,而将密钥直接拼接进 Prompt 上下文更会导致凭据通过第三方 Tool Call 外泄。 - [10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 系统安全的关键在于架构解耦:必须将凭据金库(Vault)绑定在确定性的 Agent 执行层,LLM 推理层仅负责输出抽象操作指令,永不接触明文密码。 - [12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒环境防不住具备合法外网权限的数据偷运,唯有结合硬件级 TEE 机密计算与密码学远程证明才能实现推理层的完全物理隔离,但机密工具调用的 API 人体工学设计仍属行业未决难题。

## Key takeaways - [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) 拥有私有模型并不等于拥有私有产品,AI Agent 系统的安全漏洞大多出在模型外围的胶水代码和基础设施中。 - [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) 数据泄露是迟早会发生的必然事件,隐私设计的本质是最小化存储数据,从而在根源上控制事故的“爆炸半径”。 - [02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) 面对商业闭源模型,应在代理接入层匿名化网络请求并剥离用户身份元数据,切断上游服务商关联真实用户的途径。 - [02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) 对于异步长耗时生成任务,采用分钥托管(Split-key Custody)方案,将读写半钥分离,即便内网被攻破单凭一端也无法还原明文。 - [05:05](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=305s) 生产环境的可观测性管道(Logs/Traces)是高危侧信道,默认配置常会未经脱敏地记录敏感 Prompt、Token 及系统凭据。 - [06:52](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=412s) 在速率限制(Rate Limiting)等用户识别场景中,严禁用明文 PII 数据,应使用单向哈希值(Hashed IDs)建立计数桶。 - [07:54](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=474s) 全面推行可撤销句柄(Revocable Handles)访问高危资产,仅下发具备有效期的引用对象,确保凭据一旦吊销权限毫秒级归零。 - [08:39](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=519s) 避免为 Agent 挂载过宽的工具作用域(MCP 工具包),任务单次挂载应收敛至必须的 1-2 个轻量工具,防止越狱后凭据被恶意调用窃取。 - [09:29](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=569s) 在 LLM 前置部署提示词注入(Prompt Injection)分类拦截器,不仅能阻断越狱攻击,还能精简上下文窗口以保障模型的推理遵循度。 - [10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 推理层与执行层必须严格解耦:LLM 仅生成抽象执行计划,底层 Runtime 在确定性沙盒中独立调取 Vault 凭证并完成鉴权操作。 - [12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒隔离(如 MicroVM)并非万灵药,若赋予不受限制的外网访问权限,受控模型仍可通过合法网络请求外发外泄内存数据。 - [12:54](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=774s) 团队应自建专属的 Agent 运行时(Harness),全面接管指令分发、全链路脱敏日志记录及外网调用权限监控。 - [13:34](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=814s) 依托 TEE 可信执行环境运行模型,可向客户端返回密码学远程证明(Attestation),在数学层面证明推理任务未被篡改和窥探。 - [14:49](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=889s) 实现机密工具调用(Confidential Tool Calls)的核心挑战在于开发者体验(DX)与端到端加密强度之间的工程平衡。

## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) Venice AI 平台定位与隐私的核心意义

作为 Venice AI 的开发者关系主管(Lead DevRel Engineer),Joshua Mo 开门见山地介绍了自己的背景与平台愿景。在加入 Venice AI 之前,他曾是 Rust 生态中知名 AI 框架 Rig 的主要维护者。Venice 的核心定位是一个无审查限制且高度尊重隐私的 AI 平台,其 API 实现了 100% 的 OpenAI 规范兼容,支持各类主流开源大模型(如 GLM-4 / Kimi 系列等),提供供普通用户交互的 Web 应用程序,并为创作者推出了包含音视频、图像生成与语音转录的一体化 Studio 套件。平台最重要的铁律之一就是:绝对不在服务端保存任何用户的 Prompt 或对话历史。

谈及隐私为何在当今的技术版图中至关重要,Joshua 强调数据泄露已经不再是“是否会发生”的偶然假设,而是“迟早会发生”的必然事件。这就让声誉风险(Reputational Risk)上升为企业的生死线。一旦发生泄露,用户可能会彻底丧失信任并转向竞争对手;对于企业级客户而言,甚至可能直接导致贡献公司 90% 年收入的大客户流失。敏感数据的存在会指数级扩大任何安全事故的冲击力;相反,从源头减少存储的用户数据,就是直接降低安全事故的“爆炸半径”(Blast Radius)。

> “You only need one data breach before your users stop trusting you and they move on to another provider.” —— Joshua Mo

- **平台核心特征**:100% 兼容 OpenAI 接口标准,承载最新开源模型,全链路零记录(No-Logs)。 - **爆炸半径控制**:少存甚至不存用户端明文数据,将潜在漏洞触发后的损失范围在架构上最小化。

---

[02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) Venice 的多层次隐私工程实践

在工程落地层面,Venice 采用了一套深度的纵深防御架构来实现其隐私承诺。第一步是彻底杜绝在服务端落盘任何 Prompt 或上下文对话,所有聊天历史仅保存在用户的本地浏览器或客户端中。第二,Venice 设计了分级的隐私服务模型:面对闭源商业模型提供商(如 OpenAI 与 Anthropic 的 Claude),系统会在代理层匿名化所有请求指纹,剥离所有足以识别用户身份的网络与账户元数据,使上游厂商无法顺藤摸摸瓜关联到真实用户。

此外,在计算与存储两个维度,Venice 引入了尖端加密手段。对于模型推理本身,平台将开源权重部署在可信执行环境(TEE, Trusted Execution Environment)中,允许用户通过加密学证明来验证自己的推理任务是在完全隔离的私密进程中完成的。而针对需要异步轮询(Polling)的长耗时生成场景(如视频渲染生成),Venice 采用基于“双钥托管”(Split-key Custody)的加密载荷方案进行存储。

```mermaid flowchart TD accTitle: Venice AI 隐私架构流水线 accDescr: 展示用户请求通过匿名化层、TEE 隐私计算、分钥加密以及零日志落盘的处理过程

subgraph User["用户端"] U["客户端应用 (本地持久化)"] end

subgraph Ingress["接入与代理层"] A["元数据匿名化网关"] end

subgraph Engine["推理与计算环境"] TEE["可信执行环境 (TEE 推理)"] SplitKey["双钥加密存储 (读/写半钥分离)"] end

subgraph Upstream["外部模型提供商"] ClosedLLM["OpenAI / Claude 等"] end

U -->|"发送 Prompt"| A A -->|"去标识化请求"| ClosedLLM A -->|"安全隔离计算"| TEE TEE -->|"异步产物 (如视频)"| SplitKey SplitKey -.->|"仅端侧解密,本地存储"| U ```

- **开源模型本地化承诺**:在调用开源大模型时,服务器不留任何副本,真正实现“零数字足迹”。 - **双钥托管隔离**:加密密钥被拆分为“只读半钥”与“写入半钥”,即便是 Venice 团队内部账户遭到入侵,攻击者单独拿到某一端也绝对无法还原解密数据。

---

[04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) 可观测性黑洞与常规智能体的明文泄露路径

Joshua 提醒现场开发者,市场上许多宣称“隐私安全”的系统实际上名不副实,因为“拥有一个私有模型并不等于拥有一个私有的产品系统”。模型只是 Agent 系统中的一颗齿轮,为了让模型完成真实世界的业务,开发者必须在其外围构建复杂的胶水系统,而数据泄露往往正是在这套外围工程中滋生的。

典型的隐患就是现代生产环境必不可少的可观测性(Observability)体系——指标(Metrics)、链路追踪(Traces)和日志(Logs)。开发人员热衷于打印详细的 Debug 日志,却往往忽略了默认的日志框架会不加过滤地全量记录请求体中的 Prompt、Token 以及隐式携带的各类用户敏感凭证。更严重的架构缺陷发生在传统的 Agent 工具链调用设计中:当运行环境从 1Password 或 HashiCorp Vault 等凭据管理库拉取 API Key 或 Session Token 后,往往错误地将密钥原文直接拼接进 Prompt 上下文,投喂给 LLM 推理层。这不仅可能导致秘密进入外部模型的训练语料,还会让 LLM 在调用未知第三方 Tool 时通过 HTTP 请求将其作为参数外泄。

> “While models are a very important part of an agentic system, in fact, they're a vital part of the system. Um, they are still only one part.” —— Joshua Mo

- **可观测性风险**:未经脱敏的日志管道通常是生产系统最容易失守的侧信道。 - **Agent 推理层穿透**:直接让 LLM “看到”密码或私钥,等于将机密置于不可控的非确定性生成逻辑之下。

---

[06:52](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=412s) 稳健的防御模式:哈希替代、分钥与可撤销句柄

针对上述泄露链条,Joshua 给出了一套经过验证的防御设计模式。第一项是利用哈希值替代用户真实标识(Hashed IDs)。在速率限制(Rate Limiting)等必须识别请求来源的场景中,严禁直接使用用户邮箱、手机号或明文设备指纹,而应采用不可逆哈希值代管,在不碰触个人隐私数据(PII)的前提下完成流量控制。

第二项是全面推行“可撤销句柄”(Revocable Handles)模式。句柄是一个具有明确权限边界且可被随时吊销的对象引用。在访问数据库连接池、JWT(JSON Web Tokens)或临时会话密钥时,代码逻辑绝不直接传递静态核心凭据,而是只下发一个具备有效期的 Handle。“手握句柄即可连通池子;一旦句柄被注销,权限即刻归零”,这极大降低了长期凭证遗失引发的连带灾难。

- **去标识化限流**:使用哈希值建立虚拟计数桶,阻断通过限流日志逆向定位用户的途径。 - **动态句柄控制**:针对敏感资产建立透明拦截层,确保授权失效操作具备毫秒级传播能力。

---

[08:39](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=519s) 缩小智能体作用域与前置注入检测

在利用 MCP(Model Context Protocol)等协议对接多工具源时,开发者常常图省事直接向 Agent 挂载包含十几个工具的完整服务器。然而,过宽的工具作用域(Agent Scope)是安全与性能的双重杀手。如果 Agent 只需要执行天气查询,却因为挂载了整个工具包而加载了管理云资源的 API Key,一旦发生越狱,攻击者便能轻而易举地操纵 LLM 发起恶意 Tool Call,将高危凭据发送至外部不受信任的 Webhook。

为了构筑防线,架构上必须在 Agent 前方建立严格的提示词注入(Prompt Injection)分类过滤层。这可以通过轻量级专用分类大模型实现,也可以基于 Qdrant、LanceDB 等向量数据库进行语义模式匹配拦截,甚至采用极速的内存正则与启发式过滤进程。此外,精简工具集带来的高紧凑上下文(Tight Context Loops)还能直接提升模型的推理品质。众所周知,上下文窗口塞满工具定义会导致模型遵循指令的能力大幅衰退;保持极低冗余的上下文,才是确保模型精准执行任务的基石。

> “It's well known that when you fill your context window... performance can actually degrade considerably.” —— Joshua Mo

| 防御维度 | 宽松配置隐患 | 收敛最佳实践 | |:--- |:--- |:--- | | **工具挂载量** | 挂载含 15-20 个工具的完整外部服务器 | 单任务严格限制为仅需的 1-2 个轻量工具 | | **安全审查层** | 用户指令直接贯穿至 LLM 推理层 | 前置分类拦截器(LLM 校验 / 向量检索分类) | | **上下文质量** | 工具定义膨胀导致核心指令丢失 | 保持窗口留白,维持推理性能与遵循度 |

---

[10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 架构解耦:将机密关在执行层,远离推理层

Joshua 提出了一项极具实操价值的系统重构建议:将金库(Vault)牢牢绑定在“Agentic 执行层”,彻底剥离于“LLM 推理层”。在正确的架构下,用户请求进入作为推理层的 LLM 时,模型输出的仅仅是一组抽象的、非确定性的操作指令;随后这套意图指令被下推至确定性的 Agent Runtime(执行层)。在这个确定性执行沙盒中,系统再去安全调取金库凭证完成底层网络握手或网站登录。

以让智能体代为操作浏览器(Browser Tool)登录特定系统的场景为例:如果采用传统思路,密码必然被当作字符串写在 Prompt 中;而采用解耦架构后,密码仅在本地底层的无头浏览器环境注入表单,整个推理过程从始至终不知道密码的明文是什么。

```mermaid flowchart LR accTitle: 推理层与执行层解耦的安全架构 accDescr: 展示 LLM 推理层仅下发抽象指令,而底层执行层在接入保险库时闭环处理凭据的过程

UserReq["用户请求"] --> LLM["LLM 推理层 (无凭证感知)"] LLM -->|"抽象执行计划"| Runtime["确定性执行层 (Runtime)"] Vault["凭证保险库 (Vault)"] -->|"局部注入密文"| Runtime Runtime -->|"发起带鉴权调用"| TargetAPI["目标业务系统 / 浏览器自动化"] ```

- **推理与执行分离**:LLM 负责“想”,Runtime 负责“做”,高危数据仅在“做”的物理节点短暂停留。 - **消除语料泄漏风险**:外部闭源厂商的 API 服务永远无法在其请求 Payload 中捕获企业内部核心机密。

---

[12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒局限性与硬件级机密计算

虽然使用 MicroVM(如 AWS Firecracker)或基于 VPC 隔离的 AWS EC2 实例能够大幅拔高计算环境的底层防护等级,但 Joshua 警示开发者:“沙盒绝非万灵药”(Sandboxes aren't a cure-all)。如果给沙盒内的代码开启了完全的公网访问权限,那么遭到提示词注入攻击的模型依然可能借由恶意的网络请求悄悄把内存中的数据回传给攻击者。因此,外发网络流量与权限监控在沙盒内部必须受到严格钳制。

Joshua 的个人建议是,团队应当自建属于自己的 Agent 运行时(Coding Harnesses),掌控从指令分发、全链路脱敏可观测性到工具调用的每一个执行步骤。在演讲最后,他将视野拉入硬件底层——机密计算(Confidential Compute)。在 Venice,模型推理正在借助现代硬件级可信执行环境(TEE)走向全流程加密隔离,哪怕底层物理机器的所有者也无法窥探飞线内存中的推理张量。这构成了应对无孔不入的数据窃取威胁的最后一道坚固防线。

> “However this doesn't act as a cure all for your agentic systems... monitoring permissions is essential.” —— Joshua Mo

- **沙盒外溢盲区**:沙盒防得住本地提权与文件破坏,但防不住具有合法网络权限的应用层数据偷运。 - **软硬一体化防御**:以可控 Agent Runtime 为软件中枢,以硬件级 TEE 机密计算为算力底座,终结中间人窥探。

[13:34](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=814s) 机密计算与密码学远程证明

在利用可信执行环境(TEE)运行模型时,用户在获取模型响应的同时,系统还会附带返回一份密码学远程证明(attestation)。用户可以直接借助官方提供的证明校验器(attestation verifier)对其真实性进行核验。这种机制彻底改变了过去只能盲目信任云服务商的局面,使用户能够从数学和密码学层面确信自己的推理负载确实运行在未被篡改的隔离硬件中。正如 Joshua Mo 所指出的:“So in terms this what this actually means is that you can fully isolate an agent at the reasoning layer cryptographically and prove it.” 这意味着开发者可以在推理层将 AI Agent 做到物理级别的完全隔离,并且拥有切实可查的密码学依据。

```mermaid flowchart LR accTitle: 机密计算与远程证明校验流程 accDescr: 描述用户发送请求到可信执行环境(TEE),获取模型响应及硬件证明并进行校验的流程。 subgraph ClientSide["客户端"] User["用户 / 客户端"] Verifier["远程证明校验器<br/>(Attestation Verifier)"] end subgraph SecureEnclave["可信执行环境 (TEE)"] Agent["隔离推理层 / Agent"] end

User -->|"发送推理请求"| Agent Agent -->|"返回响应 + 硬件证明 (Attestation)"| User User -->|"提交证明核验"| Verifier Verifier -->|"验证通过 (密码学可证明)"| User ```

---

[13:56](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=836s) 机密工具调用与未来的开放挑战

尽管 TEE 极大保障了推理安全,但在处理工具调用(tool calls)时,保密性依然面临着尚未彻底解决的技术难题。TEE 本身非常适合用来承载工具调用,同时 Venice AI 也提供了端到端加密(E2EE)方案,但这里的核心矛盾在于开发者体验(DX)与安全强度之间的权衡:如何在保持 API 极简、易用、符合直觉的同时,又允许用户在全链路完全端到端加密的状态下接收并返回工具调用数据?Joshua Mo 坦言:“This is still kind of an ongoing challenge.”

针对这一痛点,目前一种高度可靠的应对思路是让可信基础设施提供商直接接管并掌控运行工具调用的计算层(compute layer)。但将整个工具调用生态完全搬入机密环境并实现无缝的人机交互与系统联动,目前业内仍在摸索最佳实践。Joshua Mo 最终总结道:“So in terms of confidential tool calls um yeah there's definitely some work to be done.” 随后他向全场观众致谢并结束了演讲。

- **端到端加密与人体工学 API 的拉扯**:工具调用往往涉及结构化参数的生成、外部环境执行与结果回传,若全程施加端到端加密,需要客户端与执行环境频繁交互并解密,如何设计出不增加开发者负担的 SDK/API 仍是难点。 - **计算层托管方案**:通过让机密计算提供商统一掌控工具调用的底层运行环境,可以减少数据在不同非受信服务之间跳转带来的泄露窗口。

## Notable quotes > [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) You only need one data breach before your users stop trusting you and they move on to another provider. — Joshua Mo

> [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) While models are a very important part of an agentic system, in fact, they're a vital part of the system. Um, they are still only one part. — Joshua Mo

## Mentioned Joshua Mo, Venice AI, Rig, OpenAI, GLM-4, Kimi, Anthropic, Claude, 1Password, HashiCorp Vault, MCP (Model Context Protocol), Qdrant, LanceDB, AWS Firecracker, AWS EC2

## Video description A private model doesn't make a private product. The leaks happen in everything you build around it.

Joshua Mo, lead developer relations engineer at Venice AI and previously lead maintainer of the Rust AI framework Rig, explains why privacy matters (one breach and users leave, and less stored data means a smaller blast radius) and how Venice approaches it: no stored prompts, anonymized requests to closed providers, models in trusted execution environments, and split-key encrypted storage. Then he shows where agent systems leak: logs that quietly capture prompts and secrets, and secrets fetched from a vault straight into the reasoning layer, where a tool call can exfiltrate them. His patterns: hashed IDs instead of personal data, split-key custody, revocable handles, narrow agent scope, a classifier in front of the agent to catch prompt injection, wiring the vault to the execution layer instead of the LLM, sandboxes plus permission monitoring, and confidential compute with verifiable attestations. He closes on the open problem of confidential tool calls.

In this talk: • Why privacy is about blast radius, not just the model • How logs and secrets leak through a typical agent • Keeping credentials in the execution layer, never the LLM • Hashes, split keys, handles, narrow scope and confidential compute

SPEAKER Joshua Mo, Lead DevRel Engineer, Venice AI LinkedIn: https://www.linkedin.com/in/joshua-mo-4146aa220/ X: https://x.com/joshmo_dev GitHub: https://github.com/joshua-mo-143 Website: https://joshmo.ooo

LINKS Venice AI: https://venice.ai Venice API docs: https://docs.venice.ai Rig (Rust AI framework): https://github.com/0xPlaygrounds/rig

CHAPTERS 0:00 Intro 0:55 What Venice is 1:40 Why privacy matters 2:35 How Venice handles privacy 4:15 Not all systems are private 5:05 The logging trap 5:54 How secrets leak through an agent 6:49 Patterns that work 7:54 Revocable handles 8:39 Narrow agent scope 9:29 Screening for prompt injection 10:44 Keep secrets out of the model 12:04 Sandboxes aren't a cure-all 12:54 Own your runtime 13:09 Confidential compute 14:49 Confidential tool calls

Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.

AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/

#AIPrivacy #AISecurity #AIEngineer

[Source](https://www.youtube.com/watch?v=xn8EsW0wxyc)

中文简报

Venice AI将机密信息从LLM中剥离以阻止智能体数据泄露 除非开发者将身份验证完全转移到确定性执行运行时,否则语言模型必然会通过日志记录和工具调用泄露所存储的凭据。 Joshua Mo指出,AI系统中的隐私问题从根本上在于尽可能缩小数据爆炸半径,而不能仅仅依赖模型提供商的承诺。简单的智能体架构通常会通过详尽的可观测性日志记录,以及将保密库凭据直接注入非确定性LLM上下文中暴露敏感数据,导致工具调用可能将这些数据窃取外泄。为防止泄露,Mo展示了成熟的架构模式:通过加盐密码学哈希跟踪用户、使用分钥加密托管,以及仅将机密信息连接至确定性执行层而非推理模型。他强调具有可验证证明的硬件级可信执行环境(TEE)是私有推理的基石,同时也指出机密工具调用目前仍是整个行业尚未解决的难题。 AI智能体系统中的隐私主要由其周边的编排框架和日志管道决定,而非取决于模型的数据使用条款,因为默认的遥测经常会将原始提示词和凭据转储为纯文本存储。 (4:12) 将身份验证凭据直接提供给LLM的推理上下文,会使其面临提示词注入、缓存以及通过不可信工具调用外泄的风险;保障安全需要将机密信息严格隔离在确定性执行运行时之内。 (5:56) 数据泄露是运营中必然会发生的情况,其经济和声誉损失与存储的用户遥测数据直接成正比,这使得零保留架构成为限制机构受损范围的最有效方式。 (1:42) 硬件强制执行的可信执行环境(TEE)为私有推理提供了数学上可验证的密码学证明,但将完全机密性扩展到外部工具调用仍是一个尚未解决的工程前沿课题。 (13:13)

精炼阅读摘要

Venice AI 开发者关系主管 Joshua Mo 指出,现代 AI Agent 的隐私风险主要源于模型外部的脚手架体系、观测管道与凭据混淆,而非模型本身;企业必须通过隔离推理与执行、最小化工具权限及采用机密计算来消除数据泄露隐患。 数据爆炸半径与传统观测陷阱 (1:42) Joshua Mo 认为,网络安全事件是企业生命周期中的必然节点,而非偶发异常。在基础模型日趋同质化的背景下,客户信任是关键差异化要素,泄露企业核心数据可能直接威胁贡献高达 90% 年经常性收入(ARR)的标杆客户。在架构层面,系统持久化存储的未加密提示词、对话上下文和遥测数据越多,安全漏洞爆发时的“爆炸半径”就越大,因此减少数据留存是限制潜在危害的最直接手段。 许多团队误以为下游大语言模型承诺不使用 API 输入训练即可保障安全,但模型仅是庞大系统的组成部分。常规的可观测性工具(包含指标、追踪和日志)往往是静默泄露的根源。在开发调试阶段,工程师常将原始输入、上下文负载以及异常堆栈直接输出至日志中,导致未脱敏的提示词和敏感凭据在访问控制松懈的集中式日志聚合系统中以明文长期留存。 凭据进入非确定性推理层的风险 (5:56) 在朴素的传统 Agent 设计中,运行时从 1Password 或 HashiCorp Vault 等密码管理器拉取凭据后,直接注入大语言模型的提示词上下文中,让模型生成 HTTP 负载或命令行调用。Mo 警告,一旦密钥进入非确定性的推理层,安全防线便彻底崩溃:凭据不仅可能被模型重复输出给终端用户或记录在调试追踪中,还面临进入服务商训练集和提示词缓存的风险。更严重的是,模型若遭遇恶意引导,可能会在工具调用参数中将明文凭据直接发送至攻击者控制的外部端点。 解耦推理与执行及细粒度防御 (6:52) 防范凭据泄露的核心工程方案是将非确定性的推理层与确定性的执行层彻底解耦。在加固架构下,大语言模型仅充当规划引擎,生成抽象、参数化的任务方案,完全不接触任何敏感密钥。当方案交付给确定性的 Agent 执行运行时后,由该运行环境在网络派发阶段(例如自动化浏览器登录或受限 REST 调用)向请求中动态注入凭据,从而确保模型在任何交互与攻击场景下都无法窥探明文密码。 针对基础设施与交互环节,Mo 提出了配套的纵深防御模式:在速率限制和会话追踪中,使用加盐的加密哈希替代邮箱、IP 地址等原始用户标识;在长期持久化不可避免的异步轮询场景下,采用分片密钥托管(Split-Key Custody),将密钥拆分为独立的读半部分与写半部分,使任何单点凭据泄露都无法独立解密数据;同时,淘汰永久性主 API 密钥,仅向 Agent 派发临时、可撤销且严格限定范围的句柄。 收窄工具范围与沙箱局限性 (8:40) 开放式工具接口(如 Model Context Protocol,即 MCP 服务器)会大幅增加攻击暴露面。若向 Agent 开放数十个管理工具而实际仅需单一查询功能,一旦遭遇对抗性提示词注入,多余的高权限工具即可被利用进行凭据外发;此外,冗长的工具架构定义还会占满上下文窗口,导致模型的推理性能与准确率大幅下滑。为此,系统需强制实施窄作用域原则,并在执行前端部署由轻量辅助模型、向量检索(如 Qdrant、LanceDB)或内存规则构成的分类拦截层。 Mo 同时提醒,微虚拟机沙箱(如 AWS Firecracker)或 VPC 隔离实例虽能保护宿主操作系统,但无法解决数据泄露问题。只要沙箱内的 Agent 拥有互联网出站访问权限,受到注入攻击的模型仍可通过合法外部 API 将内存中的上下文数据外传,因此严格限制网络出站策略并构建团队自研的 Agent 运行时至关重要。 基于硬件的机密计算与隔离验证 (13:13) 软件层面的沙箱与策略控制仍需信任云服务商及操作系统管理员,而机密计算将安全边界推进至硬件层面。通过在 CPU 或 GPU 上的可信执行环境(TEE)中运行模型推理,运行内存可在芯片层级完成加密,即便是宿主机操作系统、虚拟机监视器或云厂商运维人员也无法读取内存数据。 在 TEE 架构中,客户端发起推理请求后不仅会收到生成结果,还会获得一份密码学远程证明(Attestation)。开发者可借助独立的证明验证器对签名进行数学层面的核验,从而确凿证明模型代码未被篡改且运行在完全隔离的环境中,将隐私承诺从不可验证的商业政策转变为确定性的密码学保证。 机密计算虽然实现了推理层的端到端加密与可信证明,但如何保障外部工具调用的全流程机密性仍是行业未解的难题。Mo 指出,在保留开发者友好 API 体验的同时处理完全加密的工具执行存在巨大架构张力;将工具执行与模型推理统一整合在受控的计算边界内虽是一条可行路径,但目前整个工程落地与集成体验仍处于探索阶段。

Detailed notes — zh

## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 10 月 11 日发布,内容为 Venice AI 的开发者关系主管 Joshua Mo 在旧金山举办的 AI Engineer World's Fair 2026 上的技术演讲。视频简介指出,单凭私有模型无法构建真正私有的产品,数据往往在外围系统中发生泄漏;演讲探讨了 Venice 的零日志与加密防御机制,并深入分析了智能体系统中秘密泄漏的根源与防护模式。 ## TL;DR Joshua Mo 阐述了构建安全智能体系统的核心理念,指出企业必须通过源头减少数据存储来降低安全事件的“爆炸半径”。他深入剖析了生产系统中可观测性日志抓取明文凭据,以及将密码错误注入 LLM 推理层导致第三方工具调用外泄的常见架构漏洞。针对这些风险,他提出了使用哈希 ID 代替 PII、采用具备有效期的可撤销句柄、收窄智能体工具作用域以及前置注入拦截等一系列最佳实践。最后,他强调了将凭据金库严格隔离在确定性执行层的重要性,并介绍了结合 TEE 硬件机密计算与密码学远程证明的防护方案,同时指出了机密工具调用在开发者体验上仍面临的开放挑战。 ## Atmosphere & style 整场演讲呈现出务实、严谨且高度聚焦工程落地的技术风格。Joshua Mo 以一线架构师的视角冷静剖析当前 AI 系统的隐私虚幻感,语言沉稳而直击痛点,没有空洞的行业吹嘘,全篇围绕具体代码架构与底层攻防展开。听众能直观感受到一种警醒且充满极客探索欲的氛围,从系统层面的漏洞剖析一路推导至硬件级密码学证明,既具启发性又带有对前沿安全技术边界的理性敬畏。 ## Bulletin - [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) Venice AI 强调数据泄露是必然事件,隐私工程的核心在于通过零服务端日志、匿名化代理和双钥加密存储,最大化缩小数据泄露的“爆炸半径”。 - [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) AI 系统的泄密往往发生在模型外围:未经脱敏的可观测性日志会静默捕获凭证,而将密钥直接拼接进 Prompt 上下文更会导致凭据通过第三方 Tool Call 外泄。 - [10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 系统安全的关键在于架构解耦:必须将凭据金库(Vault)绑定在确定性的 Agent 执行层,LLM 推理层仅负责输出抽象操作指令,永不接触明文密码。 - [12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒环境防不住具备合法外网权限的数据偷运,唯有结合硬件级 TEE 机密计算与密码学远程证明才能实现推理层的完全物理隔离,但机密工具调用的 API 人体工学设计仍属行业未决难题。 ## Key takeaways - [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) 拥有私有模型并不等于拥有私有产品,AI Agent 系统的安全漏洞大多出在模型外围的胶水代码和基础设施中。 - [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) 数据泄露是迟早会发生的必然事件,隐私设计的本质是最小化存储数据,从而在根源上控制事故的“爆炸半径”。 - [02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) 面对商业闭源模型,应在代理接入层匿名化网络请求并剥离用户身份元数据,切断上游服务商关联真实用户的途径。 - [02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) 对于异步长耗时生成任务,采用分钥托管(Split-key Custody)方案,将读写半钥分离,即便内网被攻破单凭一端也无法还原明文。 - [05:05](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=305s) 生产环境的可观测性管道(Logs/Traces)是高危侧信道,默认配置常会未经脱敏地记录敏感 Prompt、Token 及系统凭据。 - [06:52](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=412s) 在速率限制(Rate Limiting)等用户识别场景中,严禁用明文 PII 数据,应使用单向哈希值(Hashed IDs)建立计数桶。 - [07:54](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=474s) 全面推行可撤销句柄(Revocable Handles)访问高危资产,仅下发具备有效期的引用对象,确保凭据一旦吊销权限毫秒级归零。 - [08:39](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=519s) 避免为 Agent 挂载过宽的工具作用域(MCP 工具包),任务单次挂载应收敛至必须的 1-2 个轻量工具,防止越狱后凭据被恶意调用窃取。 - [09:29](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=569s) 在 LLM 前置部署提示词注入(Prompt Injection)分类拦截器,不仅能阻断越狱攻击,还能精简上下文窗口以保障模型的推理遵循度。 - [10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 推理层与执行层必须严格解耦:LLM 仅生成抽象执行计划,底层 Runtime 在确定性沙盒中独立调取 Vault 凭证并完成鉴权操作。 - [12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒隔离(如 MicroVM)并非万灵药,若赋予不受限制的外网访问权限,受控模型仍可通过合法网络请求外发外泄内存数据。 - [12:54](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=774s) 团队应自建专属的 Agent 运行时(Harness),全面接管指令分发、全链路脱敏日志记录及外网调用权限监控。 - [13:34](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=814s) 依托 TEE 可信执行环境运行模型,可向客户端返回密码学远程证明(Attestation),在数学层面证明推理任务未被篡改和窥探。 - [14:49](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=889s) 实现机密工具调用(Confidential Tool Calls)的核心挑战在于开发者体验(DX)与端到端加密强度之间的工程平衡。 ## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) Venice AI 平台定位与隐私的核心意义 作为 Venice AI 的开发者关系主管(Lead DevRel Engineer),Joshua Mo 开门见山地介绍了自己的背景与平台愿景。在加入 Venice AI 之前,他曾是 Rust 生态中知名 AI 框架 Rig 的主要维护者。Venice 的核心定位是一个无审查限制且高度尊重隐私的 AI 平台,其 API 实现了 100% 的 OpenAI 规范兼容,支持各类主流开源大模型(如 GLM-4 / Kimi 系列等),提供供普通用户交互的 Web 应用程序,并为创作者推出了包含音视频、图像生成与语音转录的一体化 Studio 套件。平台最重要的铁律之一就是:绝对不在服务端保存任何用户的 Prompt 或对话历史。 谈及隐私为何在当今的技术版图中至关重要,Joshua 强调数据泄露已经不再是“是否会发生”的偶然假设,而是“迟早会发生”的必然事件。这就让声誉风险(Reputational Risk)上升为企业的生死线。一旦发生泄露,用户可能会彻底丧失信任并转向竞争对手;对于企业级客户而言,甚至可能直接导致贡献公司 90% 年收入的大客户流失。敏感数据的存在会指数级扩大任何安全事故的冲击力;相反,从源头减少存储的用户数据,就是直接降低安全事故的“爆炸半径”(Blast Radius)。 > “You only need one data breach before your users stop trusting you and they move on to another provider.” —— Joshua Mo - **平台核心特征**:100% 兼容 OpenAI 接口标准,承载最新开源模型,全链路零记录(No-Logs)。 - **爆炸半径控制**:少存甚至不存用户端明文数据,将潜在漏洞触发后的损失范围在架构上最小化。 --- ### [02:37](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=157s) Venice 的多层次隐私工程实践 在工程落地层面,Venice 采用了一套深度的纵深防御架构来实现其隐私承诺。第一步是彻底杜绝在服务端落盘任何 Prompt 或上下文对话,所有聊天历史仅保存在用户的本地浏览器或客户端中。第二,Venice 设计了分级的隐私服务模型:面对闭源商业模型提供商(如 OpenAI 与 Anthropic 的 Claude),系统会在代理层匿名化所有请求指纹,剥离所有足以识别用户身份的网络与账户元数据,使上游厂商无法顺藤摸摸瓜关联到真实用户。 此外,在计算与存储两个维度,Venice 引入了尖端加密手段。对于模型推理本身,平台将开源权重部署在可信执行环境(TEE, Trusted Execution Environment)中,允许用户通过加密学证明来验证自己的推理任务是在完全隔离的私密进程中完成的。而针对需要异步轮询(Polling)的长耗时生成场景(如视频渲染生成),Venice 采用基于“双钥托管”(Split-key Custody)的加密载荷方案进行存储。 ```mermaid flowchart TD accTitle: Venice AI 隐私架构流水线 accDescr: 展示用户请求通过匿名化层、TEE 隐私计算、分钥加密以及零日志落盘的处理过程 subgraph User["用户端"] U["客户端应用 (本地持久化)"] end subgraph Ingress["接入与代理层"] A["元数据匿名化网关"] end subgraph Engine["推理与计算环境"] TEE["可信执行环境 (TEE 推理)"] SplitKey["双钥加密存储 (读/写半钥分离)"] end subgraph Upstream["外部模型提供商"] ClosedLLM["OpenAI / Claude 等"] end U -->|"发送 Prompt"| A A -->|"去标识化请求"| ClosedLLM A -->|"安全隔离计算"| TEE TEE -->|"异步产物 (如视频)"| SplitKey SplitKey -.->|"仅端侧解密,本地存储"| U ``` - **开源模型本地化承诺**:在调用开源大模型时,服务器不留任何副本,真正实现“零数字足迹”。 - **双钥托管隔离**:加密密钥被拆分为“只读半钥”与“写入半钥”,即便是 Venice 团队内部账户遭到入侵,攻击者单独拿到某一端也绝对无法还原解密数据。 --- ### [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) 可观测性黑洞与常规智能体的明文泄露路径 Joshua 提醒现场开发者,市场上许多宣称“隐私安全”的系统实际上名不副实,因为“拥有一个私有模型并不等于拥有一个私有的产品系统”。模型只是 Agent 系统中的一颗齿轮,为了让模型完成真实世界的业务,开发者必须在其外围构建复杂的胶水系统,而数据泄露往往正是在这套外围工程中滋生的。 典型的隐患就是现代生产环境必不可少的可观测性(Observability)体系——指标(Metrics)、链路追踪(Traces)和日志(Logs)。开发人员热衷于打印详细的 Debug 日志,却往往忽略了默认的日志框架会不加过滤地全量记录请求体中的 Prompt、Token 以及隐式携带的各类用户敏感凭证。更严重的架构缺陷发生在传统的 Agent 工具链调用设计中:当运行环境从 1Password 或 HashiCorp Vault 等凭据管理库拉取 API Key 或 Session Token 后,往往错误地将密钥原文直接拼接进 Prompt 上下文,投喂给 LLM 推理层。这不仅可能导致秘密进入外部模型的训练语料,还会让 LLM 在调用未知第三方 Tool 时通过 HTTP 请求将其作为参数外泄。 > “While models are a very important part of an agentic system, in fact, they're a vital part of the system. Um, they are still only one part.” —— Joshua Mo - **可观测性风险**:未经脱敏的日志管道通常是生产系统最容易失守的侧信道。 - **Agent 推理层穿透**:直接让 LLM “看到”密码或私钥,等于将机密置于不可控的非确定性生成逻辑之下。 --- ### [06:52](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=412s) 稳健的防御模式:哈希替代、分钥与可撤销句柄 针对上述泄露链条,Joshua 给出了一套经过验证的防御设计模式。第一项是利用哈希值替代用户真实标识(Hashed IDs)。在速率限制(Rate Limiting)等必须识别请求来源的场景中,严禁直接使用用户邮箱、手机号或明文设备指纹,而应采用不可逆哈希值代管,在不碰触个人隐私数据(PII)的前提下完成流量控制。 第二项是全面推行“可撤销句柄”(Revocable Handles)模式。句柄是一个具有明确权限边界且可被随时吊销的对象引用。在访问数据库连接池、JWT(JSON Web Tokens)或临时会话密钥时,代码逻辑绝不直接传递静态核心凭据,而是只下发一个具备有效期的 Handle。“手握句柄即可连通池子;一旦句柄被注销,权限即刻归零”,这极大降低了长期凭证遗失引发的连带灾难。 - **去标识化限流**:使用哈希值建立虚拟计数桶,阻断通过限流日志逆向定位用户的途径。 - **动态句柄控制**:针对敏感资产建立透明拦截层,确保授权失效操作具备毫秒级传播能力。 --- ### [08:39](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=519s) 缩小智能体作用域与前置注入检测 在利用 MCP(Model Context Protocol)等协议对接多工具源时,开发者常常图省事直接向 Agent 挂载包含十几个工具的完整服务器。然而,过宽的工具作用域(Agent Scope)是安全与性能的双重杀手。如果 Agent 只需要执行天气查询,却因为挂载了整个工具包而加载了管理云资源的 API Key,一旦发生越狱,攻击者便能轻而易举地操纵 LLM 发起恶意 Tool Call,将高危凭据发送至外部不受信任的 Webhook。 为了构筑防线,架构上必须在 Agent 前方建立严格的提示词注入(Prompt Injection)分类过滤层。这可以通过轻量级专用分类大模型实现,也可以基于 Qdrant、LanceDB 等向量数据库进行语义模式匹配拦截,甚至采用极速的内存正则与启发式过滤进程。此外,精简工具集带来的高紧凑上下文(Tight Context Loops)还能直接提升模型的推理品质。众所周知,上下文窗口塞满工具定义会导致模型遵循指令的能力大幅衰退;保持极低冗余的上下文,才是确保模型精准执行任务的基石。 > “It's well known that when you fill your context window... performance can actually degrade considerably.” —— Joshua Mo | 防御维度 | 宽松配置隐患 | 收敛最佳实践 | |:--- |:--- |:--- | | **工具挂载量** | 挂载含 15-20 个工具的完整外部服务器 | 单任务严格限制为仅需的 1-2 个轻量工具 | | **安全审查层** | 用户指令直接贯穿至 LLM 推理层 | 前置分类拦截器(LLM 校验 / 向量检索分类) | | **上下文质量** | 工具定义膨胀导致核心指令丢失 | 保持窗口留白,维持推理性能与遵循度 | --- ### [10:44](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=644s) 架构解耦:将机密关在执行层,远离推理层 Joshua 提出了一项极具实操价值的系统重构建议:将金库(Vault)牢牢绑定在“Agentic 执行层”,彻底剥离于“LLM 推理层”。在正确的架构下,用户请求进入作为推理层的 LLM 时,模型输出的仅仅是一组抽象的、非确定性的操作指令;随后这套意图指令被下推至确定性的 Agent Runtime(执行层)。在这个确定性执行沙盒中,系统再去安全调取金库凭证完成底层网络握手或网站登录。 以让智能体代为操作浏览器(Browser Tool)登录特定系统的场景为例:如果采用传统思路,密码必然被当作字符串写在 Prompt 中;而采用解耦架构后,密码仅在本地底层的无头浏览器环境注入表单,整个推理过程从始至终不知道密码的明文是什么。 ```mermaid flowchart LR accTitle: 推理层与执行层解耦的安全架构 accDescr: 展示 LLM 推理层仅下发抽象指令,而底层执行层在接入保险库时闭环处理凭据的过程 UserReq["用户请求"] --> LLM["LLM 推理层 (无凭证感知)"] LLM -->|"抽象执行计划"| Runtime["确定性执行层 (Runtime)"] Vault["凭证保险库 (Vault)"] -->|"局部注入密文"| Runtime Runtime -->|"发起带鉴权调用"| TargetAPI["目标业务系统 / 浏览器自动化"] ``` - **推理与执行分离**:LLM 负责“想”,Runtime 负责“做”,高危数据仅在“做”的物理节点短暂停留。 - **消除语料泄漏风险**:外部闭源厂商的 API 服务永远无法在其请求 Payload 中捕获企业内部核心机密。 --- ### [12:04](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=724s) 沙盒局限性与硬件级机密计算 虽然使用 MicroVM(如 AWS Firecracker)或基于 VPC 隔离的 AWS EC2 实例能够大幅拔高计算环境的底层防护等级,但 Joshua 警示开发者:“沙盒绝非万灵药”(Sandboxes aren't a cure-all)。如果给沙盒内的代码开启了完全的公网访问权限,那么遭到提示词注入攻击的模型依然可能借由恶意的网络请求悄悄把内存中的数据回传给攻击者。因此,外发网络流量与权限监控在沙盒内部必须受到严格钳制。 Joshua 的个人建议是,团队应当自建属于自己的 Agent 运行时(Coding Harnesses),掌控从指令分发、全链路脱敏可观测性到工具调用的每一个执行步骤。在演讲最后,他将视野拉入硬件底层——机密计算(Confidential Compute)。在 Venice,模型推理正在借助现代硬件级可信执行环境(TEE)走向全流程加密隔离,哪怕底层物理机器的所有者也无法窥探飞线内存中的推理张量。这构成了应对无孔不入的数据窃取威胁的最后一道坚固防线。 > “However this doesn't act as a cure all for your agentic systems... monitoring permissions is essential.” —— Joshua Mo - **沙盒外溢盲区**:沙盒防得住本地提权与文件破坏,但防不住具有合法网络权限的应用层数据偷运。 - **软硬一体化防御**:以可控 Agent Runtime 为软件中枢,以硬件级 TEE 机密计算为算力底座,终结中间人窥探。 ### [13:34](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=814s) 机密计算与密码学远程证明 在利用可信执行环境(TEE)运行模型时,用户在获取模型响应的同时,系统还会附带返回一份密码学远程证明(attestation)。用户可以直接借助官方提供的证明校验器(attestation verifier)对其真实性进行核验。这种机制彻底改变了过去只能盲目信任云服务商的局面,使用户能够从数学和密码学层面确信自己的推理负载确实运行在未被篡改的隔离硬件中。正如 Joshua Mo 所指出的:“So in terms this what this actually means is that you can fully isolate an agent at the reasoning layer cryptographically and prove it.” 这意味着开发者可以在推理层将 AI Agent 做到物理级别的完全隔离,并且拥有切实可查的密码学依据。 ```mermaid flowchart LR accTitle: 机密计算与远程证明校验流程 accDescr: 描述用户发送请求到可信执行环境(TEE),获取模型响应及硬件证明并进行校验的流程。 subgraph ClientSide["客户端"] User["用户 / 客户端"] Verifier["远程证明校验器<br/>(Attestation Verifier)"] end subgraph SecureEnclave["可信执行环境 (TEE)"] Agent["隔离推理层 / Agent"] end User -->|"发送推理请求"| Agent Agent -->|"返回响应 + 硬件证明 (Attestation)"| User User -->|"提交证明核验"| Verifier Verifier -->|"验证通过 (密码学可证明)"| User ``` --- ### [13:56](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=836s) 机密工具调用与未来的开放挑战 尽管 TEE 极大保障了推理安全,但在处理工具调用(tool calls)时,保密性依然面临着尚未彻底解决的技术难题。TEE 本身非常适合用来承载工具调用,同时 Venice AI 也提供了端到端加密(E2EE)方案,但这里的核心矛盾在于开发者体验(DX)与安全强度之间的权衡:如何在保持 API 极简、易用、符合直觉的同时,又允许用户在全链路完全端到端加密的状态下接收并返回工具调用数据?Joshua Mo 坦言:“This is still kind of an ongoing challenge.” 针对这一痛点,目前一种高度可靠的应对思路是让可信基础设施提供商直接接管并掌控运行工具调用的计算层(compute layer)。但将整个工具调用生态完全搬入机密环境并实现无缝的人机交互与系统联动,目前业内仍在摸索最佳实践。Joshua Mo 最终总结道:“So in terms of confidential tool calls um yeah there's definitely some work to be done.” 随后他向全场观众致谢并结束了演讲。 - **端到端加密与人体工学 API 的拉扯**:工具调用往往涉及结构化参数的生成、外部环境执行与结果回传,若全程施加端到端加密,需要客户端与执行环境频繁交互并解密,如何设计出不增加开发者负担的 SDK/API 仍是难点。 - **计算层托管方案**:通过让机密计算提供商统一掌控工具调用的底层运行环境,可以减少数据在不同非受信服务之间跳转带来的泄露窗口。 ## Notable quotes > [00:12](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=12s) You only need one data breach before your users stop trusting you and they move on to another provider. — Joshua Mo > [04:15](https://www.youtube.com/watch?v=xn8EsW0wxyc&t=255s) While models are a very important part of an agentic system, in fact, they're a vital part of the system. Um, they are still only one part. — Joshua Mo ## Mentioned Joshua Mo, Venice AI, Rig, OpenAI, GLM-4, Kimi, Anthropic, Claude, 1Password, HashiCorp Vault, MCP (Model Context Protocol), Qdrant, LanceDB, AWS Firecracker, AWS EC2 ## Video description A private model doesn't make a private product. The leaks happen in everything you build around it. Joshua Mo, lead developer relations engineer at Venice AI and previously lead maintainer of the Rust AI framework Rig, explains why privacy matters (one breach and users leave, and less stored data means a smaller blast radius) and how Venice approaches it: no stored prompts, anonymized requests to closed providers, models in trusted execution environments, and split-key encrypted storage. Then he shows where agent systems leak: logs that quietly capture prompts and secrets, and secrets fetched from a vault straight into the reasoning layer, where a tool call can exfiltrate them. His patterns: hashed IDs instead of personal data, split-key custody, revocable handles, narrow agent scope, a classifier in front of the agent to catch prompt injection, wiring the vault to the execution layer instead of the LLM, sandboxes plus permission monitoring, and confidential compute with verifiable attestations. He closes on the open problem of confidential tool calls. In this talk: • Why privacy is about blast radius, not just the model • How logs and secrets leak through a typical agent • Keeping credentials in the execution layer, never the LLM • Hashes, split keys, handles, narrow scope and confidential compute SPEAKER Joshua Mo, Lead DevRel Engineer, Venice AI LinkedIn: https://www.linkedin.com/in/joshua-mo-4146aa220/ X: https://x.com/joshmo_dev GitHub: https://github.com/joshua-mo-143 Website: https://joshmo.ooo LINKS Venice AI: https://venice.ai Venice API docs: https://docs.venice.ai Rig (Rust AI framework): https://github.com/0xPlaygrounds/rig CHAPTERS 0:00 Intro 0:55 What Venice is 1:40 Why privacy matters 2:35 How Venice handles privacy 4:15 Not all systems are private 5:05 The logging trap 5:54 How secrets leak through an agent 6:49 Patterns that work 7:54 Revocable handles 8:39 Narrow agent scope 9:29 Screening for prompt injection 10:44 Keep secrets out of the model 12:04 Sandboxes aren't a cure-all 12:54 Own your runtime 13:09 Confidential compute 14:49 Confidential tool calls Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #AIPrivacy #AISecurity #AIEngineer [Source](https://www.youtube.com/watch?v=xn8EsW0wxyc)

Source quotes

[0:12] Joshua Mo: You only need one data breach before your users stop trusting you and they move on to another provider. [4:15] Joshua Mo: While models are a very important part of an agentic system, in fact, they're a vital part of the system. Um, they are still only one part.