Codex实测将百万向量检索内存压至1GB 年省逾4万美元
grapeot
AI已能数秒生成生产级检索架构，死记框架的工程师面临贬值，定义评测基准、盯防延迟隐患与拍板商业取舍的“出题能力”才是落地核心。
AI-assisted summary of 不要学 RAG，学出题 — original source. Check the original for full context.
Source published:
Key ideas
- 招聘市场上虽有数千个 RAG 岗位，但使用现代 AI 工具（如 Codex）可在数十秒内直接用内存暴力穷举跑通百万级文档检索原型，死记框架胶水代码已失去溢价。 (0:00)
- 在百万级向量检索中，将浮点精度由 Float32 减至 Float16 虽使内存从 6.14 GB 降至 3.07 GB，但由于 CPU 缺乏半精度指令加速会导致延迟翻倍（86 ms 增至 168.9 ms），需换用硬件加速库 MLX 将延迟压低至 12.8 ms。 (15:00)
- 通过 Matryoshka 维度截断至 1024 维并结合 Float16/MLX，系统内存最终压至约 1 GB，可塞入 2 GB 内存机器；按 100 个物理隔离客户计算，单凭该硬件降配每年即可为企业节省逾 4.4 万美元。 (20:00)
- AI 时代工程落地的核心分水岭已从写代码的“做题家”转变为设定评测集（如 Top-10 命中率）、盯紧隐性指标回退及权衡业务取舍的“出题人”。 (10:00)
Detailed notes
## Background 该视频由 grapeot 于 2026 年 10 月 27 日发布在哔哩哔哩（Bilibili）平台。简介指出，尽管招聘市场上 RAG 相关岗位泛滥，但随着 AI 能够秒级搭建基础检索系统，背诵切块规则和框架搭建已不再是核心竞争力；视频通过 100 万段中文搜索语料的实战演示，阐明工程师真正值钱的能力在于定指标、抓隐患和商业拍板等“出题”本领。
## TL;DR 视频探讨了企业在 AI 能够几句话搭好检索原型的时代为何仍在大量招聘 RAG 人才的悖论。讲师利用微软公开的 100 万条中文搜索数据集进行现场演示，原型的内存穷举检索耗时仅需 83 毫秒，但 6.14 GB 的内存占用在百级多租户隔离场景下会导致高昂的云服务器成本。借助 Codex，讲师将优化重心转向制定 Top-10 命中率评估卷子，并经历了将精度改为 Float16 后延迟暴增一倍的陷阱，随后通过更换 MLX 加速库与维度截断（降至 1024 维），成功将内存压至 1 GB、耗时降到 9.5 毫秒且保持 89% 的高命中率。核心结论表明，写代码与跑实验这类“做题”任务应全权交给 AI，工程师不可替代的价值在于针对商业上下文设立标准、洞察系统隐患并做出权衡决策的“出题”能力。
## Atmosphere & style 视频整体呈现出清醒、务实且充满极客工业感的氛围，既有对培训班套路与做题家思维的辛辣解构，又具备扎实落地的大厂工程视角。讲师风格冷静沉着，不仅带着观众算真金白银的商业账本，还在遇到延迟翻倍的隐患时展现出敏锐的技术直觉。整个过程犹如一次行云流水的实战排障与架构拍板，带给读者兼具思辨冲击与动手实操的通透感。
## Bulletin - [00:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=0s) 招聘市场上虽有数千个 RAG 岗位，但使用现代 AI 工具（如 Codex）可在数十秒内直接用内存暴力穷举跑通百万级文档检索原型，死记框架胶水代码已失去溢价。 - [15:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=900s) 在百万级向量检索中，将浮点精度由 Float32 减至 Float16 虽使内存从 6.14 GB 降至 3.07 GB，但由于 CPU 缺乏半精度指令加速会导致延迟翻倍（86 ms 增至 168.9 ms），需换用硬件加速库 MLX 将延迟压低至 12.8 ms。 - [20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 通过 Matryoshka 维度截断至 1024 维并结合 Float16/MLX，系统内存最终压至约 1 GB，可塞入 2 GB 内存机器；按 100 个物理隔离客户计算，单凭该硬件降配每年即可为企业节省逾 4.4 万美元。 - [10:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=600s) AI 时代工程落地的核心分水岭已从写代码的“做题家”转变为设定评测集（如 Top-10 命中率）、盯紧隐性指标回退及权衡业务取舍的“出题人”。
## Key takeaways - [00:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=0s) 市场上 RAG 岗位的泛滥与技术门槛的骤降形成悖论，AI 工具已能自动生成样板检索系统，记忆切块参数与数据库框架已不再是壁垒。 - [00:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=0s) RAG 的底层骨架就是基于向量检索的站内搜索引擎，现代 Embedding API 成本极低（100 万段文档仅需约 2 美元与 20 分钟）。 - [05:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=300s) 面对百万级文档，普通电脑纯内存暴力穷举计算余弦相似度的响应仅需约 83 ms，中小企业很多场景根本无需复杂的专用向量数据库与索引。 - [10:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=600s) 系统能否投产取决于资源与商业核算：百万条 1536 维向量占 6.14 GB 内存，需租用 8 GB 规格机器，服务 100 个隔离客户成本极高。 - [10:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=600s) 真正的出题能力首先体现在建立客观评测集：利用真实搜索数据与标注，制定 Top-10 命中率作为优化与质量兜底的基线标准。 - [15:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=900s) 精度减半（Float32 转 Float16）能将内存砍至 3.07 GB，但原生 NumPy 在 CPU 上的半精度计算缺陷会导致查询延迟暴增一倍。 - [15:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=900s) 延迟翻倍本质上是算力消耗与实例吞吐下降，会抵消单机内存降低省下的费用，工程师的技术直觉在于不漏掉隐性指标劣化。 - [15:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=900s) 通过切换至适配硬件加速的 MLX 计算库，半精度检索延迟从 168.9 ms 反向骤降至 12.8 ms，彻底消除指令集劣化的副作用。 - [20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 利用嵌套表征（Matryoshka）进行维度截断，可在极小损失（命中率从 92% 微跌至 89%）的前提下，将内存进一步砍至约 1 GB。 - [20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 技术指标优化没有绝对的标准答案，选择 1024 维而非 512 维是权衡准确率降幅、OS 预留内存与硬件采购梯度的商业拍板结果。 - [20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 写代码、跑实验等“做题”环节完全可以委托给 AI，人类的核心价值在于理解业务全貌、定义评测题目并在关键时刻拍板决策。
## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=0s) 招聘狂潮下的悖论：为什么不要学 RAG
打开各大招聘网站，单是 Indeed 上带有 RAG（Retrieval-Augmented Generation，检索增强生成）关键词的岗位就多达数千个。很多求职者感到困惑：既然企业在大规模招聘懂 RAG 的人，为什么讲师和老手反而苦口婆心地劝大家“不要学 RAG”？难道这不是在“自己打自己嘴巴”吗？
其实，RAG 的核心逻辑并不神秘。AI 的通用能力极强，但它无法直接读取企业内部私有数据，遇到相关业务问题便答不上来。解决方案就像做一个站内搜索引擎：当用户抛出一个问题，系统从企业私有资料库中把相关段落抠出来，塞进 AI 的 Prompt 上下文中让其参考回答。因此，RAG 最核心的骨架就是“检索”（Retrieval）。检索的底层依赖于存在了几十年的技术——Embedding（向量化），即将一段文本转化为多维数组，两段文本含义越接近，其向量在空间中的几何距离就越近。
为了探究真相，讲师准备用微软公开搜索数据集做现场 Demo。该数据集的问题（Query）来自 Bing 真实用户的搜索，原英文文档与 Query 均被翻译成了高质量中文，实验选用了其中的 100 万个段落。在录制前，讲师调用 OpenAI 的 `text-embedding-3-small` 模型提取了这 100 万条的向量，耗时仅约 20 分钟，按官方价格折算不过 2 美元出头。讲师把 Codex 接进项目，借助 Superlinear Academy 平台自带的 AI Builder Space MCP 工具，AI 甚至连 API Key 都不需要额外配置，就能全自动理解数据格式并跑通抽取流程。
“我们一直跟学员说不要学 RAG 就是 retrieval augmented generation，可是大家如果打开招聘网站看的话会发现到处在招会 RAG 的人……那今天呢我就想借这个视频把这个道理给他讲清楚，”讲师解释道。
- 招聘网站（如 Indeed）上 RAG 相关岗位多达数千个，形成虚假的市场技术繁荣。 - 演示采用的数据集为微软公开搜索评测集，包含 100 个真实 Query 和 100 万条中文切段文档。 - 100 万条文档提取向量成本低廉：调用 OpenAI Embedding API 仅需约 20 分钟，成本约 2 美元出头。
---
[05:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=300s) 几十秒嘴炮搞定原型：生产规模检索有多简单
在项目就绪后，讲师给 Codex 下达了一个非常 High-level 的指令：不要建索引，不要引入任何复杂的向量数据库，直接把 100 万条向量全塞进内存，用最质朴的暴力穷举算余弦相似度；同时在本地拉起一个 Web 服务，做一个网页界面来演示，甚至专门提了一句“要比较典雅好看，不要出那种紫色的特别 AI 感觉的网站”。
几秒钟内，Codex 自行规划并写完了后端检索与前端界面，启动了服务。讲师在界面上测试预设问题：“擦伤怎么处理”、“加拿大的三级政府分别是什么”、“一个火腿三明治有多少卡路里”。系统毫秒级返回了精准的结果，例如列出了含有 220 卡路里的各类型三明治热量明细，检索质量极高。整个检索耗时仅为 83 毫秒左右。
面对这个结果，讲师总结道，很多人在各种培训班里学切块参数、学某特定向量数据库、学特定 RAG 框架的胶水代码，但现实是：面对 100 万条文档的生产级规模，仅靠一台普通的 MacBook，不靠任何第三方数据库，全内存暴力算也能在 83 毫秒内响应。“我其实基本上就是跟 Codex 嘴炮了一小段话可能花了 30 秒一分钟，然后等一会他就把整个检索系统这个网页全都打好了，”讲师指出，如果跟 AI 讲两句话就能把系统搭好，企业招人绝对不是为了买这点“写样板代码”的能力。企业要的是把私有数据打通并能真正“上线落地”的能力。
```mermaid flowchart LR accTitle: RAG 系统原型极简数据流 accDescr: 展示用户输入如何经由内存暴力穷举直接完成检索的架构 subgraph Client ["前端界面"] U["用户输入 Query"] W["典雅 Web 界面展示 Top 10"] end subgraph Engine ["内存全量检索（无向量数据库）"] E["OpenAI text-embedding-3-small 向量化"] M["100 万条向量原生内存矩阵 (Float32)"] S["CPU 暴力穷举相似度计算 (83.1 ms)"] end U --> E E --> S M --> S S --> W ```
- 系统免除了索引构建和向量数据库运维，100 万条数据纯内存穷举检索仅需约 83.1 毫秒。 - 很多中小企业的私有业务数据规模甚至达不到 100 万段落，暴力计算已完全满足性能阈值。 - “会搭建 RAG”在 AI 时代已经贬值为几句话的提示词交互，不再构成核心竞争力。
---
[10:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=600s) 算一笔商业账：从做题家到出题人的质变
系统看似很完美，但讲师指出，如果要真正“Ship 进 Production”，就会立刻撞上一堵现实的墙：这套系统内存占了多大？问了 Codex 之后发现，这 100 万条 1536 维的向量在内存中整整占了 6.14 GB。
讲师现场算了一笔账：如果一家公司要服务 100 个企业客户，每个客户的数据必须严格物理或逻辑隔离，各自独享进程。6 个多 G 的内存意味着单台机器至少要买 8 GB 内存的云服务器规格。查阅 AWS 当前报价，一台 8 GB 内存机器一个月约 49 美元；但如果能把内存砍到 2 GB 以内，换成 2 GB 内存的机器，一个月只要 12 美元。对于 100 个隔离客户来说，两者单月的差价就能累积成一年 4 万多美元的纯成本差异。不管是给老板省预算以求升职加薪，还是自己创业控制成本，这四万多美元都是“真金白银”。
然而，优化不是一句简单的“让 AI 去改代码”。教育体系一直把人训练成“做题家”：老师发试卷，学生填答案。当 AI 做题比人快百倍、代码写得又快又好时，做题家就会产生强烈的 FOMO（错失恐惧）。真正的商业竞争核心是“出题”——想到把内存塞进 2 GB 机器以省出 4 万美元，这是出题；而如何确保优化后系统依然可用，更是出题的考验。为此，必须先建立客观的基准卷子：利用微软数据集原生的标注，取出 100 道真实 Bing 搜索 Query，以“检索出的前 10 条结果中是否包含至少 1 条相关结果”为标准，计算“前十命中率（Top-10 Hit Rate）”。在当前 6.14 GB 的配置下，Codex 跑出的基准得分为 92%，并做出了直观的红绿仪表盘可视化。
“真正在商业上面创造价值的是出题，如果你能问出正确的问题，你不管你是招人还是用 AI 解决问题，这部分都是很简单的，”讲师强调，“所以在所谓学习 RAG 的过程里面，关键不是说怎么学技术，而是去学怎么样去出题。”
| 部署方案 | 实例规格 | 单台月成本 (AWS) | 100 客户年成本 | 成本节约 | |:--- |:--- |:--- |:--- |:--- | | **初始版本 (6.14 GB)** | 8 GB 内存 | ~$49 / 月 | ~$58,800 / 年 | 基线标准 | | **优化目标 (≤ 2 GB)** | 2 GB 内存 | ~$12 / 月 | ~$14,400 / 年 | **每年净省 $44,400+** |
---
[15:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=900s) 致命的性能倒退：技术直觉与盯住隐患
为了达到压进 2 GB 机器的目标，讲师向 AI 抛出第一道优化考题。Codex 提议将浮点数精度从 Float32 减半调整为 Float16：原先矩阵由 100 万个 1536 维的 Float32（每个占 4 字节）组成，换成 Float16（每个占 2 字节）理论上可直接抹掉一半内存。
讲师让 Codex 执行改动，结果内存确实精确地从 6.14 GB 降到了 3.07 GB。如果是只会抄教程、调 API 的工程师，可能看一眼内存减半就直接宣布成功上线了。但讲师敏锐地抓住了一个反常识的信号：查询延迟居然从 86 毫秒暴增至 168.9 毫秒，整整翻了一倍。
讲师点出其中的商业危机：延迟的本质是计算资源消耗和 CPU 周期。延迟翻倍意味着同一台机器单位时间内能承受的并发查询量减少了一半，为了扛住同样的业务流量，企业必须扩充一倍的实例数量。换言之，“辛辛苦苦省内存省下来的钱，又全被扩容机器花回去了”。有意思的是，Codex 在汇报日志时顺口提了一句变慢，却未加重视。人类工程师的核心价值在此刻凸显——拥有工业直觉，能从冗长报告中挑出最致命的破绽并重新追问出题。
讲师追问原因，Codex 分析发现罪魁祸首是底层计算库：Python 原生的 NumPy 在 CPU 上处理半精度浮点计算时缺乏硬件向量指令加速，导致计算变慢。讲师决定直接采纳 Codex 建议的最后一项方案——更换计算库，采用针对硬件加速优化的 MLX。切换后，延迟不仅没有翻倍，反而从初始的 86 毫秒大幅压缩到 12.8 毫秒。
“你改一个东西你改一个旋钮，你不仅要测根据经验觉得它会变的指标，你需要把所有的指标全都测一遍，这个就是技术直觉，”讲师以此总结道，“你知道答案在哪里其实没有这么重要……关键的是你知道要问什么问题。”
- Float32 转 Float16 成功将内存占用由 6.14 GB 压缩至 3.07 GB。 - 初次改动导致检索延迟从 86 ms 劣化至 168.9 ms，由于 CPU 跑 NumPy 半精度缺乏指令集优化所致。 - 换用针对性加速库 MLX 后，延迟瞬间从 168.9 ms 骤降至 12.8 ms，远优于最初的 86 ms。
---
[20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 维度截断与商业拍板：不可被替代的决策能力
即便降到了 3.07 GB，依然无法放进 2 GB 内存的机器（除去操作系统和基础程序开销，可用内存更小）。讲师继续追问 Codex。AI 给出的第二个突破口是降维（Matryoshka Representation Learning 特性）：现代 Embedding 模型在训练时考虑了表征嵌套，即使只保留前一半维度，舍弃后半段，依然具备优良的表征能力。
讲师决定玩一把“疯狂的测试”，让 AI 进行全局扫参：对 16、32、64、128、256、512、1024、1536 等各级维度统统跑一遍实验，并绘制“维度 - 命中率 - 内存占用 - 耗时”的多曲线图。测试图表清晰显示： 1. 向量内存在维度减少时呈线性/指数级骤降； 2. 检索耗时基本不受影响甚至微降； 3. 前十命中率随着维度的极端压缩而明显下滑。
面对实验结果，系统面临权衡：1536 维时命中率为 92%；降到 1024 维时内存压缩到 1 GB 左右，命中率仅掉到 89%（只损失 3 个百分点）；而如果进一步压到 512 维，内存能省至 512 MB，但命中率跌幅扩大。结合服务器需要预留内存给 OS 守护进程的现实，讲师拍板选择 1024 维、Float16 加 MLX 的组合方案。最终系统相较原版：**内存从 6.14 GB 骤减到约 1 GB（砍了 6 倍，稳稳塞进 2 GB 机器），命中率保持在 89%，查询延迟从 75~86 毫秒暴降至 9.5~12.8 毫秒**。
```mermaid flowchart TD accTitle: RAG 性能与成本优化决策流 accDescr: 展现从原始高内存开销方案，通过两轮出题优化达到商业落地要求的过程 subgraph Initial ["基线状态 Baseline"] A1["维度: 1536 (Float32)"] A2["内存: 6.14 GB (需租 8G 机器)"] A3["延迟: 83.1 ms | 命中率: 92%"] end subgraph Step1 ["第一轮出题：精度与计算库"] B1["优化点: Float16 + MLX 库"] B2["内存: 3.07 GB (未达 2G 目标)"] B3["延迟: 12.8 ms (消除 NumPy 劣化)"] end subgraph Step2 ["第二轮出题：维度截断与商业拍板"] C1["决策: 截断至 1024 维"] C2["内存: 约 1.0 GB (成功塞入 2G 机器)"] C3["延迟: 9.5 ms | 命中率: 89%"] end Initial -->|"改精度但发现延迟暴增"| Step1 Step1 -->|"内存仍超标，扫参截断维度"| Step2 ```
讲师由此总结，AI 虽然可以提供各种技术方案甚至代码实现，但它缺失宏观上下文：它不知道你有 100 个客户需要物理隔离，不知道 AWS 机器的月租阶梯，更不知道你的终端客户对“掉 3% 准确率但响应快 8 倍且成本大降”的接受度。这种场景永远没有机器给定的标准答案，最终的商业决断只能由人类拍板。
“落地靠的不是去配各种工具，靠的是出题还有拍板，”讲师最后告诫求职者与工程师们，“做题现在已经不重要了，你跟 AI 讲一句话他就帮你把代码写好了，做题这部分要交给 AI，真正值钱的部分是出题。所以对于 RAG 这个特定的问题来说，我们不要去学 RAG 的技术，我们要学的是在把 AI 接入公司数据这个具体的场景里面怎么样去出题……这个能力它是不会因为工具换代或者 AI 模型变强过期的，这个是最重要的。”
- 综合优化最终结果：内存占用砍了 6 倍（降至 1 GB），命中率仅微跌 3%（守在 89%），延迟降了一个数量级（降至 9.5 ms 左右）。 - 维度的选取（1024 维 vs 512 维）属于典型无标准答案的商业取舍，取决于企业商业模式和客户容忍度。 - 工程师的核心资产由“框架与工具记忆”转变为“定义评估指标、设计测试卷子、感知异常指标隐患及根据商业上下文拍板”的“出题能力”。
## Notable quotes > [20:00](https://www.bilibili.com/video/BV1yFxK6oEvD?t=1200s) 我们不要去学 RAG 的技术，我们要学的是在把 AI 接入公司数据这个具体的场景里面怎么样去出题……这个能力它是不会因为工具换代或者 AI 模型变强过期的，这个是最重要的。 — grapeot
## Mentioned RAG, Indeed, OpenAI, text-embedding-3-small, Codex, Superlinear Academy, AI Builder Space MCP, Microsoft, Bing, AWS, NumPy, MLX, Matryoshka Representation Learning, MacBook
## Video description 很多人都有这个困惑：打开招聘网站，光是 Indeed 上带 RAG 的岗位就有好几千个；但另一边，现在你跟 AI 说一句话，连索引和向量数据库都不用，几分钟就能把一套检索系统和网页搭出来。既然 AI 一句话就能做完，为什么公司还在到处招人？我们一直跟学员说不要去背切块、向量数据库和各种框架的搭法，那面试官到底在招什么能力？
这期视频用微软公开搜索数据集里的 100 万段中文语料做现场演示。算好向量放进内存占 6.14 GB，如果服务 100 个隔离数据的客户，换小机器一年能省四万多美元。我们的目标是把它塞进 2 GB 内存的机器里。你会看到 Codex 怎么帮我们改精度、换计算库、截断维度，把内存压到 1 GB，检索耗时从 75.0 毫秒降到 9.5 毫秒，同时用 100 道真实搜索题守住命中率。写代码、跑实验这些「做题」的事全交给 AI，人负责定评测标准、盯住延迟翻倍的隐患、在没有标准答案时拍板。看完你会明白，把 AI 接上私有数据并真正落地，靠的是出题。
完整课程和社区：https://www.superlinear.academy/?utm_source=bilibili&utm_campaign=dont-learn-rag
[Source](https://www.bilibili.com/video/BV1yFxK6oEvD)