Reducto解析300万页爱泼斯坦档案 视觉OCR击穿遮罩直取隐蔽信息

Parsing the Epstein Files for JMail — Palak Agarwal & Omar Alhait, Reducto — AI Engineer

AI Engineer

大模型在现实文档面前失效是因为企业忽视了视觉光栅化解析,而表层黑色遮罩无法抹去PDF底层元数据,直接导致非结构化数据在未经二次清洗前引发严重合规风险。

AI-assisted summary of Parsing the Epstein Files for JMail — Palak Agarwal & Omar Alhait, Reducto — original source. Check the original for full context.

Source published:

Key ideas

  • Reducto 采用基于光栅化的视觉方案与 Agentic OCR 框架,累计融资 1.08 亿美元并处理超 20 亿份文档,服务包括 Harvey 和 Scale AI 在内的头部企业。 (0:12)
  • 在爱泼斯坦解密档案发布后,JMail 团队借助 Reducto 解析了超 300 万页凌乱扫描件与手写日志,支撑起累计访问量破 4.5 亿次的衍生产品矩阵。 (2:02)
  • 许多机构脱敏 PDF 仅覆盖黑色矩形,Reducto 的混合解析因透视底层元数据暴露出真实姓名,迫使团队在发布前紧急进行二次合规清洗。 (13:48)
  • 评估文档解析时,通用 Benchmark 往往不够充分,团队建议先通过 Studio 样本进行直观的“氛围评测”,再扩充至百千级业务文档构建私有基准测试。 (21:30)

Detailed notes

## Background 该视频由 YouTube 频道“AI Engineer”于 2026 年 10 月 11 日发布。视频内容围绕 Reducto 团队的 Palak Agarwal 和 Omar Alhait 展开,他们详细介绍了如何通过 Reducto 的文档处理层与提取流水线,将爱泼斯坦案(Epstein files)中杂乱的手写飞行日志和被大面积涂黑的 PDF 转化为可检索的产品 JMail 及其衍生应用。

## TL;DR 分享首先介绍了 Reducto 面向 Agent 的视觉光栅化文档解析架构,以及支撑 JMail 在 5 小时内上线并承载数亿次访问的底层技术栈。随后,Omar Alhait 深入拆解了 JFlights 面对手写体、涂黑元数据漏洞和复杂排版时的解析与提取难点,并演示了在 Reducto Studio 中定义和优化 Schema 的过程。团队还探讨了从快速“氛围评测”(vibe eval)过渡到私有基准测试的评估策略,以及底层依赖海量繁重人工标注的训练现实,最后以现场互动工作坊收尾。

## Atmosphere & style 整场演讲兼具黑客松式的极客狂热与严谨的技术反思,现场互动热烈且笑声不断。Omar 的讲述风趣幽默,从深夜狂发并发请求“逼疯”值班工程师,到自嘲工具“好过头”意外穿透法律脱敏遮罩,充满戏剧性与工程实战的泥泞感;而当谈及模型训练背后的枯燥标注与长上下文召回挑战时,语调又迅速切换为工程师面对底层硬骨头时的沉稳与坦诚。

## Bulletin - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 采用基于光栅化的视觉方案与 Agentic OCR 框架,累计融资 1.08 亿美元并处理超 20 亿份文档,服务包括 Harvey 和 Scale AI 在内的头部企业。 - [02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) 在爱泼斯坦解密档案发布后,JMail 团队借助 Reducto 解析了超 300 万页凌乱扫描件与手写日志,支撑起累计访问量破 4.5 亿次的衍生产品矩阵。 - [13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) 许多机构脱敏 PDF 仅覆盖黑色矩形,Reducto 的混合解析因透视底层元数据暴露出真实姓名,迫使团队在发布前紧急进行二次合规清洗。 - [21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 评估文档解析时,通用 Benchmark 往往不够充分,团队建议先通过 Studio 样本进行直观的“氛围评测”,再扩充至百千级业务文档构建私有基准测试。

## Key takeaways - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 将自身定位在底层非结构化文档与下游前沿 LLM 之间的预处理层,涵盖解析、拆分、抽取、编辑与分类五大核心能力。 - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) 系统放弃直接依赖文本嵌入的传统路线,转而采用光栅化视觉输入并配合能自我标记与修正的 Agentic OCR 循环。 - [02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) JMail 衍生产品矩阵涵盖 JDrive、JFlights、JAmazon 等,在几个月内吸引了超 1800 万独立用户与 4.5 亿次总访问量。 - [03:10](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=190s) 政府与法律归档文档存在复杂的盖章、分栏排版及不确定的阅读顺序,构成了阻碍文档自动化产品化的首要瓶颈。 - [05:27](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=327s) 针对 JFlights 等高度特化的场景,团队在 Reducto Studio 中建立并调试专属 Schema,成功攻克了字迹极度潦草的手写飞行日志抽取难题。 - [07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 在首批文件公布的当晚,团队通过集群突发高并发压测完成了数百万页档案解析,并将验证通过的提取流水线无缝转为生产环境 API。 - [12:38](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=758s) Schema 是定义抽取边界的关键画笔;除通过自然语言单次调用生成外,系统支持先解析文档上下文再定制字段的“增强型 Schema 生成”。 - [13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) 由于现实中大量脱敏文件未清理 PDF 底层图层元数据,具备混合元数据读取能力的工具容易意外还原出敏感姓名,引发严重的合规二次清洗负担。 - [15:34](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=934s) Reducto 提取引擎支持超过 150 个独立字段及 4 到 5 层深度嵌套,并通过独立的引用溯源模型精确定位每个字段的数据物理坐标。 - [17:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1061s) 混合 OCR 架构结合了分类器决策,能动态在视觉 OCR 数据与原生 PDF 元数据之间权衡调度,兼顾计算开销与排版还原精度。 - [19:23](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1163s) 高保真解析是所有智能提取的物理基石,长文档抽取并非单点信息的大海捞针,而是必须召回分散在各处的全部关键要素。 - [21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 在客户方案选型与落地时,配置项错误往往是效果劣化的主因;通用公开评测难以替代客户基于自身真实垂直业务样本构建的私有 Benchmark。 - [23:44](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1424s) JMail 最初构想为传统的 RAG 问答机器人,最终团队意识到依托大众极度熟悉的 Gmail 界面才能最大化释放非结构化数据的消费价值。 - [25:11](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1511s) 模型输出高可靠性的核心在于扎实的数据工程,团队需要依赖专门的人工标注团队完成极其繁复、机械的底层标注积累。 - [26:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1572s) 系统支持挂载针对特定文档的系统提示词(如企业 Logo 过滤或建筑图纸布局调整),以 Agentic 模块应对异构排版挑战。

## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 的定位与 Agentic 文档处理技术

Palak Agarwal 开场介绍了自己的身份,她在 Reducto 负责开发者关系。在正式展开 JMail 案例研究前,她先勾勒了 Reducto 的业务全貌:作为一家面向 Agent 的文档平台,其核心任务是帮助团队将杂乱无章的非结构化文档,转换为前沿 AI 模型能够精准理解并使用的结构化数据。回顾过去三年的发展历程,Reducto 已从 a16z、Benchmark 等顶级投资机构累计融资 1.08 亿美元,累计处理了超 20 亿份文档,客户涵盖 Harvey、Scale AI 以及一家全球排名前五的顶级对冲基金。在如此庞大的处理规模下,团队几乎见识并处理过所有能想象得到的文档类型。

Palak Agarwal 坦言,用前沿大模型处理一份干净规范的 PDF 并不算难,但在现实的企业应用场景中,绝大多数文档都是极度非结构化的——包括各种倾斜扫描件、旋转页面、复杂图表以及混乱排版。这正是 Reducto 发挥作用的生态位:它作为直接部署在最终模型前方的预处理和解析层,不仅负责解析复杂版面,还承担了必要的后处理工作,让开发者能够彻底从脏活累活中解脱,专注于构建上层产品。

Reducto 的技术基石在于放弃了直接从底层文本嵌入(embedding)出发的传统做法,转而采用基于光栅化(rasterization-based)的视觉方案。Palak Agarwal 解释道:“我们从视觉上观察文档的方式,就像人类看文档一样,而不是去抠底层的文本嵌入。”整个系统由一套 Agentic OCR 框架驱动:传统 OCR 往往只进行单次扫描推断就直接输出答案,而 Reducto 的 Agentic 流程会在发现模型存在不确定性的地方打上标记,主动调用上下文进行自我修正,确认无误后才流转至后续步骤。Reducto 的能力矩阵分为五个核心维度:解析(Parse)、拆分(Split)、抽取(Extract)、编辑(Edit)与分类(Classify)。

```mermaid flowchart LR accTitle: Reducto Agentic Document Pipeline accDescr: An overview of how Reducto ingests messy documents through a rasterized view and an iterative agentic loop to output structured data for models.

subgraph INGEST["输入层"] A["复杂/非结构化文档<br/>(扫描件/倾斜/手写)"] end

subgraph REDUCTO_CORE["Reducto 预处理层"] B["页面光栅化渲染<br/>(视觉模拟人类阅读)"] C["Agentic OCR 框架<br/>(主动标记疑难并纠错)"] D["5大核心能力<br/>Parse / Split / Extract / Edit / Classify"] end

subgraph OUTPUT["下游交付"] E["精准结构化数据 / JSON"] F["前沿 LLM / 企业应用"] end

A --> B B --> C C --> D D --> E E --> F ```

- 融资规模与投资方:过去三年累计融资 1.08 亿美元,投资方包含 a16z、Benchmark 等。 - 历史处理数据量:处理超过 20 亿份企业文档。 - 核心客户代表:Harvey(法律 AI 独角兽)、Scale AI、全球 Top 5 对冲基金。 - 核心功能矩阵:Parse(解析)、Split(拆分)、Extract(抽取)、Edit(编辑)、Classify(分类)。

---

[02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) JMail 的诞生与 300 万页爱泼斯坦档案的解析重担

为了拉近技术与现实场景的距离,Palak Agarwal 向现场观众发问,询问有多少人听说过或实际浏览过 JMail。现场有相当比例的听众举手响应。Palak 随即回顾了 JMail 这一爆款项目的起源:去年 11 月爱泼斯坦案(Epstein files)涉案档案刚公开披露时,开发者 Riley Walz 和 Luke 仅用了五个小时就搭建出了初始版本。项目的核心构想非常离奇且讽刺——通过 Fork 改写 Gmail 的界面,让任何人只要登录进去,就能以爱泼斯坦本人的视角去审视整个收件箱。

这一恶搞原型在极短时间内迅速演变成了一个庞大的产品家族矩阵,包括仿制 Google Drive 的 JDrive、查阅航班记录的 JFlights、模拟电商购物的 JAmazon、照片库 JPhotos 等诸多衍生应用。截至次年 2 月,JMail 整个平台吸引了超过 1800 万名独立访客,总访问量突破 4.5 亿次。而这一切海量公开数据的底层文档基础设施,正是由 Reducto 独家提供解析支撑。

摆在 Reducto 面前的是一场极其严峻的技术攻坚战:总量超过 300 万页的解密档案,其中充斥着被涂黑抹去的大量遮挡(redacted)PDF、低清模糊的扫描页、排版诡异的政府归档文件、密密麻麻的专业财务报表,以及来自不同涉案人员字迹凌乱、甚至难以辨认的手写日志。为了深入阐述底层的工程难点,Palak 将话筒交给了 Reducto 的创始工程师之一 Omar Alhait,他在去年 11 月整个产品破圈的过程中,与 JMail 团队展开了最直接、密集的攻关配合。

- JMail 初始开发时长:Riley Walz 与 Luke 在档案解密公布后仅用 5 小时即完成首版。 - 平台用户与访问规模:截至次年 2 月,独立访问用户数超 1800 万,页面总访问量破 4.5 亿次。 - Reducto 实际解析数据:总计解析超过 300 万页政府调查文件与解密 PDF。 - 衍生产品矩阵:JMail、JDrive、JFlights、JAmazon、JPhotos、JCal、Gemini(J-Gemini)等。

---

[03:10](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=190s) 挡在产品化之前的解析瓶颈与版面挑战

Omar Alhait 带着热烈的互动情绪登台,调侃着向全场打招呼:“好了,谁准备好来聊聊文档了?太棒了!”他将回忆拉回到 11 月那个决定性的夜晚。当时他正与创始团队讨论,面对这场即将引发全网轰动的文化事件,如何才能把 Reducto 的文档理解能力落地为一款兼具传播力与工具属性的产品。恰好当时 Kino 的创始人 Luke 就在他们楼下办公,大家聚在一起闲聊,话题逐渐从“做什么才好玩搞笑”演变成了一个极具冲击力的点子:“如果你能像杰弗里·爱泼斯坦本人那样登录邮箱,从他的视角查阅所有来往邮件,会是怎样一番体验?”

产品概念虽然巧妙,但真正的技术硬骨头在第一步就卡死了团队:海量的原始文档与最终可用的软件产品之间,横亘着一道几乎不可逾越的高墙。Omar 在屏幕上打出了一份充满复杂布局的原始传票盖章封面页,并直言:“如果你以前没试过,我强烈建议你把这份盖章封面直接扔给 ChatGPT,看看它能吐出什么结果,瞧瞧它的准确率到底有多惨。”他指出,这类政府文件的版面结构极其繁复,阅读顺序本身甚至都带有很强的主观性——机器很难自然判断是该按列自上而下读取,还是该横向跨栏拼接。如果无法自动化且高质量地打通这一步,下游的一切酷炫衍生产品都只能是空中楼阁。

Omar 强调,Reducto 的根本价值就在于解决这个卡在数据输入端的最大瓶颈,把充满歧义、多级嵌套甚至盖满骑缝章的原始废纸堆,重塑为具备确定性阅读逻辑的清晰上下文。

---

[05:27](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=327s) JFlights:从凌乱的手写飞行日志到高精度航班提取

为了让大家具象化理解解析的难度,Omar 展示了衍生矩阵中极具辨识度的一款子产品——JFlights。该应用系统性整理了爱泼斯坦及其所有关联政商名流的完整飞行航线历史。爱泼斯坦生前频繁用私人飞机接送各路权贵与外交官,多次往返于其私人岛屿与全球各大都市之间。然而,还原这些核心出行事实的唯一物理凭据,竟然是一沓字迹潦草、扫描重影且残破不齐的手写飞行日志。

“如果你刚才觉得那张盖章封面页已经够难了,那就想想手写字迹吧。”Omar 坦言。他在屏幕上调出了当年为了优化解析质量而亲自搭建的提取流水线(pipeline)。对于飞行记录这类高度特化的数据源,团队萌生了将其单拆为独立产品的想法,而这意味着必须针对纯手写日志这单一物理类型,定制专门的提取配置与目标 Schema。

Omar 在现场演示了 Reducto Studio 的工作界面,向观众展示了“从解析到提取”的标准交互流程:Reducto 始终坚持“先完整解析版面、再结构化提取数据”的两步走策略。在 Studio 画布中,开发者可以随意拖入任意复杂的现实文档,实时勾选各种高级微调参数并点击运行,肉眼即时校验结果。Omar 解释说,在面对数以百万计的档案进行大规模批处理之前,他正是通过这块可视化画布反复调试规则,以防一上来就无脑调用计费,保证每一个字段的抽取准确率都能达到绝对的高可用基线。在大屏幕的实际提取预览中,即使某些关键姓名被涂黑、字迹极度倾斜,系统依然稳定地还原出了结构化出行人与路线,甚至包括伍迪·艾伦(Woody Allen)等高敏感度的知名人士姓名。

---

[07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 压垮基础设施的解析之夜与工程化落地

海量文档的高并发解析对 Reducto 的基础设施造成了前所未有的压力。Omar 在讲台上四处张望,笑着确认工程团队的同事 Alvin 是否在场。在得到肯定的回答后,Omar 向全场爆料了一段惊心动魄的深夜事故:在第一批爱泼斯坦解密档案对外公布的当晚,整个团队必须以最快速度抢先将几百万页文档完全结构化入库,而那天恰好轮到 Alvin 负责值班。

为了赶在流量爆发前把提取流水线跑完,Omar 在短时间内向解析集群注入了海量并发任务,导致后台监控指标全面飘红。“我那天晚上可能把 Alvin 呼醒了好几次,我们给整个底层基础设施施加了极其庞大的压力,”Omar 笑着回忆,“Alvin 深夜不停在 Slack 上给我狂发消息,苦苦哀求说:‘哥们,求求你慢点行不行!’”尽管基础设施经历了一番惊涛骇浪,团队最终依然顶住了并发,在限期内完成了几百万页原始数据的全量解析。

一旦这批包含数百万页文档的高质量底表被确立为绝对的“真实数据源”(ground truth),团队便以此为基石,以极高效率孵化出了近十款爆款独立产品,除 JMail 与 JFlights 之外,还包括 Omar 本人主导开发的日历产品 JCal。Omar 总结道,整个工程流程的核心精髓在于极简的闭环路径:在 Studio 中明确 Schema 规范,直观校验输出质量,确认无误后直接将 Pipeline 转化为生产环境代码。开发者只需将生成的管道代码片段或原生 API 端点嵌入工程,就能一键将提取能力投产上线。

在进入下一阶段的互动演练前,Omar 开放了现场提问。台下立刻有工程师举手询问关于提取 Schema(抽取结构定义)是如何生成的。Omar 形象地给出了自己的比喻:“如果把 Reducto 的处理流程比作一块画布,那么你的提取 Schema 就是这块画布上的画笔,它直接决定并塑造了你最终能从文档中获取什么内容。”为了证明其便捷性,Omar 当场在界面中新建了一个针对简历(Resume)解析的 Extract Pipeline,向观众演示如何无痛构建目标字段规范。

- 关键人物轶事:创始工程师 Alvin 在首批文件披露当夜负责 On-call,因高并发压测数次被 PagerDuty 报警呼叫,私信要求 Omar “放慢请求节奏”。 - 上线交付机制:Studio 调优完成的配置可直接导出为 API Curl 命令或 SDK Pipeline 代码片段,实现秒级投产。 - Schema 核心作用:Omar 强调 Schema 是提取链路的“画笔”,驱动整个数据提取管道的输出边界。

[11:18](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=678s) 简历解析演示与加载状态说明

Omar Alhait 在 Reducto Studio 中展示了一个用于简历结构化解析的 Schema。他解释道,配置完 Schema 后,用户需要根据实际业务需求来评估字段定义是否足够令人满意,因为系统会完全严格地按照用户的指示进行提取。为了实际检验提取效果,他在界面中批量上传了一组准备好的真实简历并启动处理任务。

在等待处理结果返回时,现场观众就界面上的等待与验证逻辑提出了疑问。Omar 澄清道,界面上显示的仅仅是一个用于展示进度的前端加载状态,而在系统底层,Reducto 实际上并发调度了一整套包含多种视觉语言模型(VLM)与专业文档模型的服务集群。

---

[12:38](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=758s) 基础 Schema 生成与文档感知增强生成(Enhanced Schema)

针对现场关于 Schema 是如何生成与调优的提问,Omar 区分了两种完全不同的 Schema 构建模式。默认的开箱即用模式是一次快速的 LLM 调用,仅凭用户的纯自然语言描述直接构造出对应的 JSON Schema。这种方式非常适合在初期阶段快速验证、在屏幕上迅速查看预览结果。

但在面对结构复杂或内容微妙的专业文档时,Reducto 提供了“增强型 Schema 生成”(Enhanced Schema Generation)能力。该工作流会先对上传的文档执行完整的解析流程,理解文档中的真实数据排布与专业上下文,然后再反向为文档量身定制详细、精准的字段描述。Omar 建议:“如果你更看重细节与微妙特征,我强烈建议先对文档进行解析,然后再将其传入。”(“...if you are a lot more interested in like nuance, uh I definitely suggest parsing the documents first and then kind of passing them in.”)

---

[13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) PDF 元数据漏洞与爱泼斯坦档案涂黑(Redaction)危机

在回答关于文档涂黑与脱敏处理(Redaction)的技术细节时,Omar 披露了在处理爱泼斯坦档案(Epstein Files)为 JMail 构建产品时遭遇的真实挑战。Reducto 不仅通过视觉模型识别页面,还会深入解析 PDF 的底层元数据(Metadata)。在现实中,许多机构的脱敏操作存在严重的认知缺陷,往往只是简单地在敏感文字上方绘制一个黑色矩形框,底层的文本图层与元数据却完好无损地保留在 PDF 内部。

这一底层特性导致 Reducto 在处理文件时意外“透视”了遮罩,暴露出本应被隐匿的个人身份信息。由于爱泼斯坦档案涉及大量敏感的当事人数据,合法脱敏是极其严肃的法律红线。这反而给 JMail 团队带来了巨大的合规压力,迫使他们必须在发布前自行补充大量的二次脱敏清洗。Omar 回忆当时如履薄冰的技术与法律处境时调侃道:“我们工具的表现有点好过头了。”(“Our our our tool was working a little too well.”)

```mermaid flowchart TD accTitle: PDF 脱敏失效与元数据泄露机制 accDescr: 展示了简单遮罩无法消除 PDF 原始文本元数据,导致高级解析工具能够透视隐藏内容的过程。

subgraph FlawedRedaction["不合规的脱敏方式"] A["原始敏感文本与元数据"] --> B["表面叠加黑色矩形遮罩"] B --> C["视觉上完全遮挡"] end

subgraph ReductoEngine["Reducto 混合解析引擎"] C --> D["视觉 OCR 模型"] A --> E["PDF 元数据与底层文本解析"] D & E --> F{"多模态融合校验"} end

subgraph LegalOutcome["合规风险与处理"] F --> G["穿透遮罩提取到底层真实姓名"] G --> H["JMail 团队承担二次合规清洗责任以防诉讼"] end ```

---

[15:34](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=934s) 复杂嵌套 Schema、实体对齐与引用溯源模型

讨论转入提取系统的扩展极限时,Omar 强调了 Reducto 对高复杂度数据结构的承受力。他举例说明,就在前几天的实际测试中,他们处理过一个包含 156 个独立字段的庞大 Schema,每个字段都在索取完全不同的细粒度信息。目前系统的嵌套层级支持可达 4 到 5 层深度,足以容纳绝大多数高密度的信息抽取需求。

当观众问及实体对齐(Entity Resolution)与内容溯源机制时,Omar 介绍团队在模型后处理阶段进行了大量工程优化。提取流程中不仅有负责抽取信息的模型,还会挂接专门的“引用溯源模型”(Citation Model),精确追踪抽出的每一个数据项具体源自文档的哪一页、哪一行或哪一个区域。他提到英伟达(NVIDIA)近期发表过一篇专注于文档定位与超高速引用定位的论文(如“Find Everything”类似思路),这一领域是当前攻克的重点,Reducto 也正在为此积极招募机器学习研究员。

- **Schema 规模支持**:经受过 156+ 字段的复杂抽取,单结构支持 4 至 5 层深度嵌套。 - **引用溯源机制(Citation)**:抽取模型与归因模型解耦,分别处理“提取内容”与“标定来源坐标”。

---

[17:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1061s) 图像图表(Figures)抽取与混合 OCR(Hybrid OCR)架构

Omar 演示了如何在提取配置中开启 `return figures` 开关,以支持提取简历中的头像、图表和嵌入图形。针对观众关于底层如何抉择纯文本与图像识别的问题,Omar 特别指出了在场的团队成员 Alvin,正是 Alvin 主导开发了 Reducto 的混合 OCR(Hybrid OCR)引擎。

在处理各类扫描件与复杂电子文档时,系统并不是单纯调用传统 OCR,也不是完全依赖 PDF 自身的文本层,而是通过智能分类器动态决策优先级:某些特定排版场景强制使用严格的视觉 OCR 数据,而在另一些结构完好的数字场景中直接读取原生 PDF 元数据。这种混合策略能够平衡计算耗时与排版还原的准确性,其复杂度足以作为独立专题展开。

---

[19:23](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1163s) 解析(Parse)作为一切智能文档处理的基石

重新触发带图像提取的测试任务后,Omar 阐述了 Reducto 的核心技术哲学:底层的解析(Parse)是一切下游提取(Extract)与 Agent 流程的基座。Reducto 的核心竞争力正是始于对文档布局、阅读顺序与层级结构的解析,后续所有的抽取管道都建立在这一解析结果之上。

有了高保真的结构化解析输出,系统才能进一步支持更高阶的文档 Agent 操作。例如,在处理一本数学教科书时,系统可以先精准定位出每个章节的起止物理切片,再在章节级别分别调用抽取管道生成摘要。随后发言的工程师也指出,针对长文档的抽取任务绝非传统的“大海捞针”(Needle in a Haystack),而是要把文档里分布在各处的有效信息全部找全,如同“捞出干草堆里的每一根针”(“all the needles in a haystack”),这对模型的长上下文召回能力提出了极为苛刻的学术与工程挑战。

---

[21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 基准测试的困局:通用 Benchmark 与私有场景评测

现场观众询问了 Reducto 在基准测试(Benchmarking)上的表现。Omar 与另一位团队成员均坦言,行业基准评测是文档抽取赛道最受关注却也最复杂的议题。许多潜在客户在选型时往往无所适从,不知道不同供应商之间真实的性能梯队差距,因此 Reducto 计划在近期公开一系列权威评测数据,以量化展示其模型作为顶级文档抽取方案的性能指标。

然而,团队成员进一步指出,公开基准测试在现实落地中具有局限性,最真实的评估结论最终必须落到客户自己的业务数据集上:“关于这个问题的更深层答案是,很遗憾,你通常必须建立属于自己的基准测试。”(“...the real deeper answer here is you typically have to make your own benchmarks unfortunately.”)几乎每一个接入 Reducto 的核心客户都会准备专属的样本集来横向比对不同供应商,通用指标很难完全覆盖特定垂直行业在手写体、特定表格格式或低分辨率扫描件上的边界情况。

[22:50](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1370s) 评估策略与基准测试:从“氛围评测”到系统化扩展

在客户将 Reducto 与其他同类解析产品进行正面交锋(head-to-head)测试时,团队发现很多时候客户得出的结果不佳,并非工具本身能力不足,而是因为配置项选择错误。Reducto 团队通常会紧密协同用户进行排查,指导用户开启特定参数并讲明背后的权衡取舍(trade-off),最终往往能在性能对比中胜出。

对于大多数文档处理项目,演讲者建议采取分步走的评估路径:首先收集一个简单的样本数据集,通过 Studio 工具进行所谓的“氛围评测”(vibe eval),直观检查解析输出是否合乎逻辑;当准备扩大规模时,再将数据集扩充至 100 到 1000 份文档,建立起更系统化的基准评估流程。Reducto 内部拥有专门的团队与客户合作,协助搭建此类文档评测管线。

```mermaid flowchart LR accTitle: 文档评估演进流程 accDescr: 展示从初步直观检查到大规模系统化基准评估的渐进步骤 subgraph S1["初步探索阶段"] A["简单样本集"] --> B["Studio 直观检查<br/>(Vibe Eval)"] end subgraph S2["规模化阶段"] B --> C["扩充至 100-1000 份文档"] C --> D["系统化基准测试<br/>与团队协同调优"] end ```

[23:44](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1424s) JMail 的产品设计思考:以产品化包装撬动非结构化数据

谈及开发 JMail 的初衷,Omar Alhait 坦承,自己最开始拿出的方案其实“相当粗糙”(pretty shoddy)——仅仅是一个常规的 RAG 聊天机器人,允许用户对邮件内容进行提问。这种形式对专业记者或许有用,但完全无法释放更广泛的价值。团队最终意识到,必须借助大众极其熟悉的界面范式来降低门槛。数以亿计的人使用过 Gmail,Omar Alhait 总结道:“将出色的产品构建在极其新颖的文档提取解决方案之上,正是打出这记致命组合拳的关键(a nice product on top of a really really nice novel, you know, document extraction solution is what is going to kind of be a one-two punch here)。”

Palak Agarwal 补充指出,面对突如其来泄露的 300 万份扫描文件,几乎没有人有精力逐页翻阅;但当 Omar 把它做成类似 Gmail 的界面后,自己便能轻松登录并随手搜索各类名人。非结构化数据在各行各业无处不在,企业客户的核心诉求正是将这些凌乱的底层数据提取出来、转化为可用状态,JMail 虽是个有趣的样例,却精准映射了工业界普遍存在的真实痛点。

- **初始设计对比**:早期版本为问答式 RAG Chatbot,面向深度调查场景;最终产品采用类似邮箱的检索界面,极大地降低了认知与操作门槛。 - **底层价值**:海量非结构化数据(如数百万份扫描件)本身不可读,提取出结构化信息并赋予交互界面,才能将死数据变为活资产。

[25:11](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1511s) 模型背后的“苦功夫”:数据标注与真实训练

在回答关于模型是如何训练出来的观众提问时,团队揭示了底层机器学习不可绕过的人工成本。Omar 直言,构建新模型并保证输出的绝对可靠,没有任何捷径,全靠扎实的数据工作。团队配备了专门的数据标注团队,必须人工逐页翻阅海量复杂文档,确保数据标注的纯净度与准确性(data sanctity)。

Omar 坦率地将其形容为“大量繁重、机械且磨人的工作(a lot of hard menial annoying work)”,但他也强调,正是这些极度枯燥的底层分类工作,经过层层复利与积累,最终构成了机器学习模型的魅力所在。无论数据架构如何分层切分、训练集如何微调,追根溯源仍然离不开最扎实的数据标注基石。

[26:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1572s) Agentic 模块与针对特定文档的定制配置

针对复杂业务场景中不同文档逻辑不一、元数据各异的问题,团队介绍了系统的 Agentic 模块。该架构允许开发者针对不同的细分模型挂载专属的配置项和系统提示词(system prompts),从而让模型执行高度定制化的处理任务。

Omar 以两个实际场景为例进行了说明: 1. **复杂图形与 Logo 提取**:若需要在一批文档中分辨出林肯金融(Lincoln Financial)与谷歌(Google)的 Logo 特征,可以在配置项的提示词中加入上下文引导,精准约束输出规格。 2. **建筑施工蓝图(Construction Blueprints)**:面对极为晦涩混乱的图纸排版,开发者可将重点放在“布局提示词”(layout prompt)上进行精细调优,帮助提取系统更好地对齐并理解全套工程蓝图的结构分布。

[27:59](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1679s) 互动实践工作坊:现场体验文档提取

在分享环节结束后,团队引导现场观众进入长达 30 分钟的实操环节。观众可通过扫描屏幕上的二维码获取示例,直接将其粘贴至 Cloud Code、Codex 等开发环境中,利用 Reducto Studio 上手构建文档提取方案。

团队鼓励大家放手尝试,哪怕只是一个单轮 Prompt 的初步构想也没关系。在活动剩余最后 5 分钟时,团队将邀请参与者展示作品,并为优秀成果准备了 Reducto 周边奖品。在整个实操期间,演讲者团队在场内巡回走动,随时解答观众关于 Reducto API 使用、底层模型训练机制以及招聘加入团队等各类问题。

## Notable quotes > [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) 我们从视觉上观察文档的方式,就像人类看文档一样,而不是去抠底层的文本嵌入。 — Palak Agarwal

> [07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 如果把 Reducto 的处理流程比作一块画布,那么你的提取 Schema 就是这块画布上的画笔,它直接决定并塑造了你最终能从文档中获取什么内容。 — Omar Alhait

## Mentioned Reducto, Palak Agarwal, Omar Alhait, JMail, JDrive, JFlights, JAmazon, JPhotos, JCal, Gemini, Jeffrey Epstein, Riley Walz, Luke, a16z, Benchmark, Harvey, Scale AI, ChatGPT, Woody Allen, Alvin, NVIDIA, Lincoln Financial, Google, Cloud Code, Codex

## Video description Handwritten flight logs and heavily redacted PDFs stand between a pile of documents and a searchable product. Palak Agarwal and Omar Alhait show how Reducto turned the Epstein files into structured data for JMail and its related applications. Agarwal introduces the document processing layer; Alhait walks through the extraction pipeline behind JFlights, showing how a schema turns difficult pages into usable records. The workflow starts with parsing, tests extraction results in Studio, and exposes the configured pipeline through an API call or code snippet. The product demonstration makes the bottleneck visible: reading order, handwriting, layout, and inconsistent documents need to survive extraction before an interface can make them useful.

A live resume example shows how to generate a JSON schema, upload documents, and inspect the resulting fields. The discussion distinguishes a quick schema from one informed by parsed document content, then explores nested fields, citations, figures, and the choice between OCR and PDF metadata. Alhait also describes why drawing a black box over text can leave information exposed, and how the team handled material intended to remain redacted. Questions move from model training and document specific configurations to practical evaluation: inspect a small sample first, then build a representative benchmark before scaling. The recording ends with instructions for an interactive extraction exercise, connecting the JMail case study to participants' own document workflows.

Speaker info: - https://palakagarwal.me/ - https://www.linkedin.com/in/palak06/ - https://www.linkedin.com/in/oalhait - https://github.com/oalhait - https://docs.reducto.ai/overview

Timestamps: 0:00 - Document processing and Reducto 2:02 - The JMail case study 3:10 - Omar on the parsing challenge 5:27 - JFlights and handwritten logs 6:35 - Configure and inspect extraction 7:41 - Scaling the document pipeline 9:07 - Deploy an API pipeline 10:14 - Generate a resume schema 12:38 - Schemas informed by document content 13:48 - Redaction and PDF metadata 15:34 - Nested schemas and citations 17:41 - Figures and hybrid OCR 19:23 - Parsing as the foundation 21:30 - Benchmarks and practical evaluation 23:44 - Product design and training data 26:12 - Tailor document configurations 27:59 - Interactive exercise instructions

---

Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/HGfsfKaVuGY-youtube-79b0f112f4cbb4109538

Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):

- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney

---

[Source](https://www.youtube.com/watch?v=HGfsfKaVuGY)

中文简报

Reducto解析器曝光爱泼斯坦案遮盖涂黑下的泄漏文本 直接在文本上覆盖黑框的视觉遮盖未能清除底层PDF数据流,导致被隐藏的记录暴露给结合了计算机视觉与元数据提取的混合解析器。 Palak Agarwal与Omar Alhait展示了Reducto以视觉为先的智能体文档平台如何解析来自杰弗里·爱泼斯坦法庭文件中超过三百万页混乱、手写及涂黑的内容,从而支持了JMail和JFlights等热门工具。Alhait演示了Reducto Studio的提取工作流程,将基础架构生成与具备文档感知能力的方法进行了对比,并解释了存在缺陷的黑框遮盖是如何将原始文本暴露在PDF元数据流中的。本次技术讲解涵盖了混合OCR优先级排序、多层嵌套架构,以及布局感知解析在下游任务中的基础作用。最后,演讲者给出了实用建议,敦促工程师从精简的视觉检查而非复杂的基准测试套件入手开展评估,并强调将强大的提取能力与直观熟悉的消费级界面相结合,才是将原始文档倾倒转化为可用产品的关键。 Reducto处理了超过三百万页已解密的爱泼斯坦法庭文件,为热门的JMail生态系统提供支持;该生态系统涵盖JDrive、JFlights和JPhotos等产品,共记录了超过4.5亿次访问和1800万独立访客。 (2:02) 源PDF中存在缺陷的官方遮盖仅是在数字文本流上绘制视觉黑框,导致Reducto解析器提取出了底层的个人身份信息,并迫使其采取人工抑制程序。 (13:48) Reducto依赖具有迭代反馈循环的视觉优先智能体OCR架构,而非单次前向传递,从而针对极端情况的企业文档在原始PDF元数据与视觉OCR之间进行动态权衡。 (0:12) 产品评估表明,对于公共记录语料库,类似于网页邮件这种用户熟悉的消费级界面,比标准的开放式RAG聊天机器人能带来高得多的用户参与度。 (23:44)

精炼阅读摘要

Reducto 团队阐述了其视觉优先的 Agentic OCR 架构,旨在将复杂、非结构化的现实企业文档转化为大模型可用的结构化数据。结合处理爱泼斯坦公开档案及衍生产品 JMail 的实际工程经历,团队展现了从底层混乱排版解析到上层高互动性产品落地的完整技术与产品思考。 视觉优先与混合OCR:重塑复杂文档解析底座 (0:12) 在传统文档处理中,直接依赖 PDF 底层文本层或字符边界框极易打乱复杂的阅读顺序。Palak Agarwal 指出,Reducto 作为一个前置于基础模型的文档代理平台,采用视觉优先的光栅化方案替代单次前向推理。其 Agentic OCR 框架在初步识别后进行置信度检查,标记不确定内容并循环纠错,从而应对倾斜扫描件、颠倒页面、复杂表格与图表等现实极端边缘情况。Reducto 创立三年内从 Accel 和 Benchmark 等机构筹集了 1.08 亿美元,已为 Harvey、Scale AI 以及全球前五大对冲基金等客户处理了超过 20 亿份文档。 面对现实文档中损坏、隐蔽或重叠的数字元数据,Reducto 引入了混合 OCR 机制。该模型能在文档的不同区域智能预测并仲裁优先级:对于纯净的数字文本流优先提取元数据,而对嵌入的扫描切片或截屏则交由视觉 OCR 处理。Omar Alhait 强调,下游的章节切分、字段提取及摘要生成高度依赖前端解析质量;只有在解析阶段准确确立阅读顺序、表格边界和语义块,后续的大模型处理流程才能保持稳定。 解析三百万页爱泼斯坦档案:JMail背后的数据攻坚 (2:02) 在爱泼斯坦案法庭文件解密后,开发者 Riley Walz 和 Luke Farritor 在 5 小时内开发出以 Gmail 界面模拟爱泼斯坦收件箱的 JMail 原型,随后扩展为涵盖 JDrive、JFlights、JAmazon 和 JPhotos 的讽刺性软件套件。截至 2 月,该生态累计访问量超 4.5 亿次,服务了 1800 万独立访客。Reducto 承担了底层超过 300 万页档案的解析任务,面对政府马克笔涂黑、高密度官方表格以及字迹潦草的手写记录等极端挑战。 在 JFlights 的开发中,团队需要从严重退化的手写私人飞行日志中提取飞往私人岛屿的高层政要与公众人物行程。工程师通过 Reducto Studio 调试提取模式,将非结构化日志转化为结构化实体并打通至日历和搜索应用。此外,解析技术也暴露出原始文档在合规脱敏上的严重缺陷:部分政府文件仅在视觉层绘制黑色矩形遮盖,未清除底层数字文本。Reducto 的提取引擎还原了被遮蔽的真实姓名,这使团队承担了额外的伦理与法务审查责任,必须在数据公开发布前手动核查以确保未泄露应被保护的个人隐私。 从模式生成到生产部署:灵活应对深层实体提取 (9:07) Reducto Studio 提供了连接原型设计与生产工程的交互界面。针对提取模式(Schema)的设计,平台提供两级生成能力:基础模式通过标准 LLM 响应自然语言提示词快速构建通用 JSON 模式;增强模式则先解析样本文件,依据实际文本和排版特征自动编写带有精细字段说明的定制模式。Omar Alhait 建议,当提取任务注重上下文细微差异时,应优先采用解析文档后的增强生成方式。 该系统支持多达 4 至 5 层的嵌套对象,并曾实际支撑包含 156 个独立字段的复杂客户提取需求。在抽取完成后,Reducto 的后处理引用模型能够将每一个结构化数据字段精准溯源至原件的物理坐标与文本位置。面对建筑蓝图、非标准工程图纸或企业特定商标(Logo),工程师还可绑定专门的视觉代理模块与系统提示词来校准阅读逻辑,随后将验证完毕的配置一键编译为 REST API 端点或代码片段集成到下游系统中。 全量召回、私有评估与消费级产品呈现 (20:43) 针对模型训练与能力评估,Palak Agarwal 解释称,结构化文档提取不同于常规的长文本“大海捞针(needle in a haystack)”,其实质是寻找“干草堆里的所有针”,要求在长文本和密集排版中完整捕获所有目标标记。谈及评估标准,团队指出尽管业界即将推出公共基准,但企业落地时无法回避私有评估集的建设;合理的路径是在 Studio 中先通过小样本进行“直觉评估(vibe eval)”,待基本输出合理后再扩展到百份或千份文档开展系统化回归测试。 Omar Alhait 进一步总结了产品形态与底层训练的现实法则。JMail 的成功表明,相比于单调、开放的 RAG 检索问答框,将海量非结构化档案包装进用户极为熟悉的 Webmail 界面,能创造出极具黏性的交互体验。而在算法研发侧,团队强调构建高性能排版与视觉识别模型不存在捷径,完全依赖专业标注团队长期对真实世界文档进行枯燥、严苛的边界框标注与数据清洗,这构成了专业模型难以被通用大模型轻易取代的核心技术壁垒。 Reducto 展现了通过视觉优先与迭代纠错架构解析复杂企业文档的可行性,同时证明了优秀的交互界面能极大放大非结构化数据的消费价值。然而,企业在实际落地时仍面临通用模型在非常规排版上的局限、底层脱敏不彻底带来的法律与隐私风险,以及必须自建私有基准和重度依赖人工标注等现实挑战。

Detailed notes — zh

## Background 该视频由 YouTube 频道“AI Engineer”于 2026 年 10 月 11 日发布。视频内容围绕 Reducto 团队的 Palak Agarwal 和 Omar Alhait 展开,他们详细介绍了如何通过 Reducto 的文档处理层与提取流水线,将爱泼斯坦案(Epstein files)中杂乱的手写飞行日志和被大面积涂黑的 PDF 转化为可检索的产品 JMail 及其衍生应用。 ## TL;DR 分享首先介绍了 Reducto 面向 Agent 的视觉光栅化文档解析架构,以及支撑 JMail 在 5 小时内上线并承载数亿次访问的底层技术栈。随后,Omar Alhait 深入拆解了 JFlights 面对手写体、涂黑元数据漏洞和复杂排版时的解析与提取难点,并演示了在 Reducto Studio 中定义和优化 Schema 的过程。团队还探讨了从快速“氛围评测”(vibe eval)过渡到私有基准测试的评估策略,以及底层依赖海量繁重人工标注的训练现实,最后以现场互动工作坊收尾。 ## Atmosphere & style 整场演讲兼具黑客松式的极客狂热与严谨的技术反思,现场互动热烈且笑声不断。Omar 的讲述风趣幽默,从深夜狂发并发请求“逼疯”值班工程师,到自嘲工具“好过头”意外穿透法律脱敏遮罩,充满戏剧性与工程实战的泥泞感;而当谈及模型训练背后的枯燥标注与长上下文召回挑战时,语调又迅速切换为工程师面对底层硬骨头时的沉稳与坦诚。 ## Bulletin - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 采用基于光栅化的视觉方案与 Agentic OCR 框架,累计融资 1.08 亿美元并处理超 20 亿份文档,服务包括 Harvey 和 Scale AI 在内的头部企业。 - [02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) 在爱泼斯坦解密档案发布后,JMail 团队借助 Reducto 解析了超 300 万页凌乱扫描件与手写日志,支撑起累计访问量破 4.5 亿次的衍生产品矩阵。 - [13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) 许多机构脱敏 PDF 仅覆盖黑色矩形,Reducto 的混合解析因透视底层元数据暴露出真实姓名,迫使团队在发布前紧急进行二次合规清洗。 - [21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 评估文档解析时,通用 Benchmark 往往不够充分,团队建议先通过 Studio 样本进行直观的“氛围评测”,再扩充至百千级业务文档构建私有基准测试。 ## Key takeaways - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 将自身定位在底层非结构化文档与下游前沿 LLM 之间的预处理层,涵盖解析、拆分、抽取、编辑与分类五大核心能力。 - [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) 系统放弃直接依赖文本嵌入的传统路线,转而采用光栅化视觉输入并配合能自我标记与修正的 Agentic OCR 循环。 - [02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) JMail 衍生产品矩阵涵盖 JDrive、JFlights、JAmazon 等,在几个月内吸引了超 1800 万独立用户与 4.5 亿次总访问量。 - [03:10](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=190s) 政府与法律归档文档存在复杂的盖章、分栏排版及不确定的阅读顺序,构成了阻碍文档自动化产品化的首要瓶颈。 - [05:27](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=327s) 针对 JFlights 等高度特化的场景,团队在 Reducto Studio 中建立并调试专属 Schema,成功攻克了字迹极度潦草的手写飞行日志抽取难题。 - [07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 在首批文件公布的当晚,团队通过集群突发高并发压测完成了数百万页档案解析,并将验证通过的提取流水线无缝转为生产环境 API。 - [12:38](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=758s) Schema 是定义抽取边界的关键画笔;除通过自然语言单次调用生成外,系统支持先解析文档上下文再定制字段的“增强型 Schema 生成”。 - [13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) 由于现实中大量脱敏文件未清理 PDF 底层图层元数据,具备混合元数据读取能力的工具容易意外还原出敏感姓名,引发严重的合规二次清洗负担。 - [15:34](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=934s) Reducto 提取引擎支持超过 150 个独立字段及 4 到 5 层深度嵌套,并通过独立的引用溯源模型精确定位每个字段的数据物理坐标。 - [17:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1061s) 混合 OCR 架构结合了分类器决策,能动态在视觉 OCR 数据与原生 PDF 元数据之间权衡调度,兼顾计算开销与排版还原精度。 - [19:23](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1163s) 高保真解析是所有智能提取的物理基石,长文档抽取并非单点信息的大海捞针,而是必须召回分散在各处的全部关键要素。 - [21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 在客户方案选型与落地时,配置项错误往往是效果劣化的主因;通用公开评测难以替代客户基于自身真实垂直业务样本构建的私有 Benchmark。 - [23:44](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1424s) JMail 最初构想为传统的 RAG 问答机器人,最终团队意识到依托大众极度熟悉的 Gmail 界面才能最大化释放非结构化数据的消费价值。 - [25:11](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1511s) 模型输出高可靠性的核心在于扎实的数据工程,团队需要依赖专门的人工标注团队完成极其繁复、机械的底层标注积累。 - [26:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1572s) 系统支持挂载针对特定文档的系统提示词(如企业 Logo 过滤或建筑图纸布局调整),以 Agentic 模块应对异构排版挑战。 ## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) Reducto 的定位与 Agentic 文档处理技术 Palak Agarwal 开场介绍了自己的身份,她在 Reducto 负责开发者关系。在正式展开 JMail 案例研究前,她先勾勒了 Reducto 的业务全貌:作为一家面向 Agent 的文档平台,其核心任务是帮助团队将杂乱无章的非结构化文档,转换为前沿 AI 模型能够精准理解并使用的结构化数据。回顾过去三年的发展历程,Reducto 已从 a16z、Benchmark 等顶级投资机构累计融资 1.08 亿美元,累计处理了超 20 亿份文档,客户涵盖 Harvey、Scale AI 以及一家全球排名前五的顶级对冲基金。在如此庞大的处理规模下,团队几乎见识并处理过所有能想象得到的文档类型。 Palak Agarwal 坦言,用前沿大模型处理一份干净规范的 PDF 并不算难,但在现实的企业应用场景中,绝大多数文档都是极度非结构化的——包括各种倾斜扫描件、旋转页面、复杂图表以及混乱排版。这正是 Reducto 发挥作用的生态位:它作为直接部署在最终模型前方的预处理和解析层,不仅负责解析复杂版面,还承担了必要的后处理工作,让开发者能够彻底从脏活累活中解脱,专注于构建上层产品。 Reducto 的技术基石在于放弃了直接从底层文本嵌入(embedding)出发的传统做法,转而采用基于光栅化(rasterization-based)的视觉方案。Palak Agarwal 解释道:“我们从视觉上观察文档的方式,就像人类看文档一样,而不是去抠底层的文本嵌入。”整个系统由一套 Agentic OCR 框架驱动:传统 OCR 往往只进行单次扫描推断就直接输出答案,而 Reducto 的 Agentic 流程会在发现模型存在不确定性的地方打上标记,主动调用上下文进行自我修正,确认无误后才流转至后续步骤。Reducto 的能力矩阵分为五个核心维度:解析(Parse)、拆分(Split)、抽取(Extract)、编辑(Edit)与分类(Classify)。 ```mermaid flowchart LR accTitle: Reducto Agentic Document Pipeline accDescr: An overview of how Reducto ingests messy documents through a rasterized view and an iterative agentic loop to output structured data for models. subgraph INGEST["输入层"] A["复杂/非结构化文档<br/>(扫描件/倾斜/手写)"] end subgraph REDUCTO_CORE["Reducto 预处理层"] B["页面光栅化渲染<br/>(视觉模拟人类阅读)"] C["Agentic OCR 框架<br/>(主动标记疑难并纠错)"] D["5大核心能力<br/>Parse / Split / Extract / Edit / Classify"] end subgraph OUTPUT["下游交付"] E["精准结构化数据 / JSON"] F["前沿 LLM / 企业应用"] end A --> B B --> C C --> D D --> E E --> F ``` - 融资规模与投资方:过去三年累计融资 1.08 亿美元,投资方包含 a16z、Benchmark 等。 - 历史处理数据量:处理超过 20 亿份企业文档。 - 核心客户代表:Harvey(法律 AI 独角兽)、Scale AI、全球 Top 5 对冲基金。 - 核心功能矩阵:Parse(解析)、Split(拆分)、Extract(抽取)、Edit(编辑)、Classify(分类)。 --- ### [02:02](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=122s) JMail 的诞生与 300 万页爱泼斯坦档案的解析重担 为了拉近技术与现实场景的距离,Palak Agarwal 向现场观众发问,询问有多少人听说过或实际浏览过 JMail。现场有相当比例的听众举手响应。Palak 随即回顾了 JMail 这一爆款项目的起源:去年 11 月爱泼斯坦案(Epstein files)涉案档案刚公开披露时,开发者 Riley Walz 和 Luke 仅用了五个小时就搭建出了初始版本。项目的核心构想非常离奇且讽刺——通过 Fork 改写 Gmail 的界面,让任何人只要登录进去,就能以爱泼斯坦本人的视角去审视整个收件箱。 这一恶搞原型在极短时间内迅速演变成了一个庞大的产品家族矩阵,包括仿制 Google Drive 的 JDrive、查阅航班记录的 JFlights、模拟电商购物的 JAmazon、照片库 JPhotos 等诸多衍生应用。截至次年 2 月,JMail 整个平台吸引了超过 1800 万名独立访客,总访问量突破 4.5 亿次。而这一切海量公开数据的底层文档基础设施,正是由 Reducto 独家提供解析支撑。 摆在 Reducto 面前的是一场极其严峻的技术攻坚战:总量超过 300 万页的解密档案,其中充斥着被涂黑抹去的大量遮挡(redacted)PDF、低清模糊的扫描页、排版诡异的政府归档文件、密密麻麻的专业财务报表,以及来自不同涉案人员字迹凌乱、甚至难以辨认的手写日志。为了深入阐述底层的工程难点,Palak 将话筒交给了 Reducto 的创始工程师之一 Omar Alhait,他在去年 11 月整个产品破圈的过程中,与 JMail 团队展开了最直接、密集的攻关配合。 - JMail 初始开发时长:Riley Walz 与 Luke 在档案解密公布后仅用 5 小时即完成首版。 - 平台用户与访问规模:截至次年 2 月,独立访问用户数超 1800 万,页面总访问量破 4.5 亿次。 - Reducto 实际解析数据:总计解析超过 300 万页政府调查文件与解密 PDF。 - 衍生产品矩阵:JMail、JDrive、JFlights、JAmazon、JPhotos、JCal、Gemini(J-Gemini)等。 --- ### [03:10](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=190s) 挡在产品化之前的解析瓶颈与版面挑战 Omar Alhait 带着热烈的互动情绪登台,调侃着向全场打招呼:“好了,谁准备好来聊聊文档了?太棒了!”他将回忆拉回到 11 月那个决定性的夜晚。当时他正与创始团队讨论,面对这场即将引发全网轰动的文化事件,如何才能把 Reducto 的文档理解能力落地为一款兼具传播力与工具属性的产品。恰好当时 Kino 的创始人 Luke 就在他们楼下办公,大家聚在一起闲聊,话题逐渐从“做什么才好玩搞笑”演变成了一个极具冲击力的点子:“如果你能像杰弗里·爱泼斯坦本人那样登录邮箱,从他的视角查阅所有来往邮件,会是怎样一番体验?” 产品概念虽然巧妙,但真正的技术硬骨头在第一步就卡死了团队:海量的原始文档与最终可用的软件产品之间,横亘着一道几乎不可逾越的高墙。Omar 在屏幕上打出了一份充满复杂布局的原始传票盖章封面页,并直言:“如果你以前没试过,我强烈建议你把这份盖章封面直接扔给 ChatGPT,看看它能吐出什么结果,瞧瞧它的准确率到底有多惨。”他指出,这类政府文件的版面结构极其繁复,阅读顺序本身甚至都带有很强的主观性——机器很难自然判断是该按列自上而下读取,还是该横向跨栏拼接。如果无法自动化且高质量地打通这一步,下游的一切酷炫衍生产品都只能是空中楼阁。 Omar 强调,Reducto 的根本价值就在于解决这个卡在数据输入端的最大瓶颈,把充满歧义、多级嵌套甚至盖满骑缝章的原始废纸堆,重塑为具备确定性阅读逻辑的清晰上下文。 --- ### [05:27](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=327s) JFlights:从凌乱的手写飞行日志到高精度航班提取 为了让大家具象化理解解析的难度,Omar 展示了衍生矩阵中极具辨识度的一款子产品——JFlights。该应用系统性整理了爱泼斯坦及其所有关联政商名流的完整飞行航线历史。爱泼斯坦生前频繁用私人飞机接送各路权贵与外交官,多次往返于其私人岛屿与全球各大都市之间。然而,还原这些核心出行事实的唯一物理凭据,竟然是一沓字迹潦草、扫描重影且残破不齐的手写飞行日志。 “如果你刚才觉得那张盖章封面页已经够难了,那就想想手写字迹吧。”Omar 坦言。他在屏幕上调出了当年为了优化解析质量而亲自搭建的提取流水线(pipeline)。对于飞行记录这类高度特化的数据源,团队萌生了将其单拆为独立产品的想法,而这意味着必须针对纯手写日志这单一物理类型,定制专门的提取配置与目标 Schema。 Omar 在现场演示了 Reducto Studio 的工作界面,向观众展示了“从解析到提取”的标准交互流程:Reducto 始终坚持“先完整解析版面、再结构化提取数据”的两步走策略。在 Studio 画布中,开发者可以随意拖入任意复杂的现实文档,实时勾选各种高级微调参数并点击运行,肉眼即时校验结果。Omar 解释说,在面对数以百万计的档案进行大规模批处理之前,他正是通过这块可视化画布反复调试规则,以防一上来就无脑调用计费,保证每一个字段的抽取准确率都能达到绝对的高可用基线。在大屏幕的实际提取预览中,即使某些关键姓名被涂黑、字迹极度倾斜,系统依然稳定地还原出了结构化出行人与路线,甚至包括伍迪·艾伦(Woody Allen)等高敏感度的知名人士姓名。 --- ### [07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 压垮基础设施的解析之夜与工程化落地 海量文档的高并发解析对 Reducto 的基础设施造成了前所未有的压力。Omar 在讲台上四处张望,笑着确认工程团队的同事 Alvin 是否在场。在得到肯定的回答后,Omar 向全场爆料了一段惊心动魄的深夜事故:在第一批爱泼斯坦解密档案对外公布的当晚,整个团队必须以最快速度抢先将几百万页文档完全结构化入库,而那天恰好轮到 Alvin 负责值班。 为了赶在流量爆发前把提取流水线跑完,Omar 在短时间内向解析集群注入了海量并发任务,导致后台监控指标全面飘红。“我那天晚上可能把 Alvin 呼醒了好几次,我们给整个底层基础设施施加了极其庞大的压力,”Omar 笑着回忆,“Alvin 深夜不停在 Slack 上给我狂发消息,苦苦哀求说:‘哥们,求求你慢点行不行!’”尽管基础设施经历了一番惊涛骇浪,团队最终依然顶住了并发,在限期内完成了几百万页原始数据的全量解析。 一旦这批包含数百万页文档的高质量底表被确立为绝对的“真实数据源”(ground truth),团队便以此为基石,以极高效率孵化出了近十款爆款独立产品,除 JMail 与 JFlights 之外,还包括 Omar 本人主导开发的日历产品 JCal。Omar 总结道,整个工程流程的核心精髓在于极简的闭环路径:在 Studio 中明确 Schema 规范,直观校验输出质量,确认无误后直接将 Pipeline 转化为生产环境代码。开发者只需将生成的管道代码片段或原生 API 端点嵌入工程,就能一键将提取能力投产上线。 在进入下一阶段的互动演练前,Omar 开放了现场提问。台下立刻有工程师举手询问关于提取 Schema(抽取结构定义)是如何生成的。Omar 形象地给出了自己的比喻:“如果把 Reducto 的处理流程比作一块画布,那么你的提取 Schema 就是这块画布上的画笔,它直接决定并塑造了你最终能从文档中获取什么内容。”为了证明其便捷性,Omar 当场在界面中新建了一个针对简历(Resume)解析的 Extract Pipeline,向观众演示如何无痛构建目标字段规范。 - 关键人物轶事:创始工程师 Alvin 在首批文件披露当夜负责 On-call,因高并发压测数次被 PagerDuty 报警呼叫,私信要求 Omar “放慢请求节奏”。 - 上线交付机制:Studio 调优完成的配置可直接导出为 API Curl 命令或 SDK Pipeline 代码片段,实现秒级投产。 - Schema 核心作用:Omar 强调 Schema 是提取链路的“画笔”,驱动整个数据提取管道的输出边界。 ### [11:18](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=678s) 简历解析演示与加载状态说明 Omar Alhait 在 Reducto Studio 中展示了一个用于简历结构化解析的 Schema。他解释道,配置完 Schema 后,用户需要根据实际业务需求来评估字段定义是否足够令人满意,因为系统会完全严格地按照用户的指示进行提取。为了实际检验提取效果,他在界面中批量上传了一组准备好的真实简历并启动处理任务。 在等待处理结果返回时,现场观众就界面上的等待与验证逻辑提出了疑问。Omar 澄清道,界面上显示的仅仅是一个用于展示进度的前端加载状态,而在系统底层,Reducto 实际上并发调度了一整套包含多种视觉语言模型(VLM)与专业文档模型的服务集群。 --- ### [12:38](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=758s) 基础 Schema 生成与文档感知增强生成(Enhanced Schema) 针对现场关于 Schema 是如何生成与调优的提问,Omar 区分了两种完全不同的 Schema 构建模式。默认的开箱即用模式是一次快速的 LLM 调用,仅凭用户的纯自然语言描述直接构造出对应的 JSON Schema。这种方式非常适合在初期阶段快速验证、在屏幕上迅速查看预览结果。 但在面对结构复杂或内容微妙的专业文档时,Reducto 提供了“增强型 Schema 生成”(Enhanced Schema Generation)能力。该工作流会先对上传的文档执行完整的解析流程,理解文档中的真实数据排布与专业上下文,然后再反向为文档量身定制详细、精准的字段描述。Omar 建议:“如果你更看重细节与微妙特征,我强烈建议先对文档进行解析,然后再将其传入。”(“...if you are a lot more interested in like nuance, uh I definitely suggest parsing the documents first and then kind of passing them in.”) --- ### [13:48](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=828s) PDF 元数据漏洞与爱泼斯坦档案涂黑(Redaction)危机 在回答关于文档涂黑与脱敏处理(Redaction)的技术细节时,Omar 披露了在处理爱泼斯坦档案(Epstein Files)为 JMail 构建产品时遭遇的真实挑战。Reducto 不仅通过视觉模型识别页面,还会深入解析 PDF 的底层元数据(Metadata)。在现实中,许多机构的脱敏操作存在严重的认知缺陷,往往只是简单地在敏感文字上方绘制一个黑色矩形框,底层的文本图层与元数据却完好无损地保留在 PDF 内部。 这一底层特性导致 Reducto 在处理文件时意外“透视”了遮罩,暴露出本应被隐匿的个人身份信息。由于爱泼斯坦档案涉及大量敏感的当事人数据,合法脱敏是极其严肃的法律红线。这反而给 JMail 团队带来了巨大的合规压力,迫使他们必须在发布前自行补充大量的二次脱敏清洗。Omar 回忆当时如履薄冰的技术与法律处境时调侃道:“我们工具的表现有点好过头了。”(“Our our our tool was working a little too well.”) ```mermaid flowchart TD accTitle: PDF 脱敏失效与元数据泄露机制 accDescr: 展示了简单遮罩无法消除 PDF 原始文本元数据,导致高级解析工具能够透视隐藏内容的过程。 subgraph FlawedRedaction["不合规的脱敏方式"] A["原始敏感文本与元数据"] --> B["表面叠加黑色矩形遮罩"] B --> C["视觉上完全遮挡"] end subgraph ReductoEngine["Reducto 混合解析引擎"] C --> D["视觉 OCR 模型"] A --> E["PDF 元数据与底层文本解析"] D & E --> F{"多模态融合校验"} end subgraph LegalOutcome["合规风险与处理"] F --> G["穿透遮罩提取到底层真实姓名"] G --> H["JMail 团队承担二次合规清洗责任以防诉讼"] end ``` --- ### [15:34](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=934s) 复杂嵌套 Schema、实体对齐与引用溯源模型 讨论转入提取系统的扩展极限时,Omar 强调了 Reducto 对高复杂度数据结构的承受力。他举例说明,就在前几天的实际测试中,他们处理过一个包含 156 个独立字段的庞大 Schema,每个字段都在索取完全不同的细粒度信息。目前系统的嵌套层级支持可达 4 到 5 层深度,足以容纳绝大多数高密度的信息抽取需求。 当观众问及实体对齐(Entity Resolution)与内容溯源机制时,Omar 介绍团队在模型后处理阶段进行了大量工程优化。提取流程中不仅有负责抽取信息的模型,还会挂接专门的“引用溯源模型”(Citation Model),精确追踪抽出的每一个数据项具体源自文档的哪一页、哪一行或哪一个区域。他提到英伟达(NVIDIA)近期发表过一篇专注于文档定位与超高速引用定位的论文(如“Find Everything”类似思路),这一领域是当前攻克的重点,Reducto 也正在为此积极招募机器学习研究员。 - **Schema 规模支持**:经受过 156+ 字段的复杂抽取,单结构支持 4 至 5 层深度嵌套。 - **引用溯源机制(Citation)**:抽取模型与归因模型解耦,分别处理“提取内容”与“标定来源坐标”。 --- ### [17:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1061s) 图像图表(Figures)抽取与混合 OCR(Hybrid OCR)架构 Omar 演示了如何在提取配置中开启 `return figures` 开关,以支持提取简历中的头像、图表和嵌入图形。针对观众关于底层如何抉择纯文本与图像识别的问题,Omar 特别指出了在场的团队成员 Alvin,正是 Alvin 主导开发了 Reducto 的混合 OCR(Hybrid OCR)引擎。 在处理各类扫描件与复杂电子文档时,系统并不是单纯调用传统 OCR,也不是完全依赖 PDF 自身的文本层,而是通过智能分类器动态决策优先级:某些特定排版场景强制使用严格的视觉 OCR 数据,而在另一些结构完好的数字场景中直接读取原生 PDF 元数据。这种混合策略能够平衡计算耗时与排版还原的准确性,其复杂度足以作为独立专题展开。 --- ### [19:23](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1163s) 解析(Parse)作为一切智能文档处理的基石 重新触发带图像提取的测试任务后,Omar 阐述了 Reducto 的核心技术哲学:底层的解析(Parse)是一切下游提取(Extract)与 Agent 流程的基座。Reducto 的核心竞争力正是始于对文档布局、阅读顺序与层级结构的解析,后续所有的抽取管道都建立在这一解析结果之上。 有了高保真的结构化解析输出,系统才能进一步支持更高阶的文档 Agent 操作。例如,在处理一本数学教科书时,系统可以先精准定位出每个章节的起止物理切片,再在章节级别分别调用抽取管道生成摘要。随后发言的工程师也指出,针对长文档的抽取任务绝非传统的“大海捞针”(Needle in a Haystack),而是要把文档里分布在各处的有效信息全部找全,如同“捞出干草堆里的每一根针”(“all the needles in a haystack”),这对模型的长上下文召回能力提出了极为苛刻的学术与工程挑战。 --- ### [21:30](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1290s) 基准测试的困局:通用 Benchmark 与私有场景评测 现场观众询问了 Reducto 在基准测试(Benchmarking)上的表现。Omar 与另一位团队成员均坦言,行业基准评测是文档抽取赛道最受关注却也最复杂的议题。许多潜在客户在选型时往往无所适从,不知道不同供应商之间真实的性能梯队差距,因此 Reducto 计划在近期公开一系列权威评测数据,以量化展示其模型作为顶级文档抽取方案的性能指标。 然而,团队成员进一步指出,公开基准测试在现实落地中具有局限性,最真实的评估结论最终必须落到客户自己的业务数据集上:“关于这个问题的更深层答案是,很遗憾,你通常必须建立属于自己的基准测试。”(“...the real deeper answer here is you typically have to make your own benchmarks unfortunately.”)几乎每一个接入 Reducto 的核心客户都会准备专属的样本集来横向比对不同供应商,通用指标很难完全覆盖特定垂直行业在手写体、特定表格格式或低分辨率扫描件上的边界情况。 ### [22:50](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1370s) 评估策略与基准测试:从“氛围评测”到系统化扩展 在客户将 Reducto 与其他同类解析产品进行正面交锋(head-to-head)测试时,团队发现很多时候客户得出的结果不佳,并非工具本身能力不足,而是因为配置项选择错误。Reducto 团队通常会紧密协同用户进行排查,指导用户开启特定参数并讲明背后的权衡取舍(trade-off),最终往往能在性能对比中胜出。 对于大多数文档处理项目,演讲者建议采取分步走的评估路径:首先收集一个简单的样本数据集,通过 Studio 工具进行所谓的“氛围评测”(vibe eval),直观检查解析输出是否合乎逻辑;当准备扩大规模时,再将数据集扩充至 100 到 1000 份文档,建立起更系统化的基准评估流程。Reducto 内部拥有专门的团队与客户合作,协助搭建此类文档评测管线。 ```mermaid flowchart LR accTitle: 文档评估演进流程 accDescr: 展示从初步直观检查到大规模系统化基准评估的渐进步骤 subgraph S1["初步探索阶段"] A["简单样本集"] --> B["Studio 直观检查<br/>(Vibe Eval)"] end subgraph S2["规模化阶段"] B --> C["扩充至 100-1000 份文档"] C --> D["系统化基准测试<br/>与团队协同调优"] end ``` ### [23:44](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1424s) JMail 的产品设计思考:以产品化包装撬动非结构化数据 谈及开发 JMail 的初衷,Omar Alhait 坦承,自己最开始拿出的方案其实“相当粗糙”(pretty shoddy)——仅仅是一个常规的 RAG 聊天机器人,允许用户对邮件内容进行提问。这种形式对专业记者或许有用,但完全无法释放更广泛的价值。团队最终意识到,必须借助大众极其熟悉的界面范式来降低门槛。数以亿计的人使用过 Gmail,Omar Alhait 总结道:“将出色的产品构建在极其新颖的文档提取解决方案之上,正是打出这记致命组合拳的关键(a nice product on top of a really really nice novel, you know, document extraction solution is what is going to kind of be a one-two punch here)。” Palak Agarwal 补充指出,面对突如其来泄露的 300 万份扫描文件,几乎没有人有精力逐页翻阅;但当 Omar 把它做成类似 Gmail 的界面后,自己便能轻松登录并随手搜索各类名人。非结构化数据在各行各业无处不在,企业客户的核心诉求正是将这些凌乱的底层数据提取出来、转化为可用状态,JMail 虽是个有趣的样例,却精准映射了工业界普遍存在的真实痛点。 - **初始设计对比**:早期版本为问答式 RAG Chatbot,面向深度调查场景;最终产品采用类似邮箱的检索界面,极大地降低了认知与操作门槛。 - **底层价值**:海量非结构化数据(如数百万份扫描件)本身不可读,提取出结构化信息并赋予交互界面,才能将死数据变为活资产。 ### [25:11](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1511s) 模型背后的“苦功夫”:数据标注与真实训练 在回答关于模型是如何训练出来的观众提问时,团队揭示了底层机器学习不可绕过的人工成本。Omar 直言,构建新模型并保证输出的绝对可靠,没有任何捷径,全靠扎实的数据工作。团队配备了专门的数据标注团队,必须人工逐页翻阅海量复杂文档,确保数据标注的纯净度与准确性(data sanctity)。 Omar 坦率地将其形容为“大量繁重、机械且磨人的工作(a lot of hard menial annoying work)”,但他也强调,正是这些极度枯燥的底层分类工作,经过层层复利与积累,最终构成了机器学习模型的魅力所在。无论数据架构如何分层切分、训练集如何微调,追根溯源仍然离不开最扎实的数据标注基石。 ### [26:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1572s) Agentic 模块与针对特定文档的定制配置 针对复杂业务场景中不同文档逻辑不一、元数据各异的问题,团队介绍了系统的 Agentic 模块。该架构允许开发者针对不同的细分模型挂载专属的配置项和系统提示词(system prompts),从而让模型执行高度定制化的处理任务。 Omar 以两个实际场景为例进行了说明: 1. **复杂图形与 Logo 提取**:若需要在一批文档中分辨出林肯金融(Lincoln Financial)与谷歌(Google)的 Logo 特征,可以在配置项的提示词中加入上下文引导,精准约束输出规格。 2. **建筑施工蓝图(Construction Blueprints)**:面对极为晦涩混乱的图纸排版,开发者可将重点放在“布局提示词”(layout prompt)上进行精细调优,帮助提取系统更好地对齐并理解全套工程蓝图的结构分布。 ### [27:59](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=1679s) 互动实践工作坊:现场体验文档提取 在分享环节结束后,团队引导现场观众进入长达 30 分钟的实操环节。观众可通过扫描屏幕上的二维码获取示例,直接将其粘贴至 Cloud Code、Codex 等开发环境中,利用 Reducto Studio 上手构建文档提取方案。 团队鼓励大家放手尝试,哪怕只是一个单轮 Prompt 的初步构想也没关系。在活动剩余最后 5 分钟时,团队将邀请参与者展示作品,并为优秀成果准备了 Reducto 周边奖品。在整个实操期间,演讲者团队在场内巡回走动,随时解答观众关于 Reducto API 使用、底层模型训练机制以及招聘加入团队等各类问题。 ## Notable quotes > [00:12](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=12s) 我们从视觉上观察文档的方式,就像人类看文档一样,而不是去抠底层的文本嵌入。 — Palak Agarwal > [07:41](https://www.youtube.com/watch?v=HGfsfKaVuGY&t=461s) 如果把 Reducto 的处理流程比作一块画布,那么你的提取 Schema 就是这块画布上的画笔,它直接决定并塑造了你最终能从文档中获取什么内容。 — Omar Alhait ## Mentioned Reducto, Palak Agarwal, Omar Alhait, JMail, JDrive, JFlights, JAmazon, JPhotos, JCal, Gemini, Jeffrey Epstein, Riley Walz, Luke, a16z, Benchmark, Harvey, Scale AI, ChatGPT, Woody Allen, Alvin, NVIDIA, Lincoln Financial, Google, Cloud Code, Codex ## Video description Handwritten flight logs and heavily redacted PDFs stand between a pile of documents and a searchable product. Palak Agarwal and Omar Alhait show how Reducto turned the Epstein files into structured data for JMail and its related applications. Agarwal introduces the document processing layer; Alhait walks through the extraction pipeline behind JFlights, showing how a schema turns difficult pages into usable records. The workflow starts with parsing, tests extraction results in Studio, and exposes the configured pipeline through an API call or code snippet. The product demonstration makes the bottleneck visible: reading order, handwriting, layout, and inconsistent documents need to survive extraction before an interface can make them useful. A live resume example shows how to generate a JSON schema, upload documents, and inspect the resulting fields. The discussion distinguishes a quick schema from one informed by parsed document content, then explores nested fields, citations, figures, and the choice between OCR and PDF metadata. Alhait also describes why drawing a black box over text can leave information exposed, and how the team handled material intended to remain redacted. Questions move from model training and document specific configurations to practical evaluation: inspect a small sample first, then build a representative benchmark before scaling. The recording ends with instructions for an interactive extraction exercise, connecting the JMail case study to participants' own document workflows. Speaker info: - https://palakagarwal.me/ - https://www.linkedin.com/in/palak06/ - https://www.linkedin.com/in/oalhait - https://github.com/oalhait - https://docs.reducto.ai/overview Timestamps: 0:00 - Document processing and Reducto 2:02 - The JMail case study 3:10 - Omar on the parsing challenge 5:27 - JFlights and handwritten logs 6:35 - Configure and inspect extraction 7:41 - Scaling the document pipeline 9:07 - Deploy an API pipeline 10:14 - Generate a resume schema 12:38 - Schemas informed by document content 13:48 - Redaction and PDF metadata 15:34 - Nested schemas and citations 17:41 - Figures and hybrid OCR 19:23 - Parsing as the foundation 21:30 - Benchmarks and practical evaluation 23:44 - Product design and training data 26:12 - Tailor document configurations 27:59 - Interactive exercise instructions --- Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/HGfsfKaVuGY-youtube-79b0f112f4cbb4109538 Join our upcoming AI Engineer conferences (see https://ai.engineer landing page): - AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney --- [Source](https://www.youtube.com/watch?v=HGfsfKaVuGY)

Source quotes

[0:12] Palak Agarwal: 我们从视觉上观察文档的方式,就像人类看文档一样,而不是去抠底层的文本嵌入。 [7:41] Omar Alhait: 如果把 Reducto 的处理流程比作一块画布,那么你的提取 Schema 就是这块画布上的画笔,它直接决定并塑造了你最终能从文档中获取什么内容。