Inkive：通过本地模型将纸质书划线笔记无缝存入 Obsidian

Inkive：通过本地模型将纸质书划线笔记无缝存入 Obsidian 为解决纸质书划线难以快速导入数字笔记工具的痛点，作者自主开发了 iOS 应用 Inkive。该工具通过端侧部署的图像分割与 OCR 模型，在不上传照片的前提下识别书页中的划线与对应文本，并支持导出为 Markdown 格式存入 Obsidian。 现有工具如 iOS Live Text、通用 OCR 应用及主流大模型在准确提取纸书划线内容上表现均不稳定。 Inkive 在端侧利用 Core ML 图像分割模型识别划线痕迹，测试集准确率达 0.94、召回率达 0.88。 放弃对齐拉平等传统扫描预处理，采用 PPOCR v6 实现离线中文纸书文本识别，保障隐私并降低服务器成本。 通过推测读者实际阅读意图匹配划线与文本，测试集中 95% 的结果无需修改或仅需微调。 从阅读痛点到自研工具 作者习惯在纸质书上划线和批注，但数字笔记工具无法无缝承接这些纸上笔墨。测试了 Live Text、白描等工具以及多款主流大模型后，作者发现它们要么无法识别具体划线位置，要么容易漏划或多摘。为此，作者决定自研 Inkive，目标是拍照后直接提取出读者真正划过的那几句话。 端侧模型实现划线与文本识别 Inkive 的处理过程分为识别划线、读取文字与意图对齐三步。作者通过大量读者照片样本训练了本地图像分割模型，借助 Core ML 在手机端实现 0.94 的准确率和 0.88 的召回率。在文字识别环节，作者放弃了复杂的页面拉平算法，转而引入对中文纸书更稳定的 PPOCR v6，使得整套流程全在设备本地完成，避免照片上传隐私风险与云端服务器成本。 意图匹配与使用体验 由于读者划线常有多划或跨行等不精确情况，Inkive 专注于推测读者真正想留下的内容而非追求像素级重合，测试集中 95% 的结果达到免修或微调即可接纳的水平。读者在读完纸书后连续拍下书页即可校对并导出 Markdown 文件至 Obsidian。相较于需要专用扫描笔的硬件方案，已上架 App Store 的 Inkive 允许读者保留原有纸笔阅读习惯。

Inkive：通过本地模型将纸质书划线笔记无缝存入 Obsidian 为解决纸质书划线难以快速导入数字笔记工具的痛点，作者自主开发了 iOS 应用 Inkive。该工具通过端侧部署的图像分割与 OCR 模型，在不上传照片的前提下识别书页中的划线与对应文本，并支持导出为 Markdown 格式存入 Obsidian。 现有工具如 iOS Live Text、通用 OCR 应用及主流大模型在准确提取纸书划线内容上表现均不稳定。 Inkive 在端侧利用 Core ML 图像分割模型识别划线痕迹，测试集准确率达 0.94、召回率达 0.88。 放弃对齐拉平等传统扫描预处理，采用 PPOCR v6 实现离线中文纸书文本识别，保障隐私并降低服务器成本。 通过推测读者实际阅读意图匹配划线与文本，测试集中 95% 的结果无需修改或仅需微调。 从阅读痛点到自研工具 作者习惯在纸质书上划线和批注，但数字笔记工具无法无缝承接这些纸上笔墨。测试了 Live Text、白描等工具以及多款主流大模型后，作者发现它们要么无法识别具体划线位置，要么容易漏划或多摘。为此，作者决定自研 Inkive，目标是拍照后直接提取出读者真正划过的那几句话。 端侧模型实现划线与文本识别 Inkive 的处理过程分为识别划线、读取文字与意图对齐三步。作者通过大量读者照片样本训练了本地图像分割模型，借助 Core ML 在手机端实现 0.94 的准确率和 0.88 的召回率。在文字识别环节，作者放弃了复杂的页面拉平算法，转而引入对中文纸书更稳定的 PPOCR v6，使得整套流程全在设备本地完成，避免照片上传隐私风险与云端服务器成本。 意图匹配与使用体验 由于读者划线常有多划或跨行等不精确情况，Inkive 专注于推测读者真正想留下的内容而非追求像素级重合，测试集中 95% 的结果达到免修或微调即可接纳的水平。读者在读完纸书后连续拍下书页即可校对并导出 Markdown 文件至 Obsidian。相较于需要专用扫描笔的硬件方案，已上架 App Store 的 Inkive 允许读者保留原有纸笔阅读习惯。

**Matrix 首页推荐** Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。 文章代表作者个人观点，少数派仅对标题和排版略作修改。 我一直喜欢读纸书，也习惯在书上划线、圈重点、写批注。但一本书读完之后，这些认真留下的痕迹往往也就停在了纸页里。微信读书、Apple Books、Reeden 这类阅读软件可以很轻松地把划线笔记导入 Obsidian 或 Notion，而纸上的笔墨，却难以无缝连接数字笔记。 作为一个 Obsidian 爱好者，我一直在找一款能补上这一环的应用：拍下书页，它就能识别我划过线、高亮过或圈画过的文字。iOS 自带的 Live Text 识别印刷文本已经很准，但它不知道我具体划了哪里，一两页还能手动整理，真要认真处理一本书就不现实了。我也试过 Highlighted、白描、vFlat Scan、ShelfMe 等应用，它们各有特点，却都没有解决我最在意的问题。 大模型开始普及之后，我又尝试把书页照片丢给豆包、DeepSeek、ChatGPT、Gemini，试了一轮，发现结果时好时坏：有时漏掉划线，有时又把没划的内容一起摘出来。 试了一圈之后，我还是有点不甘心。这个需求并不难解释，我只想拍下书页，然后拿到自己划过的那几句话。既然找不到合适的工具，我决定自己做一个试试。 我给它起名叫 **Inkive**，读作 /ˈɪŋkɪv/。 Inkive 要回答的问题是：**读者划线时，真正想留下来的内容是什么？** Inkive 要完成三步：先找到书页上的划线，再读出划线附近的文字，最后根据划线和文字判断读者想留下哪句话。 一张书页照片里，可能同时有下划线、马克笔高亮、圈画，也可能有纸张纹理、阴影、背面透过来的字迹。要让应用先看见这些标记，通常需要训练一个图像分割模型。简单说，就是让模型从整张照片里把「读者留下的痕迹」单独分出来。 我没有算法背景，但之前体验「寻隐」时，发现 Core ML 已经可以在手机本地运行相当复杂的模型。于是我决定试试：能不能用它识别书页上的划线。 模型训练对我来说完全是陌生领域，我借助 AI 把整个过程一步步跑通：准备数据、完成标注和训练，再判断结果有没有变好。我的标注数据大多来自读书博主分享的照片——纸张材质、光线、拍摄角度、划线习惯各不相同，一度塞满了我的手机相册。 在完成标注之后，我开始一轮轮训练模型。每一轮结束后，我都会让 AI 帮我看准确率、召回率和损失值这些指标和趋势，也会逐个检查失败样本：是浅色高亮漏掉了，还是把背面透出来的划线误识别成了正面标记。我会根据这些失败样本判断下一批该补什么数据、训练参数又该怎么调。 最终，这个本地模型在测试集上的准确率达到 0.94，召回率达到 0.88。它还不完美，但已经足以证明：在手机上识别书页划线，这条路可以走通。 找到划线之后，Inkive 还要读出它附近的文字。OCR，也就是图片文字识别，已经相当成熟。iOS 系统 Vision 框架在识别印刷文本时表现不错，但纸书照片比截图和扫描件更复杂：书页会弯，照片会歪，光线会不均匀，单双页一起拍时版面也更复杂。中文纸书的密集文字和复杂版面又增加了识别难度。 我一开始把很多精力花在透视校正上。照片歪了、书页弯了，直觉上当然会想先把页面拉平。我尝试过传统文档处理方法，也接入过不同的 dewarp 算法，但效果始终不够理想，不如 vFlat Scan。为此纠结了很久。 后来我发现，自己其实搞错了目标。Inkive 不是文档扫描应用，不需要生成一张完美的书页照片。重要的是处理之后，划线附近的文字能不能被准确读出来。 我还走过不少弯路，比如识别文字行的中线、拟合下划线的像素轨迹。这些传统 CV 尝试花了不少时间，也帮我排除了几条不适合 Inkive 的技术路线。 直到 6 月看到 PPOCR v6 发布，我发现它对中文纸书照片的识别比系统 Vision 框架更稳定。原本我已经准备了云端 OCR 预案：如果本地识别效果不够好，就把图片上传到服务器，用云端模型识别。PPOCR 让我可以继续坚持本地处理，把书页照片、划线结果和识别过程都留在设备上。 **PPOCR 让我可以继续采用本地处理，这对 Inkive 很重要：书页照片、划线结果和 OCR 过程都留在设备上。用户不用上传照片，我也不必为每次识别支付云端费用。** 这一步直接决定了最终结果是否可用。前面的划线识别和文字识别，都有相对明确的模型可以依赖；但一条划线到底对应哪句话，模型最终还得推测读者当时想留下什么。人在纸书上划线时，并不会像机器标注一样精确。可能多划了一个字，少划了半句话，也可能一条线跨过两行；马克笔高亮会涂出去一点，圈画也可能盖住旁边的字。Inkive 不需要让结果与笔迹像素级重合。只要读者看到结果时觉得“对，我划的就是这句话”，它就是可以接受的。 所以，这一步花掉了我最多的时间和精力。到了这一步，文字识别准确率已经不够用了。我开始关注另一个指标：可接纳率。边界偶尔差一点没关系，只要结果符合人的阅读判断，就仍然可以接受。最终，在测试集中，95% 的结果无需修改或只需轻微校对。这个表现已经达到我愿意日常使用的水平。 想把一本书笔记带回 Obsidian，不需要改变原本的阅读方式。你还是像以前一样读纸书，用自己习惯的笔划线、圈重点、写批注。读完以后，打开 Inkive，把相关书页一页页连续拍下来。识别完成后，你可以逐条校对书摘，也可以直接预览整本书的结果。确认无误后，再导出为 Markdown 文件。对我来说，Inkive 的价值就在这里：把停留在纸页上的划线带回 Obsidian，和过去的阅读、写作、思考连接起来。 最后放一段完整录屏，看看 Inkive 怎样处理一本书的划线。 在 Inkive 接近完成的时候，我注意到一个海外创业团队也推出了一款智能书签硬件 [Mark II](https://www.thinkwithmark.com/)，类似国内的词典笔，用户需要用专门的设备在纸书上「划线」，内容再通过云端大模型识别，并同步到 Notion 和 Readwise。 刚看到 Mark II 时，第一个念头是：原来不只我在寻找连接纸书划线和数字笔记的方法。不过，它选择了专用硬件和云端模型，而 Inkive 走的是手机应用加本地模型的路线。它不要求读者改变原本的阅读习惯：你还是捧起纸书阅读，用自己的笔划线、做笔记；Inkive 只在读完之后用手机处理书页。两种产品解决的是相似需求，但路径很不一样。 **Inkive 只想把一件事做好：连接纸书和数字笔记，把阅读时留在纸页上的划线送回你的笔记系统。** Inkive 刚刚上架 App Store，现阶段先把 iOS 上的效果和体验做好。Android、Web 和小程序版本仍在计划中。 \> 关注 [少数派小红书](https://www.xiaohongshu.com/user/profile/63f5d65d000000001001d8d4)，感受精彩数字生活 🍃 \> 实用、好用的 [正版软件](https://sspai.com/mall)，少数派为你呈现 🚀