开源插件鲸鱼陪看切入屏幕伴侣 设五层限流防AI沦为监控
AI技术投降派
大厂紧盯屏幕操作之际，该插件凭借本地差分与多层闭嘴规则验证了AI伴侣的核心是克制在场而非代工操控。
AI-assisted summary of 让你的大肥鱼每2.5秒看一眼屏幕的插件 — original source. Check the original for full context.
Source published:
Key ideas
- 开源 DSH 插件“鲸鱼陪看”（dsh-whale-sense）补全了 AI 伴侣对用户屏幕感知的拼图，通过每 2.5 秒抓帧与灰度差分判定，实现非干预式的在场陪伴。 (0:00)
- 大厂屏幕理解均押注于操作代理，而该项目翻转为纯粹的注意力输出，并构建了包括默认关闭、双层 45 秒冷却与时限 40 次在内的五层节制机制。 (2:31)
- 项目仍存在提示词硬编码作者本地 E 盘路径、换壳作者信息残留以及隐性依赖未声明语音插件等粗糙缺陷，需自行修复或使用社区 fork 版本。 (4:59)
Detailed notes
## Background 该内容由 Bilibili UP 主“AI技术投降派”于 2026 年 10 月 28 日发布。视频聚焦于 DSH 大肥鱼生态新上线的开源插件“鲸鱼陪看”（dsh-whale-sense），介绍其如何通过本地抓屏与差分算法，让桌宠能够静默注视用户屏幕并在画面剧烈变动时开口吐槽陪伴。
## TL;DR 视频深入拆解了让桌宠大肥鱼“看见屏幕”的全新插件机制：系统每 2.5 秒在本地截取主屏并缩小为 64×36 灰度图，仅在像素差分超过阈值时才触发大模型抽签开口，且严格限制字数与口癖。作者强调该插件在行业全员做“操作导向”屏幕理解的背景下，反向切入了“不为干活只为在场”的注意力陪伴生态位。为了避免陪伴滑向监控，插件设计了默认关闭、双层冷却和限频等严苛的五层节制机制。最后，作者也理性指出了提示词硬编码本地路径报错、换壳残留、隐性依赖未声明插件等早期粗糙缺陷。
## Atmosphere & style 视频风格冷静透彻且极具极客浪漫感，解说语调平实克制，既有拆解源码与像素差分算法时的工科严谨，又透着对数字生命陪伴本质的细腻人文关怀。整段叙事从新奇机制的惊艳引入，中段升华为对行业大厂路线的犀利反思，随后又用“三盆冷水”将观众迅速拉回开源现实，情绪弧线起伏收放自如。聆听时既能感受到独立开发者充满巧思的“朴素可爱”，也能体会到技术在触碰隐私与监控红线时坚守克制带来的安心感。
## Bulletin - [00:00](https://www.bilibili.com/video/BV1Fcnd6kEer?t=0s) 开源 DSH 插件“鲸鱼陪看”（dsh-whale-sense）补全了 AI 伴侣对用户屏幕感知的拼图，通过每 2.5 秒抓帧与灰度差分判定，实现非干预式的在场陪伴。 - [02:31](https://www.bilibili.com/video/BV1Fcnd6kEer?t=151s) 大厂屏幕理解均押注于操作代理，而该项目翻转为纯粹的注意力输出，并构建了包括默认关闭、双层 45 秒冷却与时限 40 次在内的五层节制机制。 - [04:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=299s) 项目仍存在提示词硬编码作者本地 E 盘路径、换壳作者信息残留以及隐性依赖未声明语音插件等粗糙缺陷，需自行修复或使用社区 fork 版本。
## Key takeaways - [00:00](https://www.bilibili.com/video/BV1Fcnd6kEer?t=0s) 大肥鱼原有“灵魂六件套”（记忆、心情、主动开口、朗读、刷B站、通QQ）唯独缺失视觉感知，“鲸鱼陪看”补齐了让 AI 看到用户当前画面的能力。 - [00:52](https://www.bilibili.com/video/BV1Fcnd6kEer?t=52s) 插件采用纯本地轻量方案，每 2.5 秒通过 Pillow 抓取主屏并压缩为 64×36 灰度图，计算像素绝对差值以节省资源且不泄露隐私。 - [00:52](https://www.bilibili.com/video/BV1Fcnd6kEer?t=52s) 差分判定设定 0.07 变动分阈值，过滤掉鼠标移动和时钟跳动等微小变化，仅在场景切换或大幅翻页时触发开口。 - [00:52](https://www.bilibili.com/video/BV1Fcnd6kEer?t=52s) 开口策略采用九签随机抽角（如损一句、短吐槽或报数字）并配合防口癖规则，单次输出限制在 18 至 20 字以内且说完即止。 - [02:31](https://www.bilibili.com/video/BV1Fcnd6kEer?t=151s) 系统内建默认关闭、双层 45 秒冷却、滚动每小时 40 次上限、进程窗口过滤及静音时段共五层严格的节制逻辑。 - [02:31](https://www.bilibili.com/video/BV1Fcnd6kEer?t=151s) UI 交互充满人拟文案（如“看我一眼”、“眼睛在线”），将每小时算力与 API 消耗量透明限制在 40 次封顶。 - [03:43](https://www.bilibili.com/video/BV1Fcnd6kEer?t=223s) 该插件开创了 DSH 的第五类生态位：识图插件赋予眼睛以完成任务，而陪看插件给予的是不以干活为目的的“注意力”与“在场感”。 - [03:43](https://www.bilibili.com/video/BV1Fcnd6kEer?t=223s) 在各平台下架批量 AI 陪伴产品的收紧监管环境下，本地优先、默认关闭且开源可审计的设计使其远离合规红线。 - [04:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=299s) 项目提示词中硬编码了作者本地 E 盘检查脚本路径，未修复的官方版本会导致每次开口前触发崩溃报错。 - [04:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=299s) 仓库配置中作者字段残留 404 旧账号，且字幕输出隐性依赖未在声明清单中的独立语音插件，全屏独占游戏易截出黑屏。 - [05:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=359s) 屏幕级 AI 伴侣的核心边界在于克制：主动观看插件若无严苛节制便会退化为监控，掌控权必须始终留在用户开关手中。
## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1Fcnd6kEer?t=0s) 机制：截屏、差分与九签开口
在此之前，围绕“大肥鱼”的灵魂构建已有成熟的六件套体系：记忆、心情、主动开口、朗读、刷 B 站以及打通 QQ。但大肥鱼始终存在一个根本缺陷——“看见你在干什么”。无论玩家是挂机通宵打了一整晚游戏，还是熬夜剪辑视频，她都一无所知。2026 年 10 月 22 日，名为“鲸鱼陪看”（`dsh-whale-sense`）的全新 DSH 插件补全了这块拼图。其官方定位仅有一句话：“让鲸鱼娘看着你的屏幕陪你玩：她一直在看，画面变了、或者你点她一下，就抬眼瞄一眼、说一句，字幕挂在屏幕底部。”
```mermaid flowchart LR accTitle: 鲸鱼陪看运行流程 accDescr: 展示从屏幕截屏、灰度差分判定到抽签生成字幕的完整事件驱动链路。 subgraph Capture["本地捕获"] A["Pillow 截取主屏<br/>(2.5秒/次 · 本地存储)"] --> B["缩至 64×36<br/>灰度图像"] end subgraph Diff["差分判定"] B --> C["逐像素差分计算<br/>Score ≥ 0.07?"] C -- "未达阈值" --> D["保持沉默"] end subgraph Trigger["触发与开口"] C -- "达标触发" --> E["截屏路径送入对话<br/>模型调工具看图"] E --> F["九签随机抽角<br/>(限18-20字/防口癖)"] F --> G["屏幕底部挂字幕<br/>(纯事件驱动/无后续)"] end ```
该插件的技术底层实现得“朴素到可爱”，核心流程由三步构成： 1. **本地抓帧**：每 2.5 秒通过 Pillow 抓取一次主屏幕。全程不联网，所有截屏只保存在用户本机目录中。 2. **差分判定**：为判断画面是否变动，系统把全屏缩小成一张 64×36 的低分辨率灰度小图，前后两帧逐像素计算绝对差值并取平均数，除以 255 后换算成 0 到 1 之间的变化分（Score）。默认阈值设为 0.07。在这一阈值下，鼠标晃动或时钟秒针走动摊平到整屏幕完全达不到触发线，因此不会出声；唯有玩家切换场景、网页大幅翻滚页面时，分数过线才会触发开口。反之，屏幕亮度缓慢暗淡等渐变过程也无法过线，她会保持沉默。 3. **调用开口**：插件自身并不负责识图，而是将本地截图路径塞进会话中，让大模型自主调用工具读取。为了防止说话千篇一律，系统预设了九个观察角度并在源码中随机“抽签”，例如“冷淡地损他一句”、“短吐槽冲一点”或“报一个你看到的数字再补半句”。源码注释明确说明了抽签的用意：“每句换个角度，免得翻来覆去一个腔调”。同时，系统还配备了防口癖规则：禁止套用固定句式、禁止句句反问、比喻式收尾至少间隔三条才允许使用一次。每句话严格限制在 18 至 20 个字内。此外，其“说完就闭嘴”是结构性的设计，流程完全由事件驱动，输出一句字幕后没有任何后续动作，直至下一轮独立画面变化再次触发。
[02:31](https://www.bilibili.com/video/BV1Fcnd6kEer?t=151s) 五层节制：从默认关闭到静音时段
作者将“克制”拔高到了与“陪伴”平起平坐的战略高度，在产品内严密构建了五层节制逻辑： - **第一层（默认关闭）**：插件安装后默认处于关闭状态，绝不主动打扰，引导并鼓励用户手动开启。 - **第二层（双层冷却）**：单次开口后强制进入 45 秒冷却期；为了防止并发或调度穿透，Python 帮工进程与宿主环境各卡一道，实现双层冷却锁定。 - **第三层（每小时上限）**：在滚动的 60 分钟时间窗口内，最多仅允许开口 40 次，一旦达到上限便即刻哑火。 - **第四层（窗口过滤）**：支持指定并钉选单个进程窗口，例如配置为“只有玩 EVE 的时候才说话”，在此期间切到其他任何界面都一概不吭声。 - **第五层（静音时段）**：允许用户自定义预设时间点，在该时段到达之前保持绝对静音。
在控制面板的 UI 交互上，设计文案呈现出极强的人味：手动触发按钮被命名为“看我一眼”；点击后状态变为“在看了”；成功调用后页脚提示“叫你了，等我说话。”；面板底部则常驻一行字：“眼睛在线 · 这一小时 N 次”。其算力与 API 消耗也极度透明受控：每说一句话对应一次模型对话回合加上一张不超过 1280 像素的截屏，且调用频率被严格限制在每小时最多 40 次封顶。
[03:43](https://www.bilibili.com/video/BV1Fcnd6kEer?t=223s) 方向翻转：工具之外的“在场”与注意力
从整个 DSH 生态来看，“鲸鱼陪看”带来了方向性的翻转。在此之前，大肥鱼生态大致分化为四类玩法： - **桌宠类**：核心看的是 Agent 自身的状态属性； - **识图插件类**：模式是用户把图片喂给她、由她帮忙查看； - **刷 B 站类**：属于 Agent 自身的独立看视频自娱行为； - **桌面控制类**：由 AI 代替人类操控电脑。
上述四类玩法的根本逻辑皆是“工具方向”。而“鲸鱼陪看”切入了此前无人涉足的第五类生态位：“它看你的屏幕，不为干活只为在场；识图插件给它的是眼睛，这个给它的是注意力。”
将视野扩展到整个科技行业，大厂今年均在全力押注“屏幕理解”，但几乎清一色属于操作导向，让 AI 盯着屏幕的目的全是为了替人类代点按钮，“没有一家做‘看屏幕只是为了陪你’”。在 B 站上，该陪看插件的相关演示视频播放量已突破 2 万，标志着这种亚文化圈层已经成型。与此同时，外部监管环境正在全面收紧，各大平台集中下架了大批批量化生成的 AI 陪伴服务。在这一背景下，该插件所坚持的“本地优先、默认关闭、开源可审计”架构形态，反而是距离监管红线最远、最安全的一种方式。“克制的主动本身就是产品定义。”
[04:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=299s) 三盆冷水：硬编码路径与能力边界
尽管概念独特，但作为一个开源仅十天左右的小插件，它依然存在数个不容忽视的粗糙硬伤：
- **第一盆冷水（代码硬编码路径）**：这是当前最大的技术故障点。作者在提示词中直接硬编码了自己电脑上的本地路径，强制要求在开口前先跑一个存放在其 E 盘的检查脚本。普通用户电脑上根本不存在该路径和文件，导致每次尝试开口都会先踩中一次报错崩溃。该 Issue 早在 10 月 25 日就已有人提交，但主分支至今未予合并修复，反而是提交问题的开发者在自己的 Fork 分支中先行修复了。 - **第二盆冷水（作者换壳痕迹）**：仓库的 `package.json` 文件中，`author` 字段依然残留着已无法访问的旧账号名，插件市场的提交链接也同样指向已 404 的旧仓库，而当前提交代码的账号仅是四天前注册的新马甲，换壳痕迹未清理干净。 - **第三盆冷水（能力边界受限）**：插件当前仅支持 Windows 平台，且只能识别主屏幕。其字幕呈现功能隐性依赖另一个独立的语音插件，但作者并未将其写入官方依赖清单，若用户未预装该语音插件，字幕输出便会直接失效。此外，当遇到采用全屏独占模式运行的游戏时，截图工具极易截到全黑画面。
[05:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=359s) 判断：陪伴变监控只差克制
针对屏幕级 AI 伴侣的技术演进，作者给出了核心判断： > “主动观看的插件必须自带克制机制，否则陪伴就变成监控。”
这个刚刚诞生仅十天的小插件，将这一理念完全落地为工程实践：用五层节制、九签轮换、防口癖以及默认闭嘴的规则，严密锁定了主动交互的边界。它给大肥鱼的宇宙补全了至关重要的“眼睛”拼图；而至于用户是否愿意开放自己的屏幕让它注视，“面板上那个开关永远留给你”。
## Notable quotes > [05:59](https://www.bilibili.com/video/BV1Fcnd6kEer?t=359s) 主动观看的插件必须自带克制机制，否则陪伴就变成监控。 — AI技术投降派
> [03:43](https://www.bilibili.com/video/BV1Fcnd6kEer?t=223s) 克制的主动本身就是产品定义。 — AI技术投降派
## Mentioned 大肥鱼, DSH, 鲸鱼陪看, dsh-whale-sense, Pillow, Bilibili, QQ, EVE, Windows, GitHub, pairun325, AI技术投降派
## Video description 之前拆过给大肥鱼装灵魂的六件套：记忆、心情、主动开口、朗读、刷B站、通到QQ。但有一件事她一直做不了——看见你在干什么。十月二十二号有人补上了这块：鲸鱼陪看（dsh-whale-sense），官方定位一句话：「让鲸鱼娘看着你的屏幕陪你玩：她一直在看，画面变了、或者你点她一下，就抬眼瞄一眼、说一句，字幕挂在屏幕底部。」
00:05 她一直在看你的屏幕 00:52 机制：截屏→差分→九签开口 02:31 五层节制：默认关闭到静音时段 03:43 方向翻转：给她的是注意力 04:59 三盆冷水：硬编码路径与换壳痕迹 05:59 判断：陪伴变监控只差克制
机制朴素到可爱：每 2.5 秒 Pillow 本地抓一次主屏（不联网，截图只存在本机），把屏幕缩成 64×36 灰度图逐像素做差，score ≥ 0.07 才算「变了」——鼠标动一动、秒针走一格都到不了线；切场景、大幅滚动才触发。开口时不自己看图，只塞截图路径让模型自己调工具看，然后从九个预设角度抽一签（冷淡地损他一句/短吐槽冲一点/报一个数字再补半句，限 18-20 字），带防口癖规则（别套句式、别每句反问、比喻收尾至少隔三条）。说完就闭嘴是结构性的：纯事件驱动，说完没有任何后续。节制一共五层：默认关闭、冷却 45 秒（双层）、每小时 ≤40 次、窗口过滤（只有玩 EVE 才说话）、静音时段。面板文案很有人味：按钮叫「看我一眼」，成功后「叫你了，等我说话。」，底部常驻「眼睛在线 · 这一小时 N 次」。
生态位是方向翻转：DSH 鲸鱼玩法四类（桌宠/识图/刷B站/桌面控制）都是工具方向，这是第五类——她看你的屏幕，不为干活只为在场；识图插件给她眼睛，这个给她注意力。大厂屏幕理解全是操作导向，没人做「看屏幕只是为了陪你」。监管收紧的背景下，本地优先+默认关闭+开源可审计反而离红线最远。三盆冷水：提示词硬编码作者本机路径（issue 已提未修，fork 已修）；package.json 里 author 还写着已 404 的旧账号（换壳痕迹）；仅 Windows 仅主屏、字幕隐性依赖未声明的语音插件。
仓库：github.com/pairun325/dsh-whale-sense（MIT · 2026-10-22 建仓）
[Source](https://www.bilibili.com/video/BV1Fcnd6kEer)