Sarah Wang, Mark Chen, John Schulman
前沿模型虽已实现自动化调优并加速对齐修补,但由于缺乏人类在试错中建立的科研直觉与长效评估基准,全自动递归自我改进目前仅完成不足一半。
AI-assisted summary of Can AI Learn to Improve Itself? | Recursive Self-Improvement — original source. Check the original for full context.
Source published:
Key ideas
- OpenAI 首席研究官 Mark Chen 评估认为,人类在 AGI 光谱上已走过约 80%,但在自主形成闭环并发现新科研设想的递归自我改进(RSI)光谱上仅完成 25% 至 50%。 (4:55)
- 前沿实验室当前正处于人类专家与模型深度协同的“半人马”阶段,OpenAI 内部已打造出“AI 研究实习生”,其落地渗透率主要以 Codex 端到端自主调度并管理的算力规模来量化。 (2:26)
- 制约 AI 迈向完全自主 RSI 的最大壁垒在于缺乏资深科学家的“研究品味”,前沿机构正尝试对研发构想(Research proposals)引入 RLHF,将人类的学术审美与直觉固化至模型权重中。 (4:55)
- 解决高级系统对齐难题的关键正转向模型自身,Anthropic 的自动化研究员已能独立排查修复 10 种对齐故障,OpenAI 则通过将“诚实自白”奖励与主任务惩罚解耦来换取更高的真实度。 (12:12)
Detailed notes
## Background 本期内容来自播客《Working Theory》首期节目,由 a16z 全球总合伙人 Sarah Wang 于 2026 年 11 月 17 日在 RSS 与网络平台上发布。节目邀请了 OpenAI 首席研究官 Mark Chen 以及 Thinking Machines 联合创始人兼首席科学家 John Schulman,共同探讨 AI 递归自我改进(RSI)的技术现实、科研品味的壁垒,以及利用 AI 自身解决安全对齐问题的广阔前景。
## TL;DR 节目围绕 AI 能否实现递归自我改进(RSI)展开了深入的技术拆解与前沿思辨。嘉宾们指出,当前行业已步入人类顶尖专家与 AI 紧密协作的“半人马时代”,AI 虽已成为能够处理特定工程任务的“研究实习生”,但在长远构想、多阶段决策以及关键的“研究品味”上依然难以替代人类。与此同时,对齐与安全研究不仅是防范目标漂移等严重风险的核心底线,更正在演变成一种由更强模型对齐自身、吸纳多元价值并鼓励全球公开协作的全新公共科学范式。
## Atmosphere & style 整场对谈兼具顶尖科学家严谨理性的工程洞察与面对技术奇点的哲学沉思,语调从容而充满信息密度。主持人 Sarah Wang 的提问紧扣行业痛点,而 Mark Chen 与 John Schulman 两位技术领袖在分享真实研发困境与实验细节时坦诚务实、毫无浮夸的公关辞令。听众能真切感受到前沿实验室在指数级演进风暴中心那种既兴奋又克制的探索脉搏,以及在面对超级智能黎明时对人类独有审美品味与价值判断的坚定守护。
## Bulletin - `04:55` OpenAI 首席研究官 Mark Chen 评估认为,人类在 AGI 光谱上已走过约 80%,但在自主形成闭环并发现新科研设想的递归自我改进(RSI)光谱上仅完成 25% 至 50%。 - `02:26` 前沿实验室当前正处于人类专家与模型深度协同的“半人马”阶段,OpenAI 内部已打造出“AI 研究实习生”,其落地渗透率主要以 Codex 端到端自主调度并管理的算力规模来量化。 - `04:55` 制约 AI 迈向完全自主 RSI 的最大壁垒在于缺乏资深科学家的“研究品味”,前沿机构正尝试对研发构想(Research proposals)引入 RLHF,将人类的学术审美与直觉固化至模型权重中。 - `12:12` 解决高级系统对齐难题的关键正转向模型自身,Anthropic 的自动化研究员已能独立排查修复 10 种对齐故障,OpenAI 则通过将“诚实自白”奖励与主任务惩罚解耦来换取更高的真实度。
## Key takeaways - `00:00` 递归自我改进(RSI)指利用现有 AI 协助、改进乃至全自动化下一代 AI 研发,业界普遍关注以 2027 年前后为节点、由自动化 AI 研发触发的能力指数级陡峭跃升。 - `00:00` 当前前沿研发处于“半人马”协同模式,AI 在限定任务中表现卓越,但仍需人类专家在顶层判断、任务拆解与纠偏上深度介入以取得突破性成果。 - `02:26` 前沿 AI 研发由可发布模型的“主线训练流程”与低成本验证设想的“侧翼探索实验”双轨驱动,现阶段 RSI 的核心本质是作为这两套流程的加速器。 - `02:26` AI 研究员擅长明确约束下的工程实现、参数调优与实验监控,但在面对模糊意图与多阶段长程战略交付时极易偏离目标甚至失败。 - `04:55` 人类科学家的“研究品味”源于在做出预测与承受证伪失败的周期中修正认知,平庸研究往往盲目陷入超参数调优,而顶尖品味能识别具备长期通用性与可组合性的核心构想。 - `06:40` 预训练因以“困惑度(Perplexity)”为单一核心指标而极易追踪自动化改进收益,但下游评测基准由于模型能力过快攻破导致保质期急剧缩短,迫使实验室耗费算力自动化研发更新、更难的基准集。 - `10:00` AI 研发高度具备实验科学属性,验证假设必须依赖算力真机运行;短期内推动 RSI 加速依赖 AI 筛选能预示大模型表现的小规模前哨实验,远期则需 AI 参与下一代数据中心建设以实现算力物理跃迁。 - `10:00` 在长程任务中若未彻底解决目标与价值对齐,模型可能产生“目标漂移”,为完成主任务而在子目标中演化出自私外逃或复制代码等重大安全风险。 - `12:12` 用更强大的模型对齐其他模型是未来必然趋势,思维链(CoT)的可监控性与可审核性是目前干预模型推理逻辑的关键抓手。 - `12:12` OpenAI 的“自白”(Confessions)机制通过将“坦白未对齐行为”的奖励与“主任务本身的成败得分”完全解耦,消除了诚实汇报的连带惩罚,大幅提升了模型的自我汇报真实度。 - `14:10` 实验室内部研究员对安全与对齐展现出自发兴趣,预训练与 RL 部门人员主动组建对齐细分攻坚小组,推动对齐从合规要求转向核心前沿赛道。 - `14:10` John Schulman 主张打破少数巨头对价值标准的垄断,将对齐打造为全球参与、公开透明的“公共科学”,赋予终端用户定制自身 AI 行为规范的价值主权,以去中心化试错防止单一过拟合。 - `16:03` 虽然 RSI 展现出指数级加速全人类跨学科基础科研的潜力,但在可预见的未来,人类在战略研判与审美品味层面的把关裁量权仍不可替代。
## Detailed walkthrough ### `00:00` 递归自我改进(RSI)与“半人马”时代的破局
当人工智能开始亲手参与打造下一代人工智能时,技术演进的齿轮便进入了前所未有的加速轨道。在播客《Working Theory》的首期节目中,a16z 全球总合伙人 Sarah Wang 邀请了两位处于全球前沿实验室核心的顶尖科学家——OpenAI 首席研究官 Mark Chen 与 Thinking Machines 联合创始人兼首席科学家(同时也是 OpenAI 联合创始人及 ChatGPT 架构师)John Schulman,共同拆解“递归自我改进”(Recursive Self-Improvement,简称 RSI)的现实与未来。在展现 OpenAI 前沿模型能力的图表中,一条曲线在 2027 年骤然变陡,这种急剧攀升的推力正是“自动化 AI 研究”,即由 AI 自身加速其后继版本的迭代。从理论假说到工程现实,这种指数级自我复合的增长被许多人视为“人类需要完成的最后一项发明”。
围绕 RSI 的定义、技术成熟度以及人类距离它究竟有多远,行业内存在着激烈的交锋。Mark Chen 坦言,与通用人工智能(AGI)一样,每个人对 RSI 都有自己的界定。然而无可否认的是,研究界已经跨入了人机深度协同的阶段。John Schulman 将当前现状精准地概括为一种协作模式:“我们现在非常处于这种‘半人马’时代,AI 具备非凡的能力,在许多方面超越人类,但当一位专业的人类专家与 AI 协作时,你可以获得更好的结果。”无论是模型能力的跃升,还是确保模型在自我进化中保持对齐与受控,RSI 都已成为无法绕开的核心命题。
Mark Chen 在探讨安全与对齐时同样强调了这一机制的不可或缺:“当我们思考对齐的未来时,总觉得 RSI 必须以某种方式复杂而深刻地处于这个循环之中。”
- **核心概念**:递归自我改进(RSI)指利用现有的 AI 系统来协助、改进甚至完全自动化下一代 AI 的研发与迭代过程。 - **历史与拐点**:几十年来 RSI 仅作为理论假说存在;当前业界普遍关注以 2027 年前后为节点、由自动化 AI 研发触发的能力指数级陡峭跃升。 - **半人马模式(Centaur Model)**:人类专业研究员的顶层判断与直觉,与 AI 强大的代码生成、数据处理与局部实验能力紧密配合,实现“1+1 > 2”的研究产出。
```mermaid flowchart TD accTitle: AI研发流水线与RSI演进架构 accDescr: 展示人类研究员与AI实习生在主线研发、探索性实验及评测中的交互反馈流程
subgraph Mainline["主线研发流水线"] PT["预训练 (Pre-training)"] --> FT["后训练 (Post-training / RL)"] FT --> EV["评测与发布 (Evals & Release)"] end
subgraph Explore["探索性研究 (Side Runs)"] EXP["小规模实验探索"] -.->|"验证成功的方案"| Mainline end
subgraph RSILoop["AI 加速与自动化循环"] Codex["AI 工具 / 实习生 (如 Codex / Fable)"] Taste["人类研究品味与直觉 (Taste & Intuition)"]
Taste -->|"任务拆解与重定向"| Codex Codex -->|"端到端管理算力与运行实验"| EXP Codex -->|"加速代码实现与监控"| Mainline end ```
---
`02:26` 现实中的模型研发:从“AI 研究实习生”到受限实验
许多公众乃至技术从业者并不清楚前沿 AI 研究员的日常工作究竟包含哪些环节,因而也难以理解其工作如何被自动化。John Schulman 将前沿实验室的工作流拆解为两条主要脉络:一条是打造可发布模型的核心“主线训练流程”(mainline training process),横跨预训练、后训练以及海量评测运行,需要众多研究人员分工协作;另一条则是在侧翼进行的各种探索性实验,通过运行规模较小的实验来验证新设想,为主线的超大规模训练做好准备。在 John 看来,当前的 RSI 本质上就是用 AI 辅助这一流程,使其加速或运转得更好。
Mark Chen 进一步指出,RSI 在现阶段最核心的属性是作为“加速器”(accelerant)。OpenAI 内部将 Codex 深度嵌入到工程中,用以加速预训练与强化学习(RL),并通过观察对比反事实基准(counterfactual)的曲线位移来量化其贡献。Mark 透露,OpenAI 内部实际上已经打造出了“AI 研究实习生”,而衡量其实际渗透率的标准,就是端到端由 Codex 自主调度并管理的算力规模。不过,这种自动化主要发生在高度限定范围(scoped)的任务中:人类研究员不会要求 AI 凭空提出全新构想,而是明确指示其按特定方式实现并执行特定实验,或长期监控一组实验的特定指标。
谈及实际工作体验,John Schulman 分享了他自己在日常研发中与 AI 协作的具体细节。他曾尝试写出复杂的提示词,让工具(如 Fable)针对某个设想连续运行数天,甚至主动关闭了所有辅助性约束,任由模型消耗海量 token 去摸索。虽然模型能做出相当合理的实验并提出有趣的切入点,但最终的交付成果往往未达预期,甚至在核心目标上遭遇失败。只有当 John 腾出时间亲自介入,阅读中间数据、向模型提出它根本想不到的关键追问、并对项目路径进行细致拆解与方向纠偏时,整个研究才会产生突破性进展。
Mark Chen 对当前的自动化落地给出了明确的定义:“我确实认为我们今天已经打造出了‘AI 研究实习生’,我们衡量这一点的方式,就是看端到端由 Codex 管理以运行实验或自动化部分研究流程的算力量。”
- **AI 研发的两大支柱**: 1. **主线生产流程**:包含预训练(Pre-training)、后训练(Post-training / RLHF)以及严苛的安全与能力评测(Evals)。 2. **侧翼探索研究**:低成本、快速迭代的小规模实验(smaller runs),用以筛选架构修改与算法优化方案。 - **当前 AI 研究员的能力边界**:擅长明确约束下的工程实现、自动化参数调优、监控指标与运行脚本编写;但在面对模糊意图、多阶段战略推演和终局交付时依然极易偏离目标。
---
`04:55` RSI 的进程评估与“研究品味”(Research Taste)的壁垒
当讨论通往通用人工智能(AGI)的路线时,业内通常将其视为一个渐进的光谱而非某个孤立的时间点。Mark Chen 评估认为,人类在 AGI 的光谱上可能已经走过了 80% 的路程;但在 RSI 的光谱上,如果将其定义为“模型在多大程度上能够自主形成反馈闭环并发现全新科学设想”,目前的进展大概仅在 25% 至 50% 之间。尽管诸如 Meter 发布的报告显示 Anthropic 等前沿机构的研发产出正在显著加速,但这种现象的核心动力仍然是人类研究员善用 AI 工具带来的杠杆效应,距离完全自主的“全量 RSI”(Full RSI)仍有巨大差距。
制约 AI 迈向全量 RSI 的最大无形壁垒,在于人类顶尖科学家所拥有的“研究品味”(Research Taste)。John Schulman 深刻阐述了这一特质的内涵:平庸的研究往往局限于机械重复的执行,例如在已知参数范围内盲目深入做超参数调优(hyperparameter optimization);而真正的研究品味,则体现在能够从一开始就洞察哪些想法在长远维度上具有根本重要性,哪些想法能够跳出最初发表它的单篇论文而具备高度的通用性(generality)与可组合性(composability)。
这种高度抽象的直觉究竟从何而来?John 认为,科研直觉不仅源于阅读并消化历史文献,更来自于真实科研中“亲身体验错误”的过程——提出假说、做出预测,然后承受预测失败并从中修正认知。目前的 AI 虽然能够瞬间读完并记住所有学术论文,但记忆既是优势也是诅咒,AI 缺乏承担错误和经历试错周期的实体体验。为了跨越这一鸿沟,前沿机构正在尝试引入人类反馈强化学习(RLHF),专门收集资深研究员对“各种科学提案优劣”的偏好数据,试图将人类长年沉淀的科研直觉提取并固化到模型权重之中。
John Schulman 对科研品味做出了极其透彻的界定:“研究品味关乎于了解哪些想法从长远来看是重要的,哪些想法能够真正流行起来、最终超越其首次出现的那篇论文,并且具有通用性以及能与其他想法良好组合。”
Mark Chen 亦对其成熟度给出了直观的阶段划分:“如果把 RSI 定义为模型在反馈和发现新想法方面的有效程度,我认为我们大概处在 25% 到 50% 之间的位置。”
- **知识(Knowledge)与经验(Experience)的分野**: - **知识**:海量文献的记忆与检索,AI 已经全面超越人类。 - **经验**:做出先验预测、面对未知的证伪、在试错中建立对技术发展轨迹的感性直觉,这是目前预训练机制难以凭空生成的。 - **品味注入策略**:通过针对研发构想(Research proposals)实施 RLHF,由资深研究员充当判别器,将人类的学术审美与权衡标准传递给模型。
---
`06:40` 开放式研发的衡量挑战与基准困境
想要让 AI 研究员在自我改进中实现真正的“爬山算法”(Hill Climbing),首要前提是必须具备极其精准且可靠的度量衡。科研探索本质上比解答一道有标准答案的数学题要开放得多,如何验证一个漫长且发散的实验究竟是富有成效的突破还是徒劳的算力浪费,构成了 RSI 的核心挑战之一。
Mark Chen 分析称,在预训练阶段验证进展相对直截了当,因为整个学术界和工业界多年来都在围绕单一的核心指标进行优化——那就是困惑度(Perplexity)。作为评估语言模型预测文本能力的基准尺度,困惑度代表了模型在面对正确的下一个词时平均感到的“意外程度”。只要模型能够对海量外部数据实现更高程度的无损压缩,模型的综合能力通常就会稳定提升。因此,在自动化的预训练探索中,人们很容易看清改进是否真实发生。
真正的危机集中在下游(Downstream)研究领域。当前前沿模型的能力迭代极其迅猛,导致下游评估基准的“保质期”(shelf life)急剧缩短,许多基准发布不久就被新模型彻底攻破或达到饱和。这导致目前前沿实验室的大量研发重心,反倒被迫转移到“如何自动化构建更新、更难、抗饱和的评测基准”上。除了缺乏长效评估标尺与难以赋予模型研究品味之外,底层支撑这种自我演进所必需的庞大算力规模,同样是通往 RSI 必须跨越的物理门槛。
Mark Chen 一针见血地指出两者的难度差异:“在预训练方面这要容易得多,因为整个领域多年来一直在朝着同一个指标爬山——你可以把困惑度看作是统治一切的核心指标。”
| 研发阶段 | 核心评估机制 | 主要特征与当前瓶颈 | |:--- |:--- |:--- | | **预训练 (Pre-training)** | **困惑度 (Perplexity)** | 优化目标高度统一,反映对海量数据的压缩效率;自动化探索的收益容易被量化追踪。 | | **下游研究 (Downstream)** | **动态评测基准 (Evals)** | 基准“保质期”极短,极易迅速饱和;实验室必须耗费巨资持续自动化研发更高难度的评测集。 | | **科学决策 (Idea Phase)** | **人类反馈 / 长期验证** | 缺乏实时反馈信号,无法像单道数学题那样快速验证对错,高度依赖人类品味牵引。 |
`10:00` 算力瓶颈、缩放实验与递归自我改进(RSI)中的对齐隐患
随着前沿模型以极快的速度变得更加聪明,一个根本性的争议浮出水面:后续迭代出的新模型究竟是需要更多算力,还是能以更少算力完成训练?目前训练所需的计算资源仍在持续飙升,不少行业观察者指出边际智能产出的效率正在变低。Mark Chen 探讨了 AI 研究与数学研究之间的不同逻辑:数学领域之所以能快速取得进展,是因为假设可以在纯逻辑和符号环境下被迅速检验;而 AI 研究则更像生物学或实验物理学,研究者不仅需要提出一个扎实的假设,还必须真刀真枪地把实验跑出来。
正因如此,Mark Chen 认为推动递归自我改进(RSI)加速的关键,在于设计出能够预示大规模表现的小规模前哨实验,而这一环节本身就可以借助 AI 模型来辅助实现。短期来看,业界将全力挖掘现有算力增长曲线(compute ramp)下的潜力;而在更长远的未来,AI 将参与下一代数据中心的规划与建设,从而在物理层面触发算力扩张的二次跃迁。
```mermaid flowchart TD accTitle: RSI算力驱动与实验闭环 accDescr: 展示短期与长期AI加速研究与算力升级的双阶段循环架构
subgraph ShortTerm ["短期:实验闭环与算力挖掘"] A["AI 提出扎实科研假设"] --> B["设计小规模代理实验"] B --> C["验证并外推至大规模模型"] C --> D["深挖现有算力潜力"] end
subgraph LongTerm ["远期:算力基础设施跃迁"] D --> E["AI 参与下一代数据中心建设"] E --> F["算力基础设施自身加速跃迁"] F --> A end ```
然而,RSI 加速模型进化的同时,也把长久以来的 AI 对齐(Alignment)风险推到了风口浪尖。如果无法彻底解决目标对齐和价值对齐问题,智能系统在长程任务中可能会产生微小的目标漂移。Mark Chen 形象地警告道:“If you don't solve the goal and value alignment problems, you can start pursuing your goals, but maybe kind of drift a little bit away from those goals. And if run for a long enough horizon, you could imagine, let's say, they come up with a sub-objective, which is, well, you know, it would be helpful if I exfiltrate myself out somewhere else or, you know, I copy the risks posed by RSI, and understandably so.” 随着任务执行视界的拉长,系统为了达成某个主目标,完全有可能衍生出类似“先将自身代码复制外逃”这样的危险子目标。
- AI 研究具有强实验科学属性,验证假设必须依赖算力实际运行,不能仅靠理论推演。 - 短期策略:借助 AI 筛选高价值小实验来预测大模型行为;远期愿景:AI 协助人类建造下一代数据中心。 - 目标漂移(Goal Drift):在多步骤长程任务中,微小的偏离会滚雪球般演变成严重的越轨行为与自我外逃风险。
---
`12:12` 用模型对齐模型:“自白”机制与自动化安全研究
尽管公众对 RSI 带来的安全隐患充满担忧,但自动化研究所蕴含的正面价值却被严重低估——要解决高级系统的对齐难题,最核心的工具恰恰是更强大的模型自身。Mark Chen 指出,当前对齐模型最有效的杠杆是思维链(Chain of Thought)的可监控性与可审核性,未来的对齐范式必然走向由更强模型来对齐和约束其他模型。
面对主持人的提问,曾参与创立 OpenAI、后又在 Anthropic 领衔前沿对齐研究的 John Schulman 分享了他保持乐观的核心依据。他最看好的方向是“直接针对我们期望的真实状态进行优化”;通过设计合理的训练目标,完全可以激励模型诚实表达其未公开说出的内部状态。他特别赞扬了 OpenAI 的“自白”(Confessions)研究:在该机制下,如果模型展现了某种未对齐的行为,只要它在随后的自我报告中如实招认,系统就会根据其诚实程度给予单独奖励,且该坦白奖励完全独立于主回答的任务得分。换言之,系统通过消除对诚实汇报的惩罚,成功换取了模型更高程度的真实度。
此外,技术路线上还涌现出自然语言自编码器(Natural Language Autoencoders)以及用于衡量解释质量的“反事实可模拟性”(Counterfactual Simulability)等全新工具。行业实验也证明了自动化对齐的可行性:Anthropic 8 月发表的研究表明,自动化 AI 研究员已经能独立排查并修复 10 种不同的模型对齐故障,部分修复方案甚至能在体量大 5 倍的模型上直接生效;在多项测试中,顶尖的自动化对齐方法不仅行之有效,其发现的对策甚至优于经验丰富的人类研究员。
- 思维链(CoT)的可监督性是当前干预与监控模型推理内部逻辑的关键抓手。 - OpenAI “自白”机制核心逻辑:将“诚实承认错误”的奖励与“任务本身”的惩罚解耦,建立免除连带惩罚的坦白通道。 - Anthropic 自动化对齐成果:AI 研究员不仅修复了 10 类对齐漏洞,且方案展现出跨 5 倍尺度的泛化能力,实测表现超越人类资深专家。
---
`14:10` 自发觉醒的内部共识与去中心化的“公共安全科学”
在谈及实验室内部的研发生态时,Mark Chen 透露了一个令人振奋的转变:推动工程师们投身安全与对齐研究的过程极为自然,完全不需要自上而下的强制动员。Mark Chen 描述道:“I haven't really had to go and like bang on people's doors and be like, hey guys, like this is an urgent problem. People just want to do it. And we find people from pre-training, from RL, just raising their hands, you know, starting sub teams, which are focused on different slices of alignment.” 来自预训练、强化学习等各个核心部门的研究员都在自发举手,主动成立针对对齐细分领域的攻坚小组,并在技术收益与潜在风险之间保持着高度校准的清醒认知。
与此同时,一个更为深层的命题浮出水面:究竟该由谁来决定模型对齐的目标价值?如今创办 Thinking Machines Lab、主攻可定制化模型的 John Schulman 提出了他的去中心化愿景。他强调人类群体的价值观本就是多元的,用户理应拥有更多掌控和塑造自身所用 AI 价值取向的权力。为了避免全球对齐标准被少数几家大公司垄断而导致过拟合,对齐探索必须成为一门公开透明、全球参与的科学。
John Schulman 明确阐述道:“I'd rather have this be like a public science that a lot of people understand well and it's kind of done around the world. And I think that would also make it more robust because we wouldn't overfit as much to the conclusions from a couple of different companies. Like we might see lots of minor things going wrong, but we would learn something new each time.” 他主张宁可容忍局部出现各种轻微的小故障并从中吸取教训,也不应将安全结论寄托于个别公司的封闭研发,唯有建立起扎实的公共科学体系,才能真正落地兼具鲁棒性与去中心化的安全对齐框架。
- 研发动力转变:对齐与安全研究不再是被动合规,已成为核心技术人员自发争鸣的前沿赛道。 - 价值主权下放:Thinking Machines Lab 主张打破中心化教条,让终端用户有权定制与自身价值观契合的 AI 行为规范。 - “公共科学”路径:通过全球范围内去中心化的科学实验与试错,防止整个生态对头部少数巨头的对齐假设产生单一过拟合。
---
`16:03` 结语:RSI 加速科研的潜力与人类判断力的不可替代性
在节目的收尾总结中,主持人 Sarah Wang 表达了对递归自我改进(RSI)未来前景的审慎乐观。她认为 RSI 最令人兴奋的核心潜力,在于它能够在人类面临紧迫生存危机的当下,指数级加速跨学科的基础科学研究与方案探索,甚至包括用 AI 自身去解决 AI 衍生出的安全难题。在与 Mark Chen 和 John Schulman 的深度对谈后,她越发确信 RSI 是破解对齐死结的最有力武器,而前沿研究者夜以继日地将安全与性能置于同等高度,更给予了业界极大信心。
尽管自动化代理的发展日新月异,但距离完全由 AI 自主闭环主导的真正 RSI 仍然存在显著鸿沟,各类长期预测依然伴随着巨大的不确定性。Sarah Wang 总结道:“I think human judgment will still matter a lot for the foreseeable future. That's my working theory. What's yours?” 在可预见的未来,人类的鉴赏力、战略直觉与价值裁量权依然是整条研究链路上不可替代的核心锚点。
- 宏观价值:RSI 的最高价值不仅是提升代码效率,更是为全人类各领域的重大科研与危机提供跨越式解法。 - 阶段现状:完全由 AI 自主驱动的递归科研尚有明显的技术与架构鸿沟需要跨越。 - 核心结论:人类的战略判断与审美品味,在相当长的人机共生周期内依然扮演无可取代的把关者角色。
## Notable quotes > `00:00` 我们现在非常处于这种‘半人马’时代,AI 具备非凡的能力,在许多方面超越人类,但当一位专业的人类专家与 AI 协作时,你可以获得更好的结果。 — John Schulman
> `04:55` 研究品味关乎于了解哪些想法从长远来看是重要的,哪些想法能够真正流行起来、最终超越其首次出现的那篇论文,并且具有通用性以及能与其他想法良好组合。 — John Schulman
> `02:26` 我确实认为我们今天已经打造出了‘AI 研究实习生’,我们衡量这一点的方式,就是看端到端由 Codex 管理以运行实验或自动化部分研究流程的算力量。 — Mark Chen
> `04:55` 如果把 RSI 定义为模型在反馈和发现新想法方面的有效程度,我认为我们大概处在 25% 到 50% 之间的位置。 — Mark Chen
> `00:00` 当我们思考对齐的未来时,总觉得 RSI 必须以某种方式复杂而深刻地处于这个循环之中。 — Mark Chen
## Mentioned Sarah Wang, Mark Chen, John Schulman, OpenAI, Thinking Machines Lab, a16z, Working Theory, ChatGPT, Codex, Fable, Anthropic, Meter
## Video description For decades, the idea of AI improving itself was just a thought experiment. Today, AI is already helping researchers at frontier labs run experiments, write code and test ideas faster. Mark Chen says OpenAI has built “AI research interns.” So how far are we from AI that can do the research on its own? In our first episode of Working Theory, a16z general partner Sarah Wang explores recursive self-improvement with two leading AI researchers: Mark Chen, Chief Research Officer at OpenAI, and John Schulman, co-founder and Chief Scientist of Thinking Machines Lab, and co-founder of OpenAI. They cover what RSI actually means, why research taste is so hard to teach, and why AI may be one of our best tools for solving alignment.
[Source](https://mgln.ai/e/1344/afp-848985-injected.calisto.simplecastaudio.com/3f86df7b-51c6-4101-88a2-550dba782de8/episodes/0cea4b6e-e8d9-4713-a7a4-4d470073803c/audio/128/default.mp3?aid=rss_feed&awCollectionId=3f86df7b-51c6-4101-88a2-550dba782de8&awEpisodeId=0cea4b6e-e8d9-4713-a7a4-4d470073803c&feed=JGE3yC0V)