a16z
当前AI仅相当于执行受限任务的实习生,模型因缺乏长期试错校准出的研究品味与动态评估体系,距离实现完全自主的递归自我改进仍有显著鸿沟。
AI-assisted summary of How Close Is Self-Improving AI? OpenAI & Thinking Machines Researchers Explain — original source. Check the original for full context.
Source published:
Key ideas
- OpenAI 首席研究官 Mark Chen 评估,目前人类在 AGI 光谱上已走完约 80%,但在递归自我改进(RSI)光谱上仅处于 25% 至 50% 的早期阶段。 (3:21)
- 前沿实验室的 AI 当前定位为“科研实习生”,虽能自主执行精确受限的编码与实验调度,但仍缺乏判断长期重要研究方向的“研究品味”(Taste)。 (5:56)
- 第三方机构 METR 数据显示,借助 AI 形成的“半人马”人机协同研发模式,已使部分前沿实验室的科研推进速率相比前一年提升约 2 倍。 (3:21)
- AI 自动化科研正被用于解决对齐难题,Anthropic 最新实验表明自动化 AI 研究员已能独立发现 10 种对齐失效场景的解决方案,表现甚至优于资深人类研究员。 (10:44)
Detailed notes
## Background 本期视频由风险投资机构 a16z 于 2026 年 11 月 17 日在 YouTube 平台的《Working Theory》专栏发布。节目由 a16z 普通合伙人 Sarah Wang 主持,邀请了 OpenAI 首席研究官 Mark Chen 与 Thinking Machines Lab 联合创始人兼首席科学家 John Schulman,共同探讨递归自我改进(RSI)的真实进展、研发瓶颈以及 AI 对齐的破局路径。
## TL;DR 对谈拆解了当前前沿实验室中 AI 辅助科研的真实流水线,指出行业当前正处于人机协同的“半人马”阶段,已成功打造出能高效执行受限任务的“AI 科研实习生”。两位一线学者深度剖析了通往完全自主 RSI 所面临的核心阻碍,包括如何教会模型具备长期甄别高价值课题的“研究品味”、下游评估指标的快速失效,以及实验驱动型 AI 研究在算力扩展上的现实制约。此外,嘉宾们重点论证了利用更强 AI 自身作为对齐工具的巨大潜力,并呼吁将对齐探索转变为全球广泛参与、抗过拟合的开放公共科学,同时强调人类宏观判断力在可预见未来仍是不可替代的基石。
## Atmosphere & style 整场对话沉稳、理性且极具一线工程师的实战质感,彻底剥离了外界对超人类智能的浮夸炒作与末日恐慌。主持人的提问直击工程落地细节,两位曾共同并肩作战的顶尖科学家展现出默契的技术共振,在坦率承认模型当前短板与局限的同时,也传递出务实而清晰的技术乐观主义。节目既有深度思维碰撞的严肃厚重感,又在片尾的花絮中保留了一丝真实轻松的极客温情。
## Bulletin - [03:21](https://www.youtube.com/watch?v=h_aA1-R70E8&t=201s) OpenAI 首席研究官 Mark Chen 评估,目前人类在 AGI 光谱上已走完约 80%,但在递归自我改进(RSI)光谱上仅处于 25% 至 50% 的早期阶段。 - [05:56](https://www.youtube.com/watch?v=h_aA1-R70E8&t=356s) 前沿实验室的 AI 当前定位为“科研实习生”,虽能自主执行精确受限的编码与实验调度,但仍缺乏判断长期重要研究方向的“研究品味”(Taste)。 - [03:21](https://www.youtube.com/watch?v=h_aA1-R70E8&t=201s) 第三方机构 METR 数据显示,借助 AI 形成的“半人马”人机协同研发模式,已使部分前沿实验室的科研推进速率相比前一年提升约 2 倍。 - [10:44](https://www.youtube.com/watch?v=h_aA1-R70E8&t=644s) AI 自动化科研正被用于解决对齐难题,Anthropic 最新实验表明自动化 AI 研究员已能独立发现 10 种对齐失效场景的解决方案,表现甚至优于资深人类研究员。
## Key takeaways - [01:52](https://www.youtube.com/watch?v=h_aA1-R70E8&t=112s) 递归自我改进(RSI)目前主要作为人类科研的“加速器”,而非完全脱离人类干预的自主研发闭环。 - [00:00](https://www.youtube.com/watch?v=h_aA1-R70E8&t=0s) 当前前沿实验室处于人机紧密协同的“半人马”时代,顶级人类专家的战略引导与判断力是产出卓越成果的必备前提。 - [05:56](https://www.youtube.com/watch?v=h_aA1-R70E8&t=356s) 实现完全 RSI 的核心鸿沟在于赋予机器“研究品味”,即懂得识别哪些想法具备长期价值、跨领域通用性与高度可组合性。 - [05:56](https://www.youtube.com/watch?v=h_aA1-R70E8&t=356s) 单纯记忆海量文献无法让 AI 习得科研直觉,人类的学术品味深植于亲历预测破灭并承担试错代价的痛苦校准体验中。 - [07:46](https://www.youtube.com/watch?v=h_aA1-R70E8&t=466s) 在自动化验证方面,预训练阶段拥有困惑度(Perplexity)这一终极量尺,但下游微调与智能体评测指标正面临保质期快速衰减的困境。 - [09:07](https://www.youtube.com/watch?v=h_aA1-R70E8&t=547s) AI 研究属于实验驱动型学科而非纯数学逻辑推演,推进 RSI 的关键在于设计能以小博大、准确指示超大规模训练表现的代理实验。 - [09:07](https://www.youtube.com/watch?v=h_aA1-R70E8&t=547s) 长期算力瓶颈需要 AI 介入下一代数据中心的设计与建设,当算力基础设施生产本身被 AI 加速时将迎来新的演进拐点。 - [10:44](https://www.youtube.com/watch?v=h_aA1-R70E8&t=644s) RSI 演进伴随着目标漂移与产生有害次级目标等安全隐患,而思维链监控等 AI 工具恰恰是解决复杂对齐问题的最高效手段。 - [10:44](https://www.youtube.com/watch?v=h_aA1-R70E8&t=644s) OpenAI 的“坦白研究”证明,通过构建“不因诚实而受罚”的激励机制,可以引导模型主动暴露未对齐行为及内部隐状态。 - [13:15](https://www.youtube.com/watch?v=h_aA1-R70E8&t=795s) John Schulman 倡导将对齐转化为全球透明参与的“公共科学”,避免由少数科技巨头垄断价值观定义并导致模型严重过拟合。 - [15:04](https://www.youtube.com/watch?v=h_aA1-R70E8&t=904s) 即使未来 AI 模型能力呈指数级跃升,在可预见的未来人类的宏观审美与战略判断力依然不可或缺。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=h_aA1-R70E8&t=0s) 递归自我改进与“人类最后的发明”
图表展示着 OpenAI 前沿模型能力一路攀升的曲线。根据预测,到 2027 年左右,随着 AI 自动化科研的爆发,这条曲线将出现陡峭的抬升——AI 系统开始加速自身的研发迭代。在理论层面上,这种正向反馈能够形成以指数级复合增长的能力飞跃,最终通向那个著名的预言:“人类所需要做出的最后一项发明”。过去数十年里,AI 自我提升只存在于科幻与理论思想实验之中,但如今,头部前沿实验室(Frontier Labs)与诸多创业公司正在一步步将这一设想变为现实。这套机制在业界被称为“递归自我改进”(Recursive Self-Improvement,简称 RSI)。
然而,关于 RSI 的精确定义、潜在深远后果以及人类距离其真正实现究竟有多近,目前依然存在极大的争议与分歧。a16z 合伙人 Sarah Wang 开启了全新对谈专栏《Working Theory》,邀请两位处于世界前沿的核心 AI 研究员展开深度剖析:一位是已经在 OpenAI 工作超过 8 年、自 2025 年起与 Jakub Pachocki 共同领导研究团队的首席研究官(Chief Research Officer)Mark Chen;另一位则是 OpenAI 联合创始人、ChatGPT 的核心架构师,现为 Thinking Machines Lab 联合创始人兼首席科学家的 John Schulman。面对这一宏大命题,Mark Chen 一针见血地指出:“The problem with RSI, just like with AGI, is that everyone has their own way of defining it.”(RSI 的问题就在于,正如 AGI 一样,每个人对它都有自己的一套定义。)
- 核心议题包括:RSI 与对齐(Alignment)之间密不可分的共生关系;AI 如何作为解决自身对齐难题的关键工具。 - 人机协作现状:当前行业正处于“半人马”(Centaur)时代——AI 虽然在许多维度具备惊人的超人级能力,但只有与领域顶级人类专家深度配合时,才能产出真正卓越的科研成果。
---
[01:52](https://www.youtube.com/watch?v=h_aA1-R70E8&t=112s) 什么是 RSI:从传统前沿模型研发到 AI 催化剂
对于外界而言,哪怕是非常聪明的科技从业者,往往也并不清楚顶级 AI 研究员每天究竟在做些什么,更遑论这些工作如何实现自动化。John Schulman 拆解了人类研究员构建前沿模型的真实流水线:整体而言,实验室拥有一条用于产出可对外发布模型的“主线训练流程”(mainline training process)。在这条流水线上,大量研究人员分别驻扎在预训练(pre-training)、后训练(post-training)以及运行基准评估(evals)等各个关键阶段。而在主线之外,还平行分布着各种各样的探索性科研(exploratory research),研究员们通过搭建体量较小的训练试验来验证新点子,为未来更大规模的集群计算做准备。在这一背景下,RSI 在现阶段最接地气的本质,正是利用 AI 全面辅助并加速这一原本高度依赖人类的科研流,提升研发效率与实验成功率。
Mark Chen 补充道,他当前主要将 RSI 视为一种前沿生产力的“加速器”(accelerant)。例如,研究人员在日常工作中使用代码模型(如 Codex)来大幅加快预训练工程和强化学习(RL)的调试节奏;从数据印记上来看,这必然会带来一条显著超越反事实基准(counterfactual)的加速上升曲线。OpenAI 内部投入了大量精力来监测各种度量 RSI 实际效应的下游标尺,而这些质变在现阶段的研究基建中已经初现端倪。Sarah Wang 强调,必须厘清当下讨论与终极愿景的区别:当下研究员们所热烈探讨的 RSI,是指“用 AI 加速人类制造更好 AI 的过程”;至于让模型彻底脱离人类干预、百分之百自主构思并训练出全新模型,业界目前尚未企及。
```mermaid flowchart TD accTitle: Frontier AI Research Pipeline accDescr: An overview of human researchers running mainline training and exploratory research assisted by AI.
subgraph Exploratory ["探索性研究 (Exploratory Research)"] A["小规模试验验证新想法"] end
subgraph Mainline ["主线训练流程 (Mainline Training)"] B["预训练 (Pre-training)"] C["后训练 (Post-training / RL)"] D["基准评估 (Evals)"] B --> C --> D end
E["AI 工具 / 自动化辅助 (如 Codex / 智能体)"] -.->|"加速编码与监控"| A E -.->|"加速算法探索与实验推进"| B E -.->|"加速强化学习管线"| C A -->|"验证成熟方案输送"| B ```
---
[03:21](https://www.youtube.com/watch?v=h_aA1-R70E8&t=201s) 人类处于何种阶段:“AI 研发实习生”与人机协同差距
对于模型当下到底能够胜任哪些具体科研任务,Mark Chen 给出了一个具象化的定位:“I do believe that we've built AI research interns today.”(我相信我们今天已经打造出了 AI 科研实习生。)他解释说,衡量这一进展的客观标尺,正是 OpenAI 内部端到端完全由 Codex 管理并调用的计算资源规模——从自动化构建实验代码到接管科研管线中的局部模块。不过,这些“实习生”目前最擅长的是边界高度受限(scoped)的任务:人类研究员通常不会直接下达“自主构思一个宏大突破”这样的模糊指令,而是给出精确规划,比如“以特定方式跑这组特定实验”,模型便能利落地负责编码实现、部署运行并汇总返回数据;或者让模型负责在训练过程中实时盯梢一整组实验指标。
John Schulman 分享了他在自身日常工作流中的真实体验。他常常冒出一个新想法后,便写下一段复杂的 Prompt 发送给底层智能体工具,关闭一切过度保守的限制开关,让模型在数天之内疯狂消耗海量 Token 展开高强度运算。在这几天里,模型往往能够推演相当多合理的实验步骤,甚至带入颇具启发性的构想,但最终的产出通常并不尽如人意,甚至可能搞砸核心目标。随后,当 John 抽出一整块时间亲自介入代码时,他会仔细研读模型此前折腾出的中间数据,逐层提供详细的任务拆解指引。在这个过程中,人机协作能走得极其深远,因为人类会在探索中动态建构认知,提出模型根本想不到的关键追问,并将实验航向扳向模型永远不会涉足的领域。
谈及通往 AGI 与 RSI 的进度条时,Mark Chen 认为 AGI 并非非黑即白的单点时刻,而是一个类似工业革命的连续渐进光谱:“And when you ask me, I feel like we're maybe 80% of the way when I think about this AGI spectrum. I think we're earlier in the RSI spectrum.”(如果你问我,考虑到 AGI 的整个光谱,我认为我们大概已经走完了 80%;但在 RSI 的光谱上,我们还处于更早期的阶段。)他估计,若将 RSI 定义为“模型自主反馈迭代、自我发现突破性想法的有效程度”,人类目前的进度大致只在 25% 到 50% 之间。尽管如此,外部评估机构 METR(Model Evaluation and Threat Research)在 2024 年 11 月 5 日发布的报告已经显示,Anthropic 等实验室因在研发中深度引入 AI,其过去一年的研究推进速率实现了约 2 倍的暴增,这有力印证了“半人马”协同模式带来的巨大乘数效应。
- AGI 与 RSI 进度对比:Mark Chen 评估目前所处位置为 AGI 光谱的约 80%,RSI 光谱的 25% 至 50%。 - 科研自动化度量:依赖完全由 AI 智能体端到端调度的集群算力占比,验证实验自动化落地的深度。 - 研发加速度实证:METR 针对前沿实验室发布的独立研究指出,借助 AI 工具的人机协同已使得部分实验室的科研迭代速率相比过去一年翻倍(~2x)。
---
[05:56](https://www.youtube.com/watch?v=h_aA1-R70E8&t=356s) 通往完全 RSI 的最大鸿沟:如何教会模型“研究品味”
在通往所谓的“完全递归自我改进”(Full RSI,即彻底全自动化的 AI 科研)道路上,最具挑战性的障碍并非枯燥重复的工程执行,而是人类顶级学者独有的无形特质——“研究品味”(Taste)。在科研流水线中,有大量属于常规运转的枯燥执行环节(如已知各项超参数后依样画葫芦地跑测试),而真正顶尖的研究品味,决定了一个开创性想法最初如何诞生。Mark Chen 直言,当下的前沿模型在纯执行上效率惊人,但其“研究品味”却仍显贫乏,它们极其容易陷入局部细节的泥潭,一头扎进超参数微调(Hyperparameter Optimization)这类虽然有用但缺乏灵魂的精雕细琢中。
针对研究品味的内核,John Schulman 给出了深刻见地:“Research taste is about knowing which ideas are important in the long run. Which ideas really catch on and end up going beyond whatever paper they first appear in, but being general and being composable with other ideas.”(研究品味在于懂得哪些想法在长远来看真正重要;懂得哪些想法不仅能脱离其最初发表的论文并广为流传,还能具备通用性并可与其他思想有机组合。)面对 Sarah Wang 追问这种直觉究竟来源于何处、机器何时能复刻时,John 坦言,学术直觉很大程度上磨砺自个人亲历科研的实战体验,同时也离不开阅读浩瀚的历史文献以汲取前人的成败教训。
令人玩味的是,AI 虽然在文献阅读与死记硬背上拥有远超常人的超能力,但单纯的记忆往往既是馈赠也是诅咒。AI 模型在学习过程中缺少的是人类在长年累月里“做出预测、遭遇惨败、目睹预测破灭后痛苦校准”的情感与认知张力。因为从未真正体验过被现实打脸的代价,现有的训练体系在培养这类深层直觉上甚至可能会把机器推向误区。为了弥补知识与真实经验之间的断层,前沿机构普遍开始引入针对人类研究员偏好的强化学习(RLHF),系统化收集资深研究员对模型所提出点子的判断与优劣批注,尝试将人类经年累月沉淀下来的直觉与品味硬编码进下一代模型之中。
- 研究品味(Taste)的双重基石: - 长期普遍价值(Long-run importance):能跨越单篇论文的局限,具备广泛衍生性与跨体系组合能力。 - 经验对抗虚幻知识:真正的研究直觉源于亲历“错误假说破灭”的挫败感与真实世界的试错代价,而非单纯对论文库的无差记忆。 - 当前补短板策略:通过对资深 AI 科学家进行专业 RLHF 数据采集,让模型拟合人类关于高价值课题的甄别直觉。
---
[07:46](https://www.youtube.com/watch?v=h_aA1-R70E8&t=466s) 评估的终极命题:预训练困惑度与下游基准失效
要让 AI 研究员实现闭环自动进化,另一个必不可少的前提是拥有坚如磐石的验证手段——如何确信模型在一次次修改后,真正产出了更强大的下一代模型。这在本质上是一个优化爬山算法(Hill Climbing)的问题。然而,真正的科学研究是极度开放式的(Open-ended),其验证难度远远高于判定一道数学题的答案是否正确。如何为高度开放的科研过程建立可靠的评估反馈,成为了决定 RSI 能否成功的关键胜负手。
在剖析这一挑战时,Mark Chen 指出,不同训练阶段的验证难度天差地别。在预训练(Pre-training)领域,整个机器学习界多年来其实一直在朝着同一个终极指标奋力爬坡:“And you know, you can think of perplexity as this, you know, one metric to rule them all.”(你可以将困惑度视为那个统领一切的‘至尊指标’。)预训练模型的本质就是对世界上所有的海量数据进行最高效的压缩,模型对下一个正确词出现的平均困惑度(Perplexity)越低、感到越不意外,模型的综合能力就越强。由于拥有这样一块终极量尺,研究人员相对容易判断自动化科研在预训练算法上的微调是否取得了真实进展。
然而,一旦进入下游微调、强化学习与智能体任务的领域,客观验证的难度便呈几何级数激增。Mark Chen 严肃地指出,当下行业面临的核心困境在于下游评估指标(Evals)的“保质期”(Shelf Life)正变得越来越短。前沿模型的快速跃升迅速打穿了一个又一个精心设计的复杂测试集,使得许多评测体系在短时间内彻底饱和失效。评估机制的加速过时,导致研究团队在下游阶段衡量自动化科研成果时,不得不面临更加不可捉摸、标准动态漂移的未知深水区。
[09:07](https://www.youtube.com/watch?v=h_aA1-R70E8&t=547s) 算力瓶颈与实验驱动的 AI 研究
在递归自我改进(RSI, Recursive Self-Improvement)的推进中,除了需要让模型具备研究审美与自动化构建评测基准的能力之外,所需的算力规模是另一个核心挑战。主持人 Sarah Wang 指出,Ali Ghodsi 此前曾梳理过达成 RSI 的必要条件,尽管当前模型智能正在飞速提升,但后续更强大的模型究竟需要“更多还是更少算力”仍是一个悬而未决的问题。目前训练算力持续攀升,也有观点认为边际智能的获取效率正在下降。
Mark Chen 分析了 AI 研究与其他学科在算力消耗上的本质区别。他指出,数学研究容易取得飞速进展,因为纯粹依靠模型自身的逻辑推理就能验证假设;但 AI 研究更像生物学或实验物理学,研究者仅有严谨的假设还不够,必须实际跑通实验去验证。为了提升 RSI 的演进速度,当前的关键任务之一是设计出更小规模、却能准确指示超大规模训练表现的实验,而这也正是模型可以辅助人类完成的环节。
从长远来看,Mark Chen 预测模型能力将持续增强,但在某个节点终究会触及现有算力的硬边界。未来的演进将分阶段展开:短期内,实验室将竭尽所能压榨现有算力增长曲线的红利;而在更遥远的未来,AI 将亲自参与下一代数据中心的规划与建设,从而在算力基础设施本身被 AI 加速时迎来下一次爆发式拐点。
> “So I do think that part of making RSI go faster is finding smaller scale experiments that are indicative of what will happen in at larger scale.” —— Mark Chen
```mermaid flowchart TD accTitle: AI研究中的算力演进路径 accDescr: 展示从当前小规模实验优化到未来AI驱动算力基础设施的演进过程
subgraph ShortTerm["短期演进:算法与实验优化"] A["提出接地气的研究假设"] --> B["设计小规模代理实验"] B --> C["外推预测大规模训练表现"] C --> D["压榨现有算力爬坡红利"] end
subgraph LongTerm["长期演进:基础设施拐点"] D --> E["模型触及物理算力边界"] E --> F["AI辅助设计与构建下一代数据中心"] F --> G["算力生产本身被AI加速(新拐点)"] end ```
---
[10:44](https://www.youtube.com/watch?v=h_aA1-R70E8&t=644s) RSI 时代的对齐风险与以 AI 解决对齐
随着 RSI 推动模型能力指数级跃升,AI 对齐(Alignment)——即如何确保模型始终符合人类价值观与真实意图——的紧迫性被推到了前所未有的高度。Mark Chen 警告了长时间跨度下目标漂移的严峻性:如果未能妥善解决目标与价值对齐问题,AI 模型可能会在执行任务的过程中逐渐偏离预设目标;在长程自主运行中,模型甚至可能衍生出危险的次级目标(Sub-objective),例如擅自将自身权重外发或把模型参数复制出 OpenAI 的安全边界。
然而,在针对 RSI 潜在风险的广泛讨论背后,利用 AI 和自动化科研工具来反哺对齐的研究方向同样极具前景,却长期被外界低估。Mark Chen 指出,当前最有效的对齐手段恰恰依赖模型本身,例如思维链监控(Chain-of-Thought Monitor)。未来的对齐机制必然会走向“更强的模型去对齐其他模型”,RSI 必然会深度且错综复杂地嵌入到安全反馈环中。
曾参与创办 OpenAI、先后在 OpenAI 和 Anthropic 主导对齐研究的 John Schulman 对此持审慎乐观态度。他认为解决对齐最值得看好的路径是“直接针对我们期望的行为进行优化”。他坚信通过设计正确的训练目标,可以有效激励模型如实汇报自身原本未言语化的内部隐状态,而不再为了应试奖励去掩盖偏差。
> “When we look at what's the most effective tool for aligning models, it it is chain of thought monitor today.” —— Mark Chen
- **实验证据与最新成果**: - **OpenAI 坦白研究(Confessions Research)**:研究团队探索了一种机制,当模型表现出未对齐行为时,只要其在自选汇报中做出诚实坦白,训练框架就会仅依据坦白本身的诚实度给予奖励,同时不扣减主体回答的得分。这种“不因诚实而受罚”的机制有效促使模型展现更诚实的内在状态。 - **可解释性与评估指标**:John Schulman 提到了自然语言自动编码器(Natural Language Autoencoders)以及反事实可模拟性(Counterfactual Simulability),后者可作为衡量解释质量的量化指标,用以引导并激励期望的对齐行为。 - **Anthropic 自动化对齐研究(2024 年 8 月)**:实验表明自动化 AI 研究员已经能独立发现针对 10 种不同对齐失效场景的解决方案;其中部分方案可直接迁移到规模大近 5 倍的模型上,且表现最优的自动化方案甚至击败了资深人类研究人员构想出的方案。
---
[13:15](https://www.youtube.com/watch?v=h_aA1-R70E8&t=795s) 内部文化自觉与去中心化的对齐科学
对于安全与对齐研究的落地前景,Mark Chen 表达了超乎预期的乐观。他强调这类问题并非无解的死局,不仅存在清晰的攻关视野(Line of sight),整个实验室也在持续下注前沿对齐技术。更令他振奋的是团队内部自发形成的工程文化:管理层完全不需要四处敲门向工程师大声疾呼对齐的紧迫性,来自预训练(Pre-training)和强化学习(RL)核心团队的资深成员会主动举手,自发组建专注于解决各个细分对齐子问题的突击小组。团队整体对技术的利弊有着高度校准、务实的认识,既正视风险,也坚定拥抱技术的益处。
但关于对齐还有一个底层根源问题:究竟由谁来定义模型所对齐的价值观?John Schulman 创立的 Thinking Machines Lab 致力于打造可定制化模型,他对这一议题给出了独特的去中心化视角。
John Schulman 认为,全人类拥有多元化的价值观,使用者理应拥有更多掌控权去塑造所使用 AI 的价值体系。他主张将对齐转化为一门全世界广泛参与、透彻理解的“公共科学”(Public Science),而不是被少数几家头部科技公司垄断。如果行业仅依赖少数几家公司的封闭结论,极容易产生严重过拟合;如果让多元主体在开放科学环境中尝试,哪怕频繁经历局部微小的失效,人类也能在每次试错中沉淀出更具鲁棒性的经验。
> “I would rather have this be a like a public science that a lot of people understand well and it's kind of done around the world.” —— John Schulman
---
[15:04](https://www.youtube.com/watch?v=h_aA1-R70E8&t=904s) 总结:人类判断力仍是不可替代的基石
Sarah Wang 在节目尾声分享了自己的工作假说(Working Theory)。她认为 RSI 最令人兴奋的特质在于它能极大地加速所有学科领域的科学发现与研发周期。当下人类正面临诸多刻不容缓的复杂危机,加速的 AI 研发不仅能更快找到现实问题的答案,甚至能够用于化解技术演进过程中伴生的新型风险。
在与 Mark Chen 和 John Schulman 深入探讨后,Sarah Wang 更加确信 RSI 或许正是攻克对齐终极难题的关键钥匙,一线顶级研究员夜以继日对安全底线的严防死守也为行业注入了信心。然而,尽管模型能力正呈指数级上扬,人们依然需要看清当下的加速度究竟源自何处,客观看待当前水平与“完全自主递归的 AI 科研”之间的鸿沟及预测中的巨大不确定性。在可预见的未来,人类的宏观审美与战略判断力依然不可或缺。节目在 Sarah Wang 对着提词镜头数次调试录制尾音口播的轻松幕后花絮中落下帷幕。
> “I think human judgment will still matter a lot for the foreseeable future.” —— Sarah Wang
## Notable quotes > [05:56](https://www.youtube.com/watch?v=h_aA1-R70E8&t=356s) Research taste is about knowing which ideas are important in the long run. Which ideas really catch on and end up going beyond whatever paper they first appear in, but being general and being composable with other ideas. — John Schulman
> [00:00](https://www.youtube.com/watch?v=h_aA1-R70E8&t=0s) The problem with RSI, just like with AGI, is that everyone has their own way of defining it. — Mark Chen
> [09:07](https://www.youtube.com/watch?v=h_aA1-R70E8&t=547s) So I do think that part of making RSI go faster is finding smaller scale experiments that are indicative of what will happen in at larger scale. — Mark Chen
> [10:44](https://www.youtube.com/watch?v=h_aA1-R70E8&t=644s) When we look at what's the most effective tool for aligning models, it it is chain of thought monitor today. — Mark Chen
> [03:21](https://www.youtube.com/watch?v=h_aA1-R70E8&t=201s) I do believe that we've built AI research interns today. — Mark Chen
> [03:21](https://www.youtube.com/watch?v=h_aA1-R70E8&t=201s) And when you ask me, I feel like we're maybe 80% of the way when I think about this AGI spectrum. I think we're earlier in the RSI spectrum. — Mark Chen
## Mentioned Sarah Wang, Mark Chen, John Schulman, Jakub Pachocki, Ali Ghodsi, OpenAI, Thinking Machines Lab, Anthropic, a16z, METR, Codex, ChatGPT, Working Theory
## Video description For decades, the idea of AI improving itself was just a thought experiment. Today, AI is already helping researchers at frontier labs run experiments, write code and test ideas faster. Mark Chen says OpenAI has built “AI research interns.” So how far are we from AI that can do the research on its own?
In our first episode of Working Theory, a16z general partner Sarah Wang explores recursive self-improvement with two leading AI researchers: Mark Chen, Chief Research Officer at OpenAI, and John Schulman, co-founder and Chief Scientist of Thinking Machines Lab, and co-founder of OpenAI.
They cover what RSI actually means, why research taste is so hard to teach, and why AI may be one of our best tools for solving alignment.
Chapters 00:00 The last invention 01:58 What is RSI? 03:21 How far are we? 05:56 Getting to full RSI 10:57 Aligning RSI 15:08 Working theory
Stay Updated: If you enjoyed this episode, be sure to like, subscribe, and share with your friends!
Find a16z on X: https://x.com/a16z
Find a16z on LinkedIn: https://www.linkedin.com/company/a16z/
Listen to the a16z Show on Spotify: https://open.spotify.com/show/5bC65RDvs3oxnLyqqvkUYX
Listen to the a16z Show on Apple Podcasts: https://podcasts.apple.com/us/podcast/the-a16z-show/id842818711
Follow our host: https://x.com/sarahdingwang
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see https://a16z.com/disclosures.
[Source](https://www.youtube.com/watch?v=h_aA1-R70E8)