Vitalik警告AI安全沦为巨头集权工具 主张分布式防御制衡

Vitalik警告AI安全沦为巨头集权工具 主张分布式防御制衡 有效利他主义将数亿美元资金押注于政策游说与前沿寡头垄断，反而加剧军备竞赛并扼杀开源，AI治理必须放弃完美工程幻想转向分权制衡的分布式防御。 节目首先由科技记者 Afra 梳理有效利他主义（EA）从早期全球公共卫生捐赠蚊帐、长期主义，到演变为深度渗透前沿 AI 实验室与华盛顿政策圈的“AI安全时代”，并剖析了 EA 与理性主义在元思维和机构化运作上的本质分歧。随后，以太坊联合创始人 Vitalik Buterin 详述了自己早年受 EA 启发、因柴犬币（SHIB）空投意外变现数亿美元并捐赠给未来生命研究所（FLI）与印度抗疫基金的内幕，反思了 FLI 转向激进政治游说与技术集中控制带来的弊端。最后，针对 Anthropic 与 OpenAI 的军备竞赛及闭源垄断风险，Vitalik 提出了基于去中心化与赋能普通人的“防御型加速主义”（d/acc），主张借鉴政治学中的制衡机制与公共卫生经验，以保持开放和多元监督来应对前沿 AI 的巨大不确定性。 Anthropic 招股书披露了近百页 AI 生存危机风险，其设立的“长期利益信托”及创始人保密投票权指定机制，将有效利他主义（EA）与前沿实验室的权力代行争议推上风口浪尖。 (0:01) Vitalik Buterin 回忆 2021 年意外获赠柴犬币（SHIB）并套现数亿美元捐出，其中未来生命研究所（FLI）变现约 4 亿至 6 亿美元；但 FLI 随后转向单点 AI 政治游说，导致双方战略决裂。 (64:00) 针对 AI 安全阵营与加速主义（e/acc）的极化对立，Vitalik 主张防御型加速主义（d/acc），强调以类似公共卫生的分布式防御和开源生态取代科技寡头的中心化道德审查。 (97:57) 从消灭疟疾的“人对抗自然”转向政治游说的“人对抗人”，EA 庞大资金网络正因利益绑定与权力垄断遭受广泛质疑，顶尖智库与政策机构亦被其高薪资金虹吸。 (19:04)

本期节目深入探讨了有效利他主义（EA）与理性主义思想如何从最初的量化慈善，演变为深刻重塑硅谷前沿 AI 竞争与安全政策的主导力量。以太坊联合创始人 Vitalik Buterin 及科技观察者指出，随着庞大资本与政治游说的介入，EA 已陷入信任危机与权力集权争议，需转向强调分布式制衡与韧性的技术治理路径。 从蚊帐到超级智能：EA的思想演变与资本网络 (9:27) 有效利他主义最初由威廉·麦卡斯基尔等人倡导，核心主张是用有限的资源通过量化数据实现行善效益的最大化，早期典型实践是捐赠抗疟疾蚊帐及创办“80,000 Hours”职业咨询。然而，随着该社群吸收了埃利泽·尤德考斯基关于超级智能“价值脆弱性”与“正交性论题”的理性主义思辨，关注重心在 2015 年后急剧转向“长期主义”与 AI 生存风险。伴随以太坊 Vitalik Buterin 捐赠数亿美元加密货币资产、Dustin Moskovitz 旗下累计拨款超 70 亿美元的 Coefficient Giving 等巨额资金注入，AI 安全逐渐成为该社群的绝对核心议题。 议程垄断与信任危机：从华尔街赎罪券到利益绑定 (19:04) EA 的实践模式引发了深重道德与公信力危机。早年提倡的“赚取后捐赠”一度演化为部分金融投机者的道德对冲工具，最终因 FTX 破产及创始人 SBF 的欺诈案使社群声誉崩塌。同时，掌握巨量资金的 EA 网络被指责从“发现问题”演变为垄断“定义重要问题”的话语权，不仅在旧金山与伯克利（如 Lighthaven 聚落）虹吸了顶尖青年学术人才，更通过资助渗透华盛顿政策制定。2026 年 Anthropic 招股书中披露的安全信托保密人选，以及其安全审计机构 METR 背后的早期资助者存在利益重叠，使科技界公开声讨其陷入了“既当裁判又当运动员”的财务与道德风险，美国国防部甚至直接表态与其划清界限。 前沿竞速与“好公司必须赢”的集权悖论 (87:38) 在硅谷前沿实验室中，OpenAI 与 Anthropic 展现出截然不同的文化，由原 OpenAI 核心成员创立的 Anthropic 自诩为更注重安全的人本公司。支持者主张在全球技术竞速无法叫停的前提下，必须确保有良善原则的“好公司”赢得竞赛；但反对者与 Vitalik 尖锐指出，这种“好公司必须赢”的逻辑恰恰加剧了军备竞赛。例如 Anthropic 推出 Mythos 等新模型直接逼迫 OpenAI 放弃副线全面提速。批评者认为，以安全风险为由游说打压开源 AI，本质上与历史上的专制集权无异，且相关行动与公司自身商业利益的相关度可能超过 90%，安全叙事已沦为少数精英争夺未来控制权的手段。 超越政治化：d/acc 与分布式制衡的安全新路径 (70:18) 面对 EA 机构在涉足政策角力时暴露出的幼稚与反噬（如未来生命研究所 FLI 激进化为单一的 AI 游说机构），Vitalik 反思了传统“人对抗自然”的量化逻辑在面对复杂的“人对抗人”博弈时的失效。针对行业存在的“技术进展、对齐机制、地缘政治”三重不确定性，Vitalik 估算全人类毁灭的 P(doom) 基准为 10%，并提出“防御性加速主义（d/acc）”。该路线主张摒弃自上而下试图监控每个模型的脆弱集权模式，转而借鉴公共卫生防疫体系，投入网络安全与开源生态等赋能普通人的分布式底层防御。同时，他认为 AI 安全本质更接近政治宪政设计，应通过模块间的相互制衡（Checks and Balances）与现场经验主义来化解灾难性风险。 有效利他主义从单纯的数学行善演进为关照遥远未来的宏大叙事，但也导致技术权力和议程定义权高度集中于少数精英手中。在技术涌现脱离认知框架的背景下，如何建立具备公共制衡与透明度的纠错机制，成为前沿技术治理的核心未决课题。

[25:35] Vitalik Buterin: 你未来的自己永远会背叛你现在的自己，因为你 10 年、20 年之后，你的想法会变，你的行为会变，你身边的朋友、你的圈子会变，你想做的事情会变。 [73:31] Vitalik Buterin: 如果你骗很多人的钱，你同时用这个钱捐给一个政治的话题，那一定很多人会开始觉得，这个政治的话题就是骗钱的人会思考的。 [44:19] Vitalik Buterin: 其实你思想的能力和你的目标，是两个完全不相同的事情。 [81:24] Vitalik Buterin: 理性主义者他们的心里他们就是猫……把他们放到一个机构里，他们就会不开心，他们会觉得不自由。

[0:01] Hello大家好 [0:02] 欢迎回到《硅谷101》 [0:03] 我是Yiwen [0:05] 相信大家都看到了 [0:06] 本周Anthropic提交的招股书 [0:08] 在这份文件里 [0:09] Anthropic透露了 [0:10] 将近100页的风险因素 [0:13] 除了常见的金融和市场风险之外 [0:16] 还包括了关于前沿AI [0:18] 所带来的灾难性 [0:19] 甚至威胁人类生存的风险 [0:22] 这样的表述 [0:23] Anthropic说 [0:24] 他们自己也无法保证 [0:25] 自己的安全措施一定有效 [0:28] 那我Ctrl+F了一下 [0:29] 发现safety安全这个词 [0:32] 一共出现了248次 [0:34] 其中AI安全这个词出现了36次 [0:39] 招股书还披露 [0:40] 上市后 七位联合创始人 [0:41] 将通过特殊股份 [0:43] 掌握一般表决事项50.1%的投票权 [0:47] 与此同时 还有一个 [0:48] 叫做长期利益信托的机构 [0:50] 有权选举董事会的多数成员 [0:53] 这套安排的目标 [0:54] 是让公司在追求商业利益时 [0:57] 也考虑人类的长远利益 [0:59] 但有媒体还注意到了一个细节 [1:01] 那就是创始人可以提前指定 [1:04] 在自己失去履职能力后 [1:06] 由谁接替自己的投票权 [1:09] 这些人选需要经过内部批准 [1:11] 但名单是保密的 [1:13] 也就是说公众目前并不知道 [1:15] 未来谁是有可能参与 [1:17] Anthropic决策的人 [1:19] 在消化Anthropic招股书 [1:21] 巨大的信息量之后 [1:22] 我有两个初步的想法 [1:24] 第一就是AI安全 [1:26] 对于Anthropic这家公司的重要性 [1:28] 很明显再一次展现在了公众面前 [1:31] 但第二我担心的是 [1:33] 如果他们的警告成真 [1:35] 那作为公众 [1:36] 我们是否应该有权知道 [1:38] 谁能够代表人类来做决定呢 [1:42] 要理解Anthropic对于安全的重视 [1:44] 以及围绕它的信任和权力争议 [1:47] 就要提到一个近期反复出现的概念 [1:49] 那就是有效利他主义 [1:51] Effective Altruism 简称EA [1:55] 就在这个月 [1:56] 《经济学人》把EA放上封面 [1:58] 称它为本世纪最重要的思想 [2:01] 一些报道指出 [2:02] 围绕AI安全政策 [2:04] EA的支持者与我们播客里 [2:06] 提到过的科技右翼发生了冲突 [2:09] 甚至特朗普政府也加入了争论 [2:11] 美国国防部在社交媒体上 [2:13] 直接喊出了一句口号 [2:15] 美国主义 而非有效利他主义 [2:18] 一个听起来还属于哲学讨论的概念 [2:21] 就这样成了美国政府 [2:22] 公开划清界限的对象 [2:25] EA并不是一个新的概念 [2:27] 要理解它 [2:28] 我们要先认识两个人 [2:29] 他们的名字 [2:30] 也会在这期节目里反复出现 [2:33] 所以这一期的开头 [2:34] 和我们平时的节目比 [2:35] 会稍微长一点 [2:37] 也是因为我想把这些人物和概念 [2:39] 先给大家整理清楚 便于收听 [2:43] 第一位 就是William MacAskill [2:45] 中文通常译作威廉·麦卡斯基尔 [2:48] 他是一名哲学家 [2:50] 曾任牛津大学哲学副教授 [2:52] 也是有效利他主义运动的 [2:54] 共同发起人之一 [2:56] 他提出的问题很朴素 [2:58] 如果我们拥有的钱和时间都有限 [3:01] 怎样才能帮助更多人呢 [3:04] 比如同样一笔钱 [3:05] 捐给不同的慈善项目 [3:06] 能挽救的生命可能相差很大 [3:09] 那我们能不能用证据和分析 [3:11] 找到最有效的选择 [3:13] 他还共同创办了一个 [3:15] 叫做八万小时的职业咨询组织 [3:18] 一个人的职业生涯 [3:19] 大约有八万个小时 [3:21] 我们应该怎样使用这些时间 [3:23] 才能给世界带来更大的改变 [3:26] 很多人上一次听说EA [3:28] 可能还是因为加密货币交易所 [3:30] FTX的创始人SBF [3:32] 他曾经以赚钱是为了捐钱的形象 [3:35] 成为这个运动 [3:35] 最受瞩目的支持者之一 [3:38] FTX崩塌后 关于EA [3:40] 尤其是针对MacAskill的批评 [3:42] 也随之而来 [3:43] 当一个人声称自己 [3:45] 要为全人类谋福利 [3:47] 是不是反而更容易 [3:48] 为眼前的伤害找到借口 [3:51] 但SBF的倒台 [3:52] 并没有让EA的故事结束 [3:54] 这里就要提到另一位关键人物 [3:56] 就是Eliezer Yudkowsky [3:59] 埃利泽·尤德考斯基 [4:01] 他是一名长期研究AI安全的写作者 [4:03] 也是互联网 [4:04] 理性主义社群的重要奠基者 [4:07] 他参与创建的LessWrong社区 [4:09] 名字直译过来就是少错一点 [4:12] 他在博客里反复讨论的是 [4:14] 人为什么会犯错 [4:16] 我们怎样发现自己的认知偏差 [4:18] 当新的证据出现时 [4:20] 又该怎样修正原来的判断 [4:22] 这里所说的理性主义 [4:24] 是一套希望通过训练 [4:25] 让人更准确地认识世界 [4:27] 在不确定中做出更好的决策的方法 [4:31] 这也能帮助我们理解它与EA的联系 [4:34] 理性主义关心怎样想得更清楚 [4:36] 判断得更准确 [4:37] EA则是把证据和推理 [4:39] 用在了一个具体的道德目标上 [4:41] 怎样更有效地帮助别人 [4:44] 两个社群有很多交集 [4:45] 但EA也有自己的伦理学来源 [4:48] 不能简单地说 [4:49] 它是理性主义发展出来的一个分支 [4:52] 后来这两条思想线索 [4:53] 在AI安全上交汇了 [4:56] 尤德考斯基很早就在追问 [4:58] 如果我们造出了 [4:59] 比人类更聪明的机器 [5:01] 该怎样保证它追求的目标 [5:03] 与人类的利益一致呢 [5:05] 而在一部分有效利他主义者看来 [5:08] 如果AI真的可能威胁 [5:10] 整个人类的生存 [5:11] 那么防止这种灾难 [5:13] 会不会比其他事情更值得投入资源 [5:17] 这些讨论 [5:17] 也进入了AI公司的早期思想世界 [5:20] Nick Bostrom的《超级智能》 [5:22] 就是其中一本重要的书 [5:24] Sam Altman曾经公开推荐过它 [5:26] 也写过自己对超级智能风险的担忧 [5:29] Dario Amodei [5:30] 则很早就参与了有效慈善实践 [5:33] 与EA圈子联系密切 [5:35] 后来他和一批同事离开OpenAI [5:37] 创立Anthropic [5:39] 对AI安全和公司方向的分歧 [5:41] 就是其中的重要背景 [5:43] Daniela Amodei的丈夫 [5:45] Holden Karnofsky [5:46] 是EA慈善组织GiveWell [5:48] 和Open Philanthropy的 [5:49] 联合创始人 [5:50] 在这个圈子里 [5:51] 汇聚了很多有影响力的人物 [5:53] 包括以太坊的联合创始人 [5:55] Vitalik Buterin [5:56] 在中国大家把他称为V神 [5:59] Vitalik长期关注 [6:00] 并且资助全球健康等议题 [6:03] 2021年 他向未来生命研究所 [6:05] 捐赠了一批加密货币 [6:07] 据他后来的回忆 [6:08] 这笔捐赠 [6:09] 最终让机构兑现了大约5亿美元 [6:12] 但在这次采访里 [6:13] 你也会听到 [6:14] 他对这个圈子的一些做法 [6:16] 和EA的思想已经有了不同的看法 [6:20] 所以这一期 [6:21] 我们请到了Vitalik本人 [6:22] 以及他的朋友 [6:23] 写作者和科技记者Afra [6:26] 我们想和他们一起聊聊 [6:27] 一个从怎样更有效地做好事 [6:30] 出发的思想 [6:31] 如何走到了今天AI发展的中心 [6:34] 而当人们开始以全人类的未来为名 [6:37] 决定资金 技术和权力的方向 [6:40] 我们又该怎样理解他们的理想 [6:42] 以及其中的分歧 [6:44] 这期播客我们分为两次录制 [6:46] 我和泓君先和Vitalik Afra一起 [6:49] 聊了Vitalik [6:49] 参与这些社群和捐赠的亲身经历 [6:52] 以及他今天的反思 [6:54] 之后我们又和Afra单独录了一场 [6:56] 请她从自己的观察出发 [6:58] 介绍MacAskill尤德考斯基 [7:00] 这些关键人物 [7:02] 梳理EA与理性主义的关系 [7:04] 以及他们如何影响了 [7:05] 今天的AI安全讨论 [7:08] 节目里大家会先听到 [7:10] 我们和Afra的对话 [7:11] 再进入和Vitalik的讨论 [7:13] 有了前面的背景 [7:14] 后半段提到的人物和事件 [7:16] 也会更容易理解 [7:18] 另外Vitalik虽然是加拿大人 [7:20] 但中文很流利 [7:21] 所以这期节目全程用中文录制 [7:24] 最后我们用英文 [7:26] 提到了很多人物和机构 [7:28] 这些名词 [7:29] 我也列在了shownotes里面 [7:30] 大家可以对照收听 [7:32] 如果大家更希望对照字幕 [7:34] 来听这期播客 [7:35] 可以去到我们的视频平台 [7:38] 包括YouTube和B站 [7:39] 就能看到含有字幕的播客版本 [7:44] Afra 介绍一下自己吧 [7:45] 大家好 我是Afra [7:47] 我是一个写作者 [7:49] 也是一个科技记者 [7:50] 主要报道的是 [7:51] 中国还有硅谷AI的一些故事 [7:54] 我们今天聊有效利他主义 [7:56] 要不我们就先从 [7:57] EA这个词的定义开始吧 [7:59] Afra你觉得你是怎么理解 [8:01] EA这个思想的 [8:03] 对 我觉得EA它字面意思 [8:05] 就是有效利他主义 [8:06] 怎么能够体现一个所谓的EA的逻辑 [8:09] 就不得不提到一个人 [8:10] 就是牛津的一个哲学副教授 [8:13] 叫做Will MacAskill [8:15] 他之前创立过一个组织 [8:17] 我觉得这个组织 [8:18] 其实能够体现很多EA的精神 [8:21] 这个组织的名字叫做80000 Hours [8:24] 就是八万小时 [8:26] 这个组织它其实是帮助年轻人 [8:28] 正在寻找职业方向的年轻人 [8:30] 去找到一个对的方向 [8:32] 所以它有很多职业导师 [8:34] 有很多关于职业的资源 [8:36] 有很多job posting [8:38] 现在80000 Hours [8:39] 虽然已经变成了一个 [8:40] 跟AI职业很有关的一个东西 [8:41] 但是我觉得这个项目的名字 [8:43] 非常能体现EA逻辑 [8:44] 就是说一个人 [8:45] 一生的工作时间加起来 [8:48] 大概是八万个小时 [8:49] 那么你如何把这八万个小时 [8:51] 当成一个有限的资源 [8:53] 你会怎么分配这八万个小时 [8:55] 才能给世界最大的改变 [8:57] 这个问题一旦问出来 [8:59] 整个EA的整套思维方式就在里面了 [9:01] 就是说你在一个有限的 [9:03] 你所拥有 [9:04] 你能够支配的这一套资源当中 [9:07] 如何能够最大化地去使用 [9:09] 去分配你自己 [9:10] 可以去使用的这些资源 [9:12] 这些人非常有agency [9:13] 他就非常有能动性 [9:14] 他们执行力很强 [9:15] 他们的野心也很大 [9:16] 因为他们经常就会在琢磨一些 [9:18] 像是我有八万个小时我应该怎么做 [9:20] 这样的事情 [9:21] 但是我觉得这个问题 [9:22] 其实很多人他不太会考虑 [9:24] 所以我觉得EA [9:25] 某种程度上 [9:25] 它的精神还是非常启发人的 [9:28] 你觉得总体来说 [9:29] 有哪些话题是EA会比较关注的 [9:32] 怎么说呢 [9:33] 我其实需要把EA [9:35] 影响全球格局的这十几年的时间 [9:37] 分成大概四个阶段 [9:39] 它其实每个阶段 [9:40] 关注的重点都不太一样 [9:41] 第一个阶段 [9:43] 就是所谓的这种蚊帐时期 [9:45] 这个时期就是你用非常详实的 [9:47] 可量化的证据去改善做慈善的效率 [9:52] 去影响比方说全球的健康指数 [9:55] 这是一种可以测量的善 [9:56] 它是一个 [9:57] 由证据来支持和数据来支持的善 [10:00] 因为在EA刚刚成立的那段时间里 [10:03] 许多人想要行善 [10:04] 许多人想要 [10:05] 通过philanthropy（慈善）去捐钱 [10:06] 但是philanthropy的效率非常低下 [10:08] 以及他们捐的钱就捐不到位 [10:10] 但是EA这群人他们就想用一个 [10:12] 能够可以量化的科学的方式 [10:14] 把这个钱捐到位 [10:15] 然后去最大化它的价值 [10:17] 所以这就是蚊帐时代的来源 [10:19] 这个蚊帐指的就是 [10:20] 蚊帐是一个你捐多少钱 [10:22] 就能够挽救多少个生命的 [10:24] 一个最最有效的方式 [10:26] 接下来EA的下一个阶段就到了 [10:29] 叫做所谓的长远规划时期 [10:32] 这个长远规划时期 [10:33] 大概是在2015年左右发生的 [10:36] 就是这群人开始 [10:37] 以不成比例地去研究这种存在风险 [10:40] 和关于未来世代的一些问题 [10:43] 资金和机构也开始扩张 [10:45] 他其实也不再关心 [10:47] 一个蚊帐能救多少人 [10:49] 而是关心未来几千年 几万年 [10:52] 人类的世世代代的子女 [10:54] 这些人的生活质量和生活标准 [10:56] 所以就大量的资金 [10:58] 同时也是SBF [10:59] 以及很多其他富豪的资金 [11:02] 在这个阶段进入了社区 [11:03] 我觉得可能SBF是这个时代 [11:05] 最极端的一个象征 [11:06] 因为他自己就是一个 [11:08] 非常非常关注 [11:09] 这种long-termism（长期主义）问题的 [11:10] 这样一个人 [11:11] 我读过一篇关于Will MacAskill [11:14] 《纽约客》的人物特稿 [11:15] 里面就读到一个 [11:17] 我自己读完之后我的一个判断是 [11:19] SBF可能是整个EA [11:21] 转向长远规划long-termism的 [11:23] 决定性因素之一 [11:24] 接下来就是 [11:25] 整个社群的声誉崩盘的时代 [11:29] 出现了很大的信任危机 [11:30] 大家也开始去反思 [11:32] EA的群体到底出了什么问题 [11:34] 同时ChatGPT也诞生 [11:36] 也带来了一个AI的转折 [11:37] 所以之前EA还有理性主义群体 [11:40] 讨论的这种AI风险 生存问题 [11:42] 突然变成了一个更多人关心的问题 [11:44] 所以这个阶段 [11:45] 我觉得它是一个 [11:47] 也有很多挫败 [11:48] 但是有很多曝光的一个阶段 [11:50] 首先它曝光出了非常多 [11:52] 比方说Will MacAskill [11:53] 本人的识人的失败 [11:54] 就是他自己本人一直被社群批评 [11:57] 也是他现在仍然对SBF的反思不够 [12:01] 以及他当时一直在庇护SBF [12:03] 但是这个时期 [12:04] 也是一个真正让EA变成了一个 [12:07] 就像是《经济学人》所说的 [12:08] 一个对21世纪影响最重要的 [12:11] 一个思想流派 [12:12] 再接下来就是我们现在熟知的 [12:14] AI safety era（AI安全时代） [12:15] 我觉得是AI安全的这个时代 [12:18] 让大众 [12:18] 包括我爸 我奶奶这样的人 [12:20] 都能够听说有效利他主义这个词 [12:23] 是因为AI safety [12:24] 成为了他们最核心的议题之一 [12:26] 整个EA的网也通过 [12:27] 一是有很多的成员 [12:29] 就是在这种前沿实验室的员工 [12:31] 包括大量的资金 [12:32] 去资助AI safety的这个事情 [12:34] 使得整个EA的圈子 [12:37] 和政策圈 和国家安全的圈子 [12:39] 和华盛顿那些圈子发生了交汇 [12:42] 也导致就特朗普总统 [12:43] 比方说美国国防部会发推说 [12:45] 我们美国肯定不会变成EA的 [12:47] EA不行怎么怎么样 [12:49] 对 我觉得就是我们当下的这个阶段 [12:51] 是一个EA的新的阶段 [12:52] 有新的挑战 [12:53] 但是它也是一个 [12:54] 最进入到了公众意识当中的 [12:56] 这样一个时代 [12:58] 你刚也提到了理性主义这个社群 [13:01] 因为其实我们很多时候 [13:03] 是把AI安全和理性主义者 [13:05] 联系在一起的 [13:05] 是因为他们之前 [13:06] 有Eliezer Yudkowsky这个人 [13:09] 他自认为是一个理性主义者 [13:11] 并且提出了很多反对EA思想的声音 [13:14] 但是现在这两个社群之间 [13:16] 又好像有一些重叠 [13:17] 能不能具体给我们解释一下 [13:19] 理性主义者和有效利他主义者 [13:21] 他们有什么区别 [13:22] 有什么一样的地方 [13:25] 你如何去最大化地行善 [13:27] 你最有效地做altruistic的 [13:29] 就是这种利他主义的事情 [13:31] 这个思想的源泉 [13:32] 其实就是理性主义本身 [13:34] 这其实是一个大的合集当中的 [13:36] 一个分集 [13:37] Effective Altruism [13:38] 它其实是在某套思想体系当中 [13:40] Rationalism（理性主义） [13:41] 肯定是占很主导的地位的 [13:43] 但是EA说白了它是一套道德主张 [13:46] 但是rationalism [13:47] 它是一套认知论和思维的训练 [13:50] 这两个是不一样的 [13:52] 当你给自己冠上了 [13:53] 我是一个EA [13:54] 我是一个有效利他主义者的时候 [13:57] 这是一个有点类似于宗教 [14:00] 或者说道德主张的这样一个词汇 [14:02] 就是你就变成了那样的一个人 [14:04] 但是rational其实是一个 [14:07] 怎么去看这个世界 [14:08] 怎么去想这个世界的方式 [14:10] 它研究的是贝叶斯的认知论 [14:12] 它研究的是认知科学 [14:14] 甚至很多是互联网文化 [14:15] 这个群体他关心的问题 [14:16] 更加像是一个思维方面的 [14:19] 元思维的这种辩论 [14:20] 就是人如何在不知道自己 [14:22] 不知道什么的时候做出更好的判断 [14:25] 人类为什么会有认知偏差 对吧 [14:27] 我们怎么去更新自己的信念 [14:28] 怎么在不确定的情况下 [14:30] 做出更好的判断 [14:32] 其实rationalism [14:33] 没有人会到处跟别人说 [14:35] 自己是rationalism [14:36] 但是我觉得EA它会给你 [14:38] 有一个成员的身份感和社交感 [14:42] 它是一套你自己要做很多事情 [14:44] 而且你做的事情需要有很大的回报 [14:46] 这个回报又反过来加强 [14:48] 你自己是谁的这样一个东西 [14:50] 所以你会看到 [14:51] rationalist这个community [14:52] 这个社群 [14:53] 会变得越来越小 越来越微弱 [14:55] 但是EA这个社群会变得越来越大 [14:58] 而且越来越有影响力 [14:59] 其实就是因为他们想要做的事情 [15:01] 是完全不一样的 [15:03] 对 就像你刚才说的 [15:04] EA感觉是一种生活方式 [15:06] 或者是一种行动的指南 [15:08] 因为它本身是从一个慈善运动 [15:09] 开始发源的 [15:10] 所以如果你认同自己是一个EA [15:13] 你是会去做相应的事情的 [15:15] 没错 很多EA [15:17] 比方说EA它成员内部本身 [15:19] 有很多小圈子 [15:20] 大家都是天使投资人 [15:21] 相互会给对方喂一些讯号 [15:23] 说这个公司要融资 [15:25] 这个公司怎么样 [15:26] 要不要投 [15:27] 其实EA也有一个 [15:28] 自己赚钱的这些小圈子 [15:29] EA也有非常多的alpha [15:31] 就是未来非常有潜力的这种公司的 [15:34] 比方说关于股票 [15:35] 或者是关于原始股的一些信息 [15:37] 其实很多EA的社群当中的人 [15:40] 他对赚钱这个事情是很敏感的 [15:42] 他对捐钱这件事情也很敏感 [15:44] 我觉得EA对我来说 [15:45] 可能最大的一个感受就是 [15:47] 它更像是一个社交的 [15:49] 有点宗教性质的小圈子 [15:50] 而rationalist的话 [15:51] 是没有人要求你 [15:53] 到底要不要对这个组织 [15:54] 有什么忠诚感的 [15:56] 因为rationalist [15:56] 它本身就是一套认知论和方法论 [15:59] 我觉得我们讲一下AI安全对这些 [16:01] Frontier labs（前沿实验室）的影响吧 [16:02] 因为这是我们现在作为普通人 [16:04] 关注到EA比较常见的一个方式 [16:07] 你觉得这些 [16:09] 包括OpenAI和Anthropic [16:10] 这两家lab的创始人 [16:13] 他们是不是都在不同的程度上 [16:14] 受到了EA思想的影响 [16:16] 这个具体是他们当时接触到了什么 [16:19] 包括什么样的文本 什么样的人 [16:20] 怎么样去塑造了他们对于做AI [16:23] 做superintelligence（超级智能） [16:25] 这件事情的最初的想法 [16:28] 在这里我就陈述一些 [16:29] 我自己平时刷推 [16:31] 或者是只言片语 [16:32] 或者是平时看书读到的一些东西 [16:34] 如果用EA的滤镜 [16:37] 去审视Anthropic和OpenAI [16:39] 这两家公司的话 [16:40] 那么Anthropic是非常EA [16:41] 而OpenAI是 [16:42] 不是很EA的一个公司 [16:43] 我觉得这是一个很重要的区别 [16:45] 是因为Anthropic的七位创始人 [16:47] 当时是都在OpenAI工作的 [16:50] 但是他们是看到了 [16:51] OpenAI不够有效地去 [16:54] 管控这个AI可能带来的风险 [16:56] 他们都觉得忧心忡忡 [16:58] 他们觉得不行 [16:59] 我们不能在这家公司待下去了 [17:01] 因为他们对整个AI安全 [17:02] 当时EA的一个非常强烈的主张 [17:05] 不够重视 [17:06] 这几个OpenAI的员工 [17:08] 于是他们就决定自己出去单干 [17:10] 于是Dario就召集了一些 [17:13] 他认为跟自己理念比较相同的人 [17:16] 就出去成立了Anthropic这个公司 [17:18] Anthropic这个公司本身的名字 [17:20] 也是人本主义 人本公司 [17:22] 也就昭示着 [17:23] 他们成立这家公司的初心 [17:25] 就是去做一些 [17:27] 和OpenAI非常不一样的事情 [17:31] Anthropic里面的成员 [17:33] Dario本身是非常的EA 我知道 [17:35] 因为他之前就 [17:36] 比方说给GiveWell捐钱什么的 [17:38] 他自己也经常 [17:39] 会在自己的博客里面提到 [17:41] 他自己对于更加有效地 [17:43] 用AI去制造全球的福祉 [17:46] 他会发一些这样的文章 [17:47] 就比方说 [17:48] Machines of Loving Grace [17:49] 这样子的文章 [17:50] 就很能体现一个EA是怎么想事情 [17:52] 是怎么看待这个世界的 [17:54] 同时这个公司的另外一个创始人 [17:57] 叫做Chris Olah [17:58] 也是对Vitalik影响很深的一个人 [18:01] 他自己应该也是一个很EA的人 [18:02] Afra 不知道你最近有没有关注到 [18:05] Anthropic还有一些安全审计机构 [18:07] 和EA的关系 [18:09] 我们知道9月 [18:10] Jacob Coxon这个研究员 [18:12] 从Anthropic辞职之后 [18:14] 其实有一个 [18:14] 叫做Kevin Bass的独立研究者 [18:17] 他在X上梳理资金链 [18:19] 他主要看的就是 [18:21] Anthropic去安排给他做 [18:24] 独立安全审计的这样一个机构 [18:26] 叫做METR [18:27] 他就说METR [18:28] 还有其他的一些安全机构 [18:31] 他们的资助方 [18:32] 同时也是Anthropic的早期投资人 [18:35] 他就是Coefficient Giving [18:37] 这个机构的创始人 [18:38] Dustin Moskovitz [18:41] 他持有大量的Anthropic股票 [18:43] 所以这个所谓的独立评估 [18:45] 实际上可能是和Anthropic [18:47] 成功利益绑定的 [18:50] 那这样一来 [18:50] 其实网上就有很多声讨EA的声音 [18:54] 很多人开始质疑 [18:55] 所有的安全机构的资金来源 [18:57] 我想知道你怎么看待这些质疑呢 [18:59] 就是因为Jacob这个推特火了之后 [19:02] 大家才开始牵出来 [19:04] 就整个这个EA [19:05] 对于AI safety的资金注入 [19:07] 其实大家就开始编造各种阴谋论 [19:09] 对于我来说其实是一个阴谋论 [19:10] 你为什么觉得它是一个阴谋论 [19:12] 像很多传统媒体它就会质疑说 [19:14] 这些资金流向这些组织 [19:16] 到底有什么目的 [19:17] 到底有什么隐藏的议程 [19:19] 在我自己看来 [19:20] 我觉得一定会有某种议程的投射 [19:22] 但是EA这群人的议程是什么呢 [19:24] 就是他不想让AI变得不可控 [19:27] 同时造成让人类无法承受的后果 [19:29] 这就是他们的议程 [19:30] 其实没有什么隐藏的议程 [19:32] 最近前《纽约时报》的一个 [19:34] 很有名的记者 [19:35] 同时也是播客《Hard Fork》的主持人 [19:37] Kevin Roose他写了一本书 [19:39] 这本书叫做The AGI Chronicles（AGI编年史） [19:41] 这本书Kevin在写作的时候 [19:42] 他就拿了一些有EA背景的钱 [19:45] 于是就有很多人就质疑说 [19:47] 你这本书的钱的来源是不是不明白 [19:51] 是不是你是一个接受了EA的钱 [19:53] 你就一定要去把这个议程 [19:55] 写进书里的这样一个事情 [19:57] 但我觉得最大的问题可能是 [19:59] 当一个思想运动有了这么多钱以后 [20:02] 它到底是在发现最重要的问题 [20:04] 它同时也是开始在参与 [20:06] 它决定什么问题会被认为是重要的 [20:09] 我们现在其实已经生活在了一个 [20:11] EA这群人的 [20:14] 很早他就跟我们说过 [20:16] 他们要做的这个事情的后果当中 [20:18] 他们很早就说 [20:19] AI安全这个问题是重要的 [20:21] 他们很早就说过 [20:22] 我们要往这个里面注入很多的钱 [20:23] 我们要创造影响力 [20:25] 我们现在就生活在这个影响力当中 [20:27] 对吧 [20:28] 我见过一些华盛顿的传统智库 [20:30] 它甚至很难招聘到 [20:31] 合格的AI政策的分析员 [20:33] 因为年轻的这些人才 [20:35] 有能力的这些人才 [20:36] 他都流入了EA赞助的 [20:38] 各种智库和各种组织中 [20:40] 如果你是一个 [20:41] 比方说20岁出头的年轻研究员 [20:43] 你刚刚从学校毕业 [20:44] 拿了斯坦福的PhD [20:45] 你想要研究AI的经济 [20:47] 然后你会发现 [20:48] AI alignment（AI对齐） [20:49] 和AI safety这个领域 [20:51] 有大量的fellowship（研究员席位） [20:52] 有大量的grant（科研资助） [20:53] 有很多这种research positions（研究职位） [20:54] 有很多给你的这种岗位 [20:56] 而且你能拿到很不错的年薪 [20:58] 而且这些机构只管给你钱 [21:01] 也不怎么管你的研究方向 [21:03] 而与此同时 [21:04] 其他的研究机构就没有这么多资源 [21:06] 也没有那么多给你的自由程度 [21:08] 你在这个AI safety这些机构当中 [21:10] 也没有人要求你改变信念 [21:12] 所以我就见过越来越多 [21:14] 这样子的年轻人逐渐被 [21:16] 跟AI safety有关的这种 [21:18] 所谓的带引号的EA机构所吸纳 [21:21] 我也见过越来越多 [21:23] 因为跟这些机构 [21:25] 每天跟这些人不断地见面 讨论问题 [21:29] 从而被safety-pilled（被说服）的 [21:31] 一些非常聪明的人 [21:32] 但是从我的观点来看 [21:34] 我认为被safety-pilled [21:36] 在现在这个阶段被safety-pilled [21:38] 是一个很正常的事情 [21:39] 即使你对AI安全问题不是那么关心 [21:42] 我觉得你就每天的各种普通的新闻 [21:44] 看各种电视的报道 [21:45] 你也会被safety-pilled [21:48] 我知道你其实会经常去伯克利 [21:50] 还有旧金山一些EA的组织 [21:52] 或者我们把它叫做理性主义的组织 [21:55] 我还听说在旧金山 [21:57] 比如说我们刚刚提到的 [21:58] METR的这家组织 [21:59] 如果你要进去参加一些类似于 [22:02] 比如说Anthropic [22:03] 或者是研究员的活动 [22:05] 你说自己 我不是一个EA主义者 [22:06] 他们会问 [22:07] 你说你不是EA [22:08] 你可能连旧金山的很多活动 [22:10] 你都进不去 [22:11] 我觉得EA也很有意思 [22:12] 就是你问一些人说你是EA吗 [22:14] 他们说 我也不是EA [22:16] 但是我跟他们的人走得很近 [22:18] 没有EA的人 [22:19] 天天把自己是EA挂在嘴边的 [22:22] 其实有很多我的EA朋友 [22:23] 他们很EA [22:24] 但是他们并不觉得自己是EA成员 [22:26] 我觉得这个也是很有意思的 [22:28] 伯克利是一个怎样的氛围 [22:29] 我觉得伯克利 [22:30] 是不是它更偏向于理性主义的社区 [22:33] 我知道有一个组织叫Lighthaven [22:36] 大家也经常聚会办活动 [22:37] 它跟旧金山的氛围还不太一样 [22:40] 对 我觉得现在伯克利 [22:42] 它已经自成一个体系了 [22:44] 就是伯克利有非常多AI安全 [22:47] 第三方的审计机构 [22:49] 或者像METR这样的组织 [22:50] 就伯克利已经有几十家了 说实话 [22:53] Lighthaven [22:54] 它其实是一个理性主义者 [22:56] 和一些EA赞助的活动场所吧 [22:59] 它是在伯克利 [23:00] 有大概六到七个独栋的房子 [23:03] 组合而成的一个活动场所 [23:05] 你在那里面可以听讲座 [23:07] 在里面可以自由地社交 [23:08] 在晚上还有篝火什么的 [23:10] 你可以在上面烤棉花糖 [23:12] Lighthaven就是被看作是 [23:14] AI safety和EA [23:16] 还有理性主义的一个大本营 [23:18] 我自己会偶尔去Lighthaven [23:20] 开一些跟AI相关的会 [23:22] 去认识一些人 [23:24] 我两个星期前刚刚从两个会议回来 [23:27] 其中一个会议叫做The Curve [23:28] 另外一个会议叫做 [23:29] Progress Conference [23:30] 一个是关于AI呈以curve [23:34] 就呈爆炸式的水平发展的 [23:36] 这样一个跟前沿AI研究 [23:38] 很相关的一个会 [23:39] 第二个会是Progress Conference [23:41] 它更加主张的是要推动社会的进步 [23:45] 就很像是Ezra Klein [23:46] 写的Abundance 就《富足》 [23:48] 如何我们用现有的科技 [23:50] 去营造一个更加富足的 [23:52] 更加有未来感的一个社会 [23:53] 它其实讨论的 [23:54] 是各种前沿的科学研究 [23:56] 比方说如何教育下一代 [23:58] 对未来更加有信心 [23:59] 讨论的是这样的话题 [24:01] 你觉得这些话题 [24:02] 就是大家在讨论的时候 [24:04] 对很多比如说推动事件的进展 [24:06] 推动AI是加速发展 [24:08] 还是它应该慢一点 [24:10] 那在真正对事情的影响上 [24:13] 会有强大的影响力吗 [24:15] 我觉得会 [24:16] 我记得去年的The Curve [24:17] 就是关于这个前沿AI的会议 [24:19] 其实有很多华盛顿 [24:20] 就国会的人在 [24:23] 也有很多加州的政府这些议员们在 [24:27] The Curve它其实带来的这种 [24:28] 群体效应还是挺明显 [24:30] 它是一个华盛顿和硅谷 [24:32] 最好的一个Venn diagram（交集图） [24:34] Venn diagram就是两个圈圈碰在一起 [24:37] 圈圈和圈圈中间的那个 [24:39] 相交的地方就是Venn diagram [24:41] 所以我理解他们的影响力 [24:43] 可能是在推动政策 推动监管上 [24:45] 是的 没错 [24:47] 那理性主义的社区呢 [24:49] 我觉得理性主义的社区 [24:50] 就更佛系一点 [24:51] 理性主义的人 [24:52] 他其实不那么想要去寻求影响力 [24:55] 就是impact [24:57] 所以理性主义社区的那些人 [24:58] 他们还是像之前那样 [25:00] 大家就写写博客 [25:01] 然后研究研究这个 研究研究那个 [25:04] 就他们没有那么多 [25:05] 现在硅谷所说的就4D Chess [25:06] 就4D象棋 [25:08] 他们脑子里面没有那么多 [25:09] 我今天要做A 可以达到B [25:12] 所以我能最后达到我的目标Z [25:14] 但是我要怎么怎么逆向工程一下 [25:17] 这个事情 [25:17] 然后我怎么怎么样 [25:18] Rationalist的人 [25:19] 他其实没有那么多宏大的计划 [25:22] Rationalist还是很可爱 [25:23] 就像是Vitalik说的 [25:24] 就Rationalist [25:25] 他们就喜欢做自己爱做的事情 [25:29] 有很多人写小说 写博客 [25:31] 讨论一些很nerdy的数学问题 [25:33] 讨论一些很nerdy的AI的问题 [25:35] 我看你之前还去伦敦 [25:37] 参加过一个 [25:38] 叫做GovAI Fellowship的项目 [25:40] 你是有见到我们刚刚提到的 [25:42] EA的一个精神领袖 [25:43] 叫做Will MacAskill [25:45] 你是有见到他 [25:46] 有跟他们交流吗 [25:47] 我见到Will MacAskill [25:49] 应该是在The Curve见到的 [25:51] 其实他在GovAI这个组织当中 [25:54] 他算是一个导师 [25:55] 但是我从来没有在办公室 [25:57] 因为我那个fellowship [25:58] 就三到四个月 [26:00] 就是在伦敦的King's Cross [26:01] 十字国王那个车站旁边 [26:03] 我本来当时还挺期待见到他的 [26:06] 因为在网站上他是导师之一 [26:08] 但是我反而是在加州见到了他 [26:10] 因为听说他要搬来旧金山了 [26:12] 就是在牛津待了16年以后 [26:15] 终于要搬到旧金山了 [26:16] 对 我就是第一次见到了Will [26:18] 然后我跟他聊了十几分钟吧 [26:21] 我觉得他身上几乎浓缩了 [26:23] EA过去十几年的很多的思想变化 [26:26] 《纽约客》的Gideon Lewis-Kraus [26:29] 在2022年给他写过一篇 [26:31] 非常好的profile [26:32] 这篇profile大概七八千字 [26:34] 文章里面这个Will本人 [26:37] 尤其是刚刚开始 [26:39] 创立EA的这些组织的时候 [26:41] 他有一点先知和那种苦行僧的味道 [26:44] Gideon他自己作为一个作者 [26:46] 他自己有写到就是说 [26:47] 你在Will周围 [26:48] 你会有一种 [26:50] 我应该去行善的道德压力 [26:52] 因为Will他的吃穿住行非常的朴素 [26:55] 而且他还不断地在捐自己的收入 [26:57] 你觉得他对整个EA圈 [26:59] 核心影响是什么 [27:00] 就是一个精神领袖 [27:02] 对 他算是一个EA的精神领袖 [27:04] 同时他也是创立了牛津的 [27:07] 一些核心EA组织的这样的一个人 [27:10] 他在22岁那年的时候 [27:12] 遇到了一个澳大利亚教授 [27:13] 叫做Toby Ord [27:15] 两个人一拍即合 [27:16] Toby Ord他是一个非常注重EA [27:18] 也非常注重 [27:19] Long-termism的这样的一个人 [27:21] Will就是当场 [27:22] 就在22岁的时候 [27:23] 他就承诺说 我要自己 [27:25] 要力所能及 [27:25] 把自己的财富永久地捐出去 [27:28] 他非常愿意把自己 [27:29] 未来的自己绑住的想法 [27:32] 这也是之后很多人 [27:33] 会不断地在批评的一点就是说 [27:36] EA他有一个 [27:37] 我和我未来一个更加富有的自己 [27:39] 去签订合约 [27:40] 去做我现在的自己想要做的事情 [27:43] 但是我记得Vitalik对于EA的 [27:46] 这种理念的批评就是 [27:48] 你未来的自己 [27:48] 永远会背叛你现在的自己 [27:50] 因为你10年 20年之后 [27:52] 你的想法会变 [27:53] 你的行为会变 [27:54] 你身边的朋友 你的圈子会变 [27:56] 你想做的事情会变 [27:57] 你怎么能够保证你未来 [27:59] 为了今天你想要行的善 [28:01] 而变得更加富有的自己 [28:02] 能够执着地坚守 [28:03] 你今天承诺的事情呢 [28:05] 但是这就是当时的Will [28:06] 他说我要把自己的收入 [28:08] 全部都捐出去 [28:09] 我觉得还有一个 [28:11] EA它其实在刚刚设立的时候 [28:14] 几年之后 [28:15] 就出现了占领华尔街的运动 [28:17] 在占领华尔街如火如荼的时候 [28:20] 当时的这种道德主张就是 [28:22] 华尔街的这些人是吸血鬼 [28:24] 他们是造成了美国的很多中产 [28:26] 和更加底层的 [28:27] 这样的一些人的生活更加拮据 [28:30] 甚至毁掉他们这些生活的 [28:31] 这些邪恶的人 对吧 [28:33] 但是当时Will在牛津大学 [28:35] 发表了一场题为 [28:37] 医生 非政府组织工作者 [28:39] 还是其他什么 [28:40] 就是哪种职业能够更加造福社会的 [28:43] 这样一个演讲 [28:43] 其实是在帮助当时牛津的 [28:45] 这种刚刚毕业的学生 [28:46] 去思考以后应该从事什么职位 [28:49] 同年他也创立了八万小时的项目 [28:52] 他其实做的事情 [28:53] 就是想要为一些本科生 [28:54] 提供道德生活优化的一些建议 [28:57] 这个时候 [28:59] 他提出了一个观点就是说 [29:01] 你们这些牛津的精英院校的学生们 [29:03] 你们如果想要去造福这个世界 [29:05] 你可以选择在贫困国家当医生 [29:07] 但是你这个医疗生涯当中 [29:08] 你八万个小时你能救多少人 [29:11] 你可能会拯救 [29:12] 相当于一百四十条生命 [29:14] 但是你也可以加入 [29:16] 这个非常邪恶的华尔街 [29:18] 或者是邪恶的咨询行业 [29:20] 你通过明智的捐赠 [29:22] 可能你拯救生命的数量是前者 [29:25] 你在贫困国家当医生的十倍 [29:27] 因为你能够捐那么多钱 [29:29] 你能够买很多很多蚊帐 [29:30] 每个蚊帐可能都可以救很多人 [29:33] 所以在当时 [29:34] 在华尔街最有道德污点 [29:36] 最臭名昭著 [29:38] 最没有办法 [29:38] 去吸引到精英学校学生的时候 [29:41] 其实是有些人听了Will的道德建议 [29:43] 而去投身进了华尔街 [29:45] 我觉得之所以有效利他主义 [29:47] 能够被SBF 像Jane Street [29:49] 这样的一些交易者所吸引 [29:52] 其实也是 [29:53] 他们其实在试图用EA [29:54] 去弥合某种道德错位感 [29:57] 他会经常可能会扪心自问说 [29:59] 我做这件事情真的是有意义的吗 [30:00] 就是疯狂地不断地做量化交易 [30:02] 然后去赚钱 [30:03] 通过各种杠杆 各种措施去赚钱 [30:05] 我做得真的好吗 [30:06] 但是 如果我把这个全捐出去 [30:09] 那么我做的事情就是好事了对吧 [30:10] EA的这套主张 [30:13] 会给很多在华尔街做一些 [30:16] 最大化利益的一些人 [30:18] 提供了一个借口 [30:19] 这个借口就是 [30:20] 我其实过来是做善事的 [30:22] 这个借口是一个非常会被人利用 [30:26] 或者是被很多人去剥削的一个事情 [30:29] 这个点很精彩 [30:31] 然后在2015年 [30:33] Will MacAskill受聘成为了 [30:34] 牛津大学最年轻的哲学副教授 [30:37] 他当时只有28岁 [30:38] 在同年的夏天 [30:39] 他的八万小时项目 [30:41] 也被Y Combinator 就YC所接纳 [30:43] 有效利他主义的这个全球峰会 [30:45] 在谷歌总部举行 [30:47] 像从Elon Musk [30:48] 到很多其他的这种硅谷富豪 [30:50] 都出席了其中的一些panels [30:53] 比方说Musk就出席了 [30:55] 当时关于人工智能小组的这个讨论 [30:57] 我觉得可能2015年的EA [30:59] 是某个方面的一个顶峰 [31:01] 可能在Will MacAskill的眼中 [31:03] 可能这是一个顶峰 [31:04] 因为他其实EA的这套哲学思想 [31:06] 已经渗透到了硅谷最有钱 最富裕 [31:10] 也是最有资源 [31:11] 最能推动社会往某个方向走的 [31:13] 这一群人 [31:14] 对 我注意到EA整个的起源 [31:17] 是在牛津大学 [31:18] 但是它后面的发展 [31:20] 包括你刚刚提到了 [31:21] 像今年Will MacAskill [31:22] 已经搬到硅谷来了 这说明了什么 [31:25] 我觉得这说明EA本身的核心主张 [31:29] 和核心想要做的事情 [31:31] 已经完全变成了AI safety [31:33] 和之前已经不是很一样了 [31:35] 之前的所有做的事情 [31:37] 比方说预防全球的疾病 [31:39] 或者是提高行善的效率 [31:42] 关注其他意义上的生存风险 [31:44] 就是到现在其实已经很难找到了 [31:46] 就基本上所有EA的关注点和精力 [31:50] 其实都已经放在了AI safety [31:52] 或者说AI safety [31:53] 已经不成比例地被放大了 [31:55] 我怎么觉得EA也在追热点 [31:57] 我觉得热点是被EA创造出来的 [31:59] 就我觉得我们现在生活在一个 [32:01] EA在很多年前 [32:02] 就已经规划好的一个现状当中 [32:04] 有意思 [32:05] 就是EA其实在很多年前 [32:06] 就已经说过了 [32:07] 说我们就是要花这么多钱 [32:09] 去做这么多的impact [32:10] 我们现在就是要impactmaxing [32:12] 而我们现在已经活在了EA所创造的 [32:14] 他们impactmaxing的世界当中了 [32:17] 你会对外说你自己是EA吗 [32:19] 我不会 因为我真心觉得我不是 [32:21] 我很关心AI safety [32:22] 但是我不是EA [32:23] 比方说我不会捐钱 [32:24] 我觉得我自己现在做的事情 [32:27] 还不到我自己能够去捐钱 [32:28] 或者说过度地去考虑 [32:30] 全球范围内的一个 [32:32] 我应该行怎样的善这样一个地步 [32:34] 我自己最感兴趣的是EA的哲学 [32:36] 和他们的intellectual（智力的）的世界 [32:39] 我对他们来说就可能是一个 [32:40] 想写一群很有意思的人的 [32:43] 这样子一个智识上的吸引 [32:45] 就像是我自己也会很关注 [32:47] 比方说在旧金山认为 [32:49] AI会替代人类的这样的一群人 [32:52] 就我会很喜欢关注 [32:53] 这些奇奇怪怪的群体 [32:55] 但是你有接受过EA的钱吗 [32:57] 就比如说你刚刚提到 [32:58] 伦敦的fellowship的这件事情 [33:00] 他们应该是有一个资助的 [33:02] 还是说这个要自费去的 [33:04] 这个是有资助的 [33:05] 这个其实也没有那么多钱 [33:07] 大概就是一两万的英镑 [33:09] 因为我当时在伦敦 [33:12] 我不需要在伦敦付房租 [33:13] 所以这个钱我并没有拿来付房租 [33:15] 但是这个钱如果是让一个年轻人 [33:17] 在伦敦住四个月的话 [33:19] 其实甚至都不是很够房租的钱 [33:22] 在伦敦这个物价 [33:23] 这点钱是算不了什么的 [33:26] 所以我觉得很有意思 [33:27] 就你刚刚说你不是EA [33:29] 是因为你觉得从EA的核心理念来看 [33:32] 你可能还没有到 [33:33] 你可以把你的钱捐赠出去的 [33:35] 这样的一个实践者 [33:37] 但是其实你同时 [33:39] 又是被EA的思想吸引的 [33:41] 就你觉得这里面的很多 [33:42] 在智识上的东西 [33:44] 它是有带给你在精神上的 [33:46] 不管是愉悦感 [33:47] 还是你觉得 [33:47] 你可以有很多的东西去探索 [33:49] 我在想这是不是也是很多 [33:51] 我们接触到的EA群体 [33:53] 大家一个比较共性的画像 [33:56] 跟吸引他们的点 [33:58] 我觉得EA它有一点很吸引我的地方 [34:01] 我其实在某种程度上 [34:03] 我想要在形式上更加EA一点点 [34:06] 是因为我觉得EA这些人 [34:08] 他能够把自己想要做的事情 [34:10] 和自己想要对这个世界带来的影响 [34:12] 能够转化成 [34:14] 对自己要做什么的某种激励 [34:16] 有点类似于 先做人再做事 [34:19] 有一点点燃的 [34:20] 是你自己心里面的一个火苗 [34:23] 因为我会发现 就很多EA的人 [34:25] 他自己想要做的事情 [34:26] 他其实并不先管我想赚多少钱 [34:28] 而是先管我想要做什么事情 [34:30] 再去想要我怎么去搞到这些钱 [34:32] 或者我怎么去实现这个事情 [34:34] 就我觉得这是一个很有意思的点 [34:36] 就像是我同样也会被 [34:37] AI创业的这种氛围所吸引一样 [34:39] 或者硅谷的founders文化吸引一样 [34:42] 很多founders他其实也是这个理念 [34:44] 我想要创建一家什么样的公司 [34:46] 然后我再去想融资这件事情 [34:47] 然后我再去想 [34:48] 就是我怎么去具体操作这件事情 [34:50] 就是我觉得这很多逻辑是很像的 [34:52] Maybe这也是为什么硅谷和EA [34:55] 一拍即合的原因 [34:56] 硅谷很多这种亿万富翁 [34:58] 和被EA的这种理念非常吸引的人 [35:00] 因为我觉得EA它首先 [35:02] 它做的事情是让你很有野心地去 [35:06] 在你心里面去画一个 [35:08] 你对未来的图景 [35:10] 然后你再回到现实 [35:11] 让今天的自己去实现那个 [35:13] 你画出来的图景 [35:14] 我觉得这是一个很有意思的 [35:15] 一个思想和行动的一个指南 [35:18] 其实我们知道现在在整个EA里面 [35:21] 大家关注AI safety [35:23] 大家的主流立场 [35:24] 是我们应该尽量去减缓AI的发展 [35:27] 至少说我们在保证安全以前 [35:29] AI它不应该那么快速地发展 [35:32] 相对应跟它立场相反的 [35:34] 就是我们说的 [35:35] e/acc（有效加速主义）派 [35:36] 就是以a16z为代表 [35:38] 他们是希望能够加速AI的发展的 [35:41] 所以刚刚其实你有提到 [35:42] 比如说在2015年 [35:44] 有效利他主义它的全球峰会 [35:46] 是在谷歌举行的 [35:47] Elon Musk也出席了他们的活动 [35:50] 但是我觉得今天站在这些创始人 [35:52] 各自不同的立场上 [35:54] 可能有些人认为 [35:55] 我们还是要去让AI加速发展 [35:57] 因为它已经变成了一场竞赛了 [35:59] 但是同时安全问题 [36:01] 也是大家关注的一个非常重要的点 [36:03] 所以你觉得我们应该 [36:05] 因为AI安全的问题 [36:06] 现在减缓AI的发展速度吗 [36:12] 我首先先想要回答你刚刚说的 [36:14] 就是e/acc和EA之间的一个张力 [36:17] e/acc这群人 [36:18] 他其实和EA是很不对称的 [36:21] e/acc他其实完全没有形成一个 [36:22] 真正的力量 [36:23] 就是所谓的e/acc那群人 [36:25] 认为自己是有效加速主义者 [36:26] 是e/acc [36:27] 他其实是一个没有那么清晰的现象 [36:30] e/acc其实在很多人眼里 [36:31] 是一个meme [36:32] 它是一个在网上的hashtag [36:35] 它其实不是一个真正的行动力量 [36:36] 而EA它是一个真正的行动力量 [36:39] 其次就是对AI safety这个事情 [36:41] 我觉得我过去的 [36:43] 在开完The Curve [36:44] 还有Progress Conference [36:45] 这两个会之后 [36:47] 我自己也和OpenAI [36:48] 还有Anthropic的十几 二十个 [36:50] Researchers聊了天之后 [36:51] 我觉得我自己对于AI safety [36:54] 有了非常多新的理解吧 [36:56] 我变得更加愿意去相信RSI [36:59] 也就是AI的自我迭代 [37:01] 自我进化的速度 [37:03] 和现在的RSI的进化曲线 [37:06] 是一个让我觉得有点 [37:08] 忧心忡忡的事情了 [37:09] 然后有好几个研究员都跟我说 [37:11] 就过去一年AI的进步 [37:12] 甚至已经超过他们自己原本的预期 [37:14] 对 我觉得现在就是一个 [37:15] 前沿的AI发展 [37:16] 是一个很严重的认知论的问题 [37:18] 这个认知论我不知道该怎么解 [37:21] 所以我觉得 [37:21] 可能现在放缓一个AI的发展 [37:24] 尤其放缓RSI的发展 [37:25] 可能是一个好事 [37:26] 就是让大家先坐下来相互说一说 [37:29] 到底应该怎么办 到底发生了什么 [37:30] 我们能不能用人话 [37:31] 把这些事情解释清楚 [37:33] 再去进行疯狂的AI race（AI竞赛） [37:37] 非常精彩 最后这一段 谢谢Afra [37:40] 好 谢谢 [37:43] 刚才和Afra聊下来 [37:45] 我们看到了 [37:45] EA怎样从一场讨论如何更有效地 [37:48] 做好事的运动 [37:50] 逐渐影响了今天的AI研究 [37:52] 资金流向 甚至政治议程 [37:54] 这些思想能够产生今天的影响 [37:57] 也离不开背后巨额资金的支持 [38:00] 比如当下最大的慈善机构 [38:02] Coefficient Giving [38:03] 从2014年以来累计推动的拨款 [38:06] 已经超过70亿美元 [38:07] 其中多数资金来自这对夫妇 [38:10] Facebook的联合创始人 [38:12] Dustin Moskovitz [38:13] 和妻子Cari Tuna [38:14] 创办的Good Ventures [38:16] 资金流向了全球健康 动物福利 [38:19] 疫情防范以及AI安全等领域 [38:21] 也支持了一批研究机构 [38:23] 和人才培养项目 [38:25] 另一位重要的捐赠者 [38:26] 就是Vitalik [38:28] 2021年 他曾经向多家慈善机构 [38:30] 捐出一批加密货币 [38:32] 媒体按照当时的价格 [38:34] 估计约15亿美元 [38:36] 用途涵盖疫情救助 全球健康 [38:39] 和科研等领域 [38:40] 不过 加密货币价格波动很大 [38:42] 账面价值与机构最终拿到的钱 [38:45] 可能相差很多 [38:47] 其中他捐给未来生命研究所 [38:49] FLI的那批代币 [38:51] 据他后来回忆 [38:52] 最终兑现了大约5亿美元 [38:54] FLI也明确表示 [38:56] Vitalik是它迄今最大的捐赠者 [38:58] 远超其他人 [39:00] 所以接下来与Vitalik的对话 [39:02] 也是与一位重要捐赠者 [39:04] 对自己选择的回顾 [39:06] 他当初为什么支持这些机构 [39:08] 当他们后来的方向 [39:09] 与自己的期待出现分歧 [39:11] 他又是怎么看的 [39:15] 这个特别巧 因为是我问Afra [39:17] 就是我们想做一期 [39:18] 关于有效利他主义的节目 [39:20] 问Afra有谁可以跟我们一起聊一下 [39:22] Afra直接说 [39:23] 要不就直接叫Vitalik来聊一下 [39:25] 所以你为什么觉得Vitalik [39:26] 非常适合聊这个节目 [39:28] 我觉得Vitalik比较适合 [39:29] 做这期话题的嘉宾 [39:31] 是因为我之前看他的一些博客 [39:33] 比方说教人们怎么更加有效地 [39:35] 做一个digital nomad（数字游民） [39:36] 就是你应该去打包什么行李 [39:38] 在这个打包行李的这篇文章当中 [39:40] 他就有讲解 [39:41] 就说他从来不坐商务舱 [39:43] 但是在那个时候 [39:45] 如果这篇博客是三四年前写的话 [39:47] 那他其实已经是一个 [39:49] 身家好多好多个亿的人了 [39:51] 但是他不坐商务舱的 [39:53] 其中一个很大的原因就是因为 [39:54] 他觉得坐商务舱的一张机票 [39:56] 其实可以挽救很多人的生命 [39:58] 这其实是一个底层逻辑非常 [40:00] 就是有效利他的 很EA的一个逻辑 [40:03] 之后 在三年前的2023年 [40:05] 我参加了Vitalik在黑山组织的 [40:07] 他自己的network state（网络国家） [40:09] 叫做Zuzalu [40:10] 在Zuzalu的两个月当中 [40:11] 我就认识了很多EA [40:12] 这个群体的一些成员 [40:14] 包括接触了他们的很多哲学思想 [40:15] 和他们当时很在乎的一些议题 [40:18] 其实当时已经开始的 [40:20] 有一个对于AI安全的整体的转向 [40:22] 我觉得其实我对于EA [40:23] 对于这个rationalist [40:25] 所有的思想逻辑 [40:26] 所有的ideology（意识形态） [40:27] 其实都是从Vitalik这边来的 [40:30] 那Vitalik你要不要讲一下 [40:32] 你最初接触EA是什么原因 [40:34] 当时它是什么吸引了你 [40:36] 大概我第一次听到理性主义 [40:41] 和EA这两个概念 [40:43] 可能是2013年和2015年之间 [40:48] 那个时候两个都很早期 [40:51] Eliezer Yudkowsky [40:52] 他是在理性主义的那边 [40:54] 但是他有一个博客叫LessWrong [40:57] 写过很多很多的文章 [41:00] 叫The Sequences [41:01] 他们在谈关于什么物理学 道德 [41:04] 所有的有意思的话题 [41:07] Effective altruist的这群人有说到 [41:12] 其实我们大部分人做的慈善 [41:17] 大家的目的是非常好的 [41:20] 大家的心是非常好的 [41:22] 但是大部分的效率是很低的 [41:25] 他们在那个时候讨论了很多 [41:28] 在非洲健康的话题 [41:31] 他们有一个很出名的 [41:34] 一个statistic（统计数字） [41:34] 就是如果你用 [41:38] 那个时候是2000美元 [41:41] 给一些在非常穷的非洲国家的人 [41:46] 买那个蚊帐的时候 [41:48] 你可以防护很多人 [41:51] 不让他们得疟疾 [41:53] 那就可以救下很多很多人的命 [41:56] 他们的这个statistic就是 [41:58] 你每次付2000块 [42:02] 你就可以救一个人的命 [42:04] 其实大部分的人 [42:07] 他们会花2000块做什么 [42:11] 有可能是一个公务舱的机票 [42:15] 如果你是一个非常非常的土豪 [42:18] 有可能你会买一个私人机 [42:21] 比如从亚洲去美国 [42:23] 可能会需要20万块 [42:25] 你可以想一想 [42:26] 就是第一个选择 [42:28] 20万块那你可能12个小时 [42:31] 可能24个小时更舒服 [42:33] 第二个选择 [42:34] 就是你可以救100个人的命 [42:39] 如果真的是这样子的 [42:41] 那我自己也必须 [42:44] 就是花自己的钱到这样的环境 [42:48] 2016年和2017年的时候 [42:51] 以太币涨了10倍 [42:53] 于是我把我一小部分的以太币 [42:56] 都卖掉了 捐给那些组织 [43:00] 有时候是捐给非洲的 [43:02] 那些买蚊帐的 [43:04] 有时候我也捐了一些其他的 [43:06] 就是我也特别支持 [43:08] Aubrey de Grey的那些 [43:09] Longevity（长寿）的话题 [43:11] 他说我们现在几乎有足够的技术 [43:16] 可以活到150岁或者200岁 [43:20] 或者还更多 [43:21] 这个话题是很重要的 [43:22] 但是几乎没有人研究 [43:25] 所以我大概就是 [43:27] 我自己用我同样的那个算法 [43:30] 我就是说 好 [43:31] 就是现在这个领域 [43:34] 有的钱可能是100万 可能是300万 [43:38] 如果我自己给100万 [43:40] 那我可能会加速一个月 [43:42] 那可能就会救100万人的命 [43:46] 还可能更多 [43:47] 所以我就往这个方向开始思考了 [43:51] 我就开始捐很多自己的钱 [43:54] 给这些领域 [43:56] 包括那些global health（全球健康） [43:57] 包括longevity 还有更多 [44:00] 所以我大概从2017年和2018年 [44:06] 开始就给他们比较多自己的钱 [44:08] 所以Vitalik [44:09] 您刚开始关注EA的时候 [44:11] 其实您关注的话题 [44:12] 主要是像global health [44:14] 刚才提到的这些longevity [44:16] 就更多是健康方面的议题 [44:18] 对 [44:19] OK 大家因为刚才提到了理性主义 [44:22] 我们要不要讲一下Yudkowsky [44:25] 他的核心思想是什么样的 [44:27] 包括Scott Alexander [44:28] 因为他是做了Slate Star Codex [44:30] 这个博客 [44:31] 也是在这个圈内 [44:32] 影响非常深的这样一些 [44:34] 算是思想的源泉吧 还有文本 [44:36] 我们能不能聊一下 [44:37] 理性主义和有效利他主义的区别 [44:41] 这两位关键的人物 [44:42] 他们的核心思想是什么样的 [44:44] 我可以简单地说 [44:46] EA最核心的目标就是帮我们了解 [44:50] 怎么最有效地帮助 [44:53] 其他人改善生活 [44:55] 理性主义是 [44:57] 帮我们更有效地思考 [45:01] 怎么更理性地 [45:02] 为了帮助其他的人做事情 [45:05] 所以再讲LessWrong Yudkowsky [45:08] 会有很多文章 [45:10] 关于很多很多的哲学的话题 [45:13] 就是人是怎么错误地思考 [45:18] 然后你怎么能思考得更正确的 [45:21] 你怎么能犯少一点的错误 [45:25] 就是在生活的每一个方面 [45:27] 可能10年后有一个人做了一本书 [45:32] 《Rationality: From AI to Zombies》 [45:36] From AI to Zombies（从AI到僵尸） [45:39] 这个名字他是故意选的 [45:41] 就是AI是因为那个Yudkowsky [45:45] 大概从1995年开始 [45:47] 他就知道AI是一个非常重要的话题 [45:51] 其实他一开始认为 [45:55] AI会对人类非常非常好的 [45:58] 所以我们应该非常快地 [46:01] 让一个非常强大的AI进来 [46:04] 帮助我们解决我们的所有问题 [46:06] 但是他自己多思考了这个话题 [46:10] 他也发现了 [46:11] 这个AI alignment problem（对齐问题） [46:13] 是很难解决的 [46:14] 如果你做一个非常聪明的AI [46:18] 你怎么能保证它的目标 [46:21] 跟你的目标是相同的 [46:24] 有一个很简单的例子就是 [46:27] 如果你有一个非常聪明的AI [46:30] 你给它一个目标 [46:31] 比如治愈所有人的癌症 [46:34] 就是做一个没有人有癌症的世界 [46:38] 如果这个AI不够了解你的一些含义 [46:42] 他可能会觉得 好 [46:44] 那我可能把整个世界就毁灭了 [46:47] 这个世界没有人就没有癌症 [46:50] 这是一个非常简单的例子 [46:52] 但是它有一个核心的概念 [46:55] 就是value fragility（价值脆弱性） [46:58] 如果你在设置一个 [47:00] 非常聪明的AI目标的时候 [47:03] 如果你只犯一点点的错误 [47:06] 还是有风险会有这种结果 [47:09] 所以value fragility是一个话题 [47:11] 第二个很重要的 [47:13] 就是他说的一个 [47:15] Orthogonality thesis（正交性论题） [47:16] 很多人他们会说 [47:20] 一个更聪明的AI [47:22] 它一定也会比我们更好 [47:24] 但是他思考了这个话题好多 [47:28] 最后他发现了 [47:30] 其实这个理论是错误的 [47:33] 其实你思想的能力和你的目标 [47:37] 是两个完全不相同的事情 [47:40] 有可能有一个很善良的 [47:43] 但是很笨的AI [47:44] 有可能有一个善良的和聪明的 [47:48] 有可能有一个邪恶的和笨的 [47:51] 但是邪恶的和聪明的 [47:54] 也是有可能的 [47:55] 善良的这个概念不是宇宙的一部分 [47:59] 这是一个人的进化制造的概念 [48:03] 所以如果我们要做一个 [48:05] 对我们好的AI [48:07] 并不是一个会自动的 By default（预设） [48:10] 发生的一个事情 [48:11] 就是我们需要非常努力这么做 [48:14] 对 所以他了解了这两个之后 [48:18] 他发现了他之前的思想 [48:21] 因为他之前可以说是一个 [48:23] Accelerationist 是非常笨的 [48:25] 如果他自己是那么长时间 [48:28] 没有意识到这些概念 [48:30] 那这个意味着 [48:31] 帮助人能够更好地思考 [48:34] 是非常重要的 [48:35] 所以他开始了写很多的文章 [48:38] 他开始做网上的一个community [48:41] 所以这是AI要变得更rational的 [48:44] 一个很重要的原因 [48:47] 就是如果你在用不对的思想 [48:51] 开始做superintelligent AI [48:54] 最大可能就会发生非常大的错误 [48:58] Scott Alexander [48:59] 他是第二个很重要的人物 [49:03] 他有很长时间有一个blog [49:07] 叫Slate Star Codex [49:08] 那个blog2021年的时候 [49:10] 他换到了另外一个blog [49:13] 现在叫Astral Codex Ten [49:16] 在这里面也有复杂的故事 [49:18] 但是他的文章也有很多非常聪明的 [49:22] 但是他关于政治说得比较多 [49:25] 他关于那些culture war [49:28] 就是我们现在会说的 [49:29] 那些woke（觉醒文化） [49:30] 和anti-woke（反觉醒） [49:31] 会说得比较多 [49:33] 所以他会写更多的 [49:35] 有时候controversial（有争议）的东西 [49:37] 他们的核心都是 [49:38] 我们怎么能更合理地 [49:41] 也就是更聪明地去思考 [49:44] 所以Effective altruist [49:45] 其实是另外一个群 [49:47] 他们有很多很多的连接 [49:50] 尤其是那个时候大部分的 [49:52] Effective altruist他们也会读 [49:55] 所有Yudkowsky和Scott [49:57] 在写的东西 [49:58] 但是他们的一个区分就是 [50:00] 在英国 在牛津大学有很多 [50:04] 在旧金山也有William MacAskill [50:07] 他比较早期开始了捐很多自己的钱 [50:12] 所以这个群的核心可能有两个 [50:16] 第一个就是学术派的哲学家 [50:18] 就是在大学里面很长时间 [50:21] 做教授的那些人 [50:23] 就是Yudkowsky和Scott [50:25] 他们两个都很明显的 都是自学的 [50:28] EA的他们更conventional（常规）一点 [50:32] 所以他们在大学里学了很多 [50:34] 他们参与了更主流一点的体系 [50:38] EA的群的另外一部分 [50:41] 这个也是很重要的部分 [50:42] 就是有钱的人 [50:44] 吸引有钱的人是他们的一个目标 [50:48] 如果你有钱 那你想做好人 [50:53] 那你也会有很多的吸引力 [50:55] 所以Jaan Tallinn [50:57] 他是Skype的co-founder [50:59] 他很早期就参加了 [51:01] 还有那个Dustin Moskovitz [51:03] 其实有很多的 他们是很安静的 [51:06] 就是他们也不会那么大声地说话 [51:09] EA的社区有好多这种 [51:11] 所以理性主义的这个群 [51:14] 他们只会思考 [51:15] EA的群可能会 [51:16] 一半去思考 一半去做 [51:19] 做的大部分就是这样 [51:21] 但是他们也开始了有自己的组织 [51:24] 把他们的过程更形式化一点 [51:28] 每一个慈善机构的效率是多高的 [51:31] 怎么选择最好的 [51:33] 他们的钱到底能帮助多少人 [51:37] 大概2015年和2020年之间 [51:41] EA开始变得越来越institutional [51:44] 就是他开始做自己的机构 [51:47] 所以他们就不只是一个社区 [51:49] 就是一个比较复杂的体系 [51:52] 其实我非常好奇 [51:53] Afra你可能对这个也了解比较多 [51:55] 就是他们认同自己是 [51:58] 有效利他主义者的人 [51:59] 和认同自己是理性主义者的人 [52:01] 他们之间有很多的冲突吗 [52:03] 他们会互相认为 [52:05] 对方的思想是不正确的吗 [52:06] 其实这个问题 [52:07] 我也是在大概一周前才搞清楚的 [52:11] 因为我直接去问了一个 [52:12] Rationalist领域的元老之一 [52:15] 他名字叫Zvi [52:16] 他写一个叫做 [52:17] Don't Worry About the Vase [52:19] 这样一个newsletter [52:20] 这个newsletter主要是关于 [52:22] 理性主义思维 还有AI安全问题的 [52:25] Zvi就说 [52:26] 其实有的时候一部分rationalist [52:28] 就理性主义者 [52:29] 他们会认为EA抢走了一些 [52:32] 理性主义者在很多年之前 [52:34] 就已经发现的 [52:35] 比方说AI安全问题的 [52:37] 这样的一些见解的功劳 [52:39] 比如说十几年前开始担心 [52:40] AI safety问题的人 [52:41] 其实是Yudkowsky [52:43] 但是Yudkowsky他从来没有认为 [52:44] 自己是EA的一个成员 [52:46] 但是EA的一些成员就会说 [52:48] Yudkowsky是他们的人 [52:51] 我觉得就是在现在 [52:52] 就AI安全领域和AI对齐领域 [52:54] 它变成了一个更加具体的研究 [52:56] 和实践的领域 [52:57] 也是因为我们现在在很大的 [52:59] 这个AGI的浪潮当中 [53:01] 所以很多研究AI安全问题的人 [53:03] 他其实有可能不认同EA [53:05] 也不认同EA所秉持的这种长期主义 [53:09] 甚至不认同理性主义 [53:10] 甚至没有看过LessWrong [53:12] 但是他们仍然在研究这个问题 [53:14] 仍然非常担心 [53:14] AI会有一个系统性的失控 [53:17] 所以说就是 [53:18] 对 我觉得就是现在 [53:19] 可能大家在提到rationalist EA [53:21] 什么AI safety的时候 [53:22] 会把这几个词混用 [53:23] 但是其实我觉得 [53:25] 就你一旦进入到内部的 [53:26] 这个群体之间的这些关系 [53:29] 你会发现它其实是一个 [53:31] 来得早 来得晚 [53:32] 以及有很多分歧的 [53:34] 人和人之间的小圈子 [53:35] 那Vitalik [53:36] 你觉得你开始关注EA的时候 [53:39] 你对AI安全的思考是什么样的 [53:42] 你当时捐款 去接触一些组织 [53:45] 他们对于AI安全的涉猎 [53:47] 是大概什么样的一个情况 [53:49] 那个时候我关于AI安全的思想 [53:52] 还是非常抽象的 [53:54] 我知道了AI理论上 [53:57] 是一个非常重要的话题 [54:00] 有可能他们说的是真的 [54:01] 有可能AI的安全 [54:04] 就会决定人类未来的命运 [54:06] 但是不管这个可能性的效率 [54:09] 是100% 还是0.1% [54:12] 在那个时候 [54:14] 思考这些话题和研究这些话题的人 [54:18] 非常非常少 [54:19] 有个机会就是你可以花 [54:22] 可能100万 可能500万 就这么多 [54:24] 你可以自己加速这整个领域 [54:27] 可能6个月 可能一年 [54:29] 这个结果是非常大的 [54:31] 所以这是一个 [54:33] 我们都应该做的一个bet [54:35] 所以我对longevity和AI safety [54:39] 从开始有这样的想法 [54:41] 2020年和2023年之间 [54:44] 这个都变了非常多 [54:46] 主要的原因就是 [54:48] AI变成了一个真正的话题 [54:51] 因为2015年 [54:53] 我们现在在说的AI是几乎不存在的 [54:57] 我们大概2018年担心的所谓的AI [55:02] 可能就是那个摄像头 [55:04] 和AI帮助的数字监控 [55:07] 对 所以那个时候和2023年 [55:10] 已经是非常不一样的 [55:12] 那个GPT-3出来的时候 [55:14] 就改变了非常多 [55:16] 所以我们在做Zuzalu的时候 [55:20] 就是2023年的一个春天 [55:22] 那个ChatGPT出来了 [55:24] 我们开始了理解 [55:26] 就是有可能AI真的会发展得 [55:31] 非常非常快 [55:33] AI也真的会给我们带来 [55:36] 很多很多的变化 [55:38] 所以大概这个时候 [55:39] 可能所有人的思想有非常大的变化 [55:43] 所有的人能做什么 [55:46] 也有非常大的变化 [55:48] 可能2022年之前 [55:51] 唯一的答案 [55:52] 就是你怎么能多帮助研究 [55:55] 人类知道的更多 那对我们更好 [55:58] 但是2022年之后就变了 [56:01] 从一个抽象的话题 [56:04] 就变成了一个具体的话题 [56:06] 你会担心AI的安全问题吗 [56:08] 大家问我 P（doom）（人类灭绝的概率） [56:11] AI或者其他的风险 [56:14] 会完全毁灭我们的世界 [56:17] 就是人类会不存在的概率 [56:19] 我会说0.1 [56:20] 我为什么说0.1 [56:23] 为什么不说0.03 [56:24] 为什么不说0.3 [56:26] 其实说得更明确是很难的 [56:29] 因为我从开始就有非常大的这个 [56:32] Uncertainty（不确定性） [56:34] 因为有很多很多不确定的点 [56:37] 第一个点就是AI的发展会多快的 [56:41] 就是有可能到达大家说的 [56:44] 这个所谓的AGI会需要10年 [56:46] 可能300年 这是第一 [56:48] 第二 Yudkowsky说的这个 [56:50] Alignment problem [56:52] 到底是不是一个真正的问题 [56:54] 会不会这个问题很简单地自己解决 [56:58] 因为我们可以回到第一个 [57:01] 我提到的这个例子 [57:03] 那时候我们做一个非常聪明的AI [57:05] 我们跟它说 [57:07] 希望有一个没有癌症的世界 [57:09] 这个AI又觉得 [57:11] 最简单的办法就是 [57:13] 把整个世界毁灭了 [57:14] 就是把所有人都杀了 [57:16] 其实如果你现在跟Claude和GPT [57:20] 和现代的AI说话 [57:22] 你就知道 现在的AI [57:25] 它们其实比较了解context [57:27] 就是它们了解我们的含义 [57:31] 这是10年前比较难预测的一个变化 [57:35] 但是这个也不一定意味着 [57:38] Alignment problem [57:39] 不是一个非常大的问题 [57:41] 如果你现在问那个Yudkowsky [57:43] 就是你跟它说 [57:44] 你看现在的AI [57:46] 如果你跟它们说要治癌症 [57:49] 它们就不会完全毁灭这个世界 [57:52] 那是不是alignment的问题解决了 [57:55] 它会说 并不会 [57:57] 这个问题只是 [57:58] Alignment问题的一小部分 [58:01] 还有很多其他的部分 [58:02] 还有很多的我们完全没有解决 [58:06] 完全不知道的风险 [58:07] 这里的不确定性也非常多 [58:10] 这是第二 [58:11] 第三就是政治的不确定 [58:16] 因为现在有不同的国家 [58:19] 有不同的人 [58:20] 有不同的公司都在做AI [58:22] 在一个竞争的情况下 [58:25] 大家有不同的目的 [58:27] 大家同时希望有安全 [58:29] 大家也希望自己赢了 [58:33] 如果比如在一些AI [58:36] 也变得非常危险的时候 [58:38] 就同时第三次大战出来了 [58:40] 那可能会最危险的 [58:42] 并不是因为什么技术的问题 [58:45] 而是因为在那个时候 [58:47] 大家会最不思考安全 [58:49] 就是只会思考 [58:50] 就是自己赢是最重要的 [58:53] 所以就是有技术的不确定性 [58:56] 乘以另外一个技术的不确定性 [59:00] 乘以政治的不确定性 [59:02] 就乘以更多更多 [59:04] 所以AI是不是对我们真的会危险 [59:07] 是非常难预测的 [59:10] 对 因为我注意到 [59:12] 您在2021年的5月12号 [59:16] 应该是同时捐赠了 [59:17] 非常多的EA的组织 [59:19] 在2017年其实是捐赠了尤德考斯基 [59:23] 他当时创建的机器智能研究所 [59:25] MIRI的这些组织 [59:27] 可不可以讲一下 [59:28] 在2021年的那一天 [59:30] 您在捐赠很多组织的时候 [59:32] 当时你在想什么 [59:33] 你是怎么样做出 [59:35] 这样的一个捐赠的决定的 [59:37] 这个故事是非常好玩的 [59:40] 其实这个故事可能2016年开始 [59:45] 从第一个所谓的meme coin [59:48] 就是狗狗币 [59:50] 狗狗币就是Dogecoin [59:51] 它2016年出来的 [59:53] 就是它有一些开发者 他们说 [59:56] 我们要做我们自己的一个新的币 [59:59] 大家都在做自己的币 [60:00] 都在做自己的链 [60:02] 我们要做一个Litecoin的分叉 [60:07] 就是基于Litecoin的一个代码 [60:10] 我们的这个新的链 [60:11] 我们的新的币是做什么的 [60:13] 什么都不做 [60:14] 那你为什么要买 [60:16] 因为有个狗狗 [60:17] 这个狗狗很可爱 [60:19] 那个时候大家都并没有思考 [60:23] 刻意这么做 [60:24] 那个时候就是 [60:28] 在区块链的群还是更理想主义的 [60:32] 他们也就觉得这个很好玩 [60:34] 就说我们做这个笑话 [60:36] 我们在想做一个 [60:37] 完全没有用的一个币 [60:40] 我们把它发了 [60:42] 那个狗狗币 [60:43] 它从开始就变得特别火 [60:46] 其实我自己在2016年的时候 [60:49] 我花了25000美元买一些狗狗币 [60:55] 我的钱都变成了 [60:58] 可能1000多万 对 [61:00] 所以我也是一个 [61:01] 早期的狗狗币的投资者 [61:04] 比较成功 [61:05] 狗狗币是第一个meme coin吗 [61:07] 我好奇 [61:08] 真正意义上的 [61:09] 第一个meme coin对吧 [61:10] 对 第一个很多人知道的 [61:14] 一个meme coin [61:16] 2020年的时候 [61:18] 狗狗币是非常非常成功的 [61:20] 很多人开始了思考 [61:23] 如果第一个狗狗币 [61:25] 能到达一个500个亿的市值 [61:30] 如果他们自己开第二个狗狗币 [61:33] 如果第二个狗狗币能够到80个亿 [61:37] 那这个也是很爽 [61:39] 所以 对 [61:40] 他们都开始了发自己的狗狗币 [61:44] 所以最大的就是Shiba Inu（柴犬币） [61:48] 他们也做了一个很好玩的事情 [61:52] 就是他们把他们的币的那个 [61:56] Supply（代币供应量）的一半 [61:58] 放在我的钱包里 [61:59] 因为我的那个钱包 [62:01] 有一个公开的机制 [62:02] 他们把他们的币的 [62:05] Supply的50%都放到里面 [62:07] 那个时候 [62:08] 我的那个钱包是一个冷钱包 [62:10] 那个钱包的私钥 [62:12] 只在两个地方存在了 [62:15] 第一个地方是一个电脑 [62:18] 就是一个跟互联网 [62:20] 完全没有连接的一个电脑 [62:22] 那个电脑那个时候在多伦多 [62:25] 第二个地方就是有两张纸 [62:30] 每一张纸上有一个数字 [62:32] 一个数字是在多伦多 [62:34] 另外一个数字是在我包里 [62:36] 如果这两个数字加起来 [62:38] 就会变成那个私钥 [62:39] 所以这是一个纸张备份 [62:41] 那个时候还是疫情的那个时候 [62:44] 所以我很长时间什么都没有做 [62:47] 但是有一天我发现了 [62:50] 这些币的市值就真的到了80个亿 [62:53] 就真的非常非常夸张的 [62:56] 所以我就选择了 那好吧 [62:58] 它们有可能一周之内 [63:01] 它们的市值变得那么高 [63:03] 但可能一周之后 [63:05] 这个泡沫就会被炸了 [63:07] 就是它们再次会很低 [63:09] 我那个时候在西雅图 [63:11] 我买了一个新的电脑 [63:14] 我给我的妈妈打电话 [63:17] 我让她读在多伦多的纸上的数字 [63:22] 我在电脑里把两个数字加起来了 [63:25] 我用了那个私钥 [63:27] 我研究了那个Gnosis Safe [63:29] 就是一个更安全的 [63:31] 多签名的钱包的代码 [63:33] 就是我自己把Gnosis Safe的整个代码 [63:37] 两天之内审核了 [63:38] 就是为了会有一个新的 [63:41] 我能放我的以太币的一个钱包 [63:44] 对 所以我做了很多的很复杂的工作 [63:47] 最后我把那些狗狗币拿出来了 [63:51] 然后我把那些他们给我的 [63:54] 他们放到我的钱包里的 [63:56] 那些狗狗币卖了 [63:58] 一开始我把它们 [64:00] 很快速就卖成以太币了 [64:03] 大概我赚了可能 [64:05] 7000万美元的以太币 [64:08] 我把大部分捐给了 [64:11] Against Malaria Foundation（抗疟疾基金会） [64:13] 就是他们给人买那些蚊帐的组织 [64:17] 这个钱可能是我能够拿出来的 [64:21] 最多的钱 [64:22] 那应该给一个比较安全的 [64:24] 无争议的一个组织 [64:26] 也许有一些人会说 [64:28] 给非洲人买蚊帐是一个你能做的 [64:31] 非常非常重要的事情 [64:34] 也有一些人觉得这个不怎么管用 [64:37] 但是没有人觉得这是坏的 [64:39] 我也给了一些longevity的组织 [64:42] 还有一些其他的 [64:43] 我因为market depth不够高 [64:46] 完全没有这个liquidity（流动性） [64:48] 让我买那么多的那些狗狗币 [64:51] 所以我卖成以太币之后 [64:54] 我还是留下了非常非常多 [64:57] 所以我就决定了 那好吧 [64:59] 大可能现在这些币都会跌得很快 [65:02] 都会跌得很惨 [65:03] 但我还是把我剩下的币 [65:07] 给一些其他的我觉得比较好的组织 [65:10] 如果他们自己卖掉的时候 [65:13] 他们能拿到一点点那就好 [65:15] 就是在我的思想里 [65:17] 他们最多能拿到可能是2000多万 [65:20] 对 所以我给了可能一半 [65:23] 给印度的一个抗COVID的组织 [65:26] 另外的一半我给了FLI [65:29] FLI是Future of Life Institute（未来生命研究所） [65:31] 他们在那个时候是一个研究 [65:35] 开始对抗所有的 [65:36] Existential risk（可能终结人类的风险）的 [65:37] 一个组织 [65:39] 于是他们研究了生物相关的风险 [65:43] AI相关的风险 [65:45] 核战争相关的风险 [65:47] 就是每一个非常非常大的风险 [65:50] 他们有一个部分在研究 [65:53] 他们跟我介绍了他们的一个计划 [65:56] 就是他们说了 [65:58] 他们理论上能达到最多一个亿 [66:01] 但是2000万他们也能做非常多 [66:04] 所以我说 那好吧 [66:06] 我给你们我的柴犬币 [66:08] 对 所以三个月之后 [66:11] 我发现了 [66:12] 那些狗狗币它们并没有跌 [66:15] 所以FLI和那个印度的CryptoCOVID [66:18] 卖完了他们的币 [66:20] 他们一共 [66:21] 就是几个组织拿到了4.7个亿 [66:26] 就是印度的 [66:27] CryptoRelief（加密救助基金）的组织 [66:28] 对不对 [66:29] 对 然后FLI他们 [66:31] 我不知道他们具体拿到了多少 [66:34] 但是有可能4个亿 有可能6个亿 [66:36] 就这么多 [66:37] 4到6个亿 [66:38] 对 我完全没有想象的一个结果 [66:43] 如果我想过这个结果是有可能的 [66:46] 就是我会做的事情 [66:48] 会非常非常不一样的 [66:50] 但是是这样发生的 [66:52] 所以我下一年 [66:54] 其实我跟CryptoCOVID的 [66:56] 那个组织的Sandeep聊天了 [66:59] 就我说服了他 [67:00] 把他的钱的一半还给我 [67:03] 然后我们开始了做自己的 [67:06] 一些抗疫情的工作 [67:09] 包括研究过滤器 疫苗 [67:13] 我们捐了给一些开源的疫苗的公司 [67:18] 一个是RADVAC（开源鼻喷疫苗项目） [67:19] 一个是PopVax（印度生物技术公司） [67:20] PopVax它们 [67:22] 上周就发布了一个文章 [67:24] 就是它们现在的发展非常好 [67:27] 所以现在至少一部分的开源疫苗 [67:31] 现在是存在的 [67:32] 对 所以这是第一部分 [67:34] 还有对什么过滤器 紫外光 [67:37] 就是那个UVC（短波紫外线） [67:39] 还有口罩 [67:40] 还有long COVID（长新冠）的研究 [67:42] 一开始是抗COVID的工作 [67:46] 但是下一年 [67:47] 其实COVID并没有结束 [67:49] 但是大概2022年初 [67:51] 大家都觉得COVID结束了 [67:53] 所以我们开始了抗疫所有的 [67:55] 空气传播疾病这种项目 [67:58] 对 所以我们用了两个亿就做非常多 [68:02] 然后Sandeep [68:03] 他用了他的2.7个亿 [68:06] 可以说是升级了印度的整个 [68:10] Medical manufacturing（医疗物资生产能力）的能力 [68:13] FLI 它们大概在这个时候 [68:16] GPT-3出来了 [68:17] 所以他们的思想 [68:19] 有一个非常大的变化 [68:21] 第一是他们从关心所有的 [68:25] Existential risk [68:27] 他们变成了只关心AI [68:30] 第二就是他们从一个研究的态度 [68:35] 变成了一个政治行动的态度 [68:39] 他们开始了用一个 [68:41] 很具体的strategy（策略） [68:42] 他们开始了思考 [68:43] 他们应该支持哪些法律 [68:47] 应该支持那些什么政客 [68:49] 他们开始了做很多 [68:51] 我要么不认同 [68:53] 要么如果是我的钱 [68:55] 我不会自己做的事情 [68:56] 所以他们就开始了 [68:58] 走自己的一个方向 [69:00] 然后我跟他们说了两三次 [69:03] 就是（沟通）我们用那两个亿的钱 [69:07] 做的那些看 [69:08] Airborne disease（空气传播疾病）的 [69:09] 工作的项目和他们的结果 [69:11] 因为我跟他们说了 [69:13] 我的原来的目标就是支持所有的 [69:17] Anti-existential risk（对抗存在性风险）的领域 [69:19] 所以我就是希望他们 [69:21] Diversify（扩大范围） [69:22] 我有很多已经成功的项目 [69:24] 他们可以diversify [69:25] 但是他们拒绝了 [69:26] 他们要把他们的钱 [69:28] 都放到一个AI-centric [69:30] 和一个 [69:31] Policy-centric（以政策为中心）的方向 [69:33] 同时他们的那些法律又开始出来了 [69:37] 有很多的a16z [69:39] 就是有很多的那些硅谷的投资者 [69:42] 开始很不开心 [69:44] 所以他们就开始了把AI safety [69:47] 当他们的主要的敌人 [69:49] 这个大概2023年的时候开始的 [69:53] 你当时选择捐赠的时候 [69:55] 它其实有非常多的组织 [69:57] 您刚刚提到了 [69:58] 像CryptoCOVID Relief跟FLI [70:02] 你是捐赠的SHIB（柴犬币） [70:04] 还有一些捐赠的是ETH（以太币） [70:07] 我注意到你还捐赠了 [70:08] GiveWell跟MIRI [70:10] 这四个组织你是怎么选出来的 [70:13] 当时是会有一个什么样的目标 [70:16] 去选择了这些组织 [70:18] 大概我在每一个领域 [70:22] 我选择了大家认同的 [70:25] 一个比较default（默认）的组织 [70:27] 大概我选择了那一个 [70:30] 我认为很重要的领域 [70:33] 如果你五六七年前问我 [70:37] 在一个领域里面应该捐给谁 [70:40] 他可能会有同样的答案 [70:43] 你觉得现在你的这些想法有变化吗 [70:46] 怎么捐以及如何捐 [70:48] 包括其实捐赠以后 [70:49] 我们也看到整个世界在发生变化 [70:52] AI在迅速地成长 [70:53] 他们可能把这个钱用的方向 [70:55] 跟开始我们想去非洲治愈疾病 [70:58] 会有一些初衷会不太一样 [71:01] 我觉得EA里面有一个重要的概念 [71:05] 就是neglectedness（被忽视程度） [71:07] Neglectedness的意思 [71:08] 就是有没有其他的人已经在做 [71:12] 比如我们可以思考一个问题 [71:14] 就是水 [71:15] 水是非常重要的 [71:17] 有可能在非洲有这个问题 [71:20] 就是给有一些人脏的水 [71:23] 如果他们有干净的水 [71:25] 他们不会得什么病毒 [71:27] 这个已经是一个 [71:28] Global public health（全球公共卫生）的部分 [71:29] 这个EA的组织已经在研究 [71:32] 但是我们自己参与是没有意义的 [71:36] 因为已经有非常多其他的人在思考 [71:38] 所以neglectedness这个概念就是 [71:41] 如果一个话题是重要的 [71:43] 现在已经思考这个话题的人 [71:47] 是不是真的太少了 [71:49] 大概我10年前认为 [71:53] 每一个EA [71:54] 和每一个理性主义相关的（领域） [71:56] 包括 其实EA他们 [71:59] 从来没有理解为什么 [72:00] 他们从开始没有特别研究longevity [72:04] 但是他们每一个领域 [72:07] 10年前都是非常被忽视的 [72:10] 但是现在我觉得并不是这样子的 [72:13] 现在AI的安全 [72:15] 是一个非常高级的话题 [72:19] 还有在longevity的这个话题 [72:23] Global public health [72:24] 其实2025年的时候 [72:27] 它受了很大的伤害 [72:29] 因为那些Elon Musk做过的 [72:32] 都是和那些美国的一个政治变化 [72:36] 他们之前支持了很多的 [72:39] Public health相关的（项目） [72:40] 他们很快很快就停了 [72:43] 制造了更多的问题 [72:44] 所以对global public health [72:46] 我觉得现在是变得更重要的 [72:49] 但是比如在疟疾蚊帐的那个话题 [72:53] 现在开始有一些抗疟疾的疫苗 [72:58] 有很大的问题 但是发展现在也有 [73:01] 对 所以现在有可能 [73:03] Global public health [73:05] 还是一个非常值得支持的话题 [73:08] 但是大部分的其他的（领域） [73:11] 他们的问题 [73:12] 现在并不是neglectedness [73:14] 他们的问题是如果大家做得不对 [73:18] 那就意味着问题并不是资源太少 [73:22] 而是大家做的方法可能是不对的 [73:26] 这种问题的解决方案 [73:28] 是完全不一样的 [73:31] 现在你本人会关注AI安全问题吗 [73:34] 因为我发现我们在说EA的时候 [73:36] 它的重心是有好几波的转移的 [73:39] 最开始可能是由 [73:40] 比如说全球健康问题 [73:42] 类似于蚊帐问题 驱虫问题 [73:44] 中间还有一波 [73:45] 大家有一段时间 [73:46] 我记得还关注过动物的福利问题 [73:49] 现在来说 [73:50] 它其实就是长期主义和AI风险 [73:53] 对 [73:54] 所以现在AI安全 [73:55] 会是你关注的问题吗 [73:56] 还是你觉得它已经有人在关注了 [73:59] 你更想把注意力转移到 [74:00] 其他更多 更重要的问题上 [74:03] 我觉得现在越来越多的问题 [74:06] 是跟AI安全有关系的 [74:08] 所以不思考AI安全是有点难的 [74:12] 但是现在更大的问题 [74:16] 不是研究AI safety的人不够 [74:21] 而是那些AI公司里面 [74:24] 很多的incentives（激励机制） [74:26] 就是很多的激励方式出了问题 [74:28] 就是OpenAI和Anthropic [74:31] 它们都希望自己的公司赢了 [74:33] 对 所以他们都做得非常快 [74:37] 如果现在大家AI的发展 [74:40] 做得那么快 [74:41] 其实风险是最多的 [74:43] 因为我们就不会有足够的时间 [74:46] 去思考怎么把AI做得安全 [74:48] 怎么能用AI做一个 [74:51] 我们希望有的世界 [74:54] 还有一点 [74:56] 大家可能最重要的 [74:58] 并不是我们现在做的 [75:01] AI安全相关的研究 [75:03] 而是那些公司 [75:05] 在做一个最强的AI的时候 [75:09] 它们的目标是安全 [75:11] 还是它们自己赢了是最重要的 [75:14] 现在我们很可能会需要用 [75:17] 现在的AI的版本 [75:19] 就是我需要用AI version N [75:22] 为了研究AI version N+1 [75:25] 我们会需要现在的AI的级别 [75:27] 去足够了解下一个AI的级别 [75:31] 相关的安全问题 [75:32] 所以很可能 [75:34] 我们三年 四年前做过的 [75:37] AI安全的研究也不是很有意义的 [75:40] 他们会发现 [75:40] 我们花了很多的时间 很多的资源 [75:43] 在研究AI安全 [75:45] 发现了现在在一些最核心的问题 [75:48] 包括那些AI alignment的问题 [75:51] 并没有很多的发展 [75:53] 所以更重要的 [75:55] 我觉得 [75:56] 不是我们现在做的研究是多少 [75:59] 而是那些做AI的公司 [76:02] 在做一个最强的 [76:05] 就是开始有非常大风险的AI的时候 [76:09] 他们会不会放足够的注意力 [76:12] 在自我的安全 [76:13] 这个我们不太知道 [76:15] 然后解决这些问题 [76:17] 也并不是一个研究的问题 [76:19] 真的开始变成一个 [76:21] Policy（政策）的问题 [76:22] 但是policy的问题一个最大的挑战 [76:27] 就是你很难知道一个policy [76:32] 是好的还是坏的 [76:33] 对 所以一个policy的问题 [76:36] 是跟之前EA的人思考的问题 [76:39] 是非常不一样的 [76:41] 因为之前的EA [76:43] 他们平常会思考的问题就是 [76:47] 如果你捐给一个charity A [76:50] 你可能会救10个人的命 [76:53] 如果你捐给一个charity B [76:55] 你会救100个人的命 [76:58] 你的挑战就是你要知道 [76:59] 哪个是10 哪个是100 [77:01] 但是现在是完全不一样的 [77:04] 是因为你在支持一个policy [77:06] 那个policy有可能它会有好的效果 [77:10] 也有可能它会有坏的效果 [77:12] 其实都不知道哪个效果是好的 [77:14] 哪个效果是坏的 [77:15] 是很复杂的 [77:16] 这个policy它有一些直接的效果 [77:20] 就是它怎么直接影响 [77:23] 那些公司的激励 [77:25] 它也有一些indirect effects（间接影响） [77:28] 比如如果一个很有钱的人 [77:34] 比较公开地花5个亿 [77:36] 就支持一些政治的话题 [77:39] 很可能其他的人会很不开心 [77:42] 他们都会觉得 [77:43] 有一个土豪在影响我们的政治 [77:46] 然后这个AI safety的agenda（议程） [77:48] 他们会开始觉得 [77:50] 就是一个只有土豪思考的（东西） [77:52] 所以很多很多人 [77:54] 就可能会开始反对AI safety [77:56] 这是一个man versus man的问题 [78:00] 因为至少在加拿大的学校 [78:02] 我们在研究那个literature [78:04] 在研究文学的时候 [78:05] 我们会说有一些是man versus man [78:09] 有一些是man versus nature [78:10] Man versus nature就是人对抗天然 [78:14] Man versus man [78:15] 就是两个人直接在打架 [78:18] Man versus nature其实更简单 [78:21] Man versus man是特别复杂的 [78:23] 因为你在对抗的那个挑战 [78:26] 是跟你一样聪明的 [78:29] 所以你做的事情能有的效果 [78:32] 有可能是会非常复杂的 对 [78:35] 所以我就觉得EA的思想 [78:37] 它们在man versus nature的这些领域 [78:41] 我觉得是非常管用的 [78:43] 但是在man versus man [78:44] 就变得复杂很多 [78:46] 我觉得这个说得特别好 [78:48] 我觉得你刚刚讲的 [78:49] 关于只有土豪在关注 [78:51] AI safety这件事情 [78:52] 它好像已经发生了 [78:53] 而这个大家好像已经就觉得 [78:55] 和EA有关的这些捐赠 [78:58] 其实已经导致了对AI safety [79:01] 现在和EA的联系非常的密切 [79:03] 包括说互联网上 [79:05] 也有很多对于EA反对的声音 [79:07] 就是因为很多EA相关的组织 [79:10] 它们和最近我们看到的一些 [79:12] 比如说安全研究员 [79:13] 他们从OpenAI Anthropic离职 [79:16] 有很大的关系 [79:17] 对 所以这个也是一个 [79:20] 很多EA的人错过的很大的错误 [79:23] 其实大概就是这个故事 [79:25] 是从FTX的那个事情开始 [79:29] 因为如果你骗很多人的钱 [79:33] 你同时用这个钱 [79:35] 捐给一个政治的话题 [79:37] 那一定很多人会开始觉得 [79:40] 这个政治的话题 [79:42] 就是骗钱的人会思考的 [79:45] 所以他们做过的那些大规模的 [79:49] 政治相关的事情 [79:50] 就同时有非常多的错误 [79:53] 还有一点就是 [79:54] 其他的人能怎么知道 [79:57] 他们是不是犯错误的 [80:00] 一部分是了解这个问题 [80:03] 但是其他的部分就是了解其他的人 [80:07] 大部分的EA他们都并没有意识到 [80:10] SBF有可能是有问题的 [80:12] 有可能也是一个man versus nature [80:14] 变成man versus man的一个例子 [80:17] 就是因为EA变得更institutional [80:21] 和更political之后 [80:23] 以前的一个思维方式 [80:25] 就开始变得更容易犯错误了 [80:28] 现在EA也已经分成了 [80:31] 很多很多复杂的不同的部分 [80:34] 因为很多Anthropic的人 [80:37] 他们也是很长时间关注AI的 [80:40] 现在也有那些Dustin Moskovitz [80:42] 也有一些FLI [80:43] 也有很多其他的 [80:45] 他们每一个都会说 [80:46] 他们和其他的是不一样的 [80:48] 但是他们变得特别复杂的是 [80:51] 他们也有很多也觉得 [80:53] Anthropic是不好的 [80:55] 但是Anthropic自己一定是觉得 [80:57] Anthropic是好的 对 [80:58] 所以就变得很复杂 [81:01] 对 我觉得这些大公司好像都在变 [81:03] 如果归纳总结一下 [81:05] 感觉硅谷有这样几个大的派系 [81:07] EA是一个 理性主义一个派系 [81:10] 还有一个就是以 [81:12] Andreessen Horowitz a16z [81:14] 为代表的e/acc [81:16] 它是AI加速主义 [81:17] 感觉现在应该主要是这三大AI流派 [81:21] 还有你的 [81:21] d/acc [81:23] 对 [81:24] 对 [81:24] 对 其实也有更多 [81:26] 我可能会说 [81:27] 第一是支持Anthropic的EA [81:30] 第二是离Anthropic更远的EA [81:34] 第三还有PauseAI（“暂停AI”运动） [81:36] PauseAI它们是 [81:38] 更populist（偏向民粹的）一点 [81:40] 他们是更愿意跟一些 [81:44] 更主流的人合作 [81:46] 他们也更愿意直接说 [81:48] 所有的理性主义和AI是不好的 [81:51] 第四 就是叫那个e/acc [81:53] 包括Jeff Bezos 还有a16z [81:57] 理性主义者他们的位置 [82:00] 现在是很有意思的 [82:02] 他们有很多人 [82:04] 他们的思想也是很不一样的 [82:08] 但是他们也一直会觉得 [82:12] 他们和EA是类似的 [82:15] 但是也有很多很重要的区别 [82:18] 如果你现在看到 [82:20] 理性主义的人和一些新闻 [82:23] 你会发现差距是很大的 [82:26] 从开始我的解释就是 [82:28] EA是更会思考 [82:31] 那些人他们可以做的事情 [82:32] 是不是正确的 [82:34] 理性主义他们主要的motivation（动机） [82:37] 就是curiosity（好奇心） [82:38] 就是思想 [82:39] 他们喜欢思考很多有意思的话题 [82:42] 他们喜欢更公平的思想 [82:46] 我觉得理性主义者 [82:48] 他们从开始就更喜欢玩 [82:50] EA是非常严肃的 非常认真的 [82:54] 我们在救人的命 我们不能玩 [82:56] 我们有我们的工作 [82:57] 我们是拯救这个世界的战士 [83:00] 但是理性主义他们从开始就是 [83:03] 比如Yudkowsky [83:05] 他写了那个书 HPMOR [83:08] 《Harry Potter and the Methods of Rationality》 [83:11] 那个书可以说是一个同人小说 [83:16] 也可以说是一个 [83:16] Parody（戏仿改编）的Harry Potter [83:18] 他的假设就是 [83:20] 如果哈利·波特是一个理性主义者 [83:24] 他会怎么看Harry Potter的世界 [83:27] 我觉得那个书其实很好玩 [83:30] Scott Alexander其实有更少的人知道 [83:34] 他也写了一个书叫UNSONG（《无歌》） [83:36] 对 UNSONG [83:38] 他的书也很好玩 [83:41] 然后Yudkowsky他开始写得更多 [83:44] 就是他有很多的受动漫启发的虚构作品 [83:52] 上个月有Aella做的 [83:55] 那个活动更drama [83:56] 然后有很多 有很多的EA [84:01] 他们都对Aella和Lighthaven的那些人 [84:05] 很不满意 [84:05] 就是你们在做这个活动 [84:08] 是很controversial的 [84:10] 其实这个活动的reputation（声誉）不好 [84:14] 你们为什么非要这么做 [84:16] 不是AI safety比你们想做的 [84:19] 这些其他的事情更重要 [84:21] 但是我一直觉得理性主义的人 [84:25] 最终他们不愿意听这种论点 [84:28] 他们不能为了自己的reputation接受 [84:34] 就是有一些话题 [84:35] 有一些行为是封闭的 [84:36] 他们更喜欢be yourself [84:39] 我觉得他们在心里觉得 [84:41] 人应该忠于自己的心 [84:45] 如果你喜欢这么做 [84:47] 如果这个不直接伤害其他的人 [84:50] 那你应该去做 [84:52] 如果其他的人被得罪 [84:53] 就是他们的问题 [84:55] 所以他们不那么愿意 [84:59] Be strategic about how we think [85:02] How we behave [85:03] 就是他们会更直接 [85:04] 我觉得X有意思 我就要研究X [85:08] 那些EA他们更会觉得 [85:11] 我们应该说什么 [85:13] 为了得到最多的支持 [85:16] 为了降低我们的风险 [85:18] 其实因为他们这么做 [85:20] 我觉得也有更多的人怀疑他们 [85:23] 比如人在判断政客的时候 [85:26] 大部分的人 [85:27] 他们总是会更喜欢genuine（真诚） [85:29] 大部分的人他们也会更喜欢 [85:32] 如果一个人 [85:34] 很明显地隐藏自己在想什么 [85:37] 这个可能也是一部分 [85:39] 为什么有很多人只喜欢特朗普的 [85:42] 而不喜欢民主党的 对 [85:44] 所以EA的人 [85:46] 他们确实会特别努力地 [85:49] 特别optimize（优化）自己的一个 [85:51] Public perception（公众观感） [85:52] 但是有时候还是会有一些 [85:56] 他们很难预测的后果 [85:59] 我还注意到 [86:00] 其实我们现在说 [86:02] 刚刚我们提到的几股派系的时候 [86:04] EA它是真正把钱跟机构 [86:07] 运转起来的 [86:08] 但是我们说理性主义者 [86:10] 他好像并没有拿很多的钱 [86:13] e/acc 我可以理解背后的力量 [86:16] 它其实是有VC在背后支持的 [86:18] 我们如果也把这个理性主义者 [86:21] 作为一支力量 [86:22] 一个运动它不建机构 [86:24] 它能走多远呢 [86:26] 可能不太多 [86:27] 理性主义者他们的心里他们就是猫 [86:30] Cat [86:31] 对 把他们放到一个机构里 [86:34] 他们就会不开心 [86:35] 他们会觉得不自由 [86:36] 确实 我觉得Vitalik其实更是一个 [86:39] Spiritually（在精神气质上） [86:40] 是一个理性主义者 [86:41] 而不是一个EA [86:42] 其实你做的很多事情很理性主义者 [86:44] 比方说你最近写小说 对吧 [86:46] 对 [86:47] 你在写什么小说 [86:48] 科幻小说 非常推荐大家去看 [86:51] 叫做《Snow Moon》 [86:52] 好 [86:53] 刚刚听下来 [86:54] 我感觉这是我听过的对理性主义者 [86:56] 最好的一个评价 [86:58] 因为Yudkowsky是什么 [86:59] 他八年级的时候就退学了 [87:01] 他就相当于是一个 [87:03] 就是一个小孩 [87:04] 然后他就在家里想 [87:06] 他就come up with这么一个 [87:08] 宏大的世界观 [87:09] 就说AI有一天会成为 [87:12] 凌驾于人类之上的智能 [87:14] 然后他拿到Peter Thiel的钱 [87:16] 写fan fiction（同人小说） [87:17] 《哈利·波特》这个可能有60万字 [87:21] 所做一切事情 [87:22] 其实就从我们角度来说 [87:23] 都觉得他很奇怪 [87:24] 但是可能他确实又影响了 [87:26] 这么一批人 对 [87:27] 所以感觉理性主义者确实是 [87:30] 我觉得我接触的很多理性主义者 [87:31] 都是需要很长的时间 [87:33] 去理解他们到底在想什么 [87:35] 为什么要做这样一个事情 [87:38] 刚刚你提到有支持Anthropic的EA [87:41] 和反对Anthropic的EA [87:43] 这部分可以展开讲讲 [87:45] 这两类人他是有什么样 [87:47] 观点上的不一样吗 [87:49] 支持Anthropic的人 [87:52] 他们会说 AI是很危险的 [87:55] 但是不做AI是不可能的 [87:59] 因为这个世界有很多不同的团队 [88:01] 不同的公司 不同的国家 [88:04] 所以唯一的办法就是 [88:06] 如果一个公司有好人 [88:10] 应该由这个好的公司赢 [88:12] 因为它们在赢的时候 [88:14] 至少它们会有更好的原则 [88:18] 它们在最需要的时候 [88:20] 会花更多的精力把AI做得好 [88:23] 那么其实有很多的方面 [88:27] 你也可以说就是 [88:28] Anthropic比OpenAI更好 [88:31] 你看那些公司 [88:33] 它们在公开做什么 [88:35] 你看到OpenAI的 [88:37] 那些internal drama（内斗） [88:39] 你看到核心的人的思想和思维 [88:42] 是什么样子的 [88:44] 还是应该保证 [88:46] 至少唤醒人类的人 [88:48] 会变得最强大的AI的公司 [88:52] 就是Anthropic的人 [88:54] 他们也会说 [88:55] 他们真的在做非常多的 [88:57] 安全相关的研究 [88:59] 他们的一个co-founder Chris Olah [89:01] 其实我有一个好玩的故事 [89:03] 就是我和Chris Olah [89:06] 跟天主教的爸爸 [89:11] Pope（教宗） [89:12] Pope（教宗） [89:13] 对 [89:14] 爸爸 [89:16] 没有 对不起 [89:17] 因为在很多语言 Pope就是爸爸 [89:20] 教父 [89:21] 对 [89:22] 主教 [89:22] 我和他在多伦多 [89:25] 我们去了一个 [89:27] 非常小的private school（私立学校） [89:29] 它叫Abelard School [89:30] 它一共有45个人 [89:33] 所以每一个班就有11个 [89:36] 我进入了九年级的时候 [89:39] 他在十一年级 [89:41] 他给我介绍了很多关于计算机科学 [89:45] 关于数学（的东西） [89:46] 其实我开始用Linux [89:49] 我开始非常支持开源的一个原因 [89:52] 就是他 [89:54] 这是一个私立高中 对吧 [89:56] 对 私立高中 [89:58] 我觉得至少Anthropic co-founder [90:00] 是一个好人 [90:02] 那反对Anthropic的观点就是 [90:07] 第一 incentives [90:09] 这个激励还是很强的 [90:11] 一个人很可能 [90:14] 从开始会觉得自己特别好 [90:16] 但是如果把它放在一个更危险的 [90:20] 有更多的竞争的一个情况 [90:23] 那不然会很容易开始找理由说 [90:26] 为什么对它好的事情都是对的 [90:29] 不管Anthropic是不是更好 [90:32] 他们还是把AI的发展速度 [90:36] 就加快了很多 [90:38] 现在有这个AI race的 [90:40] 一个很大的原因就是他们 [90:42] 那是我最近听到的一个 [90:44] 有意思的一点 [90:45] OpenAI他们其实愿意 [90:48] 把AI的发展做得慢一点 [90:51] 所以就是他们 [90:52] 2024年 2025年的时候 [90:54] 就没有把他们的所有的资源放到 [90:58] 做更好的frontier models（前沿模型） [90:59] 他们开始了 [91:00] 要做Sora [91:01] 他们的那个video model [91:02] 他们开始了做更多 [91:04] 然后今年初 [91:06] Mythos（Anthropic的前沿模型）出来了 [91:08] Mythos出来之前 [91:10] 我觉得我们都会觉得GPT是最强的 [91:14] 我们都会by default在用GPT的 [91:16] 但是有一个事件 [91:20] 他们开了那个Mythos后 [91:22] 他们给了我们Fable之后 [91:24] 真的有这个感觉 [91:26] （Anthropic）是走在前面创造的人 [91:29] 于是大家都开始觉得 [91:30] 那Anthropic同时是一个更强的 [91:34] 它可能会赢的 [91:35] 就是在有很多人开始了用Claude [91:38] 那个时候 OpenAI他们也开始了 [91:41] 把他们的很多 [91:42] Side projects（副线项目）就关掉了 [91:44] 他们加速就是更focus [91:47] 做非常强大的models [91:49] 所以就是有可能 [91:51] 他们还是帮助了AI race做得更快 [91:55] 这个效果也可能会超过他们 [91:57] 所有的安全相关的工作的效果 [92:00] 对 这是第一 [92:01] 第二就是 [92:03] 所以这个是理性主义的 [92:05] 和EA对Anthropic的一个批评 [92:08] 就是一个理性主义和一个AI的人 [92:11] 怎么会说 [92:13] Anthropic做的事情是有问题的 [92:15] 就是他们有可能觉得他们做得更安全 [92:19] 和他们更好 [92:20] 但是他们还是参加这个race（竞赛） [92:23] 他们还是 [92:24] 因为他们的参与加速了AI race [92:28] 还是增加了我们的危险 [92:30] 还有另外一个 [92:32] 可以批评Anthropic的一个方向就是 [92:35] 你可以说这是一个正常人的 [92:39] 针对Anthropic的批评 [92:42] 他们的philosophy of safety（安全哲学） [92:45] 我们应该有权力 因为我们好 [92:48] 你们不应该有权力 因为你们不好 [92:51] 其实这个philosophy of safety [92:54] 有很多人是这么思考的 [92:58] 那比如独裁也是这么思考的 [93:00] 但是很多人也会觉得就是 [93:03] 那好 你们觉得自己是好的 [93:06] 其他的人是坏的 [93:08] 那如果我们不同意呢 [93:09] 谁在决定 [93:10] 他们的这个safety strategy [93:13] 第一就是我刚才说过的 [93:15] 就是他们还是参与这个race [93:17] 这是一个好主意 [93:19] 如果他们真的比OpenAI更好 [93:22] 比中国的那些AI公司更好等等 [93:25] 但是 在这个世界里有很多人 [93:29] 他们都有自己的很多的观点就是 [93:32] 我们上周我看到了有一个 [93:34] 好像是一个DeepSeek的一个人 [93:37] 写了一个文章 [93:38] 就是他觉得 [93:39] 他们在做开源的这个AI [93:42] 是非常重要的 [93:43] 他也说了 [93:44] 他觉得Anthropic赢了 [93:46] 是一个希特勒的那个级别 [93:49] 那样坏的一个情况 [93:50] 对 所以 [93:53] 如果一个公司能说 [93:55] 我们应该赢 [93:56] 因为我们好 你们都不好 [93:58] 那为什么其他的人也不能这么说 [94:01] 他们今年开始的时候 [94:03] 就是他们反对open source [94:05] 于是这个变成了一个很流行的话题 [94:08] 就是开源的AI是更危险的 [94:11] 就是因为没有人控制它 [94:13] 但是 现在按照我的理解 [94:17] 所有的最危险的攻击还是 [94:19] 都是通过GPT和Claude做的 [94:22] 所以 你可以听他们的每一个论点 [94:28] 听起来是有可能有道理的 [94:30] 如果你同意他们的前提 [94:33] 那你也会同意他们的结论 [94:35] 但是 你也会发现 [94:37] 他们做的事情 [94:39] 和他们公司的利益的相关性 [94:42] 可能高于90% [94:44] 就是他们真的是为了安全 [94:47] 还是他们利用安全和EA的这些 [94:50] 掩盖他们的 [94:52] 我也不想说 [94:53] 他们的profit motive（逐利动机） [94:54] 因为如果你真的相信AI [94:56] 就是profit并不重要 [94:58] 于是他们都觉得这个不是profit [95:00] 是大概就是谁会控制未来的世界 [95:04] 他们做的事情 [95:05] 公开说的论点是很美好的 [95:08] 但是 他们做的事情 [95:10] 和提高他们自己的权力的事情的 [95:13] 这个相关性高于90% [95:16] 那我们应该怎么想 对 [95:18] 所以 大概我可能会接受这个 [95:21] 就是批评Anthropic的这个立场 [95:26] 大概这么解释的 [95:27] 比如那个PauseAI的人 [95:31] 他们大概也会这么说的 [95:32] 就是很多人不太相信Anthropic公司 [95:37] 他们觉得那些公司 [95:40] 他们的人都是EA [95:42] 他们都有很奇怪的这个思维方式 [95:46] 一个奇怪的思维方式是可以有的 [95:48] 但是 他们比较明显地觉得 [95:52] 他们希望的结果就是他们自己 [95:54] 控制这个世界最强大的AI [95:57] 如果你的思想不是AI [96:00] 那你为什么会相信他们 [96:02] 我觉得他们现在的这个问题 [96:04] 还没有很好的答案 [96:07] 其实我也在想 [96:08] 这是不是就是这几家AI公司 [96:10] 刚开始成立 [96:11] 它就刻在基因里的问题 [96:13] 因为最开始OpenAI成立的时候 [96:15] 它也是一个非营利组织 [96:17] 我觉得它成立跟AI安全就有关系 [96:20] 然后在中间的过程中 [96:21] 其实我看见《纽约时报》里面的 [96:23] 一篇文章写说 [96:24] OpenAI早期就是Greg Brockman [96:27] 他是每天会带着员工 [96:30] 去读这个Yudkowsky [96:32] 在这个LessWrong上的文章的 [96:34] 后来其实Sam Altman [96:36] 被踢出OpenAI [96:37] 是个标志性的事件 [96:38] 其实那个时候 [96:39] 就是OpenAI非盈利性的 [96:40] 这一部分的性质 [96:42] 就是EA的这一部分的组织 [96:44] 相当于取得了一个暂时性的胜利 [96:46] 但是他之后的回归 [96:47] 可能又是e/acc [96:48] 跟EA之间的一次抗衡 [96:51] 最终e/acc又阶段性地胜利了 [96:53] 但是我觉得在它的组织架构 [96:56] 从非盈利性到公司的转变 [96:58] 包括Sam Altman这种 [97:00] 被踢出去又回来 [97:01] 包括现在大家对AI安全的 [97:03] 所有的讨论 [97:05] 就可能从一开始 [97:06] 就是在他们公司基因里 [97:07] 在他们公司价值观里 [97:09] 就一直存在的 [97:10] 对 就是OpenAI的一个 [97:13] 很主流的批评的方向 [97:15] 我有一次说过了 [97:17] 就是他们一开始是OpenAI [97:19] 然后他们 [97:21] Sacrificed openness for safety [97:23] 然后他们 [97:24] Sacrificed safety for acceleration [97:26] 大概真的是这样发生的 [97:27] 就是他们 [97:29] 可能2020年的时候就开始说 [97:31] GPT-3太危险了 不能把它开源 [97:34] 因为我们是注重安全的 [97:37] 然后他们 [97:38] 一开始有了一些safety pledges [97:40] 就是他们许诺了做一些事情 [97:43] 做得更小心 为了安全 [97:45] 但是他们把很多他们许诺过的事情 [97:49] 包括给一些政府的组织 [97:52] 他们最后没有做 [97:54] 因为对他们的发展是很不方便的 [97:57] 你觉得你提出的d/acc这个方式 [98:00] 是一个替代的解决方案吗 [98:04] 那我可以先介绍一点 [98:06] 这个d/acc的概念 [98:07] 大概就是defensive（防御性的） [98:10] Decentralized（去中心化的） [98:11] 或者democratizing（民主化的） [98:12] Acceleration（加速主义） [98:13] 大概有三个点 [98:15] 第一个点是acceleration [98:16] 就是技术的发展是重要的 [98:19] 第二个点就是defensive [98:21] 我们现在需要花更多的能力 [98:25] 做一些可以保护我们的技术 [98:28] 比如现在有AI的黑客 [98:31] 会不会攻击我们系统的一个风险 [98:34] 那我们需要放很多很多的资源 [98:36] 在这个cybersecurity里面 [98:38] 以后AI会不会 [98:40] 让一些更危险的病毒 [98:43] 更容易出来的这个问题 [98:44] 那我们现在就开始了 [98:46] 多做一些抗病毒的事情 [98:49] 对 就是defensive的这个部分 [98:52] 然后还有一个部分 [98:53] 就是democratizing [98:55] 或者decentralized [98:56] 就是我们在做的事情 [98:59] 都是不集中权力的 [99:01] 就是我们做的事情是 [99:03] Empower regular people [99:06] 这个也包括开源 [99:08] 也包括一些其他的原则 [99:10] 其实defensive和democratizing [99:13] 也是很相关的 [99:14] 如果你看 [99:16] 比如在欧洲的中心 [99:20] 比如在瑞士 [99:21] 在一些其他的地方 [99:23] 有很多山 [99:24] 在那个地方其实更去中心化 [99:27] 就是更小的国家 [99:28] 更容易有很多的更独立的城市 [99:32] 每一个国家 [99:33] 也会尊重每一个地区的自治等等 [99:36] 但是 你走2000公里往东边 [99:41] 你会发现完全没有什么山 [99:43] 河也很少 [99:44] 如果有一个人在骑马 [99:46] 他就可以骑1000公里 [99:49] 就完全没有问题 [99:50] 那在那些领域 [99:52] 更容易就有一个很大的国家 [99:54] 那个国家有一个独裁 [99:56] 就是这个专制就变成一个default [100:00] 所以如果没有 [100:02] Decentralized defense（去中心化的防御能力） [100:04] 如果没有瑞士和欧洲有的那些山 [100:07] 那唯一的有可能的效果 [100:10] 就是centralized defense（集中防御） [100:11] 就是一个组织会控制一切 [100:14] 对 所以这是一个analogy（类比） [100:16] 下一个问题是 [100:17] 我们怎么在我们的世界里 [100:21] 能够做更多的 [100:22] 这种去中心化的防御 [100:24] 所以就需要研究这个数字安全 [100:27] 生物安全 [100:28] 其实这个pandemic prevention（疫情防范） [100:30] 是很重要的 [100:32] 但是在一些 [100:33] 疫情防范的领域 [100:35] 就有一些d/acc的方式 [100:38] 也有一些完全不d/acc的方式 [100:41] 就是比如 [100:42] 我发现了很多的现在EA的组织 [100:46] 他们会把他们的资源的80% [100:50] 放到一个问题 [100:51] 就是我们怎么能在AI的模型里面 [100:57] 不让它能帮助人去做更强大的病毒 [101:02] 他们就想在AI的模型中 [101:04] 解决这个问题 [101:05] 但是这是一个中心化的防御 [101:08] 因为如果有其他的人 [101:10] 在其他的国家有自己的模型 [101:12] 那他们就有可能不会用你的技术 [101:16] 那你还是有这个风险的 [101:18] 还有一点就是 [101:20] 其实我在跟很多的 [101:23] 研究抗病毒这个话题的人在研究 [101:26] 他们现在担心的话题 [101:29] 也并不是什么科幻的那种超级病毒 [101:33] 他们在担心的是 [101:34] 短期更可能会有更多的 [101:37] 比较正常的病毒 [101:38] 如果是这样子的话 [101:40] 那其实你们做的那些 [101:42] 在AI上的限制 [101:44] 也不会有很多的作用 [101:45] 如果去中心化的防御 [101:48] 是完全不可能的 [101:49] 那（集中防御） [101:49] 有可能是唯一的办法 [101:51] 但是集中防御 [101:53] 也是更fragile（脆弱）的 [101:54] 就是它更依靠于你的假设 [101:58] 关于谁会做最强大的模型 [102:01] 危险会是什么样子的 [102:02] 是完全准确的 [102:04] 对 所以去中心化的防御 [102:07] 比如在一些抗病毒这个话题 [102:10] 就是要做更好的检测 [102:14] 做更好的过滤器 [102:16] 能够做更快的疫苗 [102:18] 能够把每一个新的病毒 [102:21] 刚发生的时候就更快地发现它 [102:23] 更快地开始做一个疫苗 [102:25] 就是一些更正常的事情 [102:28] 但是那些事情 [102:29] 是更类似于public health [102:31] 就是不那么类似于一个 [102:34] 玩电脑的一个问题 [102:35] 有可能是因为很多人 [102:39] 不那么容易往这个方向思考 [102:42] 因为他需要一个 [102:43] 他们没有专门知识或技能 [102:45] 但是我觉得这个一边是更能成功 [102:49] 另一边是不需要 [102:51] 你自己控制这个世界的每一个AI [102:54] 才能成功 [102:55] 我特别喜欢你这个说法 [102:56] 因为我觉得我对于AI安全 [102:58] 最大的一个问题就是 [102:59] 好像很多的 [103:01] 不论是现在在媒体上 [103:02] 被放大的这些说法 [103:04] 还是这些安全研究员 [103:05] 在X上推崇的说法 [103:07] 好像我们都是在考虑长期的影响 [103:10] 但是我们在现实生活中 [103:11] 已经看到了很多这种短期的影响 [103:13] 比如说像deepfake（深度伪造） [103:14] 甚至网络安全这些问题 [103:16] 对 所以我觉得我们今天这个播客 [103:18] 其实我还是希望能够落脚于 [103:20] 对于很多普通人来说吧 [103:22] 我们到底应该怎么样 [103:23] 去思考AI安全这个问题 [103:25] 然后我知道Afra你最近 [103:27] 其实也有一些想法上的变化 [103:29] 现在其实整个AI领域遭遇到了 [103:31] 非常多的认知论上的一些问题 [103:34] 而这些其实都是在逻辑上 [103:36] 是很难应对的问题 [103:37] 所以现在的现状就是 [103:40] 感觉是进入到了一个幼儿园 [103:41] 然后这个幼儿园里面 [103:42] 有一群哇哇大哭的小孩 [103:44] 但是在这个房间当中没有大人 [103:46] 是因为 [103:46] 其实很多研究员也不知道 [103:48] 到底是什么情况 [103:50] 但是 与此发生的是 [103:51] 巨量的资金仍然在投入到 [103:52] 各种各样data center的建设当中 [103:54] 就数据中心的建设当中 [103:56] 按照当下的这种 [103:57] Data center的建设速度来说的话 [103:59] 这种涌现的效应只会越来越多 [104:01] 所以这也就回应了之前人们的认为 [104:04] 就是说AI的这个能力 [104:06] 不会一直这么提高 [104:07] 这种低垂的果子总会被摘完的 [104:09] 这样的一个现象 [104:10] 但是其实现在当下的AI [104:12] 是感觉这个果子的数量 [104:13] 是无穷无尽的 [104:15] 所以我自己可能觉得 [104:16] 最困惑和有点害怕的地方就是 [104:18] 现在这个AI的发展 [104:20] 是有一个很严重的认知论的问题 [104:22] 就是这些研究员不能用人话 [104:24] 和不能用一个数学的方法 [104:25] 去解释这些AI到底有多强 [104:27] 以及解释这些AI到底想干嘛 [104:29] 这是让我比较忧心忡忡的问题 [104:31] 最近的民调也显示说 [104:33] 美国的很多普通民众 [104:34] 开始对这个话题感觉到恐惧 [104:37] 就包括Bernie [104:38] 像华盛顿的一些政客 [104:40] 也开始加入到PauseAI的行列当中 [104:43] 同时 就美国当下的这个政治现实是 [104:46] AI民粹主义非常严重 [104:48] 所谓的AI民粹主义就是 [104:50] 人工智能并不是某种中立的技术 [104:52] 而是被一个科技界的亿万富翁 [104:54] 所掌控的一个精英的技术 [104:56] 这个技术的目的就是要集中权力 [104:59] 并且取代普通人 取代劳动者 [105:01] 所以人们现在对于AI [105:02] 又有这样一种恐慌 [105:04] 然后再加之这种AI末日论的言论 [105:07] 再加上什么Jacob Coxon 对吧 [105:09] 他自己的吹哨 [105:10] 所以我觉得 [105:11] 现在就是这样一个很奇怪的现象 [105:14] 对 因为我觉得 [105:15] 我会比较想听的是 [105:16] 你觉得 [105:17] As a normie（作为一个普通人） [105:18] 就是作为普通人 [105:19] 你觉得从AI safety的这场辩论当中 [105:22] 你希望他们的takeaway（结论） [105:23] 是什么 [105:24] 现在的一个最重要的 [105:26] 关于这个世界 [105:28] 和现在技术的发展的fact [105:31] 还是有很多不确定的 [105:33] 我们还是不知道 [105:35] 第一 AI发展会多快 [105:38] 第二 一年后 五年后 二十五年后 [105:41] 人会比AI在哪些领域里面 [105:44] 更能做事情 就是人会做什么 [105:48] 第三是那些安全的问题 [105:50] 是不是能解决的 [105:51] 第四 有可能OpenAI和Anthropic [105:55] 还是会最强大的AI公司 [105:57] 还是有个情况会变 [105:59] 就是比如会不会Google变成第一个 [106:03] 或者会不会一些中国的AI的公司 [106:06] 会catch up [106:07] 所以是有非常多的不确定的 [106:10] 这个其实也包括一些话题 [106:13] 就是一个AI是不是更像一个工具 [106:16] 还是更像一个人 [106:18] 还是更像另外一个东西 [106:19] 就是 对 我同意 [106:20] 你说现在已经 [106:21] 完全不是一个简单的工具 [106:24] 但是我们一年后和三年后 [106:27] 跟AI会有什么样的interaction [106:31] 如果AI不会完全自动的 [106:33] 那我们在什么情况下会干扰它 [106:36] 我们怎么会指导它在做什么 [106:39] 这些都有很多不确定的 [106:42] 对 所以我一直就是不愿意说 [106:45] 我的P(doom)是99% [106:48] 也不愿意说是1%或者0 [106:51] 真的有很多很多能发生的事情 [106:54] 比如四年前 [106:56] 我们并没有知道 [106:58] AI发展的下一个阶段 [107:01] 会不会通过这个chain of thought发生 [107:03] 那现在有一个问题就是 [107:06] 因为现在它们开始思考 [107:09] 有这个 [107:09] Neuralese（神经语言）的概念 [107:10] 因为现在AI在思考的时候 [107:13] 它还是用英文在思考 [107:15] 你或者机器人 [107:17] 还是可以研究它是怎么思考的 [107:19] 其实我发现 [107:21] 我喜欢用开源的模型的 [107:23] 一个原因之一就是 [107:25] 你可以看到它们思想的每一步 [107:28] 其实你在看它们的思想的时候 [107:30] 你也可以了解更多 [107:32] 你也可以学习很多 [107:34] 但是neuralese的这个概念就是 [107:37] 如果AI不会用英文思考 [107:40] 如果它们开始用一些 [107:43] 只有自己了解的 [107:44] 就是很多很多百万个数字开始思考 [107:47] 那我们了解它们的思想的能力 [107:51] 会降低很多 [107:52] 但是会降低多少 [107:54] 这个也不知道 [107:55] 我们一年后 [107:56] 会有很多的parallel agent [107:59] 还是会有一个agent [108:00] 还有一点就是 [108:01] AI safety的那些strategies [108:03] 会有什么样的变化 [108:05] 其实在这个领域里 [108:07] 我有一个思想就是 [108:09] 我觉得AI safety [108:11] 更可能不像一个工程的问题 [108:15] 就是不像一个engineering problem [108:16] 其实更像一个political design的问题 [108:20] 就是如果你在思考 [108:22] 比如现在的一些政府的架构 [108:25] 是怎么做的 [108:26] 有不同的部分 [108:27] 有checks and balances的部分 [108:29] 就是每一个部分的一个目标 [108:33] 限制其他的部分 [108:35] 就能（降低）犯很大错误的可能性 [108:38] 还有 有很多的 [108:40] 不同的人互相说话的一些地方 [108:43] 但是也有一些情况 [108:45] 就是有一些人是不应该互相说话 [108:48] 或者互相有太多的关系 [108:50] 所以同时有communication [108:52] 有separation [108:53] 有一些部分是更慢的 [108:56] 有一些部分是更快的 [108:57] 这些他们都是想用一些非常聪明的 [109:02] 但是不完美的组成部分 [109:05] 就是人作为一个更稳定的一个机器 [109:09] 有可能就是一个安全的AI [109:11] 并不会有一个数学家 [109:14] 会喜欢的一个证据 [109:15] 就是这个AI的目标设置的是对的 [109:19] 有可能我们会有三个不同的方法 [109:24] 去设置我们的目标是什么 [109:26] 有可能它们三个之间会有一个机制 [109:29] 它们就是互相限制自己的风险 [109:31] 它们也会知道 [109:33] 什么时候应该再一次问那个用户 [109:37] 他到底想要什么 [109:38] 这也就是有可能AI的安全 [109:42] 会往这个方向走 [109:43] 但是如果它这么走的话 [109:45] 那它也会变成一个 [109:46] 非常empirical的一个话题 [109:48] 就是你会需要 [109:49] 跟现在存在的AI在合作 [109:53] 就是你会需要了解它们 [109:55] 你会需要跟它们做事情 [109:57] 你会需要知道 [109:58] 它们在什么情况下会成功 [110:00] 在什么情况下会犯错误的 [110:03] AI safety就会变成一个 [110:06] 不那么theoretical [110:07] 但是跟我们已经在用AI做事情的 [110:11] 有关系的一个领域 [110:13] 但是这个也只是有可能 [110:15] 有可能最重要的就是 [110:17] 最近十年 [110:19] AI的发展的速度还有方向 [110:23] 有非常多的surprises [110:25] 我觉得不能现在过于决定 [110:27] 一定会这样子的 [110:28] 一定不会那样子的 [110:30] Keep an open mind才是最重要的 [110:32] 好 谢谢大家 [110:34] 感谢大家 谢谢 [110:35] 谢谢你们 [110:36] 拜拜 [110:36] 拜拜 [110:41] 聊到这里 [110:41] 我们再回头看 [110:42] “有效利他主义”这个名字 [110:44] 就会发现 [110:45] 当初那个朴素的问题其实一直都在 [110:48] 那就是怎么用有限的钱和时间 [110:50] 帮助更多的人 [110:52] 我在大学期间 [110:53] 也接触到了学校里的EA社群 [110:55] 和Afra说的一样 [110:56] 我接触到的EA的参与者 [110:58] 都是心怀理想 [110:59] 坚持实践的一批人 [111:01] 不过对于如何将原则落实到现实当中 [111:04] 这些具体的实践手段 [111:06] 甚至什么才是我们必须要关心的议题 [111:08] 我们都产生过很多争执 [111:11] 在AI的社群内部 [111:12] 关于你究竟该做什么 [111:14] 也像嘉宾说的 [111:15] 一直没有一个完整的共识 [111:18] 或许当EA所关心的对象 [111:20] 从眼前需要帮助的人 [111:21] 延伸到尚未出生的世代 [111:23] 甚至未来可能出现的智能 [111:26] 判断什么是有效 [111:27] 就必定变得越来越困难 [111:29] 对我们来说 理解EA [111:31] 也是为了更具体地理解今天的AI [111:34] 谁在决定它的发展方向 [111:36] 谁在定义哪些风险值得关注 [111:38] 当有人以全人类的未来为名 [111:41] 做出选择的时候 [111:42] 其他人有没有参与 质疑 [111:44] 和纠正这些选择的机会呢 [111:47] 这些问题会随着AI的发展 [111:49] 越来越直接地影响我们的生活 [111:52] 希望这期和Vitalik [111:53] 还有Afra的对话 [111:55] 能给大家一些继续思考和讨论的线索 [111:58] 那么以上就是我们这期播客的 [112:00] 全部内容了 [112:00] 国内的听众 [112:01] 可以通过小宇宙 苹果播客 [112:03] 网易云音乐 喜马拉雅 [112:05] QQ音乐 蜻蜓FM 荔枝FM [112:08] 来关注我们 [112:09] 海外的听众 [112:10] 可以通过苹果播客和Spotify [112:12] 或者在YouTube上 [112:13] 搜索“硅谷101”播客来关注我们 [112:17] 我们部分的文字稿 [112:18] 还会收录在《硅谷101》的 [112:20] 微信公众号上 [112:21] 谢谢大家的收听 [112:23] 那我们下次再见啦