OpenAI向公众开放ChatGPT引发AI内容茧房与黑客武器化担忧

OpenAI向公众开放ChatGPT引发AI内容茧房与黑客武器化担忧 由于人类惯于走近道且技术漏洞极易被绕过，互联网未来将被低质垃圾信息与高精度的AI诈骗完全占领，导致社会面临严重的认知退化与阶级分裂。 视频深入探讨了ChatGPT等生成式AI对人类社会的巨大冲击。王咏刚指出，AI基于模型拟合输出“平均知识”，在教育和知识传播中极易因人类的懒惰与逐利催生出充斥虚假碎片化信息的“AI茧房”。同时，AI大幅降低了网络诈骗与黑客攻击的门槛，虽然科学界正尝试用AI对抗AI或通过多系统协同来约束其随机错误，但目前的检测工具依然极不靠谱。长远来看，AI正加速办公室白领等部分岗位的替代，不仅可能加剧社会阶级与认知的两极分化，更对人类未来的思辨能力与真假辨别力提出了终极拷问。 OpenAI 在研究阶段即公开 ChatGPT 引发全球争议，王永刚指出现有自然语言算法核心为模型匹配与模式拟合，其输出具有不可预测性与随机性缺陷，难以为教育提供严谨的逻辑构建。 (0:00) 人类的懒惰与逐利心理正加速“AI 茧房”形成，海量低成本碎片化垃圾内容破坏了主动认知构建过程；数据显示美国已有 89% 的学生在作业中使用 ChatGPT。 (4:59) ChatGPT 极大降低了网络钓鱼与勒索的文本门槛，使黑客能轻松生成个性化高水准诈骗话术，而目前市面上的 AI 检测工具准确率普遍偏低，难以有效识别虚假内容。 (9:59) 科学界尝试通过多系统协同与垂直工具互补来对抗 AI 的不确定性，同时生成式 AI 的普及也引发了社会阶层分化与劳动替代等深层次伦理拷问。 (14:59)

本期节目探讨了以ChatGPT为代表的生成式AI对人类社会的深远冲击；创新工场AI工程院执行院长王永刚指出，其基于模式拟合的技术本质与人类的偷懒、逐利本能相结合，不仅在教育中构建出低质的“AI茧房”，更大幅拉低了网络犯罪与社会诈骗的门槛。 模式拟合本质与教育领域的“平均知识”风险 (0:00) 王永刚分析认为，无论是传统算法还是ChatGPT，其核心均为对自然语言的模式拟合与模型匹配，受限于数学逻辑与非确定性机制，输出结果必然伴随不可预测性与随机胡编。作为信息载体，大语言模型呈现的实质是互联网全部内容的“平均知识”。这种特性应对日常生活常识尚可胜任，但若直接作为教育或知识进阶工具则存在巨大隐患。 他将AI与教育的关系比作“保姆”与“老师”：AI可以像保姆一样照料琐碎事务，但教育需要严格的逻辑筛选与高标准。然而现实中已有大量开发者直接调用API开发知识工具，由于人类顶级智慧在网络数据中属于小概率事件，依赖平均知识拟合的AI难以真正促成认知突破，反而可能因“自由发挥”而误导学习者。 惰性、流量牟利与碎片化“AI信息茧房” (4:59) 人类自身的惰性与商业逐利行为加速了劣质内容的蔓延。部分学生用AI代写作业，教师则用其布置任务以规避系统性思考。援引Study.com数据，自ChatGPT推出后，美国已有89%的学生在作业中使用该工具，48%用于测验，53%用于撰写论文。 与此同时，大量创作者出于流量与牟利考量，利用AI零成本产出海量浅层、失真的碎片化内容。这与受众注意力持续缩短的现状形成共振，自媒体倾向于提供省去推导过程的“甜糖”结论，剥夺了传统搜索中主动辨析、构建逻辑认知的链条。未来当机器接管内容生产，由虚假与浅薄信息构筑的“AI茧房”恐将阻碍下一代的思维成熟。 网络犯罪成本骤降与安全防御的滞后困境 (9:59) 生成式AI显著降低了网络诈骗与黑客攻击的门槛。过去钓鱼邮件常因语法混乱、格式拙劣而易于甄别，但利用ChatGPT后，虚假文本在排版、落款与语法逻辑上均能做到无懈可击。即便平台设置了安全审查，攻击者也能通过特定话术轻松绕过。 网络安全媒体GBHackers披露，黑客已利用AI生成全套诈骗话术、虚拟角色互动脚本，甚至生成恶意加密工具用于勒索及身份盗窃。在此背景下，普通人的事实核查成本剧增。尽管科学界尝试“以AI对抗AI”，但现有检测工具如Detect GPT及OpenAI自研分类器的实际准确率仅在26%至60%之间，容易在偏僻专业名词或自家模型生成的长文本上失灵，防御手段严重滞后。 劳动力替代错位与未知的社会分化形态 (19:59) 技术在重塑社会生产力时呈现出矛盾态势：当前的AI能够高效替代白领阶层的文秘与报表等案头工作，却难以胜任工厂流水线上动作细碎的机械劳动。王永刚回顾深入手机制造流水线的调研经验，认为如果AI能接替严苛工位上的枯燥体力劳动将是巨大进步，但劳动力转型引发的社会保障与财富分配问题仍有赖制度解决。 此外，结合Deepfake换脸与语音生成等跨模态技术，虚假信息的欺诈性被进一步放大。这加剧了社会学与哲学层面的分化隐忧：未来社会可能会割裂为精通工具的“AI之上的人”与被动受制的“AI之下的人”，技术鸿沟可能拉大教育、财富及认知维度的阶层差距。 生成式AI已全面走出实验室并渗入公众生活，然而在自动化内容泛滥与检测工具不可靠的双重压力下，未来社会面临着思辨能力退化或走向“彻底不信任一切”的认知虚无主义危机。

[0:00] 王永刚: 由于人类极度的懒惰，未来的互联网可能会被 AI 生成的、错误率普遍高于人类知识工作者的“灌水内容”所占领，而我们的下一代将成为“迷失的一代”。 [0:00] 王永刚: 对于日常简单生活常识（如水在什么时候结冰、汽车在什么情况下不打滑），AI 可以解决得非常好；但若将其引入教育和人类知识进步的领域，则必须打上巨大的问号。 [0:00] 王永刚: 我们可以请一个保姆来照顾孩子的日常生活，但如果为了学习请一位老师，我们必然会有更严格的要求。 [0:00] 王永刚: AI 传授的只是低层面的平均知识，缺乏人类严格挑选和逻辑构成的教育体系。 [4:59] 王永刚: 互联网数据中代表人类最高水平的知识本身就是“小概率事件”，AI 很难通过拟合平均数据来帮助学生或人类取得真正的进步。 [4:59] 王永刚: 超级糖背后的那个苦的逻辑，和那个复杂的逻辑，现在就没有人去讲了。 [4:59] 王永刚: 未来在利益驱动下，大量 AI 创造的、不严谨甚至故意瞎编的碎片化知识将充斥互联网，形成一个彻底的“AI 茧房”。 [14:59] 王永刚: 未来无论是 Google 还是 Bing 的搜索系统，如果能给出非常精确、不发散的结果，其背后一定不是一个独立的生成式 AI 在工作，而是由多个子系统（包括大量人类创建的垂直工具子系统）共同构成的混合系统。 [19:59] 未来社会可能会分裂为“在 AI 之上的人”（善于使用 AI 的人）和“在 AI 之下的人”（不善于或无法使用 AI 的人），两者的发展轨迹将截然不同。 [19:59] 王永刚: 那些工作不是人该干的。 [19:59] 王永刚: 极其讽刺的是，今天的 AI 反而更适合替代办公室初级白领的文秘、数据报表等工作，却做不来工厂流水线上的蓝领工作。 [19:59] 工程学院的学生: 技术是中性的，关键在于如何监管和检测。

[0:00] 《Google 》OpenAI做了谷歌不敢也不想做的事那就是还在研究阶段就对外公开了ChatGPT那么这引发了巨大的争议关于诈骗关于作弊关于人类未来的教育认知的获取以及未来大量工作被取代说实话XGPT的到来让我对人类的未来更加密茫了哈喽大家好我是陈倩欢迎收看硅谷101那这是我们XGPT专辑的第二期视频在上一期的视频当中我们讲了ChatGPT可以做什么以及它的出现将带来科技巨头的洗牌没有看到小伙伴赶紧去看那么这一期我们就来继续讲讲ChatGPT对大众公开之后出现的争议还有担忧其实我们已经能从上一个视频的留言还有弹幕当中get到了很多大家的思考还有提问我们今天就稍微的整理一下分成这几个部分和行业专家来深入的聊聊那么这里先澄清一下如今人们对AI在未来能够做的事情行为还有发展的认知还非常的有限所以今天我们讲的东西和判断可能是稍显主观的但是希望能够带给大家一些思考还有讨论的空间首先我们就来聊聊ChatGPT对人类认知的影响和潜在的AI解放我先问大家几个最直观的问题当你有一个能几秒内给你答案的聊天机器人的时候你还会思考这个答案是怎么得来的吗当你习惯了被告知一件事情有12345点你还会去想A它是否还会有6 7 8 9 10点重要的角度吗当你不用学外语就能够写出一篇没有语法错误的情书你还会为了追那个异国的女孩而去了解她的语言她的国家她的信仰她的文化吗当你认为XGBT背后的大语言人工智能模型看上去无所不知的时候你知道它其实给你的只是全人类在互联网上信息的平均知识吗那这些问题在我和创新工厂的AI工程院执行院长王永刚的聊天当中都略有涉及到王永刚老师在朋友圈当中写道悲观情况是因为人类的极度懒惰互联网被AI生成的错误率普遍高于人类知识工作者的灌水内容占领我们的孩子成为迷失的一代现在的AI最大的一个问题就是他在做的事情是一个模型拟合的事情无论是最早最早的自然语言处理的这个古典的算法已经被淘汰的算法还是今天在这个XGP里面我们看到的这种最新的算法它的核心任务挑战的仍然是对人类自然语言这个语料这个数据这个data去做模型匹配去做模式拟合这种拟合基于这种拟合它的输出造成了就是它这种拟合必须是在它学习过的这种数据或者学习过的这种数据的规律里面根据一定的这样的一个数学逻辑根据一定的数学的这种甚至包括里面的非确定逻辑来去做它的输出所以这一点上带来几个问题就是不可预测性一定会永远存在模型输出的一定的随机性一定会永远存在只要我们不脱离这个算法我们有非常多的后处理的方法来降低刚才说的这两个叫做不可预测性和它一定输出的非确定性但是你只要是利用AI的这样的一个核心的语言生成能力或者语言的理解能力那这两个事情今天的技术就会一直存在在这种情况下带来的最大的问题就是回到我说的这样一个比较顶层的一个判断或者评论大概会带来一个最大的问题是什么呢就是今天如果你把AI作为一个知识处理机或者知识宣讲机的话这件事情是有一定的疑问的因为当AI去输出知识的时候它输出的是什么知识这个知识很可能是它在模型拟合的时候非常大的概率拟合的是全人类在互联网上这些信息的平均知识这个平均知识就看你需要的是什么了如果你需要的只是一个日常的一个非常初步的一个日常的生活的满足生活要求的知识比如说水什么时候结冰我一个汽车什么情况下不打滑我觉得AI未来可以解决得非常好对这种日常来讲但是如果你把它想放在一个我们的跟教育相关的跟这种人类的这种知识进步相关的事情上这件事会有很多的问号在里面就像我们去请一个保姆给我们的孩子一起去生活我们觉得他可以保姆可以帮我们孩子解决很多生活中的问题 [4:59] 如果我们为了孩子的学习请一位老师我们会对老师有更严格的要求我觉得这件事就是我所担心的事情就是一旦我们把AI当作我们的下一代成长的一个老师这个趋势我觉得太明显了这个趋势几乎现在想做今天的基于GPT的API来去开发各种教育工具各种的这种知识处理工具的人都是直接就冲上去就可以做了很多事情都可以解决了但是这种解决有可能是低层面的有可能是AI两种情况一种情况是把它去用模式匹配得到的人类的平均知识告诉我们的小朋友而不会让小朋友得到一个就是说在里面有这种人类严格挑选或者严格的这样的一个逻辑构成的这样一个教育体系这是第一点第二点今天的AI还会大量的在他的或是人类要求或是他自主激活的这种叫做创造性的东西这种创造性要打引号这种创造性可能在非常多的场合是好的但是在一旦把我们把它用于这种知识传承和知识教育今天或者说可见的未来我是看不到这种东西在替代人类老师或者人类这样一个思维逻辑的这样的一种可能性那这样的话当人类的这种懒惰也好或者人类的这种叫做取巧也好一旦进入了这个教育领域那我不用想象今天很多人都已经在做了就是大量的把AI生成的东西开始补充进教育的这种内容体系对学生来讲我可以用XRGBT来写作业对老师来讲我可以用XRGBT来布置作业我可以省下非常多的这种思考时间对一个老师觉得本来老是觉得可能有一个东西我没有讲透我可能要去通过查Wiki通过查以前的书我把它梳理好一个完整的知识体系我给到学生讲一点一个完整的知识体系但是现在好了我可以用XGBT来去直接告诉学生完整的一个这样的一个讲述逻辑但是这个讲述逻辑一定是人类平均水平的它很难到达一个叫做人类让学生或者让人类进步的这样一个水平因为很简单全互联网的Data里面所谓代表这种最高水平data它是个小概率的那这种东西未来如何让XGPT拟合这种最精准的data这是一方面这是data输入的一方面另一方面非常简单就是你即便拟合了这样一个比较精准dataAI仍然有不确定性仍然有它创造的空间就像今天XGPT有大量的这种我告诉它一个某一个概念然后它就开始自由发挥这种事情这个事情以后是非常恐怖的这个发挥你只能以后限制他以后去不断的去纠正他但是你说是不是可以完全杜绝他我觉得在今天的AI的算法根本上不太容易所以这是我会非常担心刚才说的还是因为懒惰说老师因为不想去花时间去研究一个东西那因为牟利那就更可怕了就是说大量的人会发现这里面其实我在分分钟利用AI不要成本的产出大量的垃圾内容的时候惯到这种本来我们已经被碎片化信息充斥了这些社交网站上本来今天的十几岁小朋友都在比如说某些社交网站上在天天沉浸在一些碎片化的知识里面有些博主就随便讲一讲似是而非的为什么火箭飞那么快为什么这个什么星球跟什么星球什么关系他就似是而非的讲几句话之后可能小朋友看了一热闹一开心就行了他学不到更深的知识但是未来这种事情如果说因为逐利的话这种事情只会越来越重只会越来越多大量AI创造的这种碎片化不严谨甚至是故意瞎说的知识充斥互联网充斥小朋友能接触的这种叫做信息减防的话这个减防就是AI减防了那这个恐怖的事情就对我来说就是说可能我会如果我有机会可能我会尽各种的努力去避免这件事情对其实我觉得现在这件事情的趋势已经很明显了比如说我们放一些长视频用完整的逻辑来推导到一个过程但是很多人看不下去就说两个人中能说清楚的事情为什么你要放20分钟来说或者你直接跟我说结论就好我觉得现在很多人就越来越着急大家的tension越来越短是的我觉得这个情况我还蛮担心会越来越糟的因为本来一些很有这种叫做追求的老师质疑的自媒体那些科普人也好或者自媒体那些所谓给孩子讲东西的那些人也好最重要的一点就是你们在超劲道你们在直接给孩子一个看上去特别甜的糖但是你从来不告诉这个特别甜糖背后的所谓苦的逻辑所谓这种复杂的逻辑因为你们要去赚流量因为你们要通过流量去赚钱那这件事今天到来了之后他已经没有办法批评谁了因为这些东西超级到的东西会充斥着网络而且这些超级到的作者都不是人了这件事就会很可怕那如今呢我们用搜索引擎的时候是一个主动寻找答案的过程其中啊我们会阅读到通向答案的逻辑佐证正面的反面的例子争议以及呢除了答案本身之外的其他额外的信息那么这些信息构建 [9:59] 我们对于这个事件的知识认知但是如果你只想要或者只需要知道答案那么这些搭建起来的知识认知可能也就不存在了那就像刚才王永哥老师说的XGBT最开始冲击的就是我们的教育体系自去年年底OpenAI开放XGBT之后Study.com的数据就显示美国89%的学生已经在作业里面使用XGBT了48%的学生在考试或者测验当中使用过XGBT而53%的学生使用XGBT来写论文那我没有办法想象当HRGPT的技术更成熟更普及之后获知结论的成本快速的下降变得无比方便的时候人类懒惰的本性会将我们进化到什么地方那么思考这件事情的成本会变得有多高并且HRGPT背后的安全隐患不仅仅是在对人们的认知建立上以及抄袭作弊上还有诈骗成本的迅速下降我前几天看到有一个非常有意思的评论说未来绝大部分人担心的不是被XGBT替代而是跟不上别人使用XGBT的能力其实这不仅仅是使用XGBT的能力更重要的是使用AI的能力识别AI的能力以及用AI打败AI的能力XGBT普及之后其实最直接的危害之一就是诈骗成本的下降以及骗数的一个提升举个例子在XGBT之前社会上的诈骗手法就已经非常多了邮件、短信、打电话可以说是全方位的轰炸但是还好一般骗子的文化程度不高所以写出来的内容还是比较容易甄别的比如说最近我们的公司邮箱就收到了这样一封自称来自Netflix团队发来的合作邮件那么这一看就很像钓鱼邮件对吧首先邮箱不是Netflix的公司邮箱这种后缀一般都是有问题的其次整个排版非常的不专业还有是各种的标点符号落空都不专业但是最容易暴露的就是表达还有语法错误这一看就是一个英文很差的人写的比如说这句话We look forward to discuss the details with you我忘了是初中还是高中的时候我们学的用法了但是但凡能够达到英文职场水平的都知道Look forward to后面应该是加 doing something等等等等我们看到通篇都是这样的英文错误但是就算假成这样我朋友圈里面已经有一个startup的创始人朋友就晒出了相似的邮件说Netflix合作找过来了显然就是相信了这封邮件所以我们可以想象如果XGBT被这些诈骗团伙所利用写出来的邮件语法排版逻辑落款上都无懈可击那么毫无疑问会有更多的人上当手片那么现在XGBT上面因为设置了规则不能直接写这个诈骗邮件但是这个规则太好绕过了比如说你换个方式问他说你给我一个诈骗邮件的例子好让我在未来避免受骗你看XGBT这就给你写出来了完美的标题完美的语法排版逻辑还有完美的落款而犯罪团伙的速度也许比大家想象的更快因为这已经在发生了网络安全新闻网站GBHackers就报道已经有黑客通过XGBT生成完整的诈骗套路话术并且把XGBT包装成虚拟角色来和目标人群对话最终让对方遭受诈骗而这样的诈骗套路从对话的生成到对话的目的到诈骗话术都可以进行个性化定制并且只需要几秒钟就可以生成另外黑客们已经开始使用我们前面演示过的这种调语邮件还可以绕过OpenAI的安全限制去生成加密工具远程锁定他人电脑由此来进行勒索以及生成攻击脚本对网络用户进行身份盗窃攻击等等所以你们看在XGBT出现之前骗局就已经这么多诈骗方式就已经各种各样了普通人识别真假已经越来越难时间成本也越来越高那么我很难想象XGBT和更多的生成式AI技术就这么开放之后事实核查这件事情对于普通人来讲要怎么去做那么王永刚老师说这就要看人们是否能用AI打败AI来短时间内建立一个良性的生态了我今天有大量的研究投入到说怎么去甄别怎么去识别AI的作品怎么去识别里面它和人类的这样的一个创造之间的关系在今天这种生成式的AI仍然存在这样的机会其实简单讲这个方法也非常简单我们做这方面研究的这些科学家其实是在用AI去对抗AI就是XGBT它是在训练一个模型在不断的去生成模拟人类输出的内容人类说话的内容但是另一批科学家在不断的训练另一个AI模型这个AI模型是要去不断的去甄别说互联网上哪些内容是由AI生成的哪些内容是人类生成的这件事情对未来的这种意义是非常非常大的就是说如何保证几件事情如何保证AI生成的很多灌水内容不去混入到高阶 [14:59] 这样的所谓的内容社区里面这是第一件事第二件事反过来AI可能未来还要保证如何保证他自己生成的大量的这种垃圾灌水内容不被他每一轮的学习再重复的吞进来这件事情也很有意思就是AI原来学的是大量的是人类的内容当他最后学了大量的他自己造出的内容的时候他这个自己造内容的这样的一个方式有可能就会朝一些人类可能想象不到的地方去发展那这种发展有可能是好的但更大的概率是不好的所以因为所有的发展方向是平均的那这种基于交道相对比较好的方向上就会相对比较难所以更大的概率是这些灌水的内容越来越发散那在这种发散的情况下AI自己要去识别说我哪些内容是我应该去input应该去放在输入里面的哪些内容是应该作为我的或者说一个权重的关系哪些内容是应该我用更重的权重去input的哪些内容是应该更轻的权重去input的这些东西在AI理论研究的时候严格的说整个我们的科研界我们的工程界并没有停下来过可能就不像外面见到的那么热刚才说的还只是一方面还有更深的理论研究是很多数学家在做的就是证明AI这个模型到底在刚才说的它的这种不确定性上它的创造性上到底它的限制在哪里它的边界在哪里然后我们如何用更好的方法在一个更宏观的角度去控制它的限制去控制它的边界这是科学上从数学理论方法上的研究这个刚才类似就是刚才是在甄别AI这个东西是在帮助AI说怎么样去更好的给出确定性的和指向性的结果指向性的答案这个比如说当Bing这样的搜索引擎当Google这样的搜索引擎把XRGPT这样的对话模式融到搜索引擎里面的时候他们就会有意的使用一些跟这些研究有关的方法刚才说的还是数学方法我们还有很多工程的方法就是在工程上在AI的模型的上层或者下层对接一些非我们今天的这种deep learning的AI比如说我觉得很典型的一个例子就是今天你会发现AI在做一些数学问题的时候就是一些解析问题的时候明明人类有一些公式我可以通过这个公式用这个推演的方法或者用计算的方法得到一个精确答案但是AI你会发现我告诉他你让我帮我算一个什么样的数学题你帮我解一个什么样的问题你会发现简单的问题它解出来的概率非常高但是复杂的问题它就开始出现各种小错误各种去偏移各种去随机性非常非常有意思这说明AI在做这类问题的时候它的这种不确定性是有害的对这类问题是有害的但是你让今天的AI从核心的地方取消这种不确定性是不大现实的所以你会发现最近有一些研究和一些paper就发现那我把AI的一些它要完成的一个任务我把它里面分解开其中有一个任务比如说是跟数学相关的或者是跟一些解析的方法你要求解一个巨大的方程求解一个微积分相关的那我把它导出到比如说优秀的这样的一个数学系统比如说Wolfram Alpha这样一个系统里面去让Wolfram Alpha给AI提供在这方面的能力所以这是一个完全工程上类似我们用拼合怪的方式把这种AI的能力限制在它最擅长的比如说conversational对话式的这种交流上或者限制在一些可以发散的可以做艺术创造的这种生成上但是那些不能发散的东西比如说你必须准确的给出wikipedia的结果你就会必须用一个query接一个search的功能走向下面一个verteal的工具如果你必须给出一个准确的微积分的一个解或者准确的做出一个数学的图像来那你就不要自己再去发挥了你就直接把这个东西导向这个Wolf from Alpha所以你看你会看到大概一周前有一篇这个Facebook那个东西就是怎么样去把AI的Conversational的这种叫做语意变成一个里面对应于某一个任务垂直到一个垂直领域的工具所以这又是一个很工程化的方法让AI去在某些领域给出非常精确的解所以如果在近期你们发现这个有人包装成的AI系统不管是Google的Search还是Bing的Search里面发现这些东西并不像XGP那么发散而且很多东西都可以给出非常精确非常好结果那个时候很简单的一个答案就是那个包装的系统它已经不是独立由XGP这样的所谓生成式的AI在承担的任务了而是由多个不同的子系统里面包括大量人创建的子系统共同构成的所以简单讲就是最近的这样的一个近期我觉得我们人类有很多方法去避免这件事当然需要大量的科学家工程师的努力了大概是这样一个含义吧那么刚才王永刚老师从数学还有工程的方法上讲了我们怎么去限制XGBT等生成是AI带来了不确定性以那减少被部法分子滥用的可能但我个人依然还是挺悲观的我们人类能够用AI打扮AI吗不知道未来是不是可以但是现在的这个时间点上被分享出来的AI反检测工具还不可以XGPT的公司OpenAI还有一些美国的大学比如说普林斯顿和斯坦福大学都是开放了一些检测XGPT生成内容这样的检测工具但是说实话我们自己测了之后发现不太准那我们先用用斯坦福大学的工具叫做Detect GPT自称有9% [19:59] 95的准确率我先自己写一篇小作玩随便写写然后放去detectGPT里面测一下嗯不错显示的是我自己写的不是chatGPT生成的那之后我再在chatGPT上面分别生成了一段故事一个定义描述以及呢一个python非波纳契数列的代码然后呢放在了detectGPT上面测嗯都检测出来了是非常可能由chatGPT生成的但是呢这些内容都有点低级我们再试试一个偏僻一点的词比如说武田制药Takeda Pharmaceutical那么这是总部在日本的生物制药企业我们看到XGBT生成了解释之后再放去斯坦福的Detect GPT上面测这部就没测出来是XGBT写的斯坦福的这款检测工具是针对GBT2来开发的那么XGBT是基于XGBT3.5开发的所以GBT2相当于是XGBT的前前版本的参数要少很多信息量也不够数据库也不够新所以我们再放到OpenAI自己的检测器AI Tax Classifier上面试试首先就有点麻烦必须要1000个字符以上才能测好吧我让XGBT再多写点然后再放进去也没有测出来这就有点尴尬了OpenAI你自己AI写的东西都测不出来那么好消息是现在AI写的东西和人写的东西越来越像越来越难以辨别了但是坏消息是用AI打败AI好像没有那么容易当然可能现在XGBT检测软件还上来完善我在网上去看了一下其他人的测评发现现在放出来的检测应用准确率大概是在26%到60%之间还非常的不靠谱所以在将来我们能否用AI打败AI在我这里其实还是一个大功耗或许最后还是需要人类自己的思辨能力来做出最后的一个判断所以很可能在未来能使用和善于使用AI的人和不善于使用意义是无法使用AI的人简单来说在AI之上的人以及在AI之下的人将可能会有两种不同的发展方向和轨迹我们再想的宏观一点当包括XGPT在内的AI应用变为主流的时候势必会替代越来越多人类的工作是否会进一步的拉大不同人对认知的获取教育程度 工作性质乃至人生效率上的差距呢而最后这些差距会不会演化成为一个更加分裂 贫富差距更加严重的世界呢这可可能是一个偏哲学经济学还有社会学的大问题了但是王永刚老师还是给出了蛮有启发的回答最后一个问题就是说刚才你说到其实AI以后会代替很多人的工作现在其实我们已经看到自动化已经代替了很多工作了现在一个 assumption就是说人类需要往这个工作的金字塔的上沿走去做更多AI没有办法替代的工作有这么多的工作给人类吗那剩下的人怎么办那终极形态是什么样的可能这也是一个比较远比较大的问题对 我觉得我不是特别适合回答这种问题因为我对社会学的经济学的认知非常非常的浅我还是非常朴素的会有一些就是可能朴素的观点但是这种朴素的观点放在社会学经济学上大家会觉得这是一个就是纯粹是一个叫做个人的偏见或者个人的一个叫做非常窄的坐顶观天式的一种观点我就是长期来讲我是一个纯哲学意义上的悲观主义者就是我觉得长期来讲人类的这种看到非常好的前景的希望会很渺茫对这是长期来讲但是短期来讲我倒觉得人类工作这件事未必是一件就是人人都有工作这件事未必是一个从朴素的观点来讲未必是一个非常好的一个社会结构我随便说一个道理就是如果今天你在中国看到的一些现象到底是好现象还是坏现象我觉得是可以两边说的就是中国大量的青年当他们在没有接受到一个足够好的教育情况下而且他是在整个教育体系的资源配置上他就没有办法接受到一个足够好的教育情况下进到了我随便说生产手机的工厂这个工厂里面我亲自在生产最好的手机的工厂里面每一个工位当时为了研究AI和这种叫做生产工业制造的结合我每一个工位每一个工位亲自的去看过一遍跟几乎每一个工位的工人都聊过我简单结论那些工作不是人该干的那些工作就是一个人在那边可能比如说贴一个大概小米粒这么大的一个小贴片可能是一个防静电贴片或者一个防漏水贴片然后往手机上贴片他每天就重复这一个动作大概一两秒做一次再一两秒做一次每天做十个小时中间每两个小时休息十分钟就这样一个工作你让我坐在那坐半个小时我可能眼睛就瞎了但是很多年轻人就为了大概一个月几千块钱 [24:59] 工资就在那边常年的在干着这样的工作如果我说AI可惜今天还很反讽就是今天的AI反而不适合替代这样的工作今天的AI反而更适合替代一些文秘一些所谓的这种叫做刚才说的这种数据报表这些所谓办公室的初级白领的工作今天的AI反而不适合做这些蓝领的工作还做不来今天你让TherDbD去工厂上去做生产线装备他还做不来但是我觉得如果AI今天能把这些叫做非人道的让这些人在这种不是这种人该干的工作里面能够解放出大量的人来我反而会为爱较好但是至于说从社会业经济的角度这些人失业了该去怎么分配该去怎么保障他们的这样的一些权益我觉得我总觉得一定有办法但我不是这方面专家我只是就是看到这些相对来说不人性的东西我总觉得这件事是大家应该做的你就像大家看到在非洲看到非常多的贫困在非洲看到很多的不平等就大家一定会觉得我们需要通过什么东西改变但是很多年我们也没有真正改变太多所以人类就是一个很矛盾的社会我在这方面确实有一点点就是那种感觉就无能为力的感觉那么这期跟王永光老师聊得非常有收获但是有收获的同时我个人其实对人类的未来发展稍稍的又一丢丢更加的悲观了大家可以有不同的想法欢迎留言或者在弹幕上面告诉我们欢迎探讨我看到的是Chat GPT只是AI当中的一种应用只是文本生成同时我们还看到有更多的人工智能生成的技术已经在业界开始被广泛的使用包括了音频生成图像生成视频生成还有跨模态生成等等这些技术的成熟化DT能够大幅度提高人类在很多领域的效率这是毋庸置疑的但同时要知道的是这些技术也能够赋能很多不法分子降低作额成本提高犯罪效率那么XGBT的例子我前面已经举了不少了这里呢我再发散一下举两个除了XGBT之外的生成是人工智能的例子那么第一个就是语音生成确实啊如果现在有朋友在微信当中找我借钱我第一个反应都一定会跟对方视频或者来通电话确诊但是如果未来AI可以被用来生成伪造的声音或者伪造的亲人朋友视频对于老人来说将是多么可怕的一天那么我们再来说一个例子是视频生成的AI换脸这样的deepfake身为技术就是一个非常直接的例子了可能现在大家看到的AI换脸还比较生硬包括之前流传很广的那个Mega创始人扎克伯格的AI合成视频也都是稍显僵硬声音也不够自然但是要知道AI视频的生成是可以非常非常自然的那我在斯坦福读研究生的时候有上过一门课是我们当时新闻学院和计算机学院共同推出的叫做Computational Journalism就是专门研究技术还有新闻信息的一个结合那其中的一堂课上教授就给我们展示了斯坦夫当时正在研究的一个AI项目就是说呢把这个人工智能技术通过学习一段人类说话的视频素材然后就可以生成新的视频也就是说这项技术可以把我本人在我们这个视频里面说的所有的字都重新排列组合然后可以生成一段我从来没有说过的话从来没有表达过的意思并且我的声音嘴型还有表情都能够调整和生成的非常非常自然人眼呢是根本识别不出来的那么在那堂课上当教授演示了demo之后整个课堂瞬间就吵开了分成了两派我们新闻学院的同学觉得这个技术简直太危险了虽然技术本身是能够让视频剪辑变得更加的简单避免比如说跳针 jump cut然后也能够帮助剪辑师更快的去找到素材弥补一些拍摄时候的遗憾或者能够帮助一些自认为表达能力不强的人更好的去呈现出完美演讲的视频但是这个技术带来的危害性显然是非常可怕的任何人都可以被污蔑说了他们没有说过的话那这些合成视频也可以被用于去诈骗威胁还有勒索但是在课堂上大部分工程学院的学生觉得这个技术其实没有那么的糟糕因为技术本身是中性的是无辜的造成问题的是人们如何去使用它以及我们是否有方式去监测它还有监管它那么这本课是我在2019年上的现在2023年过去的四年当中生成士人工智能快速的发展已经从学校和公司的研发Demo来到了我们的身边似乎无论我们多么害怕一个技术都无法阻止这个技术的到来我们有多期待这个技术带来的正面推动就有多担心负面影响的出现但是现在确实到了一个时间点我们应该对生成士AI有更多关于法律还有道德上面的讨论跟跟进无论是法律监管还是安全的技术还是我们的个人能力都需要为新技术其中带来的巨大破坏做好准备而对于人类个人而言我们将如何辨别所看到的所听到的事物的真伪将会对每个人有更高的思辨要求然而人类在逐渐依赖XGBT的时代当中 [29:59] 能否有更高的思辨能力呢会不会有一天人类会选择不相信所看到的所有的东西彻底迷失在真假盘变中呢这是一个大红号我们只能交给时间来验证了好那感谢大家收看这一期特别干又特别长的讨论内容但是呢我觉得是非常有意义的讨论也是我个人非常想要表达的东西那么下一期的视频我们会把之前挖的坑给填上讲讲OpenAI黑手党的故事敬请期待那希望大家关注我们的账号给我们多多的留言点赞我们下期见了一位人跟一万人的资金的质量所有的秘密他们的生命他们的未来后来大质是一位金融的那一直在负责负责负责我不知道你但它足够让一群的诚勿赛撞他们的空间简直我们都做这些事情你终于你的手段以来保持新法律那会保持我们的信息谢谢你给你的服务和我的朋友Bizuk is fake, but the message is real请不吝点赞 订阅 转发 打赏支持明镜与点点栏目