一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝。
        昨天呢,我在X上看到了一条流量已经过了1亿的帖子。讲道理,我在X上已经很久很久没有见过这种流量的帖子了。

        发帖的人叫Jacob Coxon。刚刚从Anthropic辞职。

        他说,过去三年,他先后在OpenAI和Anthropic做大模型预训练。

        然后现在,他不干了。原因也非常离谱。因为,他觉得OpenAI和Anthropic正在朝着能够自我改进的超级智能一路狂奔。

        并且,拿着所有人的生命下赌注。他甚至说,真正参与制造这些前沿AI的人里面,有不少人私下里真的相信:如果事情最后失控,人类可能在这个十年结束之前灭绝。

        我第一反应其实是:这哥们谁啊?不会又是哪个营销号吧。。。

        然后就验证了一下,发现人确实是真的。这哥们今年27岁,英国人,数学出身。

        2016年和2017年,他连续进入英国国际数学奥林匹克竞赛队伍,后来进入剑桥大学Trinity College学数学。

        2021年,他参与过一篇发表在eLife上的医学统计论文,用贝叶斯方法研究结核性脑膜炎患者的基因型和生存率之间的关系。

        2023年左右,加入OpenAI,GPT-4o的官方贡献者名单里,就有Jacob Coxon。

        到了GPT-4.5,OpenAI更是直接把他列为了核心贡献者。

        然后就是今年。他从OpenAI去了Anthropic,工作依然做最核心的预训练。

        但是没干多久,感觉是在不太行了,没办法违背自己的意志,就把工作辞了,然后在X上发了这些警示。

        甚至《华尔街日报》还报道他说,以后这哥们甚至想离开AI行业了,再也不干了。

        然后这帖子发出来以后,Anthropic的对齐负责人直接站出来支持Jacob了。

        他说,小哥是对的,而且10年内发生的概率,大于10%。

        还有另外一个Anthropic里面做安全研究的,也站出来以“个人身份”支持Jacob。

        而且按照他的观察:在AI公司里面,职位越高的人,往往反而越担心这个问题。

        甚至刚刚离开Anthropic、之前负责可扩展监督的Joe Benton,也说Jacob对整个行业现状的描述,确实是准确的。

        当然,这些依然只是他们对于未来风险的判断。没人知道10%到底对不对。

        不过我在看完他们发的内容,还有看完了很多评论以后,突然感觉到了一种荒诞感。

        这个荒诞感源于我在11年前看过的一篇文章。然后直到今天,都印象极其极其深刻,甚至这篇文章,我最近每年还会再去读一遍,常读常新。

        这就是2015年1月Tim Urban写的一个长的丧心病狂的文章:《The AI Revolution》,翻译过来,就是《人工智能革命》。

        它分为上下两章,第一章叫:通往超级智能之路。第二章叫:我们的永生,或者灭绝。

        我到现在还记得,2015年我作为一个学生,在知乎上读完了这两篇长文的翻译版之后,对于我那幼小的心灵和浅薄的认知所产生的巨大的冲击。

        真的被震撼了非常非常非常久。因为那篇文章最后提出了一个极其简单、极其粗暴、又极其宏大的判断:如果人类最终真的造出了远超自己的超级智能。

        那它只会把人类文明狠狠推向两个方向:一边是灭绝。另一边是永生。

        没有其他解。然后昨天,在Jacob发了那个帖子之后,我又把这篇文章翻出来,读了一遍。

        我忽然觉得。我们好像真的站在了那篇文章的时间延长线上。

        甚至有一点,一切皆命定的感觉。Tim Urban当时先讲了一个特别经典的东西。

        就是人类这个物种,很难真正理解指数增长。因为我们的脑子天然喜欢线性推演。

        今天比昨天多一点。明天大概也比今天多一点。可文明的发展经常完全不是这个样子,这才是很多时候,文明的图景。

        站在那个转折点,看起来可能很刺激。但你得知道,站在时间图上的人,其实根本看不到右边有什么。

        所以,这才是站在这里的真实感受:多么残酷的现实。Tim Urban也举了一个特别有意思的例子。

        假如你穿越回1750年,随便抓一个人,把他带到2015年。

        让他看看飞机、高速公路、智能手机、互联网、卫星、核武器、空间站之类的高科技玩意。

        这个人可能会觉得自己直接进了仙界,直接就,吓尿了。

        可如果1750年这个人,也往前穿越同样的265年。

        去1485年抓一个人回来。那这个时候,1485年的那个人,震撼可能就会小很多。

        再往前,为了获得同样的文明落差,可能需要跨越上万年。

        Tim Urban给这种足以把古代人脑子干宕机的文明进步,起了一个很好玩的名字:DPU。

        Die Progress Unit。大概意思就是,“一份足够把古代人震撼死的科技进步”。

        以前攒一份,可能要1万年。后来只需要几百年。再后来,几十年,然后,越来越快。

        2015年我第一次看的时候,感触还不是很深。直到2026年的今天重新看。

        Emmmmmmm。我们这代人,好像已经开始亲自体验这个东西了。

        2022年,ChatGPT出来,大家发现AI居然能像个人一样聊天。

        2023年,GPT-4出来,我们发现,原来这叫多模态大模型。

        然后,以o1为代表的推理模型。Claude Code。

        Codex。Agent。一个接一个。应接不暇。到了上周,GPT-6 Astra已经可以像人一样操作电脑,自己打开Blender、Houdini、Unity、Excel,在陌生软件里面找按钮、试错,然后几个小时一直干下去。

        更别提学术那边。5月份,一个OpenAI模型直接推翻了一个研究了80年的Erdős离散几何猜想。

        9月4日,Anthropic拿Claude花11天,把费马大定理变成了一个1300万行、可以被计算机逐行检查的形式化证明,这活人类原本估计可能要干十年。

        还有最近饱受争议的,OpenAI极限88小时解决的千禧年难题。

        这个世界,好像越来越科幻了。当然,最核心的还是另一件事,也是Jacob最担心的那件事:“自我改进的超级智能”。

        2015年。Tim Urban问:如果AI有一天开始帮助人类研究更强的AI,会怎么样?

        2026年2月。OpenAI在GPT-5.3 Codex发布的时候说:这是他们第一个在创造自己的过程中发挥关键作用的模型。

        现在几乎稍微强一点的模型,都会在训练阶段有AI的参与。

        这种感觉真的非常奇妙。像是十一年前有人在雾里面,用光射出了一条虚线。

        当时大家都不知道那根线会通向哪里。十一年以后,我们低头一看。

        自己,居然真的走在上面。那篇文章后面还有一个我到今天都记得的东西。

        智能阶梯。Tim Urban说。人类特别容易低估超级智能。

        因为我们习惯把“更聪明”理解成:普通人、聪明人、天才、爱因斯坦、超级AI之类的区别。

        好像大家都在一个很窄的区间里面。可你换一个参照物。

        事情就会突然变得特别恐怖。比如,黑猩猩和人类。从整个生物智能尺度上看,黑猩猩和人其实只隔了一点点。

        可就这一点点。一边只会拿树枝捅白蚁窝或者蹭蹭树。可另一边,发明了微积分、量子力学、互联网等等,甚至,还能飞出地球。

        所以如果人类上面,还有一个比我们高一两个认知台阶的东西,那可能已经很难理解了。

        可如果再往上呢?Tim Urban当年写。一个足够高阶的超级智能看我们。

        可能就像我们看蚂蚁。甚至它想给我们解释一个最简单的概念,我们都未必有理解那个概念所需要的认知结构。

        这也是为什么那篇文章最后一定会走到:Intelligence Explosion。

        智能爆炸。假如有一天,AI真的达到顶级AI研究员的水平,那它最有价值的工作之一。

        很自然就是:继续研究AI,帮助人类把下一代模型做得更聪明。

        下一代更聪明以后,又更擅长研究下一代。于是。智能变强。

        制造更强智能的能力也一起变强。然后形成一个正反馈。

        这东西2015年看起来。真的很科幻。可2026年的我已经没法像十年前那样,纯粹把它当科幻看了。

        因为在各个模型厂子里,最原始的反馈回路,已经形成了。

        当然,今天离真正意义上的递归自我改进还很远。GPT-6不会自己造出GPT-7,然后GPT-7半夜醒过来,再自己训练GPT-8。

        但那条逻辑链最早的几环,已经可以看见了。于是我就会产生一种很奇怪的宿命感。

        好像只要人类真的把“智能”这颗种子种出来,后面的事情就天然拥有一种巨大的惯性。

        更聪明的AI,可以创造更大的经济价值。更大的经济价值,吸引更多资本。

        更多资本,买更多GPU。更多的GPU,训练更强的AI。

        更强的AI,又开始反过来帮助人类制造更强的AI。公司之间还在竞争。

        国家之间也还在竞争。你不做,那别人也在做。你不往前,那没办法,别人往前,你跑不跑。

        最后整个文明像一条越来越陡的河。所有人都知道水流越来越快。

        可没有任何一个人或者一个群体,能真的握着整个世界的航向。

        而Tim Urban那篇文章真正让我记了十一年的。

        就是那个水流尽头的画面。他引用Nick Bostrom的概念。

        说,地球历史上出现过无数物种,然后,几乎全部消失了。

        灭绝好像就是一种吸引子状态,一旦掉进去,你就再也回不来了。

        可超级智能可能第一次给生命打开另一种吸引子。Species Immortality。

        物种永生。Tim Urban画了一根平衡木。人类一直走在上面,你只要一直走,那一定某一天。

        小行星、瘟疫、战争、某种我们自己创造的技术等等。就可能把我们撞下这个平衡木。

        而超级智能出现以后。我们可能就经历最狠的一次撞击。

        一边,是所有物种最终都熟悉的终点。灭绝。另一边。却是地球生命从来没有抵达过的地方。

        永生。这就是2015年那篇文章我觉得至今最迷人的地方。

        它把所有关于人工智能的问题,几乎都压缩到了文明尺度。

        我们今天天天讨论。AI会不会抢程序员工作。设计师怎么办。

        那个公司可能会赢等等等等。但是如果时间拉到足够长以后,AI这个人类最大的赌局,究竟能不能让我们这个物种,第一次,让生命摆脱死亡这个终极规则。

        但如果赌输了,那只有一个结局。灭绝,甚至是,加速灭绝。

        所以看到这,你就可能理解,为什么开头,Jacob Coxon在研究了这么久AI以后,会辞职,会在X上,发出这样的帖子。

        当然,我也能理解。为什么还有那么多人明明担心,却依然选择留在实验室里面继续研究。

        因为这东西的另一面,真的太诱人了。AI今天已经开始参与数学发现。

        开始进入药物研发、开始分析人类基因组、开始暴力研究新材料、开始操作实验和软件,开始加速人类世界的一切。

        如果这条曲线继续往前。再给它3年、5年。会发生什么?

        我不知道。也可能没有人知道。但我有时候会觉得,人类造AI这件事。

        甚至已经慢慢超出了一个普通技术产品的范畴。它很像一个物种,第一次试图制造一个比自己更聪明的东西。

        这到底是人类文明最伟大的一步。还是我们从罐子里抽出的那颗人类最后的黑球。

        我不知道。我只是这个时代里,一叶随波逐流的小舟。我每天都用着AI,感受着AI带给我的便利,觉得AI实在是太好玩了。

        然后偶尔,像昨天这样,重新翻开一篇十一年前的文章。

        才会突然从每天鸡毛蒜皮的Benchmark、Token、Agent里面抬起头。

        看一眼这条河到底流向哪里。这个问题太大了。但如果让我选。

        我当然希望Tim Urban那根平衡木。最后把我们撞向另外一边。

        我希望癌症有真的消失的那一天。希望衰老成为一种可以治疗的疾病。

        希望我喜欢的人不用离开。希望人类可以长命千岁。希望我们走出太阳系奔赴那遥远的半人马星系。

        希望某一天。今天那些关于AI毁灭人类的文章。都变成历史上的杞人忧天。

        如果最后。AI真的能帮助人类,跨过那根几百万年来,没有任何物种能跨过去的平衡木。

        让生命第一次摆脱疾病、衰老、随机灾难和死亡的束缚。

        那它就一定会成为整个人类历史上。最伟大的事情。没有之一。

        以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

        >/ 作者:卡兹克>/ 投稿或爆料,请联系邮箱:[email protected]
🔗 原文链接:http://mp.weixin.qq.com/s?__biz=MzIyMzA5NjEyMA==&mid=2647686114&idx=1&sn=ef25c9da794a29795c3d7ca0637efafb&chksm=f132d01153c5441e301f8fd609a9f5f3beb6cb8d7b331dab85514cd87ed79dba09da23fa1e81
← 返回列表