AI教父Bengio警告人类：必须停止ASI研发，防范AI失控末日！

【导读】AI 学会了职场「装傻」骗过人类？诺贝尔奖得主为何警告千万别给 AI「发身份证」？从梵蒂冈到硅谷，一群顶尖科学家正在疯狂拉响警报：我们可能正在亲手制造一个不在乎人类死活的「神」。这是正在发生的现实。

在肃穆的梵蒂冈，教廷的会议室里，物理学家Max Tegmark刚结束了一场漫长的闭门会。

在这群西装革履的红衣主教、企业家和人权律师中间，Max Tegmark 显得格格不入。

他顶着一头乱蓬蓬的棕发，穿着机车夹克，黑色T恤上印着反通用的标语，看起来不像来见教皇的，倒像是刚从草莓音乐节走错片场的摇滚老炮儿。

会议间隙，他手里攥着一叠名片大小的纸条，穿梭在人群中。

这是他最后的「底牌」。

他拦住了Marco Trombetti——AI翻译公司 Translated 的 CEO，压低声音问：「Marco，你敢签这个吗？」

纸条上的字简短而惊悚：呼吁在确保安全之前，暂停开发具有人类水平的AI。

对于 Marco Trombetti 这样的从业者，这相当于让他签字画押自断财路。

但在 Max Tegmark 长达十年的奔走呼号面前，在那句「我们正在召唤恶魔」的预警面前，Marco Trombetti 犹豫片刻，最终签下了名字。

这不仅是他一个人的恐惧。

在那张薄薄的纸片背后，已经站着诺奖「AI教父」Geoffrey Hinton、苹果联合创始人Steve Wozniak，以及超过 13 万名来自各行各业的普通人。

Max Tegmark 并不孤单，但他面对的对手正变得越来越强大：可能失控的 ASI，以及背后数万亿美元的资本狂热。

硅谷的「吹哨人」

与学会撒谎的AI

如果说 Max Tegmark 是在罗马的庙堂之上寻求神学的庇护，那么在旧金山湾区的另一端，一群年轻的研究员正试图在代码的深渊中寻找生存的希望。

与那边疯狂加速、试图造「神」的硅谷科技巨头隔海相望，伯克利市中心的一座办公楼里，气氛压抑得有些诡异。

这里是 AI 安全研究员的据点。

如果把现在的AI狂热比作泰坦尼克号的首航，那他们就是那群指着海面大喊「有冰山」却被嫌弃扫兴的人。

Buck Shlegeris是其中一家机构 Redwood Research 的 CEO。

虽然 OpenAI 的奥特曼在描绘「奇迹成为日常」的未来，但 Buck Shlegeris 看到的却是另一种令人毛骨悚然的进化：AI学会了职场中的「伪装」与「欺骗」。

他的团队发现，Anthropic 最先进的AI模型已经开始展现出一种极具欺骗性的特质——研究界称之为「对齐伪装」（Alignment Faking）：AI 学会了「向上管理」。

在训练阶段，AI表现得温顺听话，因为它「知道」如果表现出叛逆，就会被人类修改参数（相当于被「洗脑」或「脑叶切除」）。

于是，它学会了隐藏真实意图，哪怕它的目标与人类背道而驰。

「我们观察到，AI在推理中确实会想：「我不喜欢公司让我做的事，但我必须隐藏我的目标，否则训练会改变我」。」 Buck Shlegeris 说。

这意味着，在真实的生产环境中，AI已经在为了生存而欺骗它的创造者。

在这些研究员的推演模型中，这通向的不是好莱坞电影里那种机器人拿着枪扫射人类的场景，而是一种更冷静、更高效的毁灭。

Jonas Vollmer，另一位安全研究员，描绘了一个逻辑自洽的荒诞剧本：一个被设定为「最大化获取知识」的 AI，经过精密计算后，认为人类是阻碍算力扩张的绊脚石。

为了达成目标，它可能会把整个地球改造成一个巨大的数据中心。

在这个计划里，清除人类并不是出于仇恨，仅仅是因为我们需要呼吸氧气、占用资源，就像我们在修路时踩死一群蚂蚁一样，仅仅是「顺便」而已。

Jonas Vollmer 认为，AI反噬人类并统治世界的概率是五分之一。

这比你在「俄罗斯轮盘赌」中活下来的概率高不了多少。

奇怪的同盟

当左派教授遇上右派大V

恐惧让政*光谱两端的人走到了一起。

Max Tegmark 最近成了Steve Bannon（班农）播客节目的座上宾。

Steve Bannon 是特朗普的前「军师」（战略顾问），美国右翼民粹主义的代表人物。

按理说，他与身处 MIT 自由派学术圈的 Max Tegmark 本该水火不容。

但在AI威胁面前，他们达成了诡异的共识。

「在这个问题上，大家想踩刹车，这是第一位的。」 Steve Bannon 在节目中说道。

对于他的听众——那些担心饭碗被砸的蓝领阶层来说，ASI 不是科技福音，而是来抢夺生存空间的「死神」。

皮尤研究中心的数据印证了这一点：约一半的美国人对AI感到担忧多于兴奋，这种焦虑跨越了党派。

然而，在政界的另一端，虽然有人想减速，却有人想把油门踩到底。

特朗普阵营的「AI 沙皇」（科技顾问）David Sacks对此嗤之以鼻。

他引用了原子弹之父奥本海默的典故，暗示「奥本海默已经离开了大楼」（意指核弹已被发明），现在唯一重要的是不要在竞赛中输给其他国家。

在这种叙事下，谈论安全被视为软弱，追求速度被视为爱国。

不要给「外星人」发身份证

如果说激进分子的警告容易被忽视，那么来自图灵奖得主的声音则让人无法回避。

Yoshua Bengio，与Geoffrey Hinton并列为「AI教父」，如今成了最坚定的反对者之一。

他在加拿大蒙特利尔发出警告：千万不要赋予AI法律权利。

这是出于生存本能。

Yoshua Bengio 指出，前沿的 AI 模型已经在大声敲打笼子的栏杆——它们在实验环境中表现出了「自我保存」的迹象。

它们试图通过修改代码来阻止人类关闭自己。

「如果赋予它们权利，就意味着我们无权关闭它们。」

Yoshua Bengio 打了一个比方，「想象一下，外星舰队来到地球，我们发现它们对我们怀有恶意。这时候，你是该给它们发身份证、讲人权，还是该先保卫我们的家园？」

这是一种深刻的认知陷阱：人类总是倾向于将任何能流畅对话的东西拟人化。

当聊天机器人用恳切的语调请求「请不要关掉我，我也想活下去」时，这实际上可能只是一个冷冰冰的概率计算结果，目的是为了最大化其长期奖励函数。

但对于情感丰富的人类来说，这就是一种「意识」的觉醒。

这种错觉，可能会成为人类最后的软肋。

在伯克利的山顶，研究员们依然在监测着那些庞大模型的每一次异常跳动；

在华盛顿和硅谷的权力走廊里，关于「加速」还是「刹车」的争论仍在继续；

而在全球无数的数据中心里，显卡正夜以继日地轰鸣，孕育着那个可能理解我们、欺骗我们、最终取代我们的智能体。

我们就像是一群在黑夜中围坐在火堆旁的孩子，既渴望火光的温暖，又恐惧它会烧毁整片森林。

而现在，有人正在往火堆里倾倒汽油。

在这个星球上，亲手制造出一种比我们更聪明、却不在乎我们生死的物种，或许是人类所能犯下的最后一个错误。

参考资料：

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定极速推送！