OpenAI解散Ilya重要团队,前高管怒斥,宫斗第二季

2024-05-18 发布 · 浏览114次 · 点赞0次 · 收藏0次

奥特曼的激进策略,现在不受控制了?

没有想到,OpenAI 在本周发布 GPT-4o,技术再次大幅度领先之后,随之迎来的却是一系列坏消息。

本周,OpenAI 联合创始人、首席科学家 Ilya Sutskever 官宣离职,与 Ilya 同步宣布离开的,还有超级对齐团队的共同领导者 Jan Leike。

图片

                              山姆・奥特曼、 Ilya Sutskever 和 Jan Leike。

Ilya 与 Jan 是 OpenAI 超级对齐团队的领导者,该团队的任务是确保人工智能与其制造者的目标保持一致,而不是做出不可预测的行为并伤害人类。

另据《连线》等媒体报道,随着最近两位高管离职,OpenAI 的超级对齐团队已被解散。本周五,Jan Leike 在 X 发布了一系列帖子,怒斥 OpenAI 及其领导层忽视「安全」而偏爱「光鲜亮丽的产品」。

发生了什么事?

实际上,自去年 11 月那场「董事会风波」以来,社交媒体上一直流传着一个梗 ——Ilya 看到了什么。人们猜测:「OpenAI 秘密地取得了巨大的技术突破,而 Ilya 之所以离开,是因为他看到了一些可怕的事情,比如可能毁灭人类的人工智能系统。」

当然,这只是一种粗暴的猜测。OpenAI 频繁失去安全团队成员可能与奥特曼的领导有很大关系。据消息人士透露,注重 AI 系统安全的员工已经对奥特曼的领导失去了信心。

据外媒 Vox 报道,一位不愿透露姓名的公司内部人士表示:「这是一个信任一点一点崩溃的过程,就像多米诺骨牌一张一张倒下一样。」

很少有员工愿意公开谈论此事。部分原因是 OpenAI 让员工在离职时签署带有非贬低条款的离职协议。如果你拒绝签署,你就放弃了你在该公司的股权,这意味着你可能会损失数百万美元。

然而,总有例外。OpenAI 前员工 Daniel Kokotajlo 拒绝签署离职协议,以便他可以自由地批评该公司。Daniel Kokotajlo 于 2022 年加入 OpenAI,主要负责安全部署人工智能系统,并曾在治理团队工作,直到上个月辞职。

据 Vox 报道,Daniel Kokotajlo 称:「OpenAI 正在训练更加强大的人工智能系统,最终目标是全面超越人类智能。这可能是人类有史以来最好的事情,但也可能是最糟糕的事情。」

OpenAI 一直将构建通用人工智能 (AGI) 系统作为目标。「我加入时满怀期待地希望 OpenAI 在越来越接近 AGI 时表现得更加负责任,但我们中的许多人慢慢意识到 OpenAI 没有这样做,我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任,所以我辞职了,」Daniel Kokotajlo 说道。

周五,Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因,并描绘了一幅非常相似的画面。他写道:「相当长一段时间以来,我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧,直到我们最终达到了临界点。」

图片

虽然 OpenAI 的技术仍在不断发展,但 Ilya Sutskever 等重量级科学家的流失让人不得不担心它的前途。

为什么奥特曼「不值得信任」

此次紧随 GPT-4o 发布的新一轮动荡,其源头还要追溯到去年的「宫斗」。

在去年 11 月那场董事会风波中,Ilya Sutskever 曾与 OpenAI 原董事会合作试图解雇奥特曼。OpenAI 在公告中称奥特曼对董事会不够坦诚。

当时有人将其解读为:OpenAI 可能已经在内部实现了 AGI,但并没有将消息及时同步给更多人员,为了防止该技术未经安全评估就被大规模应用,Ilya 等人按下了紧急停止键。

不过仅仅一个周末的时间,奥特曼就重返 OpenAI 董事会,并且之前罢免他的董事被纷纷解雇,董事会宣布重组,新任董事会主席 Bret Taylor 表示:「我们一致认为 Sam 和 Greg 是 OpenAI 的合适领导者。」

一场风波之后,奥特曼似乎可以更自由地管理 OpenAI 了,而 Ilya Sutskever 陷入了尴尬。

与之相对的是几个月来,Ilya Sutskever 的动态甚少。据知情人士透露:「Sutskever 已经大约有六个月没有在 OpenAI 的办公室出现了,他一直远程领导超级对齐团队」,直到本周 Ilya 正式宣布离职。

图片

                                    IIya 在 X 上发帖告别 OpenAI,发帖时间为 7:00AM

两分钟后,奥特曼就发帖称:「这对我来说非常难过;Ilya 是我亲密的朋友......」

图片

                             Altman 紧随 IIya 发帖,发帖时间为 7:02AM

准时官宣离职,迅速回应,这微妙的时间安排似乎说明了一切......

值得注意的是,Ilya 宣布离职时,他表示自己将去追求「一个对我个人而言非常有意义的项目」。也就是说,注重 AI 安全的 Ilya 选择离开 OpenAI 来完成自己的项目。

反观奥特曼,一些 OpenAI 员工认为奥特曼虽然声称要优先考虑 AI 安全,但有些行为却自相矛盾。例如,奥特曼似乎急于积累尽可能多的芯片,加速技术的发展,而忽视安全方面的进展。

此外,Ilya Sutskever 的盟友、超级对齐团队成员 Leopold Aschenbrenner 上个月刚刚被 OpenAI 解雇。外媒报道称他和同团队另一位研究员 Pavel Izmailov 因被指控泄露信息而被解雇。但 OpenAI 却没有提供任何泄露信息的证据。

Aschenbrenner 和 Izmailov 被迫离职的同一个月,另一位安全研究员 Cullen O'Keefe 也离开了 OpenAI。

两周前,安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子。Saunders 总结了自己在 OpenAI 作为超级对齐团队一部分的工作。然后他写道:「我于 2024 年 2 月 15 日从 OpenAI 辞职。」

一位评论者提出了显而易见的问题:为什么 Saunders 要发布这个?

「无可奉告」,Saunders 回答道。

这让人回想起,去年奥特曼复职后不久,Ilya 发布了这样一条推特,但随后很快被删除:

图片

       IIya 在 X 上发帖:「过去的一个月里,我学到了很多教训,其中一个教训是:『鞭打,直到士气提升』这句话的使用频率远超其应有的程度。」

最后,超级对齐团队的联合领导人 Jan Leike 在 Sutskever 宣布离职后仅几个小时就在 X 上发帖:「我辞职了」,没有温暖的告别,也没有对公司领导层的信任投票。

图片

严格的「封口协议」

其他注重安全的前员工转发了 Leike 直白的辞职推文,并附上了心形表情符号。

评论者认为他们可能是受到了一项「不得诋毁协议」的约束。

X 平台上,一位 OpenAI 前员工爆料,并对公司「强制用协议保证的股权 + 工资激励措施」和「离职协议签署的合法性、合理性」做出了质疑。

图片

入职文件说明中包含一项:「在离开公司的六十天内,你必须签署一份包含『一般豁免』的离职文件。如果你没有在 60 天内完成,你的股权获益将被取消。」

这位爆料者还透露了:入职期间和 OpenAI 的人交谈时,他们都没有太在意这个小细节。

那么,认真对待 AI 安全和社会影响的人在 OpenAI 工作是否是一件好事?这或许是个开放问题。

安全团队土崩瓦解后,谁来确保 OpenAI 的工作是安全的?

随着 Leike 不再担任超级对齐团队的负责人,OpenAI 已经用公司联合创始人 John Schulman 替代了他。

但是该团队很快就被员工证实已不复存在。该小组的工作将被纳入 OpenAI 的其他研究工作中。而且 Schulman 正忙于他现有的全职工作,即:「确保 OpenAI 当前产品的安全。」

「成立超级对齐团队的全部意义在于,如果公司成功构建了 AGI(通用人工智能),那么实际上会出现不同类型的安全问题,」这位内部知情人士告诉记者。「所以,这是对未来的专项投资。」

即使团队在全力运作时,这种「专项投资」也占据了 OpenAI 研究的重要部分,根据规定,公司曾经承诺会使用 20% 的算力来进行安全对齐 —— 这可能是当前 AI 公司最重要的资源。

现在,这些算力可能会被转移到 OpenAI 的其他团队,而且是否会将重点放在避免未来 AI 模型带来的灾难性风险上还不清楚。

需要明确的是,这并不意味着 OpenAI 现在正在发布的产品 —— 比如新版 ChatGPT(由 GPT-4o 加持,可以与用户进行语音的自然对话),会毁灭人类。

但接下来将会发生什么?

「重要的是要区分『他们目前正在构建和部署不安全的 AI 系统吗?』和『他们是否正在安全地构建和部署 AGI 或超级智能?』」这位内部知情人士说。「我认为第二个问题的答案是否定的。」

Leike 在周五的 X 平台帖子中也表达了同样的担忧。

他注意到,他的团队一直在努力争取足够的算力来完成工作,并且总体上一直在「逆风航行」。

图片

                                     Jan Leike 在 X 平台上连发 4 贴,对算力资源获取和在 OpenAI 内部工作表示担忧。

最引人注目的是,Leike 说:「我相信我们应该投入更多的精力来为下一代模型做好准备,关注安全性、监控,做好准备、让 AI 具有对抗性的鲁棒性、(超级)对齐,关注保密性、社会影响等相关主题。这些问题很难做对,我很担心我们没有朝着正确的方向前进。」

当世界上 AI 安全领域的领军人物之一说世界上领先的 AI 公司没有走在正确的轨道上时,所有人想必都有理由感到担忧。

面对媒体曝光的大量信息,OpenAI CEO 奥特曼立即回复,表示接下来几天会写一篇长文说明这些问题。

图片

但除此以外,更多的情况目前还只能靠猜测。

这一系列新变化可能会对 OpenAI 造成冲击,同时令其投资者感到担忧。我们知道,下周微软的 Build 大会即将召开。

参考内容:

https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

https://www.wired.com/story/openai-superalignment-team-disbanded/

https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/

OpenAI解散Ilya重要团队,前高管怒斥,宫斗第二季 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自机器之心,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。