麻省理工学院教授呼吁 AI 公司量化产品失控风险：像首次核试验之前那样

5 月 12 日消息，据英国《卫报》10 日报道，麻省理工学院 AI 安全研究者马克斯・泰格马克指出，他进行了类似当年美国物理学家阿瑟・康普顿在“三位一体”核试前所做的概率计算，结果显示：高度发达的 AI 有九成可能带来生存威胁。

注：1945 年，美国在获知原子弹引发大气层燃烧的可能性几乎为零后，推进了历史性的“三位一体”核试验。

泰格马克与三名麻省理工学生合作发表论文，建议借鉴“康普顿常数”的概念 —— 即强 AI 失控的概率。在 1959 年的一次采访中，康普顿提到，他是在确认失控核聚变的几率“不足三百万分之一”后才批准了核试验。

泰格马克强调，AI 企业必须认真计算“人工超级智能”（ASI）是否会脱离人类掌控，而非凭感觉行事。“打造超级智能的公司必须计算康普顿常数，即我们可能失控的几率，光说‘我们有信心’是不够的，必须拿出具体数据。”

他指出，如果多家公司联合计算康普顿常数并形成共识，将有助于推动全球范围内 AI 安全机制的建立。

泰格马克是麻省理工学院的物理学教授及 AI 研究者，其参与创办了致力于推动 AI 安全发展的非营利组织“未来生命研究所”。2023 年，该机构发布公开信，呼吁暂停开发更强大的 AI 系统。这封信获得超过 3.3 万人签名，其中包括早期支持者埃隆・马斯克和苹果联合创始人史蒂夫・沃兹尼亚克。

信中警告称，各大实验室正陷入“失控竞赛”，开发越来越强大的 AI 系统，而这些系统“人类无法理解、预测或可靠控制”。