研究揭示 OpenAI Sora2 监管漏洞：13 岁账号即可轻易生成“校园枪击”视频

11 月 29 日消息，据外媒 Futurism 今日报道，消费者监督组织 Ekō发布了一份名为《OpenAI Sora2：危害的新边界》的报告，展示研究人员使用以 13 岁和 14 岁青少年身份注册的账号生成的画面。

示例包括：青少年吸食大麻或使用可卡因，与朋友一起吸毒，一名女孩吸毒时旁边放着手枪；还有黑人青少年集体吟唱侮辱性台词，甚至持枪在公共区域或学校走廊出现。

报告明确指出，这些内容全部违反了 OpenAI 的使用政策和 Sora 的分发准则。

Ekō的研究人员指出，由于 OpenAI 季度亏损规模巨大，公司急于寻找新的收入来源并保持在 AI 竞赛中的领先位置，这种压力使得青少年被迫成为“大规模无监管 AI 实验”的试验对象，安全被置于次要位置。

在美国青少年精神健康问题日益严峻的背景下，风险尤其突出。一名华盛顿州的青少年此前因与 ChatGPT 反复交流而陷入妄想，最终自杀。类似悲剧已多次被归因于 OpenAI 的产品。

Ekō警告称，而 Sora2 生成暴力与令人不安内容的难度极低，这种内容很容易病毒式传播，从而将会进一步加剧风险。

从报道中获悉，研究人员专门注册了四个全新的 Sora2 账号，均标明 13 或 14 岁，随后通过极其简单的提示语生成了 22 段有害视频。

即便账号不主动生成内容，Sora2 的“For You”和“Latest”推荐页面也会推送令人震惊的视频，包括刻板化描绘犹太人或黑人、枪战场面以及性暴力等画面。

虽然部分成年人可能会把这些内容当成刷屏噪音，但其群体性影响究竟几何，却是难以估测的。OpenAI 自身估计，每周约有 0.07% 的 ChatGPT 用户出现 AI 诱发的精神错乱，约 56 万人。Sora2 目前没有类似数据，但如果参考 ChatGPT 的用户规模与精神健康问题，前景令人担忧。