Epoch AI 预言：最快 1 年内，推理模型步伐将放缓

5 月 14 日消息，非营利 AI 研究机构 Epoch AI 最新发布报告，指出 AI 企业难以从推理模型中，持续榨取巨大性能收益，最快在一年内，推理模型的进步将放缓。

报告基于公开数据和假设，强调了计算资源的限制和研究开销的增加。AI 行业长期依赖这些模型来提升基准表现，但这种依赖性正面临挑战。

该机构分析师 Josh You 指出推理模型的兴起，源于其在特定任务上的出色表现。例如，OpenAI 的 o3 模型在最近几个月里，主要提升数学和编程技能。

而这些推理模型通过增加计算资源来解决问题，从而提升性能，不过作为代价，这些推理模型需要更多计算来处理复杂任务，因此比传统模型耗时更长。

注：推理模型的训练过程先是基于海量数据训练一个常规模型，然后应用强化学习技术。该技术像给模型提供“反馈”一样，帮助它优化对难题的解决方案。这种方法推动了 AI 的快速迭代，但也暴露了潜在的瓶颈。

OpenAI 等前沿 AI 实验室正加大对强化学习的投资。公司表示，在训练 o3 时，使用了约 10 倍于前代 o1 的计算资源，大部分用于强化学习阶段。研究者 Dan Roberts 透露，OpenAI 的未来计划将优先强化学习，并投入更多计算力，甚至超过初始模型训练的水平。

这种策略加速了模型的改进，但 Epoch 的分析提醒，这种改进并非没有上限，计算资源的增加会遇到物理和经济约束。

Josh You 在分析中详细解释了性能增长的差异。标准 AI 模型训练的性能目前每年翻番，而强化学习的性能每 3-5 个月增长十倍。这种快速增长可能到 2026 年与整体 AI 前沿进展趋同。

他强调，推理模型的规模化面临不止计算问题，还包括高研究开销：“如果研究需要持续的高开销，推理模型可能无法达到预期规模”。