Karpathy盛赞「环境中心」!AGI最后一块拼图开源,大厂豪掷百万锁死

2025-08-29 发布 · 浏览23次 · 点赞0次 · 收藏0次

【导读】强化学习核心是什么?Karpathy一语道破——环境。全新开源Environments Hub横空出世,为强化学习训练带去革命性突破。

强化学习时代,什么最重要?

Karpathy给出了答案,环境!只有环境,才能让LLM真正进行交互、执行动作、观察结果。


如今,一个开源的环境中心——Environments Hub正式登场了,它由一家专注于去中心化AI开发公司Prime Intellect发布。


一直以来,RL环境是割裂的、封闭的,甚至难以共享。

但有且只有环境,定义了世界、规则,以及「状态—动作—奖励」的反馈闭环。

从游戏到编程,再到聊天对话,它们是AI学习发生的场景。没有它们,RL只是一套无从着力的算法。


Environments Hub的诞生,能够让任何人模拟出各种各样、高质量的环境,为开源AGI做出贡献。

AI智能体交互,缺的是环境

RL环境,是智能体学习的试验场。

回想一下,在预训练时代,互联网数据是核心。LLM主要通过大量多样,且高质量的数据来学习。

到了监督微调阶段,重点变成了「对话数据」。

人们会雇佣外包团队,来为问题创建答案,类似Stack Overflow、Quora平台的模式,但又专为LLM使用场景而设计。

如今到了强化学习时代,前两个阶段不会消失,但不同的是,环境成为了重心。

这些环境,可以用于模型训练,也可用于评估。不过,问题在于,如何创建出丰富多样的环境?

Karpathy回忆道,OpenAI最早的一个项目Gym,一个希望用统一框架去构建大规模环境集合。


GitHub地址:https://github.com/openai/gym

不过,这都是近十年前,大模型还未兴起的项目了。所以,当时的环境,都是一些简单的经典控制任务,比如cartpole、ATARI之类的。

而现在,Environments Hub是一个专门针对LLM构建的版本。

Karpathy激动地表示,「这是个非常棒的努力和想法」。今年初,他还发文建议过有人应该做类似的事情。


Environments Hub有个特点,一旦框架构建完成,原则上社区和行业就可以在不同领域并行开发。

而且,环境和智能体交互的方向,是下一个未来。


大厂斥资几百万,搞出围墙花园

为什么需要打造一个Environments Hub呢?

目前,多数强化学习环境是由初创公司构建,并将其出售给少数几家不对外开放的大型实验室。

如果高质量的学习环境一直保持封闭且昂贵,开源模型将进一步落后于闭源模型。

要想扭转这种局势,需要有一个强大的开源学习环境和训练工具生态系统能崛起。


Environments Hub正是承载着这个使命应运而生,旨在让下一波初创公司和AI的发展能够构建于开放的基础设施和开源模型之上。

核心功能,一键生成评估报告

总结来说,Environments Hub具备了以下功能亮点:

  • 通过Hub或CLI(命令行)拉取、推送并管理环境

  • 生成跨模型的评测报告

  • 与verifiers框架深度集成

  • prime-rl训练器原生支持环境

  • 提供用于代码执行的原生沙箱支持

你可以创建、管理和共享用于强化学习及评估的环境:


可以为不同模型创建和浏览环境评估报告:


可扩展训练器prime-rl原生支持这些环境:


还有沙盒功能,可直接与Verifier Environments对接,以实现安全的代码执行。


如果还有你需求的功能没有满足,你也可以亲自作为该开源项目开发者去贡献代码。

下一步:全栈式开源AGI基础设施

过去几个月中,Environments Hub将基于Agent的强化学习训练扩展到规模最大的开源模型,并取得了显著进展。

随着众多众包环境被引入INTELLECT-3,训练出一个完全开放、最先进的Agent模型将成为可能。

除此之外,Environments Hub关心的重点是,让人人都能用上这套基础设施,使研究人员和初创公司都能为自己的任务训练模型、集成工具、运行强化微调,以及优化Agent支撑框架。

prime-rl的整个技术栈都是开源的,正在扩展到全球的计算资源上无缝运行。

强化学习不仅是通往AGI的必经之路,也是构建AI原生产品的基础。

未来最成功的初创公司,将是那些能根据自身需求,创造出差异化环境的公司。


如今,最大的障碍并非获取强大模型,而在于大规模训练和部署它们所需的基础设施及成本。

通过降低这一门槛,Environments Hub旨在为所有AI构建者提供廉价、无缝的计算、推理和训练资源,以及全套的强化学习基础设施。

参考资料:

https://www.primeintellect.ai/blog/environments

https://x.com/karpathy/status/1960803117689397543

Karpathy盛赞「环境中心」!AGI最后一块拼图开源,大厂豪掷百万锁死 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自新智元,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。