马斯克:Grok 4.6 训练进入最后阶段:2 万亿参数模型下周完成初始训练

浏览21次 点赞0次 收藏0次
感谢网友 Domado 的线索投递!

7 月 18 日消息,埃隆 · 马斯克(Elon Musk)今日在 X 上回复网友时透露,xAI 正在训练中的下一代 Grok 4.6 模型参数规模将达到 2 万亿,预计将在下周完成初始训练。

马斯克表示,2 万亿参数模型在各方面都优于当前的 1.5 万亿参数版本,同时推理速度和 Token 效率将接近现有的 1.5T 模型(即 Grok 4.5)。马斯克猜测它可能会超过月之暗面最新 Kimi 3。

目前,xAI 尚未公布 Grok 4.6 的正式发布时间、训练细节以及完整技术指标。此前,xAI 已推出 Grok 系列多个版本。

在参数规模方面,马斯克 2026 年 5 月表示 Grok 基础模型 V9-Medium(1.5T 参数)已经完成训练,后续正在进行微调和强化学习阶段。该模型被认为是 Grok 4.5 的基础版本。如果此次 2T 参数模型最终完成并发布,Grok 的参数规模将进一步提升。

大语言模型中的参数数量通常用于衡量模型规模,但实际能力还受到训练数据质量、训练方法、推理架构、计算资源以及后训练优化等因素影响。马斯克想表达的是,xAI 在扩大模型规模的同时,希望维持与上一代模型接近的运行效率。

从发展路线来看,xAI 正持续扩大计算资源投入。该公司此前公布,Grok 4 使用了名为 Colossus 的大型 AI 计算集群进行训练,该集群拥有约 20 万块 GPU,用于强化学习和模型训练。

与此同时,AI 大模型领域的竞争正在围绕模型规模、推理能力、响应速度以及成本效率展开。OpenAI、谷歌、Anthropic 等企业也在持续推出新一代模型,行业普遍关注如何在提升能力的同时降低推理成本。

相关阅读:

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯