商汤“书生・浦语”2.0 大语言模型开源:200K 上下文,一次可读 30 万汉字

2024-01-18 发布 · 浏览362次 · 点赞0次 · 收藏0次

1 月 17 日消息,商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0(InternLM2)。

据介绍,InternLM2 是在 2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语(InternLM)设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,继续开源,提供免费商用授权。

目前,浦语背后的数据清洗过滤技术已经历三轮迭代升级,号称仅使用约 60% 的训练数据即可达到使用第二代数据训练 1T tokens 的性能表现。

图片

与第一代 InternLM 相比,InternLM2 在大规模高质量的验证语料上的 Loss 分布整体左移,表明其语言建模能力增强。

图片

通过拓展训练窗口大小和位置编码改进,InternLM2 支持 20 万 tokens 的上下文,能够一次性接受并处理约 30 万汉字(约五六百页的文档)的输入内容。

下面表格对比了 InternLM2 各版本与 ChatGPT(GPT-3.5)以及 GPT-4 在典型评测集上的表现。可以看到,InternLM2 在 20B 参数的中等规模上,整体表现接近 ChatGPT。

附开源链接:

Github:

https://github.com/InternLM/InternLM

HuggingFace:

https://huggingface.co/internlm

ModelScope:

https://modelscope.cn/organization/Shanghai_AI_Laboratory

商汤“书生・浦语”2.0 大语言模型开源:200K 上下文,一次可读 30 万汉字 - AI 资讯 - 资讯 - AI 中文社区

声明:本文转载自IT 之家,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里。本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它能得到比较好的回应。
评论

游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。