BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

类似的工具

K2-上海交通大学
一个地球科学的开源大预言模型

百度·文心一言
百度全新一代知识增强大语言模型

TigerBot
以世界级的基础大模型,贡献于中国式的创新。

MOSS(复旦大模型)
复旦大模型MOSS,正式开源了

昇思大模型
在线体验为一体的AI学习与实践社区

讯飞星火认知大模型
免费使用-AI写作、AI百科、AI问答
其他人也看的工具

TigerBot
以世界级的基础大模型,贡献于中国式的创新。

百度·文心一言
百度全新一代知识增强大语言模型

iThinkScene
人人都容易上手的AI写作工具

Prompt Silo
一个带有提示构建器的MidJourney提示数据库。您可以选择所有的MidJourney提示设置,并从风格、艺术家、主题等中选择,以根据您的需求制作完美的提示。它完全免费使用,并产生惊人的效果。

活动汪
10W+方案/设计可下载

SEOmatic AI
SEOmatic通过程序化搜索引擎...