BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

类似的工具

xAI Grok
使用xai的大型语言模型(LLM)进行聊天

阅文妙笔大模型
全面探索有声、漫画、动画、衍生等开发链条的AI应用。

MediaGPT:中文自媒体大模型
一个针对自媒体领域进行特殊训练的模型

讯飞星火认知大模型
免费使用-AI写作、AI百科、AI问答

CodeFuse
蚂蚁自研智能研发助手

SparkDesk讯飞星火认知大模型
从海量数据和大规模知识中持续进化,实现从提出、规划到解决问题的全流程闭环。
其他人也看的工具

一字成文
模拟公务员助理撰写公文

Muse AI Art Generator
090显卡生成图像,支持服务器集群,确保快速生产质量

Munch
Munch是一个帮助内容创作者最大化其影响力、参与度、追随者和货币化的平台。它允许你在多个平台上重新定位现有内容,分析用户粘性并控制盈利。

VFitter
为自由职业者、组织和品牌提...

Avanty
不要再把宝贵的数据分析时间...

llama
这个存储库旨在作为一个最小...