AI 中文社/资讯/详情

350亿参数、开放权重，Transformer作者创业后推出新大模型

2024-03-13 发布 · 浏览201次 · 点赞0次 · 收藏0次

开源大语言模型宇宙又来了一个强劲对手。Transformer 作者参与创立的 Cohere 公司推出的大模型 Command-R 在可扩展、RAG和工具使用三个方面具有显著的优势。

今天，由 Transformer 作者之一 Aidan Gomez 参与创立的人工智能初创公司 Cohere 迎来了自家大模型的发布。

Cohere 推出的模型名为「Command-R」，参数量为 35B，它是一个针对大规模生产工作负载的全新大语言模型研究版本。该模型属于「可扩展」模型类别，能够平衡高效率和高精度，使企业用户超越概念验证，进入生产阶段。

作为一种生成模型，Command-R 针对检索增强生成（RAG）等长上下文任务以及使用外部 API 和工具进行了优化。该模型旨在与自家行业领先的嵌入（Embed）和重新排序（Rerank）模型配合使用，为 RAG 应用程序提供一流的集成，并在企业用例中具有出色表现。

就其架构而言，Command-R 是一种使用优化后 transformer 架构的自回归语言模型。在预训练后，模型使用监督微调（SFT）和偏好训练使自身与人类偏好保持一致，并实现有用性和安全性。

具体而言，Command-R 具有以下功能特征：

RAG 和工具使用方面的高度准确性
低延迟、高吞吐量
更长的 128k 上下文和更低的价格
跨 10 种主要语言的强大功能
HuggingFace 上提供模型权重以供研究和评估

Command-R 可以在 Cohere 的托管 API 上使用，并在不久的将来在主要云服务商上可用。Command-R 是一系列模型中的首个版本，提高了对企业大规模采用至关重要的功能。

目前，Cohere 在 Huggingface 上开放了模型权重。

Huggingface 地址：https://huggingface.co/CohereForAI/c4ai-command-r-v01

高性能检索增强生成（RAG）

检索增强生成（RAG）已成为大语言模型部署中的关键模式。通过 RAG，企业能够让模型访问原本无法获得的私有知识，搜索私有数据库并使用相关信息形成响应，从而准确性和实用性将显著提升。RAG 的关键组件是：

检索：搜索与响应用户相关的信息语料库。
增强生成：使用检索到的信息形成更明智的响应。

对于检索，Cohere 的 Embed 模型通过搜索数百万甚至数十亿文档来改善上下文和语义理解，显著提高了检索步骤的实用性和准确性。同时，Cohere 的 Rerank 模型有助于进一步提高检索到信息的价值，优化相关性和个性化等自定义指标的结果。

对于增强生成，通过识别最相关的信息，Command-R 可以总结、分析、打包这些信息，并帮助员工提高工作效率或者创造全新的产品体验。Command-R 的独特之处在于：该模型的输出带有明确的引文，可以降低出现幻觉的风险，并能够从源材料中呈现更多背景信息。

即使不使用自家的 Embed 和 Rerank 模型，Command-R 在可扩展的生成模型类别中也优于其他模型。不过当配合使用时，领先优势显著扩大，从而在更复杂的领域实现更高的性能。

下图左为 Command-R 与 Mixtral 在一系列与企业相关的 RAG 应用上，进行了 Head-to-Head 整体人类偏好评估，充分考虑流畅度、答案实用性和引用。图右为 Command-R（Embed+Rerank）、Command-R 与 Llama 2 70B（chat）、Mixtral、GPT3.5-Turbo 等模型在 Natural Questions、TriviaQA 和 HotpotQA 等基准上的比较结果。Cohere 的大模型实现了领先。