# BLOOM

- 分类: 模型与资源
- 官网: https://huggingface.co/docs/transformers/model_doc/bloom
- HTML: https://www.88z.ai/tools/bloom
- Markdown: https://www.88z.ai/tools/bloom.md

BigScience 开源的多语言大模型，支持46种自然语言与13种编程语言

## BLOOM是什么

BLOOM 是由 BigScience Workshop 提出的大型语言模型，旨在通过开放科学和开源协作推动人工智能的民主化。其架构类似于 GPT-3，采用自回归方式预测下一个 token，但在训练数据上实现了更广泛的语言覆盖。

该模型系列包含从 5.6 亿参数到 1760 亿参数的多种版本（如 bloom-560m、bloom-1b7、bloom-7b1 及 bloom-176B），均基于相同的多语言数据集训练而成。BLOOM 不仅支持英语，还涵盖了包括中文、法语、西班牙语在内的46种自然语言以及13种编程语言。

在 Hugging Face Transformers 库中，BLOOM 得到了全面支持，开发者可以使用 BloomForCausalLM 等类进行文本生成、分类及问答等任务。社区还提供了针对 DeepSpeed 和 Accelerate 的优化指南，以实现高效的推理和训练。

## 主要功能

- **多语言支持**：训练数据涵盖46种自然语言和13种编程语言，具备强大的跨语言处理能力。
- **多种模型规模**：提供从 bloom-560m 到 bloom-176B 等多个参数量版本，适应不同算力需求。
- **类 GPT-3 架构**：采用自回归解码器结构，专注于下一个 token 的预测，确保生成质量的连贯性。
- **开源开放**：由 BigScience Workshop 集体贡献，遵循开放科学原则，促进 AI 技术的透明与共享。
- **Transformers 集成**：原生支持 Hugging Face Transformers 库，方便快速加载和微调。
- **推理优化资源**：官方和社区提供了基于 DeepSpeed 和 Accelerate 的快速推理优化博客与代码示例。

## 如何使用

1. 1.安装 Hugging Face Transformers 库：pip install transformers。
2. 2.选择适合的 BLOOM 版本，例如 bloom-560m 或 bloom-7b1。
3. 3.使用 AutoModelForCausalLM.from_pretrained 加载预训练模型。
4. 4.准备输入文本并进行 Tokenization 处理。
5. 5.调用 generate 方法生成文本输出。
6. 6.（可选）参考官方文档使用 DeepSpeed 或 Accelerate 进行推理加速。

## 应用场景

- **多语言内容生成**：利用其对46种语言的支持，生成高质量的多语言文章、故事或营销文案。
- **代码辅助编写**：借助对13种编程语言的理解，帮助开发者生成代码片段或解释编程逻辑。
- **学术研究与合作**：作为开放科学项目的一部分，适用于 NLP 领域的基准测试和算法研究。

## 价格 / 免费额度

BLOOM 是开源模型，可免费下载和使用。具体部署成本取决于所选硬件资源，以官网为准。

## 适合人群

- NLP 研究人员
- 多语言应用开发者
- 开源 AI 倡导者
- 需要本地部署大模型的企业

## 常见问题

### BLOOM 支持哪些语言？

BLOOM 支持46种自然语言和13种编程语言，具体列表可在 Hugging Face 模型卡片中查看。

### 如何获取最小的 BLOOM 模型？

您可以加载 bloom-560m 版本，它拥有约5.6亿参数，适合资源受限的环境。

### BLOOM 的架构与 GPT-3 有何不同？

架构本质上相似，都是自回归模型，但 BLOOM 的训练数据更加多样化，涵盖了更多语言和代码。

## 标签

开源模型 · 多语言LLM

功能、价格与可用性以官网为准。除本站自有 API 页面外，该产品由第三方独立运营，本站仅作导览介绍。