想知道 Zephyr-7B、TinyLLaMA、OLMo、Solar 等明星大模型背后的奥秘吗？

好数据，才有好模型。

迄今，全球超 200 个大模型基于面壁 Ultra 对齐系列数据集对齐（包括 UltraFeedback 和 UltraChat），月均下载量共计超 100 万。

数据集的品质怎么样？这要看大模型的真实战斗力。

在一些「以小博大」的大模型经典对战中，常可以看到面壁 Ultra 对齐数据集的身影，可以说经过了全球大模型的真实验证。

例如， 在面壁 Ultra 数据集的加持下，Zephyr-7B 以更小规模，在不少指标上超越了 LLaMA2-70B-Chat；面壁 Ultra 数据集亦帮助「大模型中的小钢炮」面壁 MiniCPM-2B 取得与 Mistral-7B 一较高下惊艳的表现。

➤ Models Trained on Ultra Series

20+基于面壁 Ultra 系列高质量数据集训练的开源模型

https://huggingface.co/collections/openbmb/models-trained-on-ultra-series-65e6c7552c9682c47217731d

➤ UltraFeedback HuggingFace 链接：

https://huggingface.co/collections/openbmb/ultra-series-65d490fedc2727f5807f4688

---

面壁 Ultra：领先的对齐技术

为什么对齐技术如此重要？可以说，这是 AGI 进程中最重要的工作之一。

就像给大模型带上“紧箍咒”，使其目标、价值观、利益等与人类的相一致，并符合设计者的预期，避免产生超出控制的有害后果。

面壁 Ultra 对齐技术（面壁 Ultra Series）集成了一系列大模型对齐（Alignment）世界领先成果，由面壁智能联合清华 NLP 实验室开源，目前包括高质量数据集 UltraFeedback、UltraChat 和大语言模型 UltraLM、UltraRM、UltraCM 等。

Ultra 系列数据集的构建基于团队首次提出的“可扩展多样性”原则。

团队认为，数据集规模的持续可扩展与数据中指令和回复的多样性决定了数据的质量。为了实现数据集规模的扩展性，团队在数据集构造全程摒除任何人工干预，整个数据集全部由大模型自动构建。而为了提高多样性与数据质量，团队也设计了一系列方法（详见 UltraChat 与 UltraFeedback 的论文）。

UltraFeedback 是首个大规模通用 AI 反馈数据集，首次验证了偏好对齐在开源大模型上的效果。这一大规模、多样化、细粒度的偏好数据集，包括 25 万条对话数据以及相应的偏好标注数据，其中每条偏好标注均包含四个方面的细粒度得分与详细的文字说明。在非社区标注的偏好数据集中，UltraFeedback 数据规模排在首位。

UltraChat 是高质量对话数据集，包含了 150 余万条多轮指令数据。调用多个 ChatGPT API 相互对话，从而生成多轮对话数据。

➤ UltraChat 论文链接：

https://arxiv.org/abs/2305.14233

➤ UltraFeedback 论文链接：

https://arxiv.org/abs/2310.01377

---

为了验证数据集的品质，团队基于 UltraFeedback 训练了一个奖励模型和一个批评模型来进一步辅助模型评测和模型反馈学习：

如同大模型老师一般对正确回答给予积极的正向激励、并给出答案好在哪里，不好在哪里的具体点评，使模型得以针对性提升。

UltraRM奖励模型（Reward Model）：旨在区分同一个问题不同回答的好坏，在四个公共偏好测试集上，UltraRM 显著超过其他开源奖励模型，达到了 SOTA 的性能。

UltraCM批评模型（Critique Model）：用于自动生成文本形式的反馈，在 9 个基准数据集上，UltraCM 优于所有开源 baseline，性能接近 ChatGPT。

此外，团队还基于 UltraChat 数据训练了 UltraLM 语言模型，它具有丰富的世界知识和超强的指令理解和跟随能力，能对各类问题/指令给出具有丰富信息量的回复。

其中，UltraLM-13B-v1.0 发布时登顶斯坦福 AlpacaEval* 开源模型榜单，UltraLM-13B-v2.0（best-of-16 采样）在 AlpacaEval 榜单取得了 92.30%的成绩，成为 70B 以下模型最高分。

---

---

推动全球大模型对齐研究

在对齐技术流程中，偏好对齐举足轻重。一些研究提出了基于人类反馈的学习方法，包括基于人类反馈的强化学习 (RLHF)，已被 OpenAI、Anthropic 和 Google DeepMind 等业界领先公司广泛研究并应用。

传统偏好对齐数据依赖人工标注，头部公司均收集了几十万、上百万的偏好数据，却鲜有开源。

由于缺乏高质量、公开可用的偏好数据集，开源社区在 RLHF 的研究和实践上仍然处于落后状态。

面壁 Ultra 对齐为全球开源社区做出了积极贡献，广受赞誉。

Hugging Face 在 2023 年度总结，重点提及了来自 OpenBMB 开源社区的「面壁 Ultra 对齐数据集」，是开源社区发展进程中的重要一笔。

NLP 大牛、HuggingFace 联合创始人 Thomas Wolf 也在推特上发了一篇长文，讲述了一个Mistral + OpenBMB + HuggingFace 跨越三大洲的大模型开源合作故事， “全球三大洲的人们公开合作，共同打造出一个新颖、高效且前沿的小型 AI 模型” 。

面壁 Ultra 对齐数据集在这个名为 Zephyr 的模型成长故事中扮演了关键角色。研究模型微调和对齐的 H4 团队表示：使用 OpenBMB 两个数据集训练出来的新模型非常强大，是 H4 团队在伯克利和斯坦福的基准测试中见过的最强模型。

这创造了一次开源神话。

如 Thomas Wolf 所言，世界各地（欧洲、加利福尼亚、中国）对知识、模型、研究和数据集的开放获取，以及人们在 AI 上相互建设、相互借鉴，共同创造出真正有价值的高效开放模型的理念。

面壁 Ultra 对齐技术，正努力强壮全球更多大模型。

欢迎大家下载使用

➤ Models Trained on Ultra Series

20+基于面壁 Ultra 系列高质量数据集训练的开源模型

https://huggingface.co/collections/openbmb/models-trained-on-ultra-series-65e6c7552c9682c47217731d

➤ UltraFeedback HuggingFace 链接：

https://huggingface.co/collections/openbmb/ultra-series-65d490fedc2727f5807f4688

---

更多讨论，欢迎加入 OpenBMB 社区↓

OpenBMB官网

https://www.openbmb.org

OpenBMB GitHub

https://github.com/OpenBMB

https://github.com/thunlp

添加小助手，加入 OpenBMB 社群