2022年10月13日，我们开启了CPM-Live第二期模型CPM-Bee的训练。在CPM-Ant的基础上，CPM-Bee考虑了任务模式增强、多语言融合、复杂结构处理等新特性。CPM-Bee训练即将完成，成果到底如何？我们决定将CPM-Bee“拉出来遛遛”。

 

ZeroCLUE是中文零样本学习权威榜单，在学术界和工业界有着广泛的影响力，自发布以来已经吸引了百度、阿里云、IDEA 研究院、澜舟科技等多家企业和研究院的参与。为了验证模型的泛化能力，我们选用这个榜单做了一下测评。

 

1月15日，CPM-Bee 模型在 ZeroCLUE 榜单上登顶榜首，距离上一次刷新仅仅四天，并且将总分提高了3.375分，超过了原排名前五的模型分数提升之和。

 

ZeroCLUE 榜单（2023.01.16）

 

CPM-Bee是一个开源的双语预训练语言模型，参数量为10B，模型不仅有十余种原生能力（仍在持续增加），更是具有强大的通用语言能力。CPM-Bee模型是直播训练开源大模型CPM-Live项目的二期成果。

 

---

 

CPM-Bee 何以登顶

—

 

01 多任务预训练 🐝

 

CPM-Bee 在预训练过程中引入各类常见任务模式的数据增强，包括分类、生成、问答、摘要、翻译、信息抽取等任务，使得 CPM-Bee 在各类文本处理任务上能够开箱即用。我们共选取了超过 20 种任务，收集和整理了 50 余个开源数据集，同时使用已有的高质量中英文数据构造了多种任务数据进一步增强预训练数据。针对每种任务，我们也构造了不同的数据格式，并加入多个人工编写的指令（instruction），保证数据的多样性。

 

02 结构化输入输出 🐝

 

已有的预训练语言模型主要立足于利用非结构化文本进行训练，因而对于半结构化及结构化数据的处理能力较弱。在 CPM-Bee 中，我们加入了各类半结构化及结构化数据的处理功能。用户无需考虑如何将已有数据压缩为一个字符串，可以直接将 JSON 格式的数据输入模型，就可以很方便地完成微调和推理，极大地降低了模型的使用门槛。以 ZeroCLUE 上的情感分析任务（EPRSTMT）为例，模型的输入可以是选择题的格式：

 

{   "句子": "糖果新机配置很好，价格不贵，十分实惠，用着不卡",   "选项":{     "<option_0>": "积极",     "<option_1>": "消极"   },   "问题": "这句话的情感是？",   "<ans>": ""
}

 

模型的答案是 <option_0> 。我们的输入同样可以不给选项：

 

{   "句子": "糖果新机配置很好，价格不贵，十分实惠，用着不卡",   "问题": "这句话的情感是？",   "<ans>": ""
}

 

此时，CPM-Bee也能够通过生成的方式给出答案 “积极”。

 

03 通用语言能力 🐝

 

除了在 ZeroCLUE 榜单上的各个文本理解任务上表现优异之外，CPM-Bee 也拥有着很强的通用语言能力，可以通过文本生成的方式完成很多有意思的任务，例如写作文、生成菜谱、推荐礼物等等。下面是 CPM-Bee 为我们生成的猪肉炖粉条菜谱，妈妈再也不用担心我不会做饭了。

 

{   "前文": "猪肉炖粉条的做法：",   "<ans>": """     1、粉条提前用温水泡软，捞出控干水分备用。     2、猪肉洗净切块，放入锅中焯水后捞出沥干水分。     3、热锅倒油，倒入肉块翻炒至变色。     4、加入葱姜蒜炒香。     5、倒入开水没过肉块。     6、大火烧开后转小火炖煮40分钟。     7、加入泡好的粉条继续炖10分钟。     8、最后加盐调味即可出锅。"""
}

 

04 支持中英双语 🐝

 

虽然上述例子都是中文的，但 CPM-Bee 也使用了英文数据进行预训练，同样能够完成各类英文任务以及中英翻译任务。

 

小蜜蜂，国际范！

 

 

---

 

CPM-Bee 模型体验

—

 

根据 CPM-Bee 的能力，OpenBMB 开发了「模力表格」应用，试图让大模型真正作用于普通人的生产生活。「模力表格」是一款大模型驱动的表格效率工具，在保留表格工具原有全部功能基础上，通过大模型实现文本内容的批量化语义“计算”，进一步提升了表格工作效率。大模型能力以函数形式嵌入，不用配置环境、不用跑代码，只用打开熟悉的表格，输入大模型函数即可。IE、QA、MT、SA、SM 等短短几个函数就可以一键处理大批量文本，轻松满足大家在工作学习中的信息抽取、问答、翻译、情感分析和摘要等多种文本处理需求。

 

此外，OpenBMB 的官网也上线了 CPM-Bee 体验页面，可以体验结构化输入输出。页面上方可以看到模型训练的总吞吐量、总花费和总天数，之后左下角也会更新模型供大家下载，右边则是模型能力的测评雷达图。

 

CPM-Bee 体验页面

 

---

 

💡 开源项目介绍

 

CPM-Live 是由OpenBMB开源社区发起的直播训练大模型项目，研发团队包括面壁智能和清华大学自然语言处理实验室（THUNLP）。

 

第一期模型 CPM-Ant 已经在9月16日圆满发布，实现了计算高效、性能优异、部署经济、使用便捷和开放民主五大特点。第二期 CPM-Bee 于10月13日开启了训练，此次登顶 ZeroCLUE，正是团队潜心训“模”的阶段性成果。

 

CPM-Bee 的技术报告和模型将在年后发布，敬请大家期待！

 

 

💡 商务合作开拓

 

除了即将发布的开源版本之外，OpenBMB 联合面壁智能探索出了一套成熟的业务落地经验，企业版模型具备更好的效果和更完善的落地方案：

• 能力更多：模型预训练阶段涵盖更多任务，NLP 能力应有尽有；
• 效果更好：同任务上零/少样本效果更好；
• 高效微调：消费级显卡即可实现单卡高效微调，更好地适配客户下游任务，并提供专家指导；
• 极速推理：适配面壁智能 BMEngine 推理引擎，低资源场景下也可极速推理，满足线上业务需要。

 

如果您对商业合作感兴趣，欢迎通过邮件联系

business@modelbest.cn

 

 

💡 招募破壁英才招募

OpenBMB 开源社区发起面向高校博士生、硕士生和优秀本科生的 “破壁英才” 实习生项目。项目由 OpenBMB开源社区 和 清华大学自然语言处理实验室（THUNLP）共同发起，旨在培养大模型相关的高水平研究与工程人才。（点击下方推送查看详情）

《OpenBMB发布“破壁英才”实习生项目》