CPM1
CPM1是一个拥有26亿参数的生成式中文预训练语言模型。
CPM1的模型架构与GPT类似,它能够被应用于广泛的自然语言处理任务,如对话、文章生成、完形填空和语言理解。
GitHub
使用协议
核心技术
超大语料
26亿参数、使用100GB中文语料训练
中文词表
构建包含字与词的多粒度词表
稳定训练
使用多卡增大批次大小进行更稳定的模型训练
模型性能
模型在多个任务上具有较好的少样本/零样本学习性能
零样本文本分类性能
零样本和少样本问答性能
Zero-shot (zs) and one-shot (os) results on Question Answering (QA) datasets, including DuReader (Zhidao and Search) and CMRC2018, we did experiments on models with three different sizes: small (s), medium (m) and large (l).
应用场景
文本生成
对话
完形填空
文本分类
实例
故事生成
按键盘Tab键开始生成