CPM2
CPM2是一个拥有110亿参数的通用中英文双语预训练语言模型，基于encoder-decoder架构。CPM2具有7种通用语言能力。
2021年9月CPM2推出升级版本CPM2.1，CPM2.1新增了生成式的预训练任务并基于持续学习范式进行训练，生成能力进行了大幅度强化。
2021年9月CPM2推出升级版本CPM2.1，CPM2.1新增了生成式的预训练任务并基于持续学习范式进行训练，生成能力进行了大幅度强化。
GitHub 使用协议
GitHub 
核心技术
知识继承
使用已有模型知识加速训练
提示微调
基于提示进行微调
减少微调参数，更好激发模型性能
减少微调参数，更好激发模型性能
MoE技术
基于MoE技术扩展模型参数
支持千亿级参数模型训练
支持千亿级参数模型训练
模型性能 模型具有较强的通用语言能力
Performance of mT5 and CPM-2 with fine-tuning. We use the first 6 datasets, which makes up the lite version of CUGE, to compute the overall CUGE scores (%). The numbers in brackets are the CUEG scores (%) for each dataset. 
应用场景 
阅读理解
文本摘要
文本生成
文本分类
实例开发中，敬请期待
文本填空
__ 输入双下划线来代表您需要填空的内容
京公网安备 11010802039419号