OpenBMB 年 度 大 事 记

作者:OpenBMB
2023-01-05 11:19:32

搭建BMSystem |训练 微调 推理 一网打尽

我们逐步搭建大模型训练能力体系,推出 大模型全流程加速工具包,包括大模型训练、微调、推理三大套件。训练套件包括“原料”收集器 BMData、训练“发动机” BMTrain、“瘦身”工具库 BMCook;微调套件包括提示学习利器 OpenPrompt、参数高效微调工具OpenDelta、开发者共享能力的 Delta Center;推理套件包括高效压缩工具 BMCook 和高效推理工具 BMInf。其中,OpenPrompt 发布以来在GitHub上获得 2.2k+ star,其他工具包的 star 总和也达到 1.3k+


启动CPM-Live|Ant落地 Bee起飞

我们发起百亿大模型训练直播项目 CPM-Live,计划书于5月26日发布。第一期模型 CPM-Ant 的训练在5月29日正式启动,耗时68天于8月5日完成结束,报告最后在9月16日圆满发布。CPM-Ant实现了 计算高效、性能优异、部署经济、使用便捷 开放民主 五大特点。

第二期模型 CPM-Bee 在10月13日开启训练,CPM-Bee 的训练中新增 任务模式增强、多语言融合、复杂结构处理 等新特性 。CPM-Bee即将完训,敬请期待!


打造交流社区 |筑大模型开源生态

我们构筑了多位一体的大模型开源生态。OpenBMB 所有开源项目在 GitHub 为开发者提供了良好的开源体验,收获了 3.5k+ star。我们在 微信公众号、B站、知乎、智源社区 多个平台提供相关信息资讯,粉丝总量 6k+,还有近 2000 名兴趣人员加入 OpenBMB 交流社群,深入讨论大模型问题。

我们也陆续在 Twitter、Medium、Hacker News 等海外平台同步了英文资讯,未来我们还将积极建立海外社群,争取打造全球化大模型交流社区。

动图封面
动图来自 OpenBMB 的 blibli 账号

科研成果丰硕 |铺路大模型应用

2022年2月,团队发布生物医学领域大模型 KV-PLM,论文入选 Nature Communications 亮点推荐文章;3月,BMInf、OpenPrompt 的相应论文被 ACL 2022 Demo 录用,BMInf 以极低的计算成本支持大模型的推理和微调,OpenPrompt 提供统一接口的提示学习模版语言;5月,开源工具包 OpenPrompt 获国际计算语言学顶级会议 ACL 2022 最佳展示论文奖

在以上科研成果的基础上,我们不断完善和应用大模型工具包,推动学术成果的实践转化。


上线公开课程|全民科普大模型

我们于 7月29日 在B站推出包括9个课程、总时长18小时的公开课,是 国内首门系统的大模型公开课程,目前播放量已达 3w+,课程至今好评如潮。

9月29日起,我们又在微信公众号和B站 联动推出【论文速读】栏目,主打用脑图在10min 内带大家快速掌握一篇前沿经典论文,目前已陆续带读了EMNLP、ACL、ICLR三大顶会的论文,视频总播放量1w+

10月20日,知乎“知学堂”上线我们的大模型公开课,反响十分热烈,截至目前总学习次数 43w+


参与活动交流|线上线下两开花

在前三个季度的沉淀下,我们在第四季度参加了各类交流活动,给广大关注者交代开源成果,也与业界同仁互享经验。

10月29日,我们参加 中国开源年会北京分会场 的线下活动开源集市,活动现场氛围热烈。我们于11月19日参与 DataFunSummit 2022 “新一代 AI 基础架构及应用” 这一主题论坛的讨论。在12月10日,我们携手智源研究院、PARATERA 并行科技举办 “2022 大模型创新论坛 · 训练营”。最后,我们在12月22日参与了 智东西公开课「大模型系列直播课」第4讲。


岁末之际,顺问冬安。

感谢广大同仁对 OpenBMB 的真诚关注和参与,2022 我们一同点燃了大模型的星星之火,2023 我们还将一路见证它如何演变燎原之势。久交念敦敬,祝大家新年快乐!