BMCook
大模型“瘦身”工具库。BMCook进行大模型高效压缩,提高运行效率。通过量化、剪枝、蒸馏、专家化等算法组合,可保持原模型90%+效果,模型推理加速10倍
GitHub
文档
分享
工具特点
模型量化
提升4倍运算速度 ,使用1/4存储空间
模型剪枝
剪枝50%参数,可加速1倍
模型专家化
减少80%线性层参数,可加速1倍
模型蒸馏
为以上模块提供更优监督型号
已有方法
与现有的模型压缩工具包相比,BMCook 支持所有主流的预训练语言模型加速方法。
任意组合
受益于解耦合的实现方式,我们可以任意组合压缩方法尽可能地加速模型。