请检查您的电子邮件地址以获取确认链接
发送确认邮件
BM
Train
大模型训练“发动机”。
BMTrain进行
高效的大模型预训练与微调。
与DeepSpeed等框架相比,BMTrain训练模型成本可节省
90%
。
GitHub
文档
分享
分享到微信
性能强大
对比流行框架,BMTrain表现惊人。
简易使用
贴合PyTorch使用习惯,上手门槛更低,仅需简单替换即可完成训练提速。
原始代码
替换后代码
支持模型
Encoder
bert-base-cased
bert-base-uncased
bert-large-cased
bert-large-uncased
bert-base-chinese
bert-base-multilingual-cased
Decoder
CPM-1(large)
GPT-2(base)
GPT-2(medium)
GPT-2(large)
GPT-2(XL)
GPT-J(6B)
Encoder-Decoder
CPM-2(large)
T5-small
T5-base
T5-large
T5(3B)
T5(11B)