OpenDelta
“小”参数撬动“大”模型。OpenDelta进行参数高效的大模型微调,仅更新极少参数(小于5%)即可达到全参数微调的效果。
GitHub
文档
分享
简易使用
只需几行代码便可以部署参数高效的delta tuning框架,无需拉取模型源代码。
工具协作
OpenDelta可以和OpenPrompt协作运行,共同实现大模型适配的最新范式。
可视化操作
OpenDelta集成的可视化模块可以轻松地在模型内部进行操作。
模型支持
OpenDelta可以兼容目前的主流语言模型,甚至视觉Transformer (ViT)。