OpenBMB x 清华NLP:20小时大模型公开课带你从入门到精通

作者:OpenBMB
2022-07-22 10:44:55

近年来,人工智能领域最火热的话题,莫过于大模型

然而,大模型训练所需要的庞大算力与海量数据,却让大部分爱好者望而却步。那么,我们是否只能对大模型技术保持观望呢?

近来,越来越多开源模型、技术和工具的出现让广大研究者都能够有机会了解与使用大模型,并进一步探寻大模型的内部机理。比如 OpenBMB 推出的大模型全流程工具包,就旨在推动大模型的工具化、标准化与普及化,做到 “让大模型飞入千家万户”

虽然大模型目前仍处在前沿研究阶段,但我们每个人也应该保持对于大模型技术的充分了解,才能进一步推动大模型的研究与落地,并且在大模型时代到来之时,在学术前沿与业界实践中发挥自己的一份力。

 

为此,OpenBMB 携手 清华大学自然语言处理实验室,共同推出 大模型公开课,意在为对大模型感兴趣的同学提供相关资源,为大模型领域的探索打下基础。本课程将手把手带领同学从深度学习开始快速了解大模型的相关理论和实践,最后利用所学知识进行前沿问题的探索。

 

课程特点

受众广泛

课程面向广大的大模型爱好者,课程内容从自然语言处理基础知识到前沿开放问题,不论是计算机专业还是其他学科背景,相信你都会有所收获。

 

实操教学

课程将会从 Git、Bash 开始进行大模型相关工具的使用教学,介绍包括PyTorch、HuggingFace Transfomers、OpenPrompt、OpenDelta、OpenBMB 大模型套件等工具。

 

学科交叉

课程将探索大模型在生物医学、法律智能与脑科学领域的前沿研究与交叉应用。课程希望通过这些应用启发广大爱好者,大家共同探索大模型在各个领域的创新应用。

 

注重体验

课程每节原时长 135 分钟,我们根据课程内容进行 详细分集 精心剪辑,并且全套课程提供 配套字幕,使大家获得更好的学习体验。

 

- b站视频集合

课程官方网站

 

课程视频经剪辑后也将发布在 OpenBMB 的 B 站官方账号,欢迎大家一(ri)键(chang)三(cui)连(geng)!

 


课程安排

课程分为三大部分,共九节课,每节课程原时长 135 分钟。

第一部分:大模型基础知识

第一节 自然语言处理基础知识

第二节 神经网络基础知识

第三节 Transformer 与预训练模型

第二部分:大模型关键技术

第四节 Prompt Tuning,Delta Tuning 背景以及技术

第五节 BMInf,BMTrain,BMCook 相关背景和技术和使用

第六节 基于大模型的文本理解与生成解决方案

第三部分:大模型交叉应用

第七节 大模型与生物医学

第八节 大模型与法律智能

第九节 大模型与脑科学

资料领取

在 OpenBMB 公众号回复“ 大模型课程 ”获得课程资料并加入公开课交流微信群,与各位同学一起探讨大模型技术!在课程学习过程中,欢迎大家针对课程内容、视频字幕等提出意见与建议,表现积极的同学将会得到 OpenBMB 的精美周边