关注公众号获取课程资料
在 OpenBMB开源社区 公众号回复“ 大模型课程 ”
立即获得课件代码 加入公开课交流微信群
文末互动有礼
经过 24 天的更新
我们的《大模型公开课》已经更新完结啦！
《大模型公开课》由 OpenBMB 携手 清华大学自然语言处理实验室 共同推出，意在为对大模型感兴趣的同学提供相关资源，为大模型领域的探索打下基础，手把手带领同学从深度学习开始快速了解大模型的相关理论，并进行实践，最后利用所学知识进行前沿问题的探索。
课程深入浅出，有干货、有实操，每一节课程都经过了精心的分集剪辑，并提供配套字幕。
对 大模型、人工智能、NLP 感兴趣的你，不论是计算机专业出身，还是其他学科背景，相信都能在课程中收获满满！
什么是大模型
BERT、GPT-3、Transformer，你也许早有耳闻…
近年来，随着人工智能的飞速发展，我们早已步入了真正的 “大数据时代”。但是传统的人工智能算法标注数据的过程费时费力，数据规模有限，并且得到的模型泛化能力往往不理想，这在一定程度上阻碍了其落地和推广。随着不断探索，预训练语言模型 技术于 2018 年横空出世，随之提出的是 “预训练-微调” 的新研发范式。预训练语言模型运用易获得的 大规模无标注文本数据，采用自监督学习技术 预训练语言模型，再利用特定下游任务对应的训练数据，进一步 微调 更新模型参数，得到的模型最终便能够掌握完成下游任务的能力。
- 图 预训练-微调范式
预训练语言模型在自然语言处理等领域的众多下游任务上取得了 巨大的性能提升，并快速成长为人工智能生态中的基础设施。随着预训练语言模型技术引发了人工智能领域性能革命，大规模预训练模型技术的成熟也正标志着 “大模型时代” 的到来。
大模型凭借优越的 泛化性、迁移性，在自然语言处理等领域的广大下游任务中有着出色的表现，并且极大程度地 降低了自然语言处理领域的应用成本和门槛。
近几年，Google、OpenAI、阿里等科技巨头都在潜心研发自己的大模型，大模型已然成为当下人工智能领域最重要的前沿技术方向之一。
- 图 大模型趋势图
不妨扫描下方二维码，看看由 OpenBMB 于 GitHub 推出的大模型榜单 BMList，更加全面、直观地了解当前的大模型信息。
- 图 BMList二维码
大模型公开课讲什么
理论、实践，从我们的课程中能学到哪些知识...
本次大模型公开课包含了 基础知识、关键技术 和 交叉应用 三大模块，不仅有干货满满的理论知识输出，还会带着同学们进行实操训练。
01 基础知识
● 从 Git、Bash 等相关工具的使用教学开始，带领同学们了解 自然语言处理 和 RNN、GRU、LSTM、CNN 等 算法
● 演示如何使用 PyTorch 训练模型
● 介绍 Transformer 和 预训练模型 的基础知识
02 关键技术
● 介绍 Prompt Tuning、Delta Tuning 的相关背景及技术
● 介绍 BMInf、BMTrain、BMCook 等模型训练套件的技术及使用● 讲解了基于大模型的 文本理解、文本生成 等相关技术
03 交叉应用
● 探索大模型在 生物医学、法律智能 与 脑科学领域 的前沿研究、交叉应用与创新
课程资料及交流
01 课程资源
我们的完整课程已经在 B 站发布，欢迎各位搜索 OpenBMB 或者扫描下方二维码，关注我们、观看课程，期待大家点赞、投币 、收藏一键三连哦～
- 图 b站入口️
02 课程配套资料
关注 OpenBMB 开源社区 公众号，回复 “ 大模型课程 ” 即可获得课程课件、代码等 全部配套资料！
后续公众号还会推出讲座访谈、前沿速递等一系列干货满满的专题内容，此外还会不定期发布互动活动，欢迎大家参与
https://www.openbmb.org/community/course
03 课后交流与反馈
微信群：关注 OpenBMB 开源社区公众号，回复 “ 大模型课程 ” 即可加入公开课交流微信群QQ群：735930538
在课程学习过程中，欢迎大家随时对课程内容、视频字幕等提出意见与建议（B站评论、公众号留言、交流群、邮件联系等渠道均可），表现积极的同学将会得到 OpenBMB 的精美周边！
下面是福利
本期互动活动
关注 OpenBMB 开源社区公众号，在 “OpenBMB 开源社区” 公众号【留言有奖｜OpenBMB x 清华大学NLP：大模型公开课更新完结！】有奖推送留言区发表您的评论。
对大模型、NLP、深度学习的看法，对大模型未来应用的畅想，对课程的意见和建议等等…
我们准备了：
奖品1 ：
清华大学刘知远副教授亲笔签名的
《知识图谱与深度学习》
奖品2：
《深度学习》
奖品3 ：
OpenBMB文创周边
按留言区点赞排名
https://www.openbmb.org
技术文章
高效训练工具 BMTrain | BMTrain 技术原理
CPM-Live 邀请函 | CPM-Live 训练启动
OpenBMB 社区介绍 | 大模型课程
大模型榜单 BMList
长期开放招聘｜含实习
开发岗 | 研发岗 | 运营岗
期待您的关注与加入
