昇思MindSpore技术公开课系列：保姆级的大模型专题实践课程来了

相信很多小伙伴对在昇思MindSpore支撑下训练出的一系列大模型并不陌生了：鹏程.盘古、鹏程.神农、紫东.太初...

昇思MindSpore大模型历程

昇思MindSpore具备丰富的并行能力，能轻松完成4096卡集群、万亿参数规模的训练任务，因此支撑了国内多个领域首发大模型的训练，这些大模型涉及知识问答、知识检索、知识推理、阅读理解、文本/视觉/语音多模态、生物制药、遥感、代码生成等。总共支撑20+大模型训练，6个千亿参数大模型，覆盖NLP、Audio、CV、多模态等领域。

昇思MindSpore与OpenI启智社区联手推出了昇思MindSpore技术公开课系列课程，带领大家揭秘大模型。

本课程聚焦大模型领域，旨在从实践的角度出发，带领产学研开发者逐步掌握大型语言模型的原理与实现，手把手教大家搭建一个简易版的盘古大模型。课程完全免费，课程材料与代码全部开源，欢迎广大产学研开发者参与课程学习。

一、课程特色

由浅入深的课程内容设计

课程内容逐层递进，从最基础的Transfromer开始，逐步引入大模型演变中的经典模型及技术，每一层的内容都在前一层的基础上进行了拓展和深入，使产学研开发者能够逐步掌握深度学习的核心理论和实践技能。

实践为主的教学方法

课程设置代码实战环节，让学员通过实际的项目实战来运用所学知识，从而更深入地了解模型的使用和应用，同时也能够锻炼大家的实际操作能力。此外，课程中我们会采取理论和代码穿插授课的形式，让大家在原理学习和代码实践中感受到更为紧密的联系。

端到端的模型实践

课程注重模型的端到端实现，从数据预处理到最终模型推理等各个环节都有涉及。帮助大家全面掌握模型的实现流程和调优技巧，从而更好地应对实际问题。

欢迎大家使用启智平台的算力，课上和我们一起同步完成任务代码的运行。感兴趣的小伙伴也可以在课后尝试对模型进行“魔改”，感受大模型和自己的创意可以碰撞出怎样的火花~

与业内专家的互动交流

邀请业内专家参与到课程中来，可以从不同的角度解读理论知识，并分享实际应用中的经验和技巧。这样既可以让学员更好地理解知识点，又能更深入地了解业内最新的技术发展趋势。

完备的学习路径

我们不仅注重于课程本身的设计，还为参与课程的学员们提供了各种不同难度和类型的前序及后续学习任务。学员可以从前序课程打好深度学习基础开始，逐步掌握核心理论和实践技能，同时还能通过社区实践锻炼开源实践能力。

二、课前准备

学习本课程需要一定的深度学习基础，但对这部分知识有所欠缺的小伙伴也不用担心，我们为大家准备了前序学习课程——MindSpore版李沐老师《动手深度学习》（《动手学深度学习》：面向中文读者、能运行、可讨论。中英文版被60多个国家的400多所大学用于教学(https://github.com/mindspore-courses/d2l-zh)）。

建议大家尝试自己动手运行代码，从而更好地理解每个课程单元的内容，这样可以在大模型的正式课程中更丝滑地入学哦。

三、课程安排

课程共分为8节课，4月15日起，每周六下午2：00 - 3：30准时在B站开展直播。

课程结束后视频回放会上传至B站MindSpore官方账号下进行归档。

课程材料及代码可通过如下链接获取：

https://github.com/mindspore-courses/step\_into\_chatgpt

代码运行可使用启智平台的算力：

https://openi.pcl.ac.cn/zeizei/OpenI\_Learning

日期

课程内容

4/15

开场致词

Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder

4/22

BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT

4/29

GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task

5/6

休息

5/13

GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务

5/20

MindSpore****自动并行

5/27

代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码

6/3

Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning

6/10

Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts

6/17

RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型）

感兴趣的小伙伴可以扫描下方二维码进入技术公开课群组，我们将在课后在群内进行课程答疑，并放送后续活动参与报名链接。

四、社区实践

据说技术公开课的老师们有一个宗旨：坚决不让大家在完成学习后，又将知识还给自己。为此，我们为大家提供了丰富多元的课后社区实践活动，帮助巩固课后知识，并进行相关实践拓展，从开源实践小白进化成开源专家。

Level 1：社区活动

在这里，你可以体验昇思MindSpore特性与全新套件，为昇思MindSpore优化提出自己宝贵的意见。还可以参与论文复现，对AI传统领域形成一个更加全面的了解。

扫一扫二维码，欢迎参加昇思MindSpore开源社区活动

Level 2：社区实习

想要挑战难度更高任务的小伙伴，可以参与到昇思MindSpore开源社区实习中来。

我们为大家提供了贡献开源代码的平台。在这里，你将在技术专家的带领下，在实际的开源环境中接触前沿技术，提升实践能力，成为昇思MindSpore建设不可或缺的一份子。

相信拥有了开源实践经验的你，今后也可以通过这份经历在的工作招聘和学习深造中脱颖而出！

扫一扫二维码，进入昇思MindSpore开源实习官网，了解报名详情

五、讲师团队