【昇思MindSpore技术公开课】第七节Prompt Tuning课程回顾来啦！

在上周六（6月3日）的昇思MindSpore技术功课中，我们向大家介绍了继 Pre-train + Fine-tune 后另一种新的微调范式—— Prompt Tuning，过去“通过调整模型以适配下游任务”的思路也由此转变为“通过调整下游任务描述以适配模型”。在课程中我们学习了Prompt Learning的全流程，以及对于Prompt的不同设计。接下来我们对课程进行简单回顾，迎接下一节公开课的进一步深入。

一、

课程回顾

From Fine-tuning to Prompt Learning：

• NLP发展过程中的四个范式

• Pre-train + Fine-tune回顾：

1、BERT：Masked LM + NSP，注重文本理解

2、GPT：auto-regressive model，注重文本生成

3、Pre-train + Fine-tune面临的问题

1）Pre-train 与 Fine-tune 间的语义差异

2）由少样本引发的过拟合

3） Fine-tune及模型部署成本较大

• Pre-train, Prompt, Predict

1、Prompting定义

2、Workflow of Prompting

1）在Prompting中最关键的两步便是对Prompt Template与Verbalizer的设计

2） Prompt分类

Prompt Template Engineering：

• Prompt shape

1、Cloze template

2、Prefix template

• Manual template learning
  模型并行是算子层面的并行，它利用某些算子的特性将算子拆分到多个设备上进行计算。
• Automated template learning
  1、AutoPrompt：gradient based prompt search in discrete space

2、P-Tuning

3、P-Tuning v2

二、

下节课预告

本周六（6月10日）我们邀请到中国科学院自动化研究所紫东.太初大模型研究中心常务副主任，武汉人工智能研究院院长王金桥老师，以及武汉人工智能研究院语音算法工程师唐帅老师，分别进行紫东.太初多模态大模型和语音识别的讲解。本周直播的课程内容有：

紫东.太初多模态大模型 —— 王金桥：

• 紫东.太初多模态大模型2.0功能及应用介绍

语音识别 —— 唐帅：

• 语音识别
• 语音识别的系统框架
• 语音识别现状及挑战