昇思社区携手司南社区联合打造的昇思MindSpore开源实习-司南专辑迎接您的挑战！一次任务，多方学习！完成任务累计积分可获得实习薪资（达成20分）与实习证明（达成60分）快来一起看看吧。

01 任务背景

• 司南大模型评测体系是业内主流的评测体系，其开源工具 OpenCompass 当前支持多个推理后端框架，除了默认的 HuggingFace 的 transformers 库外，还支持 LMDeploy 和 vLLM 等更高效的推理加速库。执行评测任务时，OpenCompass 支持通过命令行参数或推理加速服务 API 来切换不同后端推理服务。
• MindSpore 框架当前支持多个服务化推理框架，如MindIE、vLLM等。其中针对 vLLM ,MindSpore 通过 vLLM-MindSpore 插件进行了适配支持，可以针对 MindSporeTransformers(https://atomgit.com/mindspore/mindformers) 库中支持的模型开展高效的服务化推理。

02 任务说明

本次任务分为两个方向：

1、携手司南社区，打造vllm-mindspore和OpenCompass的对接，并实现主流多模态的推理部署和评测。

2、携手司南社区，应用MindSpore Transformers ，vllm-mindspore和OpenCompass实现主流LLM模型的微调，推理部署和评测。

03 任务学习和交流：

昇思开源SIG：

1、MindSpore LLM Inference Serving （推理服务化）SIG：

• 基本介绍：https://www.mindspore.cn/sig/LLM%20Inference%20Serving
• SIG会议：https://www.bilibili.com/video/BV1GS7GzJEaR/?spm_id_from=333.1387.search.video_card.click&vd_source=84de305fd34eb90c36ef701367f150fc

2、MindSpore Transformers SIG：

• 基本介绍：https://www.mindspore.cn/sig/MindSpore%20Transformers
• SIG会议：https://www.bilibili.com/video/BV1fL37zxE41/?spm_id_from=333.1387.search.video_card.click&vd_source=84de305fd34eb90c36ef701367f150fc

优秀课程：

• 昇思大模型全流程应用系列课程：https://mp.weixin.qq.com/s/860kPTNNtfcV7t71xfifiA
• 书生大模型实战营（新一期即将开启）：
  https://colearn.intern-ai.org.cn/c6?s=mindspore

昇思MindSpore开源实习活动任务持续更新中！更多开发任务即将上线，敬请期待！报名请看海报，如由疑问可加入我们的实习答疑群，有活动专属小助手为你解答昇思MindSpore开源实习的各项问题，欢迎加入一起共建昇思MindSpore社区。