欢迎加入昇思MindSpore NLP SIG!打造高效易用的NLP库!
欢迎加入昇思MindSpore NLP SIG!打造高效易用的NLP库!
在当今这个信息爆炸的时代,自然语言处理(NLP)技术已经成为连接人与机器的关键桥梁。但是对于大多数用户而言,NLP任务的开发往往涉及复杂的算法、数据处理和模型训练过程,其复杂性和专业性往往让许多非专业开发者望而却步。所以一款能简化NLP任务开发流程、高效易用的NLP库显得至关重要。
MindSpore NLP是一个基于MindSpore的开源NLP库。它通过整合众多经典NLP数据集,并支持多种常见的NLP任务,为开发者提供了一个全面且强大的平台,帮助研究人员和开发人员更方便、更快速地构建和训练模型。
MindSpore NLP主要特点
**海量预训练模型支持:**MindSpore NLP基于MindSpore动态图能力,打造面向开发者和科研群体的最易用NLP套件,并全面对齐Huggingface生态,现已支持240+模型架构,能够满足科研、应用等各类开发需求。
**全面的数据处理:**将多个经典的NLP数据集打包成友好的模块,以便于使用,例如Multi30k、SQuAD、CoNLL等。同时还提供了全面的数据处理功能,包括数据清洗、转换、分词等,可以帮助用户更好地准备数据,提高模型训练的效果。
**友好的NLP模型工具集:**提供了模型训练、评估、推理等环节的多种工具和组件,使得用户可以更加便捷地构建和训练自己的NLP模型。
**易于使用的API:**MindSpore NLP简化了复杂的训练过程。它支持Trainer和Evaluator接口,可轻松训练和评估模型。
**对接Hugging Face生态:**MindSpore NLP兼容Hugging Face生态系统,使用datasets库作为默认数据集加载器,支持大量有用的数据集。用户可以轻松地将Hugging Face的预训练模型和数据集集成到MindSpore NLP中,加速模型的训练和推理过程。
构建开放、易用、高效的开源NLP库和开源共创的交流社区,有利于促进NLP技术的蓬勃发展和创新突破。在此背景下,昇思MindSpore NLP SIG(特别兴趣小组)正式成立,并面向开源社区招募志同道合的伙伴。
1
MindSpore NLP SIG简介
本SIG着眼于MindSpore NLP,充分利用昇思MindSpore的优点,持续完善套件功能,拓展社区生态,为广大科研人员、老师和学生提供高效易用的NLP库的同时,为这个领域中,有着强大影响力和浓厚的兴趣的人们提供一个能够共同交流合作的平台。
2
MindSpore NLP SIG****使命
聚焦NLP技术,通过打造全面的NLP解决方案,解决兼容性与集成性、高效与易用性以及推动NLP领域的发展,为研究人员和开发者打造一个高效且易于使用的自然语言处理平台。当前小组的重点工作方向包括:
**01、**MindSpore NLP兼容Huggingface全量模型
02、支持PEFT、TRL,支撑科研生态基于MindSpore NLP进行创新
03、基于MindSpore NLP开发各类AI应用
3
MindSpore NLP SIG****工作计划
以成员学术交流活动为主,为MindSpore NLP演进和功能完善提供参考。
活动组织
每年SIG组都会组织线下交流学习活动,包括但不限于校园行活动、线下技术沙龙、邀请组内的核心专家老师进行技术讲座分享。小组老师将带领成员进行科技调研以及代码仓功能扩展、bug修复等工作。成员也可自由使用MindSpore NLP套件来进行自己的课题研究和开发。
开源实习
小组会在社区内发布开源实习任务以及众智任务,以供学生和老师认领。当前我们安排的任务包括:
01、**PEFT模型微调:**包括各类微调算法,如lora、ia3、dora等微调训练和精度验证。
02、**模型迁移:**huggingface官方托管的模型架构的MindSpore实现。
03、**NLP论文解读:**MindSpore NLP支持的模型对应的论文解读。
04、**MindNLP应用开发:**基于MindSpore NLP在不同硬件下的AI应用开发,包括但不限于:聊天机器人、NLP信息抽取、AI Agent等。
开源实习详情:https://gitee.com/mindspore/community/issues/I6Q9JJ
4
MindSpore NLP SIG****构成
小组领衔成员

小组成员
01、**呼波:**瑞士巴塞尔大学博士研究生,MindSpore NLP maintainer,MindNLP tutorial贡献者,Graphformer模型责任人。
02、**陈见豪:**重庆大学本科生,MindSpore优秀开发者,MindSpore NLP迁移开发贡献。
03、**李明辉:**桂林电子科技大学本科生,MindSpore NLP模型迁移、微调贡献者。
04、**李永康:**华中科技大学硕士研究生,MindSpore NLP PEFT模块贡献者。
05、**田健翔:**青岛科技大学本科生,MindSpore NLP模型迁移贡献者。
06、**王洁怡:**北京大学硕士研究生,LongT5模型负责人。
07、**周一锋:**MindSpore优秀开发者。
5
MindSpore NLP SIG召唤你
扫码加入MindSpore NLP SIG交流群

使用QQ扫码加入交流群
代码仓:
https://github.com/mindspore-lab/mindnlp
关于MindSpore SIG
昇思MindSpore社区欢迎业界专家、学术伙伴在社区成立特别兴趣小组(SIG),作为社区领域技术代言人,打造领域技术品牌,共建昇思MindSpore开源生态。
MindSpore SIG即MindSpore Special Interest Groups,即“昇思特别兴趣小组”,MindSpore社区成立个技术SIG的初衷是为该领域的专家、教授和学生提供一个开放交流的平台,通过会议分享、项目开发等活动促进技术交流、合作共赢,并使得SIG成员的影响力和技术能力得到提升。
如果你也想成立一个SIG
扫码添加小助手了解更多
