昇思MindSpore技术论坛 | AI大模型时代正在到来，模型真的越大越好吗？
昇思MindSpore技术论坛 | AI大模型时代正在到来，模型真的越大越好吗？
什么是人工智能大模型？
与小模型相比有哪些优势？
为何大模型会成为趋势？
大模型在行业中有哪些应用？
未来又面临怎样的机遇和挑战？
4月9日，昇思MindSpore联合知名媒体Paperweekly举办了昇思MindSpore技术论坛第一期·AI大模型专场，邀请了中科院、武汉大学、北京大学等院校专家学者，以及昇思MindSpore技术专家共论AI大模型对科研及产业所带来的新的技术突破及价值。
下面让我们一起来回顾一下分享的精彩内容吧。
专家致词
周斌：昇思MindSpore AI框架总经理
昇思MindSpore始终走在AI创新的最前沿，支持了鹏程.盘古大模型、华为云盘古NLP大模型、紫东.太初三模态大模型、鹏程.神农生物信息研究平台、武汉.LuojiaNet智能遥感解译框架等的开发。未来将会支持与研发更多领域的大模型，繁荣昇思技术生态。
“紫东.太初”多模态大模型关键技术分享
王金桥：中科院自动化所研究员、博导
随着深度学习的高速发展和Transformer/BERT等模型提出，人工智能从单模态、有监督学习迈向多模态、自监督学习阶段，预训练模型充分显示出在无监督情况下自动学习不同任务和快速迁移到不同领域数据的强大能力。
紫东.太初大模型开拓性的将视觉、文本、语音不同模态通过各自编码器映射到统一语义空间，进而通过多头自注意力机制学习模态之间的语义关联和统一表征；这既可以实现跨模态理解，并能实现跨模态生成，同时做到理解和生成认知能力的平衡。
我们进而提出了一个多层次、多任务自监督学习统一框架，对更广泛、更多样的下游任务提供模型基础支撑，并实现了多个场景的落地应用。
面向智能遥感的机器学习框架
张觅：武汉大学副研究员
遥感影像空间信息智能处理，迫切需要开展开展大规模遥感影像样本库和专用机器学习框架研究。
当前武汉大学国家重大集成项目研究成果，包括：
（1）LuoJiaSET影像数据集分类标准、标注规范、标注工具、众筹模式的标注数据集制作和版权保护研究；支持互联网协同的遥感影像标注工具和数据集发布平台，构建多种类、百万规模的亚米级标注数据，形成具有独立版权、可公开发布和业界认可的标准数据集。
（2）LuoJiaNet，针对遥感影像特点，与华为合作研发遥感影像深度神经网络开源架构、模型与网络优化方法，形成尺度通道可灵活创建、数据通道可自适应优选、多层级联合优化的遥感深度学习框架与模型。
新一代数据密集型生命科学精准计算
陈杰：北京大学副教授、博导
生物信息研究平台——鹏城.神农，该平台基于鹏城云脑II的超大规模算力集群，以预训练的自然语言大模型为起点，打造面向生物医学领域的生物信息研究平台，旨在利用AI的力量助力生物医学探索。
通过人工智能技术从头设计药物，加速新型药物创制，为医药的研发打开一扇新的大门。经过设计新算法挖掘数据之间的关系，为解决当前新冠肺炎等严重紧急突发疫情和重特大疾病的治疗，提出了快速、准确、有效的具体解决方案和应对策略，开创了精准计算药学的先河，是精准医学的重要支撑。
传统药物研发模式中临床前研究需要6-9年的时间。鹏程.神农平台借助AI大模型、大数据、超算力从头设计抗新冠肺炎多肽候选药物，大大加速了这一研发过程，使临床前研究缩短到50天。最终通过湿实验，三盲验证了多肽药物能真实有效地阻断新冠病毒向人体细胞传染，证明了药物智能研发模式的正确性。
Conformer：一种耦合局部与全局特征表示的视觉表示模型
彭智亮：中国科学院大学博士、Conformer模型论文一作
Conformer是间距ViT和CNN特性优势的模型。
在CNN中，卷积算子擅长提取局部特征，但难以捕获全局表示；而在ViT中，自注意力模块可以捕获长距离特征依赖关系，但不幸的是会破坏局部特征细节。
因此，提出了 Conformer 的混合网络结构，以利用卷积运算和自注意力机制来增强表征学习。同时，在大数据集的加持下，对Conformer进行了放大，实验表明，Conformer在下游的任务上也体现出了较好的泛化性和优越性。
昇思MindSpore超大模型AI实践
苏腾：华为分布式并行计算技术专家
昇思MindSpore 原生AI大模型成果，通过AI编译器实现多维度混合并行，支持数据并行、数据切片预处理等七维混合并行算法，是并行维度业界最多、模型切分支持结构最全、单机容纳模型参数业界最强的AI框架，实现开发并行代码量降低80%、系统调整时间下降60%，单机完成千亿模型参数训练的超强能力。
目前已训练出全球首个三模态大模型紫东.太初、全球首个遥感影像智能解译深度学习专用框架（武汉.LuojiaNet）等多个业界领衔大模型，以技术的领先性以及产业落地的巨大前景分别成立了“多模态人工智能产业联盟”和“智能遥感开源生态联盟”，开创了产业落地的新模式。
本次**【昇思MindSpore技术论坛·AI大模型】直播回顾可在B站【MindSpore官方】**查看。
MindSpore官方资料
官方QQ群 : 486831414
Gitee : https : //gitee.com/mindspore/mindspore