[{"data":1,"prerenderedAt":205},["ShallowReactive",2],{"content-doc-\u002Fversion-updates\u002Fzh\u002F2_11":3},{"id":4,"title":5,"address":6,"body":7,"category":6,"cover":6,"date":194,"description":195,"end_date":6,"extension":196,"href":6,"isTop":197,"meta":198,"navigation":199,"path":200,"seo":201,"series":6,"start_date":6,"state":6,"stem":202,"type":203,"working":6,"__hash__":204},"versionUpdates\u002Fversion-updates\u002Fzh\u002F2_11.md","昇思MindSpore 2.11版本正式发布，使能昇腾950代际高效MXFP8低精训练",null,{"type":8,"value":9,"toc":175},"minimark",[10,14,19,24,27,32,35,39,42,46,49,53,56,66,70,73,78,87,91,94,99,105,109,112,116,119,123,126,131,137,141,145,148,153,160,164,168],[11,12,13],"p",{},"经过昇思MindSpore开源社区开发者们几个月的开发与贡献，现正式发布昇思MindSpore2.11版本。\n超节点亲和并行MindSpore HyperParallel，支持面向昇腾950的MXFP8低精训练加速前后向计算，发布Multicore多核并行框架实现整网续训提速26.9%，同时支持Hugging Face模型快速接入，并通过FSDP参数非均匀切分简化模型适配与断点续训。\n昇腾亲和图模式MindSpore DVM，支持VF融合提升DVM融合算子性能。\n在基础框架演进方面，新增支持MXFP8低精算子，大尺寸矩阵计算性能最高提升54%。\n下面就为大家详细解读昇思MindSpore 2.11版本的关键特性。",[15,16,18],"h1",{"id":17},"超节点亲和并行mindspore-hyperparallel","——超节点亲和并行MindSpore HyperParallel——",[20,21,23],"h2",{"id":22},"_1-面向昇腾950的mxfp8低精训练按需接入加速前后向计算","1 面向昇腾950的MXFP8低精训练，按需接入，加速前后向计算",[11,25,26],{},"随着大模型规模增长，线性层与MoE专家模块中的矩阵计算成为训练的重要开销。昇腾950的低精计算能力为提升训练效率提供了硬件支撑，而模型接入、前后向适配和量化数据管理仍需要框架协同。HyperParallel面向昇腾950，将MXFP8低精能力封装为可配置的计算模块，支持按需替换目标模块，让用户逐步引入低精训练。",[28,29,31],"h3",{"id":30},"_11配置驱动按模块接入","1.1配置驱动，按模块接入",[11,33,34],{},"可通过配置选择目标模块和低精策略，框架在模型构建阶段完成相应替换，未选中的模块沿用原有计算路径。对于Linear，替换过程复用原有权重和偏置参数对象，避免重新分配一份完整权重，减少逐层修改模型代码的工作。除通用Linear外，框架还支持通过专家模块适配，将低精计算能力用于MoE分组矩阵乘。",[28,36,38],{"id":37},"_12软硬协同覆盖前后向训练计算","1.2软硬协同，覆盖前后向训练计算",[11,40,41],{},"MXFP8按32个元素分块管理缩放信息，将所需的输入、权重和输出梯度转换为低精表示。前向计算、输入梯度计算与权重梯度计算，通过统一的算子适配层调用昇腾950支持的低精矩阵计算能力，输出和梯度按接口所需精度返回，参数更新沿用训练配置。用户可以围绕目标模块引入低精计算，同时保留其他模块的精度策略。",[28,43,45],{"id":44},"_13按需保留减少冗余数据驻留","1.3按需保留，减少冗余数据驻留",[11,47,48],{},"框架结合反向计算需求管理行向、列向量化数据及其缩放信息，仅保留后续计算需要的表示，释放不再使用的方向。通过统一的量化与算子适配层，降低模型适配与量化数据生命周期管理的复杂度。",[28,50,52],{"id":51},"_14低精实测前后向均获益","1.4低精实测，前后向均获益",[11,54,55],{},"在Atlas 950 SuperPoD单机环境替换MoE模块进行高低精对比实验。普通MXFP8较高精BF16在前向、反向耗时分别降低约15%和28%。实验采用seq_length=4096、输入\u002F输出维度2048、中间维度9216，实验结果显示在单个MoE模块内的高低精性能有明显提升。",[57,58,60],"div",{"style":59},"text-align: center;",[61,62],"img",{"src":63,"style":64,"alt":65},"\u002Fcategory\u002Finformation\u002Fversion-updates\u002Fbanner\u002Fzh\u002F2_11\u002F1.jpg","display: block;margin: 0 auto;max-width:60%","",[20,67,69],{"id":68},"_2-发布multicore多核并行框架支持megamoe等融合内核整网续训提速269","2 发布Multicore多核并行框架，支持MegaMoE等融合内核，整网续训提速26.9%",[11,71,72],{},"随着大模型结构日趋复杂，通信与计算交织带来的执行等待制约了训练效率，而跨算子融合又需要处理复杂的核间调度与同步，增加了开发和适配成本。为此，HyperParallel发布面向昇腾的Multicore多核并行编程框架，将通信、矩阵计算与向量计算纳入统一任务图，按数据依赖进行细粒度调度。开发者可复用已有高性能算子，减少底层调度与同步逻辑的重复开发，更高效地构建和适配MegaKernel，在降低开发成本的同时，充分发挥Cube与Vector的并行能力。\n基于Multicore针对MoE通算掩盖不足的问题设计了MegaMoE，将专家分发、矩阵计算、激活与结果合并纳入统一流水，支持完整前向与反向训练。通过专家组间交错执行，MegaMoE同时提高通信与计算、Cube与Vector的重叠程度，减少设备等待，提升整网续训练效率。\n在昇腾Atlas 800 A3超节点的64卡测试环境中，MegaMoE在DSV4.1续训练中实现MoE模块50.1%的性能提升，和整网18.3%的性能提升；同时开启MegaMoE、MegaMHC和MegaGate后，整网续训性能提升达26.9%。",[57,74,75],{"style":59},[61,76],{"src":77,"style":64,"alt":65},"\u002Fcategory\u002Finformation\u002Fversion-updates\u002Fbanner\u002Fzh\u002F2_11\u002F2.jpg",[11,79,80,81],{},"参考链接：",[82,83,84],"a",{"href":84,"rel":85},"https:\u002F\u002Fgithub.com\u002Fmindspore-ai\u002Fhyper-parallel\u002Fblob\u002Fmaster\u002Fhyper_parallel\u002Fcore\u002Fmulticore\u002FREADME.md",[86],"nofollow",[20,88,90],{"id":89},"_3-实现hugging-face模型快速接入训练策略灵活配置","3 实现Hugging Face模型快速接入，训练策略灵活配置",[11,92,93],{},"随着Hugging Face模型不断更新，模型结构和预训练权重越来越容易获取，但将新模型用于集群训练，仍需完成并行策略配置、显存优化、数据接入和断点恢复等工作。\nHyperParallel面向Hugging Face生态提供端到端训练能力，复用已有的模型结构与计算实现，并通过适配层按需注入算子替换、并行切分和重计算等能力，让模型实现与分布式训练策略解耦。\n用户在YAML配置文件中指定模型、数据、优化器和并行策略，HyperParallel据此构建训练组件并启动任务。对于已适配模型，开发者可以根据计算资源调整TP、CP、EP、FSDP和激活重计算等设置，无需反复修改模型主体代码；损失、吞吐、显存和检查点则帮助判断训练状态。模型代码与训练策略的解耦，使训练方案更易在不同环境中迁移和调优。\n基于统一的模型接入机制，HyperParallel已适配Kimi、DeepSeek等模型，复用已有的并行、显存优化和训练组件，推动新模型快速接入。\n在昇腾Atlas 800 A3超节点上进行的Qwen3-30B-A3B训练对比中，两套方案采用相同配置，损失收敛趋势一致；采用HyperParallel-FSDP2+Muon时，训练吞吐较PyTorch-FSDP2+Muon提升幅度超过200%。",[57,95,96],{"style":59},[61,97],{"src":98,"style":64,"alt":65},"\u002Fcategory\u002Finformation\u002Fversion-updates\u002Fbanner\u002Fzh\u002F2_11\u002F3.jpg",[11,100,80,101],{},[82,102,103],{"href":103,"rel":104},"https:\u002F\u002Fgithub.com\u002Fmindspore-ai\u002Fhyper-parallel\u002Ftree\u002Fmaster\u002Fexamples\u002Ftraining_demo",[86],[20,106,108],{"id":107},"_4-fsdp支持参数非均匀切分简化模型接入与断点续训","4 FSDP支持参数非均匀切分，简化模型接入与断点续训",[11,110,111],{},"FSDP新增参数非均匀切分能力：当参数第0维无法被分片数整除时，框架自动处理各卡分片长度差异。用户无需为满足整除约束修改模型结构，或手写补齐、裁剪及通信适配代码，可沿用现有FSDP接入方式，降低模型迁移与维护复杂度。",[28,113,115],{"id":114},"_41通信自动补齐计算保持原形","4.1通信自动补齐，计算保持原形",[11,117,118],{},"框架按统一长度构造padding缓冲，AllGather聚合等长分片后去除补齐区域，恢复原始参数；反向将梯度补零对齐后执行ReduceScatter，再取出各卡有效梯度用于优化器更新。例如，7行参数分至4卡，真实分片为2、2、2、1行，通信按每卡2行对齐。",[28,120,122],{"id":121},"_42distributed-checkpointdcp适配","4.2Distributed Checkpoint(DCP)适配",[11,124,125],{},"支持非均匀切分参数及优化器状态的保存与加载，按全局形状、分片偏移和真实尺寸记录与恢复有效数据；加载后重建通信缓冲，减少断点续训的适配工作。",[57,127,128],{"style":59},[61,129],{"src":130,"style":64,"alt":65},"\u002Fcategory\u002Finformation\u002Fversion-updates\u002Fbanner\u002Fzh\u002F2_11\u002F4.jpg",[11,132,80,133],{},[82,134,135],{"href":135,"rel":136},"https:\u002F\u002Fgitcode.com\u002Fmindspore\u002Fhyper-parallel",[86],[15,138,140],{"id":139},"昇腾亲和图模式mindspore-dvm","——昇腾亲和图模式MindSpore DVM——",[20,142,144],{"id":143},"_5-支持vf融合提升dvm融合算子性能","5 支持VF融合，提升DVM融合算子性能",[11,146,147],{},"在模型执行过程中，连续的向量计算往往伴随着中间数据的反复搬运。图级算子融合将多个算子合并执行，减少kernel启动和中间结果在全局内存中的读写。昇腾950进一步开放了可编程向量寄存器能力，通过VF（Vector Function，向量函数）组织寄存器级计算。即使多个算子已融合到同一个kernel，计算步骤之间仍可能存在中间结果写回统一缓存UB、再重新加载的过程。VF融合将兼容的计算及其循环合并，让中间结果尽可能在寄存器中被直接消费，减少冗余的搬运、同步和VF调用开销。\nDVM借鉴此前昇思MindSpore AKG的经验，采用Cluster + Split策略控制融合pattern与边界。DVM将兼容的计算节点组织为候选cluster，再根据依赖关系、输入输出接口及资源约束确定融合范围，必要时切分为多个适合VF执行的子区域，在减少数据搬运与控制资源开销之间取得平衡。\n在实现上，DVM创新性地为简单融合逻辑预先生成对应的VF函数，再通过 aclrtGetFunctionAddr获取函数地址并建立映射，供运行时调用。这使得DVM在获得寄存器级融合收益的同时，避免将VF即时编译开销引入算子编译路径，依旧保持微秒级的算子编译能力。",[57,149,150],{"style":59},[61,151],{"src":152,"style":64,"alt":65},"\u002Fcategory\u002Finformation\u002Fversion-updates\u002Fbanner\u002Fzh\u002F2_11\u002F5.jpg",[11,154,155,156],{},"测试显示，开启VF融合后，SiLU的Vector部分耗时下降55.9%，GELU的Vector部分耗时下降61.7%。\n参考链接：",[82,157,158],{"href":158,"rel":159},"https:\u002F\u002Fgitcode.com\u002Fmindspore\u002Fdvm",[86],[15,161,163],{"id":162},"基础框架持续演进","——基础框架持续演进——",[20,165,167],{"id":166},"_6-支持-mxfp8-低精算子大尺寸矩阵计算性能最高提升54","6 支持 MXFP8 低精算子，大尺寸矩阵计算性能最高提升54%",[11,169,170,171],{},"大模型狂飙突进的背后，正遭遇着海量矩阵计算的效率瓶颈，而低精度计算通过降低位宽与搬运开销，成为了让硬件算力跑满全速的破局关键。昇思MindSpore2.11版本新增MXFP8低精算子能力，覆盖动态量化、量化矩阵乘和分组矩阵乘，为大模型训练中的核心计算模块提供低精支持。MXFP8采用细粒度分块缩放技术，将量化方向上每32个元素划分为一组，以FP8数据配合E8M0缩放因子进行表示。不同数据块使用独立的缩放因子，在降低数据位宽的同时适配各自的数值范围，为高效矩阵计算提供基础。\n围绕Dense Linear的计算需求，昇思MindSpore提供单轴与双轴动态量化能力。开发者可在PyNative动态图模式下，将FP16\u002FBF16输入和权重量化为FP8数据，再通过量化矩阵乘完成计算，输出BF16等类型的结果。双轴动态量化还可一次调用生成按行、按列两套量化表示，便于上层训练逻辑针对前向、输入梯度和权重梯度计算选择所需的数据表示，接入不同方向的低精矩阵计算。\n面向MoE模型，昇思MindSpore进一步提供分组动态量化与分组矩阵乘能力。针对不同专家接收token数量不均的特点，开发者可依据专家分组信息组织量化与计算，将低精能力应用于专家计算模块，为Dense与MoE架构提供更完整的基础算子支持。\n在大尺寸矩阵计算测试中，MXFP8展现出明显的性能优势。固定矩阵维度K、N均为4096，当M分别为2048、8192和16384时，包含输入与权重动态量化开销的MXFP8计算链路，相比BF16路径性能提升约42.6%～53.9%。其中，M为8192时，计算耗时从0.6445 ms降至0.4187 ms，计算速度达到BF16路径的约1.54倍，体现了MXFP8在大矩阵计算场景下的加速价值。\n参考链接：",[82,172,173],{"href":173,"rel":174},"https:\u002F\u002Fatomgit.com\u002Fmindspore\u002Fmindspore",[86],{"title":65,"searchDepth":176,"depth":176,"links":177},4,[178,186,187,188,192,193],{"id":22,"depth":179,"text":23,"children":180},2,[181,183,184,185],{"id":30,"depth":182,"text":31},3,{"id":37,"depth":182,"text":38},{"id":44,"depth":182,"text":45},{"id":51,"depth":182,"text":52},{"id":68,"depth":179,"text":69},{"id":89,"depth":179,"text":90},{"id":107,"depth":179,"text":108,"children":189},[190,191],{"id":114,"depth":182,"text":115},{"id":121,"depth":182,"text":122},{"id":143,"depth":179,"text":144},{"id":166,"depth":179,"text":167},"2026-10-30","支持面向昇腾950的MXFP8低精训练加速前后向计算，发布Multicore多核并行框架实现整网续训提速26.9%，同时支持Hugging Face模型快速接入，并通过FSDP参数非均匀切分简化模型适配与断点续训。","md",false,{},true,"\u002Fversion-updates\u002Fzh\u002F2_11",{"title":5,"description":195},"version-updates\u002Fzh\u002F2_11","version-updates","AU1QNxCdHJizvdUFi_MBtHmAf5YCjtjbOEh3-kXNlM8",1793332412629]