[{"data":1,"prerenderedAt":395},["ShallowReactive",2],{"content-doc-\u002Ftechnology-blogs\u002Fzh\u002F2026-11-17-2":3},{"id":4,"title":5,"address":6,"body":7,"category":382,"cover":383,"date":384,"description":385,"end_date":6,"extension":386,"href":6,"isTop":387,"meta":388,"navigation":389,"path":390,"seo":391,"series":6,"start_date":6,"state":6,"stem":392,"type":393,"working":6,"__hash__":394},"technologyBlogs\u002Ftechnology-blogs\u002Fzh\u002F2026-11-17-2.md","HyperParallel 加速DeepSeek-V4.1多模态1M长序列训练",null,{"type":8,"value":9,"toc":375},"minimark",[10,14,17,20,25,28,31,34,37,40,43,46,49,52,55,58,61,71,75,78,83,86,91,94,98,101,104,107,111,114,127,130,134,137,204,207,252,255,260,298,301,339,342,345,355,359,362,367,370],[11,12,13],"p",{},"2026 年 9 月，DeepSeek 发布 DeepSeek-V4.1-Flash。该多模态 MoE 模型拥有 552B 骨干参数，支持最长 1M Tokens 上下文，并引入跨层注意力共享、条件记忆和新型残差连接等设计。",[11,15,16],{},"这些创新把训练系统的工作从“切分一个模型”推进到更细的层面：跨层共享状态怎样参与并行与重计算？超大稀疏参数怎样存储和更新？路由、通信与专家计算怎样在昇腾上协同执行？",[11,18,19],{},"MindSpore HyperParallel 针对 DeepSeek-V4.1-Flash 的模型结构完成训练适配，结合 FSDP、TP、CP、EP、重计算、异构内存及HyperParallel MegaKernel能力，构建其分布式训练路径。在本文于Atlas 800T A3进行的裁剪模型实验中，叠加MegaKernel 优化后，训练吞吐较全关闭基线提升 26.91%。本文将详细拆解HyperParallel面向DeepSeek-V4.1创新架构的三大技术、训练实践和验证结果。",[21,22,24],"h1",{"id":23},"_01-deepseek-v41-的架构创新与昇腾训练挑战","01 DeepSeek-V4.1 的架构创新与昇腾训练挑战",[11,26,27],{},"01 Causal Encoder-Decoder（CED）",[11,29,30],{},"因果编码器为解码器构建全局 KV，为输入处理与生成安排不同路径。模块之间的依赖也要求训练系统协调数据布局、并行切分与梯度传递，避免各模块独立切分后无法衔接。",[11,32,33],{},"02 CSA2",[11,35,36],{},"Full 生成 KV 与索引，Reindex 复用 KV 并重选 Top-K，Reuse 同时复用二者，减少跨层重复计算。在昇腾分布式训练中，跨层状态必须在 CP、TP 下保持一致，重计算需复用相同的离散选择，反向梯度则要回传至来源层。",[11,38,39],{},"03 Engram",[11,41,42],{},"通过 Token N-gram 哈希查表，将记忆向量与隐藏状态融合；两个模块合计约 196B 条件记忆参数，每批仅访问部分行。训练适配需要同时解决大表存储、跨设备查询、稀疏更新及保存恢复，避免稀疏访问承担整表搬运的代价。",[11,44,45],{},"04 Single-Pass mHC",[11,47,48],{},"维护并混合多路残差流，将残差更新、输入混合与系数计算组织为连续路径。跨子层状态增加了反向和重计算的依赖；细粒度操作还需要适合昇腾的执行组织，减少独立启动与中间数据搬运。",[11,50,51],{},"05 原生多模态 MoE",[11,53,54],{},"DeepSeek-ViT 将图像转换为语言主干特征，MoE 按 Token 选择专家，并分别维护图文负载均衡。动态路由与图文分布使各专家工作量不等，需要协同组织通信、专家计算与均衡反馈，并衔接视觉与语言主干的并行布局。",[11,56,57],{},"06 Head-wise Muon 与 Sinkhorn",[11,59,60],{},"前者按注意力 Head 更新部分矩阵，后者通过行列归一化平衡 Engram、Embedding 和预测头等参数的更新尺度。训练系统须协调不同参数组、分片状态与更新方式，保持优化器语义一致。",[62,63,65],"div",{"style":64},"text-align: center;",[66,67],"img",{"src":68,"style":69,"alt":70},"\u002Fcategory\u002Finformation\u002Ftechnology-blogs\u002Fbanner\u002F2026-11-17-2\u002F1.jpg","display: block;margin: 0 auto;max-width:60%","",[21,72,74],{"id":73},"_02-hyperparallel-面向-deepseek-v41-的昇腾训练适配","02 HyperParallel 面向 DeepSeek-V4.1 的昇腾训练适配",[11,76,77],{},"HyperParallel 用适配器声明模型依赖与参数所有权，组合并行策略和高性能组件，围绕跨层共享、稀疏记忆与多核执行构建三条适配主线。",[79,80,82],"h2",{"id":81},"_21-csa2支持跨层共享与并行重计算","2.1 CSA2：支持跨层共享与并行重计算",[11,84,85],{},"HyperParallel 按来源层管理 KV、Indexer Key 与 Top-K 等共享条目，使连续状态的梯度回传至生产者，离散选择在重计算时保持一致。",[62,87,88],{"style":64},[66,89],{"src":90,"style":69,"alt":70},"\u002Fcategory\u002Finformation\u002Ftechnology-blogs\u002Fbanner\u002F2026-11-17-2\u002F2.jpg",[11,92,93],{},"CP 路径通过异步可微 AllGather 汇聚 KV 与 Indexer Key，分离通信发起与等待，以穿插本地投影；TP 先汇总各 Head 分数再选全局 Top-K。重计算按层角色保留或重算激活，复用离散选择、跳过重复发布，状态保留至反向消费者完成。\n昇腾端接入 Lightning Indexer、Sparse Flash MLA 前反向及 Indexer KL 梯度，保留 teacher 与标量 KL 语义，并按算子能力、输入形状选择融合或回退路径。\n开发者由此可以在保留跨层共享语义的基础上组合 CP、TP 与重计算，为长序列训练分摊激活压力，减少为不同并行组合重复管理共享状态的工作。",[79,95,97],{"id":96},"_22-engram以稀疏访问支撑大规模条件记忆","2.2 Engram：以稀疏访问支撑大规模条件记忆",[11,99,100],{},"HyperParallel 沿 EP 将参数表按行分片，把查询发送给参数所有者，读取后恢复 Token 顺序，反向沿所有权路径回传梯度。",[11,102,103],{},"CPU 常驻 Engram 将所属表以 FP32 保存在主机，查询去重后仅搬运命中行，并处理文档边界与图像 Token Mask。反向合并重复行梯度、跨复制维度汇总，参与全局梯度裁剪，由统一入口协调主干优化器和 CPU SparseAdam。",[11,105,106],{},"各 owner 的 checkpoint sidecar 保存表与稀疏优化器状态，校验行区间、资产及拓扑后恢复。设备侧存储需求更多地与实际命中行关联，大规模条件记忆得以利用主机内存参与训练；开发者可沿统一路径完成查询、更新和恢复。 主机仍需容纳所属参数与优化器状态。",[79,108,110],{"id":109},"_23-megakernel-从逐算子下发到芯片内协同","2.3 MegaKernel： 从逐算子下发到芯片内协同",[11,112,113],{},"在逐算子执行路径中，矩阵计算、向量处理与专家通信之间存在多次 Host 下发和阶段等待。Multicore 将相关计算原语组合为融合执行单元，在 Host 侧准备任务切分与依赖关系，由设备侧按计划执行。针对不同模块，既支持矩阵运算核 AIC 与向量运算核 AIV 的协同流水，也支持多个 AIV 对独立 Token 分片并行处理，减少重复下发和等待，让不同类型的计算资源更充分地工作。",[115,116,117,121,124],"ul",{},[118,119,120],"li",{},"MegaMoE：让通信与专家计算重叠。 将 Token 分发、两次专家矩阵计算、SwiGLU 激活及结果回传纳入融合主链，通过单边通信和分块依赖衔接，推动通信、矩阵计算与向量处理细粒度重叠。结合 push\u002Fpull 通信路径与工作区复用，兼顾执行效率和存储开销，并支持 V4.1 所需的 SwiGLU clamp 语义。",[118,122,123],{},"MegaGate：让路由小算子形成流水。 将评分、bias 排名、Top-K、分数提取、归一化与缩放组织为 AIV 路由流水，并融合反向归一化梯度主链，减少路由计算中密集的小算子下发。投影矩阵乘仍沿用 Torch\u002FCANN 的算子选型，支持文本与视觉 Token 使用各自的路由 bias。",[118,125,126],{},"MegaMHC：让残差处理与系数预测协同。 面向 Single-Pass mHC，将残差更新、输入混合、归一化、系数投影与映射按 Token 块组织，使 AIC 上的投影与 AIV 上的输入处理形成重叠流水，并配套反向计算，服务训练过程。",[11,128,129],{},"从局部优化到统一训练流程\n上述路径由适配器与 YAML 组合，Trainer 统一管理前反向、更新与保存恢复。视觉 Encoder Parallel 采用 Ulysses 布局转换；分块交叉熵避免物化完整词表 logits；Head-wise Muon、Sinkhorn Balancing 与 AdamW 通过参数分组协调分片状态。开发者可在同一训练入口组合这些能力。",[21,131,133],{"id":132},"_03-训练实践atlas-800t-a3-集群-vlm-训练","03 训练实践：Atlas 800T A3 集群 VLM 训练",[11,135,136],{},"在 Atlas 800T A3 集群上开展了全局序列长度为 1M Tokens 的 VLM 训练实验。实验采用裁剪模型与随机初始化权重，保留完整层数和1M最大序列长度，缩减参数维度和路由专家数量，旨在较小集群上尽量贴近完整模型在大集群训练时的单卡平均负载。裁剪规格如下：",[138,139,140,153],"table",{},[141,142,143],"thead",{},[144,145,146,150],"tr",{},[147,148,149],"th",{},"配置项",[147,151,152],{},"规模",[154,155,156,165,173,181,189,196],"tbody",{},[144,157,158,162],{},[159,160,161],"td",{},"语言模型层数",[159,163,164],{},"保留全部 40 层",[144,166,167,170],{},[159,168,169],{},"视觉模型层数",[159,171,172],{},"保留全部 32 个视觉 Block",[144,174,175,178],{},[159,176,177],{},"最大上下文长度",[159,179,180],{},"保留1M",[144,182,183,186],{},[159,184,185],{},"文本参数维度缩放",[159,187,188],{},"1\u002F4",[144,190,191,194],{},[159,192,193],{},"视觉参数维度缩放",[159,195,188],{},[144,197,198,201],{},[159,199,200],{},"Routed   Experts",[159,202,203],{},"1\u002F3",[11,205,206],{},"具体训练配置如下：",[138,208,209,218],{},[141,210,211],{},[144,212,213,215],{},[147,214,149],{},[147,216,217],{},"实验配置",[154,219,220,228,236,244],{},[144,221,222,225],{},[159,223,224],{},"硬件环境",[159,226,227],{},"Atlas 800T A3，8 nodes 128 dies",[144,229,230,233],{},[159,231,232],{},"软件环境",[159,234,235],{},"CANN 9.2.0-beta.2；Python 3.12；PyTorch 2.12.0；torch-npu 2.12.0；Transformers 5.13.1",[144,237,238,241],{},[159,239,240],{},"并行配置",[159,242,243],{},"FSDP 128, CP 128, DP 1, TP 1",[144,245,246,249],{},[159,247,248],{},"启动方式",[159,250,251],{},"见附录：拉起命令",[11,253,254],{},"实验完成了200 Step 的连续训练，Loss 从 12.0534 降至 10.5178，Loss 与梯度范数均保持有限值。这组结果验证了 HyperParallel 在该模型配置下，能够协同组织长序列切分、多模态计算与专家并行，完成集群训练的前向、反向及参数更新。",[62,256,257],{"style":64},[66,258],{"src":259,"style":69,"alt":70},"\u002Fcategory\u002Finformation\u002Ftechnology-blogs\u002Fbanner\u002F2026-11-17-2\u002F3.jpg",[138,261,262,272],{},[141,263,264],{},[144,265,266,269],{},[147,267,268],{},"训练指标",[147,270,271],{},"训练结果",[154,273,274,282,290],{},[144,275,276,279],{},[159,277,278],{},"Loss 首末值",[159,280,281],{},"12.0534 → 10.5178",[144,283,284,287],{},[159,285,286],{},"平均步时（排除首步）",[159,288,289],{},"104.56 s",[144,291,292,295],{},[159,293,294],{},"峰值分配／保留显存（ GB）",[159,296,297],{},"34.1870／38.0332",[11,299,300],{},"在完成训练链路验证的基础上，我们进一步比较了 MegaKernel 的吞吐收益。以 MegaKernel 全关闭为基线，开启 MegaMoe 后吞吐提升 18.34%，三项全部开启后提升 26.91%。其中，MegaMoe 将专家通信与计算纳入统一调度，为多模态 MoE 集群训练提供了直接的性能收益。",[138,302,303,313],{},[141,304,305],{},[144,306,307,310],{},[147,308,309],{},"MegaKernel配置",[147,311,312],{},"吞吐相对基线提升",[154,314,315,323,331],{},[144,316,317,320],{},[159,318,319],{},"全关闭",[159,321,322],{},"基线",[144,324,325,328],{},[159,326,327],{},"开启MegaMoe",[159,329,330],{},"+18.34%",[144,332,333,336],{},[159,334,335],{},"三项全开启",[159,337,338],{},"+26.91%",[11,340,341],{},"启动命令，上手实践",[11,343,344],{},"前面的结果验证了两件事：训练链路能够跑通，MegaKernel 能带来明确的吞吐收益，接下来是亲自上手拉起命令；",[346,347,352],"pre",{"className":348,"code":350,"language":351},[349],"language-text","# ── 必需的环境（8 个节点都要一致）──────────────────────\nsource \u002Fusr\u002Flocal\u002FAscend\u002Fcann\u002Fset_env.sh\nsource \u002Fusr\u002Flocal\u002FAscend\u002Fcann-9.2.0\u002Fopp\u002Fvendors\u002Fomni_training_custom_transformer\u002Fbin\u002Fset_env.bash\nexport ASCEND_CUSTOM_OPP_PATH=\"\u002Fusr\u002Flocal\u002FAscend\u002Fcann-9.2.0\u002Fopp\u002Fvendors\u002Fcustom_transformer\"\nexport LD_LIBRARY_PATH=\"\u002Fusr\u002Flocal\u002FAscend\u002Fcann-9.2.0\u002Fopp\u002Fvendors\u002Fcustom_transformer\u002Fop_api\u002Flib:${LD_LIBRARY_PATH}\"\nsource build\u002Fnative\u002Fpayload\u002Fhyper_parallel\u002Fcore\u002Fmulticore\u002Flib\u002Fset_env.bash \nexport OMP_NUM_THREADS=1\nexport HCCL_CONNECT_TIMEOUT=600\n\n# ── 每节点差异化的 4 个变量 ──────────────────────────\nNODE_RANK=\u003C0..7>              # 节点序号\nNODE_ADDR=\u003C本机IP>            # 本节点在 hostfile 里的 IP\nMASTER_ADDR=\u003Chostfile 首行 IP>\n# NNODES=8 \u002F NPROC_PER_NODE=16 \u002F MASTER_PORT=29500 各节点相同\n\n# ── 训练输入（各节点相同，路径是共享盘）────────────────\nMODEL_PATH=\u002Fpath\u002Fto\u002Fmodel\nDATA_PATH=\u002Fpath\u002Fto\u002Fdatasets\nCONFIG=examples\u002Ftraining_demo\u002Fdeepseek_v41\u002Frun_deepseek_v41_vlm_1M_online_128die.sh\nASSETS=output\u002Fengram_depth_preserving_d4.json\nOUTPUT_DIR=output\u002Fdsv41_logs_\u003C时间戳>\n\n# ── 唯一的训练启动命令 ────────────────────────────────\ncd \u003Chyper-parallel 仓库根目录>\npython -m torch.distributed.run \\\n    --nnodes=8 --nproc_per_node=16 \\\n    --node_rank=${NODE_RANK} \\\n    --master_addr=${MASTER_ADDR} --master_port=29500 \\\n    --local-addr=${NODE_ADDR} --max_restarts=0 \\\n    --module scripts.train_vl \\\n    \"${CONFIG}\" \\\n    --model.config_path=\"${MODEL_PATH}\" \\\n    --dataset.model_assets.config_path=\"${MODEL_PATH}\" \\\n    --dataset.data_path=\"${DATA_PATH}\" \\\n    --profiler.output_path=\"${OUTPUT_DIR}\u002Fprofiler\" \\\n    --memory.save_path=\"${OUTPUT_DIR}\u002Fmemory_profiler\" \\\n    --model.engram_assets_path=\"${ASSETS}\" \\\n","text",[353,354,350],"code",{"__ignoreMap":70},[21,356,358],{"id":357},"_04-结语围绕模型新需求构建训练能力","04 结语：围绕模型新需求构建训练能力",[11,360,361],{},"本文涉及的模型设计、基础算子参考\u002F复用DeepSeek、CANN社区及Ascend社区相关开源成果。HyperParallel 在这些开源工作的基础上完成模型适配、共享状态管理、参数分片、任务化改造、多核调度及分布式训练集成。",[62,363,364],{"style":64},[66,365],{"src":366,"style":69,"alt":70},"\u002Fcategory\u002Finformation\u002Ftechnology-blogs\u002Fbanner\u002F2026-11-17-2\u002F4.jpg",[11,368,369],{},"HyperParallel 将模型新需求转为可组合的并行与多核融合训练能力，持续拓展昇腾大模型训练实践。我们诚挚邀请各位开发者、研究者加入HyperParallel。无论是贡献代码、完善文档，还是提出改进建议，您的参与都将推动大模型分布式并行技术的边界。",[62,371,372],{"style":64},[66,373],{"src":374,"style":69,"alt":70},"\u002Fcategory\u002Finformation\u002Ftechnology-blogs\u002Fbanner\u002F2026-11-17-2\u002F5.jpg",{"title":70,"searchDepth":376,"depth":376,"links":377},4,[378,380,381],{"id":81,"depth":379,"text":82},2,{"id":96,"depth":379,"text":97},{"id":109,"depth":379,"text":110},"技术解读","https:\u002F\u002Fobs-mindspore-file.obs.cn-north-4.myhuaweicloud.com\u002Ffile\u002F2024\u002F11\u002F28\u002F8e0e0150508a4c5ba4287fa3bec8ea3f.png","2026-10-31","MindSpore HyperParallel 针对 DeepSeek-V4.1-Flash 的模型结构完成训练适配，结合 FSDP、TP、CP、EP、重计算、异构内存及HyperParallel MegaKernel能力，构建其分布式训练路径。","md",false,{},true,"\u002Ftechnology-blogs\u002Fzh\u002F2026-11-17-2",{"title":5,"description":385},"technology-blogs\u002Fzh\u002F2026-11-17-2","technology-blogs","STdBjC1cVve8vG6ltqWw_Vv-EJCy9aBjy8MOlJBjGjI",1795123617261]