代码
OpenBMB 开源社区 BMTrain携手昇思MindSpore,加速大模型高效训练

OpenBMB 开源社区 BMTrain携手昇思MindSpore,加速大模型高效训练

OpenBMB 开源社区 BMTrain携手昇思MindSpore,加速大模型高效训练

近日,全场景AI框架昇思MindSpore与OpenBMB 开源社区推出的高效大模型训练引擎BMTrain进一步达成合作,双方将持续共同推动大模型预训练与微调技术的创新与落地。此次合作旨在将昇思MindSpore AI框架的全场景协同、多维混合分布式并行能力等和BMTrain的高效训练特性结合,为开发者提供高性能、高易用的大模型训练解决方案。

代码链接:https://github.com/OpenBMB/BMTrain/tree/mindspore#

根据双方合作显示,昇思MindSpore与BMTrain将聚焦于大模型训练技术的深度融合。BMTrain作为一款专为大规模模型训练设计的轻量级引擎,其高效的内存管理和分布式优化能力与MindSpore的自动并行、动静统一等特性形成互补。双方将通过接口兼容、联合优化等方式,实现训练成本的大幅降低和开发效率的显著提升。

合作后,开发者可基于MindSpore框架直接调用BMTrain的优化能力,实现训练成本大幅降低,同时支持万亿级参数模型的高效训练。此举将加速大模型在科研与产业界的应用,以及长序列处理、多模态理解等复杂模型场景中发挥关键作用。

昇思MindSpore是支持全自动并行的AI框架,具备动静统一、训推一体核心特性。其支持图算融合、自动微分、多维混合并行等技术,显著提升训练性能。目前,MindSpore已兼容业界主要生态接口,支持LLaMA、Qwen、DeepSeek等超百个主流大模型,并在昇腾AI硬件上实现性能领先。

BMTrain则是一款专注于大模型预训练与微调的轻量级训练引擎,通过动态内存优化、通信压缩和梯度策略创新,大幅降低计算与存储开销。其相比DeepSpeed等框架可节省90%训练成本,同时支持超长序列训练和高效异构计算调度。

未来,双方计划在长序列训练优化、科学智能融合、生态共建等领域深化合作。具体包括结合MindSpore的上下文并行与BMTrain的内存管理,突破万亿Token序列训练瓶颈;拓展AI+科学计算场景,支持生物医药、气象预测等领域的超大模型训练;推动BMTrain与MindSpore社区共享工具链,降低开发者迁移与调优门槛。

此次合作标志着自主创新的AI框架与训练引擎的协同创新进入新阶段,将为全球开发者提供更高效、更经济的大模型基础设施。