Release Notes

MindSpore Transformers 1.7.0 Release Notes

以下为MindSpore Transformers套件1.7.0版本的变更日志，相较于1.6.0版本有以下关键新特性和bugfix。

新特性

数据集：Hugging Face数据集支持指定数据列读取，支持数据读取IO去冗余；
训练功能：支持PMA优化器；优化器状态支持CPU offloading；MoE训练支持分组路由；MoELayer支持机间通信合并；
推理功能：支持A8W4/A8W8量化推理；DeepSeek-V3/R1模型支持MTP并行推理；Mcore推理支持PP/EP并行；

新模型

以下为新支持模型：

模型	规格
Qwen3（Mcore）	Qwen3-32B（预训练、微调、推理）、Qwen3-0.6B/1.7B/4B/8B/14B（微调、推理）
Qwen3-MoE（Mcore）	Qwen3-30B-A3B（预训练、推理）、Qwen3-235B-A22B（推理）
DeepSeek-V3/R1（Mcore）	DeepSeek-V3-671B（推理）
TeleChat2（Mcore）	TeleChat2-7B/35B（推理）

Bugfix

在当前版本发布周期内，我们进行了模型/功能/易用性/文档等诸多方面的bugfix，在此列举部分关键修复内容：

!7150: 修复Megatron数据集生成数量错误问题；
!7366: 修复扩容续训时权重校验错误的问题；
!7533: 修复指定Safetensors权重续训时，遇到相同后缀Safetensors加载异常的问题；
!7397: 修复aux_loss使用默认值进行训练时，无法运行的问题；
!7486: 修复Mcore架构训练场景CP与EP同时开启时的精度问题；
!7507: 修复故障快恢中保存权重异常的问题；
!6912：修复build_context初始化时的循环导入问题；
!7513：修复Mcore架构推理场景加载训练权重时TP数大于kv_head数场景的问题；
!7247：修复Mcore架构推理场景Router模块无法根据配置选择融合算子和路由算法激活函数的问题。

变更说明

当前版本对部分历史的废弃模型/代码/资料进行了变更，详细的变更内容及说明如下：

变更内容	变更说明
废弃模型日落	以下模型开始日落流程：Llama3.1、Mixtral、Llm_boost。将在1.8.0版本下架。

贡献者

感谢以下人员做出的贡献：

dengyepeng、hangangqiang、huangshengshuai、huangzhuo、wangpingan、wangshaocong、zhanzhan、常少中、陈心锐、陈昱坤、封霆谚、郭儒辰、贺冬冬、胡思超、胡志坤、宦晓玲、黄靖伟、霍新友、金仁操、孔紫怡、蓝翔、李惠兰、李俊标、李子垠、刘烙彬、刘通、鲁力宁、牛君豪、彭竞由、秦思莼、任峪瑾、赛尧、苏海波、万屹东、魏琢艺、肖尧、许峰、杨耀东、尤日帆、张森镇、张奕晖、张又文、赵奕舜、钟颢文、周小琪、朱晓晨

欢迎以任何形式对项目提供贡献！