Release Notes

MindSpore Golden Stick 1.2.0 Release Notes

主要特性和增强

• 训练后量化算法 PTQ 中 SmoothQuant-A8W8 量化和 GPTQ-A16W4 低比特量化支持MOE结构，已针对DeepSeekV3/R1模型进行适配。

• 新增OutlierSuppression-Lite（OSL）异常值抑制技术。OSL是SmoothQuant的延伸，通过超参寻优在矩阵粒度进行迁移强度alpha调优，实现更精细的网络自适应校准。在DeepSeek V3-0324网络function call场景下能保持更高的精度，BFCL数据集的表现持平官方原始FP8结果。

• [Demo] 训练后量化算法 PTQ 支持 A8W4 量化算法，已针对DeepSeekV3/R1模型进行适配。

• 新增 wikitext、boolq、ceval和 gsm8k数据集的加载与评测。

• DeepSeekR1数据集精度:

  method	ceval	gsm8k
  BF16	89.67	91.74
  SmoothQuant-A8W8	89.45	92.42
  OSL-A8W8	89.9	91.81
  GPTQ-A16W4	89.52	91.12
  A8W4	89.0	91.51

贡献者

感谢以下人员做出的贡献：

tongl, zhuxiaochen, guoguopot, huangzhuo, ccsszz, yyyyrf, hangangqiang, HeadSnake

欢迎以任何形式对项目提供贡献！