# Release Notes

## MindSpore Golden Stick 1.2.0 Release Notes

### 主要特性和增强

* 训练后量化算法 `PTQ` 中 `SmoothQuant-A8W8` 量化和 `GPTQ-A16W4` 低比特量化支持MOE结构，已针对DeepSeekV3/R1模型进行适配。

* 新增OutlierSuppression-Lite（OSL）异常值抑制技术。OSL是SmoothQuant的延伸，通过超参寻优在矩阵粒度进行迁移强度alpha调优，实现更精细的网络自适应校准。在DeepSeek V3-0324网络function call场景下能保持更高的精度，BFCL数据集的表现持平官方原始FP8结果。

* [Demo] 训练后量化算法 `PTQ` 支持 `A8W4` 量化算法，已针对DeepSeekV3/R1模型进行适配。

* 新增 `wikitext`、`boolq`、`ceval`和 `gsm8k`数据集的加载与评测。

* DeepSeekR1数据集精度:

    |  method  | ceval  | gsm8k  |
    |  ----  | ----  | ----  |
    | BF16  | 89.67 | 91.74 |
    | SmoothQuant-A8W8  | 89.45 | 92.42 |
    | OSL-A8W8  | 89.9 | 91.81 |
    | GPTQ-A16W4  | 89.52 | 91.12 |
    | A8W4 | 89.0 | 91.51 |

### 贡献者

感谢以下人员做出的贡献：

tongl, zhuxiaochen, guoguopot, huangzhuo, ccsszz, yyyyrf, hangangqiang, HeadSnake

欢迎以任何形式对项目提供贡献！