大模型调试调优指南

基于MindSpore TransFormers大模型套件的调试调优指南

MindSpore TransFormers是MindSpore提供的包含大模型预训练、微调、推理、部署的全流程开发套件，也是MindSpore当前常用的大模型开发套件。

我们总结了大模型训练过程中常见精度问题、通用的精度问题定位方法、精度基准以及大模型场景工具常见用法，详见大模型精度调试指南。

为了方便用户进行性能调优，MindSpore TransFormers套件集成了工具以下功能：

MindSpeed是MindSpore支持的昇腾训练加速库，提供了丰富的加速算法和模型。

针对MindSpeed加速库，及MindSpeed-LLM大模型套件，我们也提供了调试调优指南。