MindSpore Transformers

介绍

  • 整体架构
  • 模型库

安装

  • 安装指南

大模型全流程指南

  • 预训练
  • SFT微调
  • 推理
  • 服务化部署

功能特性

  • 启动任务
  • Ckpt权重
  • Safetensors权重
  • 配置文件说明
  • 加载 Hugging Face 模型配置
  • 日志
  • 使用Tokenizer
  • 训练功能
  • 推理功能

高阶开发

  • 大模型精度调优指南
  • 大模型性能调优指南
  • 开发迁移
  • 推理配置模板使用指南
  • 与 Megatron-LM 比对训练精度
  • API

优秀实践

  • 制作 MindSpore Transformers 的 Docker 镜像的实践案例
  • 使用DeepSeek-R1进行模型蒸馏的实践案例
  • 转换模型权重为Megatron模型权重的实践案例

环境变量

  • 环境变量说明

贡献指南

  • MindSpore Transformers贡献指南
  • 魔乐社区贡献指南

FAQ

  • 模型相关 FAQ
  • 功能相关 FAQ
MindSpore Transformers
  • »
  • 概览:模块代码

代码可用的所有模块

  • mindformers.core.callback.callback
  • mindformers.core.context.build_context
  • mindformers.core.loss.loss
  • mindformers.core.lr.lr_schedule
  • mindformers.core.metric.metric
  • mindformers.core.optim
  • mindformers.dataset.causal_language_model_dataset
  • mindformers.dataset.keyword_gen_dataset
  • mindformers.dataset.multi_turn_dataset
  • mindformers.generation.generation_config
  • mindformers.generation.text_generator
  • mindformers.model_runner
  • mindformers.models.auto.configuration_auto
  • mindformers.models.auto.modeling_auto
  • mindformers.models.auto.processing_auto
  • mindformers.models.auto.tokenization_auto
  • mindformers.models.configuration_utils
  • mindformers.models.glm2.glm2
  • mindformers.models.glm2.glm2_config
  • mindformers.models.glm2.glm3_tokenizer
  • mindformers.models.glm2.glm4_tokenizer
  • mindformers.models.llama.llama
  • mindformers.models.llama.llama_config
  • mindformers.models.llama.llama_tokenizer
  • mindformers.models.llama.llama_tokenizer_fast
  • mindformers.models.modeling_utils
  • mindformers.models.multi_modal.modal_content
  • mindformers.models.tokenization_utils
  • mindformers.models.tokenization_utils_fast
  • mindformers.modules.transformer.op_parallel_config
  • mindformers.pet.models.lora
  • mindformers.pet.pet_config
  • mindformers.pipeline.multi_modal_to_text_generation_pipeline
  • mindformers.pipeline.pipeline
  • mindformers.run_check
  • mindformers.tools.register.config
  • mindformers.tools.register.register
  • mindformers.trainer.trainer
  • mindformers.trainer.training_args
  • mindformers.wrapper.wrapper

© 版权所有 MindSpore.

利用 Sphinx 构建,使用了 主题 由 Read the Docs开发.