常见问题

模型相关问题

git-lfs安装

请到以下链接获取对应的git-lfs安装包。

下载并安装：

mkdir git-lfs
cd git-lfs
wget https://github.com/git-lfs/git-lfs/releases/download/v3.0.1/git-lfs-linux-arm64-v3.0.1.tar.gz --no-check-certificate
tar zxvf git-lfs-linux-arm64-v3.0.1.tar.gz
bash install.sh

校验是否安装成功：
```
git lfs install
```
若返回 Git LFS initialized.，则已安装成功。

部署相关问题

离线或在线推理时，报模型无法加载

错误关键信息：

raise ValueError(f"{config.load_checkpoint} is not a valid path to load checkpoint ")

解决思路：
1. 检查模型路径是否存在且合法；
2. 若模型路径存在，且其中的模型文件为safetensors格式，则需要确认yaml文件中，是否已含有load_ckpt_format: "safetensors"字段；
  1. 打印模型所使用的yaml文件路径：
    echo $MINDFORMERS_MODEL_CONFIG
  2. 查看该yaml文件，若不存在load_ckpt_format字段，则添加该字段：
    load_ckpt_format: "safetensors"

拉起在线推理时，报`aclnnNonzeroV2`相关错误

错误关键信息：

RuntimeError: Call aclnnNonzeroV2 failed, detail:E39999: Inner Error

解决思路：请检查CANN与MindSpore的配套关系是否正确。

`import vllm_mindspore`时找不到`torch`

错误关键信息：

importlib.metadata.PackageNotFoundError: No package metadata was found for torch

解决思路：请执行以下命令，卸载torch相关组件：
```
pip uninstall torch
pip uninstall torchvision
```