代码
中
新闻
0day同步！昇思MindSpore首发支持智谱GLM-4.1V-9B-Thinking多模态模型

0day同步！昇思MindSpore首发支持智谱GLM-4.1V-9B-Thinking多模态模型

2025/07/02

0day同步！昇思MindSpore首发支持智谱GLM-4.1V-9B-Thinking多模态模型

7月2日，智谱AI发布视觉语言大模型GLM-4.1V-9B-Thinking，昇思MindSpore在开源当日即实现0day支持。昇思MindSpore通过提供主流生态接口，依托MindSpore One套件，小时级完成模型无缝迁移，并将版本上传至开源社区，欢迎广大开发者下载体验！

MindSpore One代码仓：

https://github.com/mindspore-lab/mindone

体验指导链接：

https://modelers.cn/models/MindSpore-Lab/GLM-4.1V-9B-Thinking

# 01

模型介绍

视觉语言大模型（VLM）已经成为智能系统的关键基石。随着真实世界的智能任务越来越复杂，VLM模型也亟需在基本的多模态感知之外， 逐渐增强复杂任务中的推理能力，提升自身的准确性、全面性和智能化程度，使得复杂问题解决、长上下文理解、多模态智能体等智能任务成为可能。

基于 GLM-4-9B-0414 基座模型，新版VLM开源模型 GLM-4.1V-9B-Thinking 引入思考范式，通过课程采样强化学习 RLCS（Reinforcement Learning with Curriculum Sampling）全面提升模型能力， 达到 10B 参数级别的视觉语言模型的最强性能，在18个榜单任务中持平甚至超过8倍参数量的 Qwen-2.5-VL-72B。

# 02

环境要求

  • mindspore 2.5.0/2.6.0
  • ascend driver 24.1.RC3.b080
  • firmware 7.5.T11.0.B088
  • cann tookit/kernel 8.0.RC3.beta1

# 03

权重下载

下载权重到/home/GLM-4.1V，需要预留至少21GB空间，可以根据需要调整路径。


pip install openmind_hub
export HUB_WHITE_LIST_PATHS=/home/GLM-4.1V
python
from openmind_hub import snapshot_download
snapshot_download(
    repo_id="MindSpore-Lab/GLM-4.1V-9B-Thinking",
    local_dir="/home/GLM-4.1V",
    local_dir_use_symlinks=False
)

# 04

环境准备

安装最新的MinSpore One以及Transformers，/home路径根据需要调整。


cd /home
git clone https://github.com/mindspore-lab/mindone.git --depth 1

若执行失败，可以尝试：


git clone https://gh-proxy.com/github.com/mindspore-lab/mindone.git --depth 1

之后执行：

cd mindone
pip install -e .

安装transformers（安装过程中忽略报错信息）：


pip install transformers==4.53.0

# 05

执行推理测试

参数model_name指的是本地下载的权重，根据需要调整。image指的是本地存储的图片，需要更改。

默认推理token数是128，如果需要更多可以修改/home/mindone/examples/transformers/glm4v/generate.py中的max_new_tokens=128改成2048。

若想要输出英文，则输入英文（推荐）

cd /home/mindone/examples/transformers/glm4v
python generate.py --model_name /home/GLM-4.1V --image /home/trial.jpg --prompt "Describe this image."

若想要输出中文，则输入中文：

cd /home/mindone/examples/transformers/glm4v
python generate.py --model_name /home/GLM-4.1V --image /home/trial.jpg --prompt "请帮我描述这张图片。"

昇思MindSpore AI框架将持续支持更多业界主流模型，欢迎大家试用并在昇思论坛提供宝贵的反馈意见。（https://discuss.mindspore.cn/）

MindSpore Transformers SIG首次月例会将在7月3日16：00举办，欢迎感兴趣的开发者参与：https://meeting.tencent.com/dm/olkrpDKfadmJ