Release Notes

vLLM-MindSpore插件 0.3.0 Release Notes

以下为vLLM-MindSpore插件0.3.0版本支持的关键新功能和模型。

新特性

• 0.9.1 V1架构基础功能, 包含分块预填充和自动前缀缓存功能；

• V0 多步调度功能；

• V0 分块预填充功能；

• V0 自动前缀缓存功;

• V0 DeepSeek MTP功能；

• GPTQ量化；

• SmoothQuant量化；

• V1 后处理增强。

新模型

• DeepSeek-V3/R1

• Qwen2.5-0.5B/1.5/7B/14B/32B/72B

• Qwen3-0.6B/1.7B/4B/8B/14B/32B