模型支持列表

模型	状态	模型下载链接
DeepSeek-V3	已支持	DeepSeek-V3
DeepSeek-R1	已支持	DeepSeek-R1
DeepSeek-R1 W8A8	已支持	Deepseek-R1-W8A8
Qwen2.5	已支持	Qwen2.5-0.5B-Instruct、Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、 Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct
Qwen3-32B	已支持	Qwen3-32B
Qwen3-235B-A22B	已支持	Qwen3-235B-A22B
Qwen3、Qwen3-MOE	测试中	Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B、Qwen3-30B-A3
Qwen2.5-VL	测试中	Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen2.5-VL-72B-Instruct
QwQ-32B	测试中	QwQ-32B
Llama3.1	测试中	Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-3.1-405B-Instruct
Llama3.2	测试中	Llama-3.2-1B-Instruct、Llama-3.2-3B-Instruct

注：用户可参考环境变量章节，通过环境变量vLLM_MODEL_BACKEND，指定模型后端。