特性支持列表
vLLM-MindSpore插件支持的特性功能与vLLM社区版本保持一致,特性描述和使用请参考vLLM官方资料。
以下是vLLM-MindSpore插件的功能支持状态:
功能 |
vLLM V0 |
vLLM V1 |
|---|---|---|
Chunked Prefill |
√ |
√ |
Automatic Prefix Caching |
√ |
√ |
Multi step scheduler |
√ |
× |
DeepSeek MTP |
√ |
WIP |
Async output |
√ |
√ |
Quantization |
√ |
√ |
LoRA |
WIP |
WIP |
Tensor Parallel |
√ |
√ |
Pipeline Parallel |
WIP |
WIP |
Expert Parallel |
× |
√ |
Data Parallel |
× |
√ |
Prefill Decode Disaggregation |
× |
WIP |
Multi Modality |
WIP |
WIP |
Prompt adapter |
× |
WIP |
Speculative decoding |
× |
WIP |
LogProbs |
× |
√ |
Prompt logProbs |
× |
WIP |
Best of |
× |
× |
Beam search |
× |
WIP |
Guided Decoding |
× |
WIP |
Pooling |
× |
× |
Enc-dec |
× |
× |
Reasoning Outputs |
√ |
√ |
Tool Calling |
WIP |
√ |
Graph Capture |
x |
√ |
√:功能已与vLLM社区版本能力对齐。
×:暂无支持计划,建议使用其他方案代替。
WIP:功能正在开发中或已列入开发计划中。
特性说明
LoRA目前仅支持Qwen2.5 vLLM-MindSpore插件原生模型,其他模型正在适配中;
Tool Calling目前已支持DeepSeek V3 0324 W8A8模型;
300I Duo目前已支持Chunked Prefill、Automatic Prefix Caching和Tensor Parallel特性,其他特性适配中。