mindspore_lite.LLMEngineStatus

class mindspore_lite.LLMEngineStatus(status)

LLMEngine的状态类，用于表示推理任务状态。

property empty_max_prompt_kv

获取该LLMEngine的prompt KV cache空计数。

property num_free_blocks

获取PagedAttention空闲块数量。

property num_total_blocks

获取PagedAttention块总数。

property block_size

获取PagedAttention块大小。