mindspore_lite.LLMReq

class mindspore_lite.LLMReq(prompt_cluster_id, req_id, prompt_length)[源代码]

LLMEngine的请求类，用于表示多轮推理任务。

next_req_id()[源代码]: 获取下一个请求id。

property req_id: 该推理任务的请求id。

property prompt_length: 该推理任务的提示词长度。

property prompt_cluster_id: LLMEngine中该推理任务的提示词集群id。

property decoder_cluster_id: LLMEngine中该推理任务的解码器集群id。

property prefix_id: LLMEngine中该推理任务的解码器集群id前缀。

property sequence_length: LLMEngine中该推理任务的解码器序列长度。