mindscience.distributed.manager.get_tensor_parallel_rank

mindscience.distributed.manager.get_tensor_parallel_rank()

获取当前卡在张量并行通信组中的卡号。

返回：

int。当前卡在张量并行通信组中的卡号。