比较与torch.distributed.init_process_group的功能差异

torch.distributed.init_process_group

torch.distributed.init_process_group(
    backend,
    init_method=None,
    timeout=datetime.timedelta(0, 1800),
    world_size=-1,
    rank=-1,
    store=None,
    group_name=''
)

更多内容详见torch.distributed.init_process_group。

mindspore.communication.init

mindspore.communication.init(backend_name=None)

更多内容详见mindspore.communication.init。

使用方式

PyTorch：该接口支持的集合通信有3种：MPI、Gloo、NCCL。该接口在初始化backend的同时，还提供world_size、rank和timeout等内容的配置。

MindSpore：该接口当前仅支持2种集合通信：HCCL、NCCL。而world_size、rank和timeout等内容的配置并不在该接口中设置，调用该接口之前，需设置相应的环境变量。