mindspore.ops.communication.scatter

查看源文件
mindspore.ops.communication.scatter(tensor, scatter_list, src=0, group=None, async_op=False)[源代码]

在指定通信组中的进程之间均匀分散张量。

说明

  • 接口行为仅支持Tensor列表输入和均匀分散。

  • 只有进程 src (全局rank)会执行分散操作。

  • 当前仅支持PyNative模式,不支持Graph模式。

参数:
  • tensor (Tensor) - 输出张量。

  • scatter_list (list[Tensor]) - 要分散的相同大小的张量列表。必须在源rank上指定。

  • src (int, 可选) - 指定发送张量的进程的rank(全局rank)。只有进程 src 会发送张量。默认值: 0

  • group (str,可选) - 通信组名称。默认值: None ,即Ascend平台表示为 "hccl_world_group"

  • async_op (bool, 可选) - 本算子是否是异步算子。默认值: False

返回:

CommHandle。若 async_opTrue ,CommHandle是一个异步工作句柄。若 async_opFalse ,CommHandle将返回 None

异常:
  • TypeError - 如果 tensor 参数的类型不是Tensor,scatter_list 不是Tensor列表。

  • TypeError - 如果 group 不是str,或 async_op 不是bool。

  • TypeError - 如果 scatter_list 的大小不等于组大小。

  • TypeError - 如果 tensor 的类型或shape不等于 scatter_list 的成员。

  • RuntimeError - 如果目标设备无效,或者后端无效,或者分布式初始化失败。

支持平台:

Ascend CPU

样例:

说明

运行以下样例之前,需要配置好通信环境变量。

针对Ascend设备,推荐使用msrun启动方式,无第三方以及配置文件依赖。详见 msrun启动

该样例需要在2卡环境下运行。

>>> from mindspore import Tensor
>>> from mindspore.ops.communication import init_process_group, scatter
>>> import numpy as np
>>> # Launch 2 processes.
>>>
>>> init_process_group()
>>> inputs = [Tensor(np.ones([2, 2]).astype(np.float32)), Tensor(np.ones([2, 2]).astype(np.float32))]
>>> output = Tensor(np.zeros([2, 2]).astype(np.float32))
>>> scatter(output, inputs, src=0)
>>> print(output)
# rank_0
[[1. 1.]
[1. 1.]]
# rank_1
[[1. 1.]
[1. 1.]]