mindspore.dataset.sync_wait_for_dataset

查看源文件
mindspore.dataset.sync_wait_for_dataset(rank_id, rank_size, current_epoch)[源代码]

等待所有的卡需要的数据集文件下载完成。

说明

需要配合 mindspore.dataset.OBSMindDataset 使用,建议在每次epoch开始前调用。

参数:
  • rank_id (int) - 当前卡的逻辑序号。

  • rank_size (int) - 卡的数量。

  • current_epoch (int) - 训练时当前的epoch数。

样例:

>>> # Create a synchronization callback
>>> import mindspore as ms
>>> from mindspore.dataset import sync_wait_for_dataset
>>>
>>> class SyncForDataset(ms.Callback):
...     def __init__(self):
...         super(SyncForDataset, self).__init__()
...     def epoch_begin(self, run_context):
...         cb_params = run_context.original_args()
...         epoch_num = cb_params.cur_epoch_num
...         sync_wait_for_dataset(rank_id, rank_size, epoch_num)