mindspore.dataset.sync_wait_for_dataset

mindspore.dataset.sync_wait_for_dataset(rank_id, rank_size, current_epoch)[源代码]

等待所有的卡需要的数据集文件下载完成。

Note

需要配合 mindspore.dataset.OBSMindDataset 使用,建议在每次epoch开始前调用。

参数:

  • rank_id (int) - 当前卡的逻辑序号。

  • rank_size (int) - 卡的数量。

  • current_epoch (int) - 训练时当前的epoch数。

样例:

>>> # Create a synchronization callback
>>>
>>> from mindspore.dataset import sync_wait_for_dataset
>>> from mindspore.train.callback import Callback
>>>
>>> class SyncForDataset(Callback):
...     def __init__(self):
...         super(SyncForDataset, self).__init__()
...     def epoch_begin(self, run_context):
...         cb_params = run_context.original_args()
...         epoch_num = cb_params.cur_epoch_num
...         sync_wait_for_dataset(rank_id, rank_size, epoch_num)