mindspore.dataset.dataloader

此模块提供用于加载数据集的迭代器。支持加载 Map Style 和 Iterable Style 数据集,并提供多进程并发加载。

数据加载器

mindspore.dataset.dataloader.DataLoader

数据加载器为给定的数据集提供迭代器。

数据集

mindspore.dataset.dataloader.Dataset

Base class for map style datasets.

mindspore.dataset.dataloader.IterableDataset

Base class for iterable datasets.

mindspore.dataset.dataloader.TensorDataset

Each sample is retrieved by indexing the input tensors along their first dimension.

采样器

mindspore.dataset.dataloader.Sampler

采样器的基类。

mindspore.dataset.dataloader.SequentialSampler

按照顺序对数据集进行采样。

mindspore.dataset.dataloader.RandomSampler

对数据集进行随机采样。

mindspore.dataset.dataloader.BatchSampler

每次生成一个mini-batch索引的采样器。

mindspore.dataset.dataloader.DistributedSampler

将数据集进行分片用于分布式训练的采样器。

整理函数

mindspore.dataset.dataloader.default_collate

Take in a batch of data and put the elements within the batch into a tensor with an additional outer dimension - batch size.

mindspore.dataset.dataloader.default_convert

Convert each NumPy array element into a mindspore.Tensor.

mindspore.dataset.dataloader._utils.collate.collate

General collate function that handles collection type of element within each batch.

工具

mindspore.dataset.dataloader.get_worker_info

获取当前DataLoader工作进程的信息。