mindspore.dataset.dataloader

此模块提供用于加载数据集的迭代器。支持加载 Map Style 和 Iterable Style 数据集,并提供多进程并发加载。

数据加载器

mindspore.dataset.dataloader.DataLoader

数据加载器为给定的数据集提供迭代器。

数据集

mindspore.dataset.dataloader.Dataset

所有数据集的基类。

mindspore.dataset.dataloader.IterableDataset

可迭代数据集的基类。

mindspore.dataset.dataloader.TensorDataset

mindspore.Tensor 集合定义的数据集。

采样器

mindspore.dataset.dataloader.Sampler

采样器的基类。

mindspore.dataset.dataloader.SequentialSampler

按照顺序对数据集进行采样。

mindspore.dataset.dataloader.RandomSampler

对数据集进行随机采样。

mindspore.dataset.dataloader.BatchSampler

每次生成一个 mini-batch 索引的采样器。

mindspore.dataset.dataloader.DistributedSampler

将数据集进行分片用于分布式训练的采样器。

整理函数

mindspore.dataset.dataloader.default_collate

当在 DataLoader 中启用批处理时,默认使用此函数将批数据沿第一个维度进行拼接。

mindspore.dataset.dataloader.default_convert

当在 DataLoader 中禁用批处理时,默认使用此函数将NumPy数组类型的元素转换为 mindspore.Tensor

mindspore.dataset.dataloader._utils.collate.collate

根据输入批数据元素的类型,从 collate_fn_map 所定义的类型到整理函数映射中,选择相应函数对批数据进行整理。

工具

mindspore.dataset.dataloader.get_worker_info

获取当前 DataLoader 工作进程的信息。