mindspore.dataset.dataloader
此模块提供用于加载数据集的迭代器。支持加载 Map Style 和 Iterable Style 数据集,并提供多进程并发加载。
数据加载器
数据加载器为给定的数据集提供迭代器。 |
数据集
Base class for map style datasets. |
|
Base class for iterable datasets. |
|
Each sample is retrieved by indexing the input tensors along their first dimension. |
采样器
采样器的基类。 |
|
按照顺序对数据集进行采样。 |
|
对数据集进行随机采样。 |
|
每次生成一个mini-batch索引的采样器。 |
|
将数据集进行分片用于分布式训练的采样器。 |
整理函数
Take in a batch of data and put the elements within the batch into a tensor with an additional outer dimension - batch size. |
|
Convert each NumPy array element into a |
|
General collate function that handles collection type of element within each batch. |
工具
获取当前DataLoader工作进程的信息。 |