使用 **迭代器** 获取 Cifar 等常用数据集
Cifar、MNIST 等常用数据集的坑: 每次在一台新的机器上使用它们去训练模型都需要重新下载(国内网络往往都不给力,需要花费大量的时间,有时还下载不了); 即使下载到本地,然而不同的模型对它们的处理方式各不相同,我们又需要花费一些时间去了解如何读取数据。 为了解决上述的坑,我在Bunch 转换为 HDF5 文件:高效存储 Cifar 等数据集中将一些常用的数据集封装为 HDF5 文件。 下面的 X.h5c 可以参考Bunch 转换为 HDF5 文件:高效存储 Cifar 等数据集自己制作,也可以直接下载使用(链接:https://pan.baidu.com/s/1hsbMhv3MDlOES3UDDmOQiw 密码:qlb7)。 使用方法很简单: 访问数据集 # 载入所需要的包 import tables as tb import numpy as np xpath = 'E:/xdata/X.h5' # 文件所在路径 h5 = tb.open_file(xpath) 下面我们来看看此文件中有那些数据集: h5.root / (RootGroup) "Xinet's dataset"...