MXNET笔记（三）Data Iterator

Iterable

MXNET中读入数据需要使用到数据迭代器（Iter），用户可以使用MXNET提供的一些数据迭代器也可以自己写一个迭代器。虽然一般情况下，我们很多的数据都可以直接读入内存之中，但是面向神经网络进行大数据学习时，学习的样本往往达到了几个GB甚至几十上百个GB。这显然是我们的内存所不能承受的。这样的情况下，我们不得不分批次的将数据送入我们的学习网络之中。迭代器的目的就是在需要数据的时候得到部分数据，然后下次需要的时候能够继续获得后续数据。在网上发现这篇Blog对迭代的概念解释的非常好。

NDarray

numpy中的ndarray存储数据时采用的是一维的形式。二维或者多维数组在numpy中采用“别样”解读的方式来实现。比如，一个30元素可以看作5x6或者3x10

Super

关于super

---

  dataiter = mx.io.ImageRecordIter(            #rec文件所在位置            path_imgrec="MNIST.rec",            #rec文件中图像大小以及通道数量            data_shape=(3,28,28),            #每个batch中图像的数量            batch_size=100,            #平均图像，如果设置了平均图像，则输入图像将减去该平均图像            mean_img="data/cifar/cifar10_mean.bin",            #随机对图像进行裁剪            rand_crop=True,            #随机对图像进行镜像            rand_mirror=True,            #从rec文件中随机取出图像            shuffle=False,            #预处理线程数            preprocess_threads=4,            #预取缓存            prefetch_buffer=1)