学习使用tfrecord来训练自己数据踩过的坑

最近这两天一直在研究怎么训练自己的网络。通常方法有三种，其中一种比较典型的就是使用tfrecord的形式，将数据转化为tensorflow通用的格式，送入到网络中，首先看了一些相关的参考资料，答题思路都基本是一致的，都是先把原始图片和标签图片依次读入，然后转化为string类型，由于python3.2之后，tostring()被弃用了，所以，可以利用与其功能近似的tobyte()，然后利用tf.train.Example来得到example，最后写入到.tfrecord文件中，此时，即完成了tfrecord文件的生成。

在此过程中，发现一个问题，就是PIL.Image.open函数得到的结果形式如下：

而用scipy.misc的imread读取图片的时候，正常是读出一个array的矩阵：

此时，原本的标签mask是一个通道的，我经过imread读取之后，也会变成三个通道。

python读取文件较为常用的方法：
参考百度知道：百度知道

PIL.Image.open
代码：Pillow/Image.py at 3.1.x · python-pillow/Pillow · GitHub
open() 函数打开图像，但并不读入，直到有操作发生。
具体的读取操作是在 ImageFile.py 写的。大体流程是先检测文件类型，整块地读入文件内容，然后调用解码器解码，做了很多优化。

scipy.ndimage.imread
代码：scipy/io.py at v0.17.1 · scipy/scipy · GitHub
imread 调用 scipy.misc.pilutil.imread。其实调用的还是 Pillow。
根据 pilutil 代码：scipy/pilutil.py at v0.17.1 · scipy/scipy · GitHub
确实是调用 pil.image.open()，然后返回一个 fromimage()。

scipy.misc.imread
misc 的 init.py ：scipy/init.py at v0.17.1 · scipy/scipy · GitHub
调用的还是 pilutil 中的 imread。

skimage.io.imread
代码：scikit-image/_io.py at master · scikit-image/scikit-image · GitHub
通过插件 plugin 读入不同的文件，会试用几个不同的 plugins 来找到合适的。
使用 call_plugin 来调用，代码：scikit-image/manage_plugins.py at master · scikit-image/scikit-image · GitHub
plugins 的源代码：scikit-image/skimage/io/_plugins at master · scikit-image/scikit-image · GitHub。 pil 的 imread，是用 open 打开图像之后，再转换成 ndarray。

cv2.imread
调用的 CV::imread()，代码：opencv/loadsave.cpp at master · opencv/opencv · GitHub。一般来说 C\C++ 的实现，应该比 python 速度快一点。

matplotlib.image.imread
matplotlib 原生只可以读取 PNG 文件，有 PIL 的时候，可以读取其他类型的文件。如果使用 URL 打开在线图像文件，需要符合 PIL 的文档要求。
matplotlib.image.imread 代码：matplotlib/image.py at master · matplotlib/matplotlib · GitHub。matplotlib 的原生 PNG 读取和写入，是用 C 实现的，代码：matplotlib/_png.cpp at master · matplotlib/matplotlib · GitHub。
matplotlib 先用 pil 的 open 打开图像，如果格式是 png，就用原生方法打开。
声明的处理器只有 png。如果是 png 文件，调用 _png.read_png。如果不是 png 直接使用 pilread（就是用 pil 的 Image.open 然后 pil_to_array）。