mxnet 使用自己的图片数据训练CNN模型

来源:互联网 发布:多迪网络招聘是真的么 编辑:程序博客网 时间:2024/05/13 09:03

前言

很久之前笔者就配好了mxnet环境,却因为种种原因始终没有进行系统的学习,其中一个原因是mxnet的文档不甚详细,相关教程数量和TensorFlow等框架相比也比较少,不太容易上手。因此,笔者计划近期写几篇文章来整合mxnet的零散知识,一方面补充网上很多教程都缺乏的实际使用细节,另一方面督促自己坚持深度学习实践。废话不多说,我们现在开始!

本篇笔记记录了我使用Kaggle的”dogs vs cats”图像数据集训练CNN模型的全过程,主要内容包括:数据集的获取图像预处理成mxnet的标准格式使用数据迭代DataIter来输入数据使用(别人写好的)CNN训练模型

笔者的实现https://github.com/stormouse/mxnet-practice/tree/master/image_clf_net,供参考。

数据集的获取

本次实验使用的数据集来自Kaggle的Dogs vs. Cats竞赛,数据可以在登录Kaggle后进行下载: 
https://www.kaggle.com/c/dogs-vs-cats/data

下载后有三个文件sampleSubmission.csv, train.zip, test1,zip。其中csv文件是提交Kaggle竞赛的样例文件;train.zip中有数万张带标注的猫狗图片;test1.zip中有数万张不带标注的猫狗图片。本次实验中我们仅使用train.zip中的数据。

解压train.zip中的文件到data_folder/train,打开train文件夹可以看到许多猫猫狗狗的可爱小图: 
解压后的data_folder/train

这样裸着的jpg图片不能直接作为训练数据,需要转化成比较规范的格式。首先,输入CNN的原始图片应当具有同样的尺寸,同样的通道数(如RGB为3通道)等等。另外,mxnet推荐所有的数据都应该以某种DataIter的形式呈现,这样我们通过mxnet的接口就可以很方便地进行训练(见后文)。

介绍一下DataIter

DataIter,简单说就是mxnet提供的一种比较完善的数据格式,每一个DataIter对应着一个完整的数据集,使用迭代的方式一次从整个数据集中读出一部分(一个样本batch,样本数=batch_size),进行模型的训练。这样的样本batch表示为一个4维的NDArray,形状为(batch_size, n_channel, width, height),可以说是为图像输入量身定做。

本次实验我们保留图片的彩色(n_channel=3),修改图片尺寸到32*32。所以每一次取出的样本batch形状为(batch_size, 3, 32, 32)。

简单的图像预处理

mxnet支持将一种.rec格式的数据集直接导入为DataIter,同时提供了一种工具可以将一个裸的图片数据集转化成.rec格式。为了简化过程,我们采用mxnet提供的小工具来将我们的数据集转化为.rec格式。

mxnet提供的工具在mxnet/tools目录下,如果im2rec.cc/cpp已经编译成可执行文件,则可以使用该可执行文件;否则可以使用同目录下的im2rec.py。笔者使用的是im2rec.py。

在windows系统下im2rec.py可能出现不支持多线程的问题,可以查看代码将”try: import multiprocessing”的try分支去掉,直接使用except分支进行单线程处理即可。

另外,有些版本带的im2rec.py中存在拆箱错误,将, s, = q_out.get()修改为s, _ = q_out.get()即可。

出现其他(笔者未见的)问题请移步大牛的博文 
http://blog.csdn.net/sunshine_in_moon/article/details/52936088

im2rec.py的运行原理是这样的: 
首先它需要拿到一个列表文件,格式为”下标\t标签\t文件路径”,如:

0   0   dog.292.jpg1   0   dog.5654.jpg2   1   cat.6234.jpg3   1   cat.10217.jpg
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

之后它遍历这个列表的每一行,打开文件->预处理->保存到数据集的指定下标处->给定对应的标签。

这个列表文件笔者是写Python脚本生成的,逻辑非常简单:得到文件夹中的所有文件名,使用random.shuffle来随机打乱,然后再一行一行的输出到这个列表文件当中即可。label(标签)当文件名中有”dog”时输出0,否则输出1。生成的列表后缀一定要为.lst。

我的列表生成脚本,还按0.8/0.2将数据分成了训练集和内部测试集: 
https://github.com/stormouse/mxnet-practice/blob/master/image_clf_net/listgen.py

然后使用im2rec.py工具,第一个参数prefix是列表文件的路径(不含扩展名”.lst”),第二个参数是图片所在的目录。笔者还用到了–resize参数,将图片的长边缩放至32像素。假如你的列表文件叫做list_folder/train.lst,图片位于data_folder/train目录,则运行

python im2rec.py list_folder/train data_folder/train --resize 32
  • 1
  • 1

等待片刻,在list_folder下可以看到生成好的.rec文件。这里我们对训练集和内部测试集分别生成.rec文件。(见笔者github的代码)

图片输入和ImageRecordIter

ImageRecordIter是一种特殊的DataIter,可以直接接受上文所说的数据集转化成4维NDArray。读取rec文件生成一个ImageRecordIter:

# 创建训练集itertrain_iter = mx.io.ImageRecordIter(    path_imgrec="data/train.rec", #rec文件路径    data_shape=(3,32,32),         #期望的数据形状,注意:                                  #即使图片不是这个尺寸,也可以在此被自动转换    batch_size=1000,              #每次传入1000条数据)# 创建内部测试集iterval_iter = mx.io.ImageRecordIter(    path_imgrec="data/test.rec",    data_shape=(3,32,32),    batch_size=1000,              #必须与上面的batch_size相等,否则不能对应)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

数据集方面已经准备完毕,我们可以确认一下获取数据集导入的正确性。

batch = train_iter.next() #导入一个样本batchprint batch data = batch.data[0]from matplotlib import pyplot as pltfor i in range(3):    plt.subplot(1, 3, i+1)    plt.imshow(data[i].asnumpy().astype(np.uint8).transpose((1,2,0)))plt.show()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

拿来主义:使用lenet模型

直接拷贝我代码中的get_lenet函数即可(貌似我去掉了一层tanh…所以不是标准的lenet了)。

进行训练

这里靠说不如直接贴代码,见注释。

import logginglogging.getLogger().setLevel(logging.DEBUG)  #设置logger输出级别                                             #删除此句则无法输出训练状态model = mx.model.FeedForward(     ctx = mx.gpu(0),                     #使用gpu,若无gpu写mx.cpu()    symbol = get_lenet(),                #使用刚拿来的lenet    num_epoch = 50,                      #设置运行epoch数                                         #全体样本遍历一次是一个epoch    learning_rate = 0.01,                #学习率,可调)model.fit(    X = train_iter,                      #训练集    eval_data = val_iter,                #验证集    batch_end_callback = mx.callback.Speedometer(batch_size, 200)                                         #监视训练状态                                         #每200个iteration后输出一次)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

运行!经过50个epoch,笔者的模型分类准确率达到了70%左右。

0 0
原创粉丝点击