mxnet 使用自己的图片数据训练CNN模型
来源:互联网 发布:多迪网络招聘是真的么 编辑:程序博客网 时间:2024/05/13 09:03
前言
很久之前笔者就配好了mxnet环境,却因为种种原因始终没有进行系统的学习,其中一个原因是mxnet的文档不甚详细,相关教程数量和TensorFlow等框架相比也比较少,不太容易上手。因此,笔者计划近期写几篇文章来整合mxnet的零散知识,一方面补充网上很多教程都缺乏的实际使用细节,另一方面督促自己坚持深度学习实践。废话不多说,我们现在开始!
本篇笔记记录了我使用Kaggle的”dogs vs cats”图像数据集训练CNN模型的全过程,主要内容包括:数据集的获取、图像预处理成mxnet的标准格式、使用数据迭代DataIter来输入数据、使用(别人写好的)CNN、训练模型。
笔者的实现https://github.com/stormouse/mxnet-practice/tree/master/image_clf_net,供参考。
数据集的获取
本次实验使用的数据集来自Kaggle的Dogs vs. Cats竞赛,数据可以在登录Kaggle后进行下载:
https://www.kaggle.com/c/dogs-vs-cats/data
下载后有三个文件sampleSubmission.csv, train.zip, test1,zip。其中csv文件是提交Kaggle竞赛的样例文件;train.zip中有数万张带标注的猫狗图片;test1.zip中有数万张不带标注的猫狗图片。本次实验中我们仅使用train.zip中的数据。
解压train.zip中的文件到data_folder/train,打开train文件夹可以看到许多猫猫狗狗的可爱小图:
这样裸着的jpg图片不能直接作为训练数据,需要转化成比较规范的格式。首先,输入CNN的原始图片应当具有同样的尺寸,同样的通道数(如RGB为3通道)等等。另外,mxnet推荐所有的数据都应该以某种DataIter的形式呈现,这样我们通过mxnet的接口就可以很方便地进行训练(见后文)。
介绍一下DataIter
DataIter,简单说就是mxnet提供的一种比较完善的数据格式,每一个DataIter对应着一个完整的数据集,使用迭代的方式一次从整个数据集中读出一部分(一个样本batch,样本数=batch_size),进行模型的训练。这样的样本batch表示为一个4维的NDArray,形状为(batch_size, n_channel, width, height),可以说是为图像输入量身定做。
本次实验我们保留图片的彩色(n_channel=3),修改图片尺寸到32*32。所以每一次取出的样本batch形状为(batch_size, 3, 32, 32)。
简单的图像预处理
mxnet支持将一种.rec格式的数据集直接导入为DataIter,同时提供了一种工具可以将一个裸的图片数据集转化成.rec格式。为了简化过程,我们采用mxnet提供的小工具来将我们的数据集转化为.rec格式。
mxnet提供的工具在mxnet/tools目录下,如果im2rec.cc/cpp已经编译成可执行文件,则可以使用该可执行文件;否则可以使用同目录下的im2rec.py。笔者使用的是im2rec.py。
在windows系统下im2rec.py可能出现不支持多线程的问题,可以查看代码将”try: import multiprocessing”的try分支去掉,直接使用except分支进行单线程处理即可。
另外,有些版本带的im2rec.py中存在拆箱错误,将, s, = q_out.get()修改为s, _ = q_out.get()即可。
出现其他(笔者未见的)问题请移步大牛的博文
http://blog.csdn.net/sunshine_in_moon/article/details/52936088
im2rec.py的运行原理是这样的:
首先它需要拿到一个列表文件,格式为”下标\t标签\t文件路径”,如:
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
之后它遍历这个列表的每一行,打开文件->预处理->保存到数据集的指定下标处->给定对应的标签。
这个列表文件笔者是写Python脚本生成的,逻辑非常简单:得到文件夹中的所有文件名,使用random.shuffle来随机打乱,然后再一行一行的输出到这个列表文件当中即可。label(标签)当文件名中有”dog”时输出0,否则输出1。生成的列表后缀一定要为.lst。
我的列表生成脚本,还按0.8/0.2将数据分成了训练集和内部测试集:
https://github.com/stormouse/mxnet-practice/blob/master/image_clf_net/listgen.py
然后使用im2rec.py工具,第一个参数prefix是列表文件的路径(不含扩展名”.lst”),第二个参数是图片所在的目录。笔者还用到了–resize参数,将图片的长边缩放至32像素。假如你的列表文件叫做list_folder/train.lst,图片位于data_folder/train目录,则运行
- 1
- 1
等待片刻,在list_folder下可以看到生成好的.rec文件。这里我们对训练集和内部测试集分别生成.rec文件。(见笔者github的代码)
图片输入和ImageRecordIter
ImageRecordIter是一种特殊的DataIter,可以直接接受上文所说的数据集转化成4维NDArray。读取rec文件生成一个ImageRecordIter:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
数据集方面已经准备完毕,我们可以确认一下获取数据集导入的正确性。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
拿来主义:使用lenet模型
直接拷贝我代码中的get_lenet函数即可(貌似我去掉了一层tanh…所以不是标准的lenet了)。
进行训练
这里靠说不如直接贴代码,见注释。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
运行!经过50个epoch,笔者的模型分类准确率达到了70%左右。
- mxnet 使用自己的图片数据训练CNN模型
- mxnet实战笔记(1) - 使用自己的图片数据训练CNN模型
- 使用lenet模型训练及预测自己的图片数据
- Mxnet(3)-SSD训练自己的数据
- Mxnet(4)-fcn训练自己的数据
- mxnet利用下载好的mnist数据训练cnn
- 使用Faster R-CNN训练自己的数据
- faster r-cnn训练自己的数据
- MXNet:训练自己的数据并做预测
- Mxnet训练自己的数据集并测试
- Mxnet图片分类(2)训练模型
- 自己定义CNN网络模型并使用caffe训练
- mnist训练的cnn模型测试自己的手写数字
- Tensorflow 训练自己的cnn模型 行人识别
- 使用Faster R-CNN训练自己的数据_NWPU_VHR-10数据集
- Matconvnet 训练自己的数据(使用现有模型)
- mxnet使用预训练模型预测
- caffe----训练自己的图片caffenet模型
- 【Bzoj2875】随机数生成器
- 第四章 Controller接口控制器详解(6)
- linux下提示bash:command not found
- Codeforces 777C Alyona and Spreadsheet DP
- 第四章 Controller接口控制器详解(7 完)
- mxnet 使用自己的图片数据训练CNN模型
- Android开发之事件处理
- 牛腩学ASP.NET CORE做博客(视频)
- Extjs入门1-1 Extjs自定义类
- 第五章 处理器拦截器详解
- 对标管理的基础是开放
- Android studio的安装与配置
- cmd界面下java可以,javac不能用--【'javac'不是内部或外部命令,也不是可运行的程序或批处理文件】
- EditText的几种事件用法