R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)
来源:互联网 发布:淘宝运营有前途吗 编辑:程序博客网 时间:2024/06/06 20:06
本文转载自经管之家论坛, R语言中的Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)
R中的softmaxreg包,发自2016-09-09,链接:https://cran.r-project.org/web/packages/softmaxreg/index.html
——————————————————————————————————————————————————————————————————
一、介绍
Softmax Regression模型本质还是一个多分类模型,对Logistic Regression 逻辑回归的拓展。如果将Softmax Regression模型和神经网络隐含层结合起来,可以进一步提升模型的性能,构成包含多个隐含层和最后一个Softmax层的多层神经网络模型。之前发现R里面没有特别适合的方法支持多层的Softmax 模型,于是就想直接用R语言写一个softmaxreg 包。可以支持大部分的多分类问题,其中的两个示例:MNIST手写体识别和多文档分类(Multi-Class DocumentClassification) 的文档如下
二、示例文档
2.1 MNIST手写体识别数据集
MNIST手写体识别的数据集是图像识别领域一个基本数据集,很多模型诸如CNN卷积神经网络等模型都经常在这个数据集上测试都能够达到97%以上的准确率。 这里想比较一下包含隐含层的softmaxreg模型,测试结果显示模型的准确率能达到93% 左右。
Part1、下载和Load数据
MNIST手写体识别的数据集可以直接从网站下载http://yann.lecun.com/exdb/mnist/,一共四个文件,分别下载下来并解压。文件格式比较特殊,可以用softmaxreg 包中的load_image_file 和load_label_file 两个函数读取。
训练集有60000幅图片,每个图片都是由16*16个像素构成,代表了0-9中的某一个数字,比如下图。
利用softmaxreg 包训练一个10分类的MNIST手写体识别的模型,用load_image_file 和load_label_file 来分别读取训练集的图像数据和标签的数据 (Reference: brendano'connor - gist.github.com/39760的读取方法)
可以用show_digit函数来看一个数字的图像,比如查看某一个图片,比如第2副
Part2、训练模型
利用softmaxReg函数,训练集输入和标签分别为为x和y,maxit 设置最多多少个Epoch, algorithm为优化的算法,rate为学习率,batch参数为SGD随机梯度下降每个Mini-Batch的样本个数。 收敛后用predict方法来看看测试集Test的准确率怎么样
Part3、比较不同优化算法的收敛速度
如果maxit 迭代次数过大,模型运行时间较长,可以保存图像,最后可以看到AdaGrad, rmsprop,momentum, nag 和标准SGD这几种优化算法的收敛速度的比较效果。关于优化算法这个帖子有很好的总结:
http://cs231n.github.io/neural-networks-3/
2.2 多类别的文档分类
Softmax regression模型的每个输入为一个文档,用一个字符串表示。其中每个词word都可以用一个word2vec模型训练的word Embedding低维度的实数词向量表示。在softmaxreg包中有一个预先训练好的模型:长度为20维的英文词向量的字典,直接用data(word2vec) 调用就可以了。
假设我们需要对UCI的C50新闻数据集进行分类,数据集包含多个作者写的新闻报道,每个作者的新闻文件都在一个单独的文件夹中。 我们假设挑选5个作者的文章进行训练softmax regression 模型,然后在测试集中预测任意文档属于哪一个作者,这就构成了一个5分类的问题。
Part1, 载入预先训练好的 英文word2vec 字典表
Part2,利用loadURLData函数从网址下载数据并且解压到folder目录
Part3,利用wordEmbed() 函数作为lookup table,从默认的word2vec数据集中查找每个单词的向量表示,默认20维度,可以自己训练自己的字典数据集来替换。
Part4,训练模型,构建一个结构为20-10-5的模型,输入层为20维,即词向量的维度,隐含层的节点数为10,最后softmax层输出节点个数为5.
# 增加embedding的维度到50或者100可以提升模型准确度;
相关资料:
关于Stanford的中英文
http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
softmaxregR包的下载地址:
https://cran.r-project.org/web/packages/softmaxreg/index.html
- R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)
- R语言中的Softmax Regression建模(MNIST手写体识别和文档多分类应用)
- MNIST和softmax回归(softmax regression)
- Tensorflow实现Softmax Regression 手写识别MNIST
- tensorflow基于softmax模型实现手写体MNIST数字集识别
- Softmax Regression with MNIST
- Tensorflow手写体识别mnist
- MNIST手写体识别--tensorflow
- 多分类问题Softmax Regression
- TensorFlow学习笔记(2)----Softmax Regression分类MNIST
- TensorFlow学习笔记(1):使用softmax对手写体数字(MNIST数据集)进行识别
- tensorflow实现softmax回归(softmax regression)——简单的MNIST识别(第一课)
- TensorFlow入门-MNIST & softmax regression
- softmax regression分类相关
- TensorFlow在MNIST中的应用-Softmax回归分类
- caffe应用-01灰度图像分类之手写体数字识别
- Tensorflow的Helloword:使用简单Softmax Regression模型来识别Mnist手写数字
- 【TensorFlow-windows】(一)实现Softmax Regression进行手写数字识别(mnist)
- C语言文件操作
- 2016校招,Android开发,面试题
- 关于web服务器,API,servlet容器(tomcat),与Nginx,Apache+mod-proxy,HTML5,HTTP
- AndroidAutoLayout的使用
- 地理位置和geo hash相关文章
- R︱Softmax Regression建模 (MNIST 手写体识别和文档多分类应用)
- java.sql.SQLException: ORA-01858: 在要求输入数字处找到非数字字符
- Deep Learning in NLP (一)词向量和语言模型
- 一起写RPC框架(二十二)RPC服务消费者四--服务消费者服务编织
- 接收用户输入的一句英文,将其中的单词以反序输出。 “I love you"→“I evol uoy"
- 用Canvas画迷宫,div按迷宫路径移动
- ajax完整知识总结
- 二分查找+基础应用
- C++操作mysql方法总结(2)