转载 Android端调用Caffe模型实现CNN分类
来源:互联网 发布:方舟优化好了吗 编辑:程序博客网 时间:2024/06/08 04:27
转载自 张骞晖2 的博客 Android端调用Caffe模型实现CNN分类
本文的主要内容如下。
- 移动端的深度学习的实现方式
- tiny-cnn介绍以及移动端移植
- 总结与改进
- 应用截图
一.移动端深度学习的几种实现方式
(1)Caffe的移动端编译项目
caffe(命令式框架)算是在国内最流行的深度学习开源框架,使用它进行商业,研究的人很多。对于移动端的实现,也有开源项目对caffe进行了移植。
项目连接如下:
android-lib
android-demo
我认识的很多科研院所的朋友以及百度这种大公司他们,在移动端的本地项目中也使用了caffe-android,证明了该项目有很高的实用性。当然,我认为该项目存在的问题就是模型过大,速度性能很差;当前不支持GPU,无法做到实时;caffe是个通用的框架,调用了很多库,如果只需要做cnn的话,该项目还需要自我定制和瘦身。
(2)mxnet的移动端项目
mxnet(符号式框架)主要也是几个中国人一起发起和维护的深度开源项目,足够灵活,速度足够快,扩展新的功能比较容易,内存复用,很有潜力成为未来优秀的深度项目。最关键的是,mxnet本身提供了对android,ios移动端的的支持。而且最近,mxnet已经 被 Amazon AWS 选为官方深度学习平台。
mxnet实现的简介
项目连接如下:
android-lib
android demo
本人也使用过该项目,其中的感想如下。
1) mxnet明显从本身特点就比caffe更适合移动端,因为依赖少,内存要求少,对于android性能变化大的手机,通用性更高。
2) mxnet需要先使用ndk交叉编译项目中的amalgamation,可以根据自己的需求,修改jni中的接口,然后,编译好的动态链接库替换掉android demo 中的。不过在编译过程中我遇到了很多的问题,编译成功也不是很简单的事情。
3)mxnet 提供了对caffe 模型的支持,那么即使你用caffe训练好的模型,也可以通过提供的工具讲其进行转化json格式,然后就可以在mxnet 上使用,自然也可以在移动端使用,不过我在使用过程中也遇到了一个问题,比如prelu激活函数,mxnet本身支持的,但是转化工具不支持,所以,我训练的caffe模型一直转化不成功,但是最后改了工具的源码,就解决了这个问题。当然,mxnet提供的caffe_converter是很多坑的,很多模型都转化不成功,这个如果对caffe模型很熟悉的话,这些问题也许很容易解决。
caffe_converter
(3)tensorflow的移动端项目
tensorflow是google开源的,是最有竞争力成为未来深度框架的主流。而且,对android端的支持也是官方提供的,毕竟google公司自己的os。
android build
简单总结
除了以上介绍的深度框架,还有torch
torch android
以上框架都是很流行,很通用的,自然带来的问题就是,过于庞大对于android系统来说,所以,如果要实现一个相对单一的深度算法,那么,我们必须需要对其进行瘦身。移动端,在不需要实时的项目中,对gpu的要求不高,但是如果能提供对gpu的支持,那么项目的性能自然可以提高很多,但是,大部分android端手机,gpu不支持cuda,所以以上介绍的深度框架,只能使用cpu-only模型进行前向传播,不过为了能利用到gpu,有一个解决方案是使用opencl进行gpu加速。我这个没有尝试过,有兴趣的人可以看下这个开源项目。
Opencl libdnn
当然,最新的nvidia 提供了android端的gpu开发接口。
Andorid-works
而且支持非Nvidia的Tegra处理器的Android设备和支持各个版本的Android系统。
二.tiny-cnn的移动端移植
tiny-cnn相对于上述的开源深度框架来说就小的多,而且是完全的c++11版本的卷积神经网络的实现,这个开源项目维护的人也很多,本人也参与到其中。
tiny-cnn
本人对tiny-cnn进行了android端的移植,做了开源项目,而且,本身tiny-cnn支持caffe模型的转化,所以,最新的android版本也支持了caffe模型。
开源项目地址和详细介绍如下。
cnnforandroid
tinycnn for android 的优缺点。
三.专注移动端的Caffe2go项目
在手机端一直深度学习的算法,估计很多实验室和科技公司早就做了,不过很多估计是不开源的。
11月9号,贾扬清在facebook上发布了一篇文章,关于手机深度学习项目caffe2go的详细介绍和应用。项目是专门为手机定制的深度框架,是在caffe2 的基础上进行迁移的,目的就是让最普遍的智能设备——手机也能广泛高效地应用深度学习算法。
关于caffe2的,介绍:
Caffe2 is a deep learning framework made with expression, speed, and modularity in mind. It is an experimental refactoring of Caffe, and allows a more flexible way to organize computation.
Github链接:
https://github.com/caffe2/caffe2
当然,caffe2go有一下几个特点:
(1)专注手机端
之前说了,真正做到手机端是很简单的事情,关键就是技术优化。
caffe2go的给的测试是风格化转换的实时处理。关于优化,文章说明了几点。
- 模型压缩
- 通过使用移动 CPU 中被称为 NEON 的功能,可以显著提高运算速度
- 模型中,优化了卷积层的数量
- 调整了处理过程中的空间分辨率(spatial resolution),更早地使用pooling层。
有几点是很难理解的。只能等待caffe2go尽快发布。
(2)CPU而非GPU
我们都知道印象中的深度学习是离不开GPU的,及时只是运行模型,而且是实时的情况下。caffe2go在手机端,是运行在cpu下的,这就能保证了框架的普遍适用性。毕竟对于Android手机来说,并没有统一的硬件标准,也没有统一的GPU型号,所以就很难做到一个框架支持所有手机。这应该是facebook选择使用cpu而非GPU的一个原因。
关于当前主流手机的GPU型号。看一下列表。
值得注意的是,当前,嵌入式设备(Android手机等)的GPU,实际上要比CPU要慢得多。所以,估计贾应该也做了GPU的,但是效果不好,因此并没有强调。
(3)强调本地,而非云。
我们都知道,关于深度学习的处理,完全可以不通过本地调用,而是远程获取,但是通过caffe2go的目标,则与此相反。他们认为随着硬件的发展,本地的运算消耗是要比远程请求更节约时间,更方便的。
四.总结与未来改进
总结
以上提到的方式都有优缺点,可以根据自己的项目定位和需求进行选择。如果模型不大,tiny-cnn 的 android版本还是很适合的。当然,如果论未来的话,我个人比较推崇tensorflow,毕竟google是干爹。还有就是关注caffe2go开源情况。总的来说,移动平台必然是以后深度学习算法的一个广泛的应用平台。
项目改进
本人对tiny-cnn移植的工作,未来的改进,大概就是提供对更多的层的支持,以及使用opencl来进行gpu加速。整个项目,将改成makefile编译的形式。
四.应用截图
我的开源项目,提供了两个分类的例子,一个是使用tiny-cnn自己训练的模型——车标识别;一个是使用caffe训练的模型——性别识别。具体看github链接。
项目地址: cnnforandroid
- 转载 Android端调用Caffe模型实现CNN分类
- Android端调用Caffe模型实现CNN分类
- Android端调用Caffe模型实现CNN分类
- Android端调用Caffe模型实现CNN分类
- Caffe实战Day5-使用opencv调用caffe模型进行分类
- TensorFlow之CNN图像分类及模型保存与调用
- Python调用已训练好的caffe模型进行分类
- 使用python调用训练好的caffe模型来分类
- 运用训练好的模型,实现分类(caffe)
- CNN模型和RNN模型在分类问题中的应用(Tensorflow实现)
- 字符级卷积神经网络(Char-CNN)实现文本分类--模型介绍与TensorFlow实现
- caffe分类实现
- Keras学习之三:用CNN实现cifar10图像分类模型
- 经典卷积神经网络(CNN)实现MNIST分类(基于LeNet-5模型)
- 在c++程序中调用caffe训练完毕的模型进行分类
- caffe19 《深度学习--Caffe之经典模型详解与实战》笔记01 分类测试python调用
- python接口调用已训练好的caffe模型测试分类
- caffe学习(六):使用python调用训练好的模型来分类(Ubuntu)
- python 字符串,元组, 列表,字典之间的转换
- Mybatis二级缓存之刷新缓存的细节
- 微软IIS服务器的最佳优化工具- IIS Tuner
- iOS中几种定时器的介绍
- Logistic Regression(逻辑回归)原理及公式推导
- 转载 Android端调用Caffe模型实现CNN分类
- 欢迎使用CSDN-markdown编辑器
- SpringMVC+JSP:将ModelMap/Model中的数据填充到填充到jsp
- mysql ifnull函数的使用
- 热修复——简单原理与简单实现
- 狗屎一样的React(第五节,React组件的生命周期)
- ThinkPHP导出Excel
- CentOS7.2编译安装Mysql
- Wala使用心得