NeuralTalk2---自动产生图片的语句描述
来源:互联网 发布:基于hadoop的数据挖掘 编辑:程序博客网 时间:2024/05/23 20:00
最近被逼看了点自然语言处理(NLP)的论文,好吧我看不懂,本来我就不是搞这个方向的,说的我迷迷糊糊的,哎,隔行如隔山啊
不过在过程中倒也是收获到了一些东西,比如今天的这篇博客,怎样自动的去产生图片的语句描述???
就是:
我给你张图,你给我自动生成描述这张图片的文字
具体如下:
这个理论说起来实际很高端,涉及到神经网络,自然语言处理等方方面面的知识,推荐几篇论文有兴趣的可以看看:
- Deep Visual-Semantic Alignments for Generating Image Descriptions
- how and Tell: A Neural Image Caption Generator
- Learning the Visual Interpretation of Sentences
- BringSemantics Into Focus Using Visual Abstraction
- Every Picture Tells a Story: Generating Sentences from Images
这里就不说具体是怎么实现的了,好吧,其实是我也看不懂。。。。。。。
NeuralTalk2
现在有开源的实现,具体理论来源于上面的论文1和2
NeuralTalk2是其开源的实现,大家可以看下它的安装要求,依赖还是很多的,由于使用了VGG16的网络,所以你需要一块GPU,什么???没有GPU????送你三个字:买买买
重要的事情要强调:CPU无法运行,必须上GPU
我的实验环境是:
CPU:Intel Xeon(4*3.3GHZ)
GPU:Titan X(12GB)
Memory:32GB(DDR4)
原始版本,NeuralTalk,是使用python编写,相比NeuralTalk,NeuralTalk2的不同点是:
Compared to the original NeuralTalk this implementation is batched, uses Torch, runs on a GPU, and supports CNN finetuning. All of these together result in quite a large increase in training speed for the Language Model (~100x), but overall not as much because we also have to forward a VGGNet. However, overall very good models can be trained in 2-3 days, and they show a much better performance.
安装依赖
依赖有一堆,我安装的时候就卡在了其中的某一个环节,好在最终还是解决了,这也是我写这篇博客的动力,希望有这个需求的人不要连安装都像我一样走了很多弯路,甚至都搞不定
主要就是按照README
所说的去一步步安装:
安装Torch
$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash$ git clone https://github.com/torch/distro.git ~/torch --recursive$ cd ~/torch; $ ./install.sh # and enter "yes" at the end to modify your bashrc$ source ~/.bashrc
这个没什么说的,搞定以后,你会在你的额bashrc文件下看到类似这样的一行:
. /home/work-station/torch/install/bin/torch-activate
安装其它依赖
$ luarocks install nn$ luarocks install nngraph $ luarocks install image
安装CJson
cjson下载连接,先将它下载下来lua-cjson-2.1.0.tar.gz
,之后解压,进入目录,安装即可
$ tar -xzvf lua-cjson-2.1.0.tar.gz$ cd lua-cjson-2.1.0$ luarocks make
安装CUDA
CUDA下载地址,下载之后安装就可以,deb包很容易的,大家可以参照这个博客安装,几部就搞定了
安装CUDNN
我当时就是在这个位置出问题的,我的机子之前安装caffe的时候安装过cuda和cudnn,我把所有的都安装完,开始跑示例的时候,这个时候出错了:
These bindings are for version 4005 or above, while the loaded CuDNN is version: 4004
Are you using an older version of CuDNN?
意思很明显,就是cudnn版本低了
好吧,开始版本升级中,中间参照了这个帖子,但是依然没解决我的问题,最后终于让我搞定了,特此记录
Step 1:删除/usr/local/lib/下的所有以libcudnn开头的so文件和链接文件,比如libcudnn.so.7.0.58
Step 2:下载最新版本的cudnn,下载地址最后给出,首先要注册,过几天Nvidia才会给你下载权限
Step 3:假设你已经下载了最新版本的cudnn,假设是* cudnn-7.0-linux-x64-v4.0-prod.tgz*,不说了解压,进入cuda目录,执行:$ sudo cp include/* /usr/local/cuda/include/
$sudo cp lib64/* /usr/local/cuda/lib64/
搞定
安装loadcaffe
$ sudo apt-get install libprotobuf-dev protobuf-compiler$ luarocks install loadcaffe
安装h5py
$ sudo pip install h5py
下载模型预测图片
模型下载地址,下载解压就可以
准备好你的图片,之后执行:
th eval.lua -model /path/to/model -image_folder /path/to/image/directory -num_images 10
写上你的model文件的路径和图片文件夹的路径,如果你想预测所有的图片将: -num_images 10
改为-num_images -1
启动httpServer
预测之后会在你的vis
文件夹下生成vis.json文件在imgs
中会有你预测的图片:
启动server:
$ cd vis$ python -m SimpleHTTPServer
浏览器访问:
localhost:8000
,就可以看见了
我的结果
我随机从百度上下了6个图片,预测结果是这样的:
看的出来,结果还是很准的
- NeuralTalk2---自动产生图片的语句描述
- NeuralTalk2---自动产生图片的语句描述
- MSSQL2005下根据查询语句自动产生游标语句的脚本
- 用java的反射实现将ResultSet自动转化成对象,自动产生sql语句
- 用java的反射实现将ResultSet自动转化成对象,自动产生sql语句
- 产生报表用例的详细描述
- 利用oracle的with语句和动态sql,自动产生用交叉表格式显示的汇总语句
- Joomla!用caption.js自动显示图片的简短描述 【转】
- 单据编号的自动产生
- 产生模板的自动机制
- ios7中使用scrollview来横向滑动图片,自动产生偏移竖向的偏移 问题
- 让Jetty不产生WADL描述的服务接口
- 显示表结构描述的Sql语句
- 第四章 VHDL的主要描述语句
- 计算一个语句产生的undo
- 产生插入,修改的SQL语句
- 自动产生存储过程的sql 脚本
- 自动产生存储过程的sql 脚本
- 如何让网页适应所有的屏幕宽度+表格根据内容自适应
- 数据结构中的7种排序算法
- 获取布局填充器(获取布局解析器)
- Google Gson 使用简介
- 进程和线程
- NeuralTalk2---自动产生图片的语句描述
- SQLite3 一列多行合并为一列一行
- [BZOJ2002][Hnoi2010]Bounce 弹飞绵羊
- 5.七个重点网络协议
- Android keyevent 对应的值
- 中国标准城市区域码
- Unity中的输入事件总结与数字电视遥控器键值映射
- 高精度模板
- 【多题合集】AC自动机练习,被HDU支配的恐惧