Hadoop+OpenCV的集群化图像处理开发环境建设与测试研究

本文转载自：http://www.xzbu.com/8/view-7240648.htm

随着科技的发展，各个领域对图像处理要求越来越高，算法也越来越复杂，处理时间也会延长。在大数据时代，图片数量不可计数，想在较短时间内处理完相应数量的图片则需要使用大数据技术。本文则利用Hadoop与OpenCV搭建集群化的图像处理平台，使图像的处理速度得到大幅度的提升。 
　　1 相关技术 
　　本文结合OpenCV与Hadoop在Linux系统下进行集群化图像处理平台的建设与测试研究。 
　　1.1 OpenCV 
　　OpenCV[1]是一种基于BSD许可证授权（开源）发行的跨平台计算机视觉库，它由一系列C函数和C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。 
　　作为开源软件，OpenCV的优势就在于它有400多个免费的图像处理函数，而且涉及面很广，覆盖了机器视觉的大多应用领域。它的许多算法，也做了很好的优化，对其执行速度带来了可观的提升。 
　　1.2 Hadoop 
　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，充分利用集群进行高速运算和存储，开发分布式程序。 
　　Hadoop框架[2]最核心的设计就是：HDFS和MapReduce。HDFS提供存储，MapReduce提供计算。 
　　Hadoop设计之初的目标就定位于高可靠性、高可拓展性和高效性，正是这些设计上的优点，使得Hadoop一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。 
　　2 集群化图像处理的必要性 
　　图像处理[3]经过几十年的发展，虽然有很多研究人员都在不停地提高图像处理算法的效率，但针对当代图像处理数据量大、复杂度高等特点，传统的单机处理已达到瓶颈，特别是在Web和搜索引擎的应用上犹为明显。那如何在提高性能的同时，减少时间成本和功耗？并行化图像处理[4]则是答案。 
　　海量的图像都存储在分布式文件系统中，通过分布式的资源进行并行处理[5]，同传统的单机环境下相比，能大大提高处理效率。Hadoop是一个非常流行的存储、处理海量数据的平台。将Hadoop与OpenCV结合起来，组成一个集群化的并行图像处理环境，在时间性能上能够获得非常大的提升。 
　　3 环境搭建 
　　本集群环境由4个节点组成，其中1个主节点、3个从节点。4个节点均要安装OpenCV，Hadoop集成环境。 
　　3.1 Linux操作系统 
　　Linux操作系统为Ubuntu14.04 LTS。 
　　3.2 JDK安装配置 
　　JDK为jdk1.8。 
　　3.3 OpenCV安装配置 
　　1）准备工作。 
　　更新环境：sudo apt-get update 
　　sudo apt-get upgrade 
　　搭建C/C++编译环境：sudo apt-get install build-essential 　　安装关联库：sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev 
　　sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev ant 
　　2）下载opencv-3.0.0压缩包。 
　　3）解压到指定路径，进入opencv3文件夹。 
　　4）新建build文件夹，存放opencv的编译文件。 
　　5）配置opencv文件。在build目录下执行以下命令。 
　　cmake �CD CMAKE_BUILD_TYPE=Release �CD CMAKE_INSTALL_PREFIX=/usr/local .. 
　　6）编译。 
　　make 
　　7）安装opencv库到系统。 
　　sudo make install 
　　安装过程中未出现错误，并在/usr/local/share/OpenCV目录下出现java目录则表示opencv安装成功。 
　　3.4 Hadoop安装配置 
　　1）准备工作 
　　设置网卡，修改IP解析文件，安装配置ssh服务。 
　　2）下载hadoop2.7.1压缩包。 
　　3）解压到指定路径。 
　　4）配置Hadoop环境变量。 
　　5）创建用于存放命名空间以及数据信息的文件夹。 
　　6）在主节点配置Hadoop。 
　　7）将主节点配置完成的hadoop传送到各从节点。 
　　8）在主节点格式化文件系统。 
　　9）启动hadoop集群 
　　3.5 eclipse安装配置 
　　安装的eclipse为Mars.1版本。 
　　3.6 eclipse配置Hadoop开发环境 
　　1）下载插件。 
　　2）将插件放到eclipse/plugins目录下。 
　　3）重启eclipse，打开Windows->Preferences，配置Hadoop安装路径。 
　　4）配置Map/Reduce Locations 
　　打开Windows->Open Perspective->Other，选择Map/Reduce->OK。出现Map/Reduce Locations选项卡，点击右边小象图标，打开Hadoop Location配置窗口。其中，Location name为用户自定义的名字，Map/Reduce Master中的Host和Port对应是master和9000。DFS Master对应是master和9000。点击完成后，若左侧的Project Explorer出现如图1所示内容，表明配置成功。 
　　 
　　图1 配置成功示例 
　　若HDFS中没有内容，则上图中hadoop下的文件夹为空。 
　　4 集群化处理与测试 
　　4.1 MapReduce与OpenCV的结合 
　　OpenCV关注图像处理，MapReduce关注分布式处理，将两者结合便是分布式图像处理。 
　　MapReduce的分布式处理分为map和reduce方法。 
　　在map方法中，可以对图片进行预处理、灰度、边缘检测、特征值提取等一系列操作。每个map可以是一张图片，在大型的集群上运行时，可以同时处理多张图片，从而提高处理速度。 
　　在reduce方法中，可以对map的输出进行处理，例如特征值汇总、比对、识别，从而实现预处理、特征值提取、图像识别的并行处理。 
　　4.2 测试程序 
　　1）创建程序 
　　创建一个Map/Reduce Project，名为Test。 
　　2）配置OpenCV路径 
　　右键单击项目名称，选择Properties->Java Build Path->Add Library。 
　　选择User Library->Next。选择User Libraries->New，创建一个新的库，命名为opencv3.0。点击Add External JARs，选择opencv-300.jar。 
　　选择Native library location，点击Edit进行编辑，选择本地库目录：/usr/local/share/OpenCV/java。最后点击OK，配置完成。 
　　3）编写Map类 
　　创建MyMap.java 
　　public void map（Text key， BytesWritable value， Context context）{ 
　　BufferedImage img = ImageIO.read 
　　（new ByteArrayInputStream（value.getBytes（）））； 
　　Mat m = img2Mat（img）； 
　　imgViewer.show（m，"Loaded image"）； 
　　context.write（key， value）； 
　　} 
　　MyMap类实现读取已转换为SequenceFile类型的图片文件，调用OpenCV类实现图像显示，其中img2Mat方法实现将BufferedImage类型转换为Mat矩阵。 　　4）编写Reduce类 
　　创建MyReduce.java。 
　　public void reduce（Text key，Iterable values，Context context）{ 
　　for（BytesWritable value ： values）{ 
　　FileOutputStream fos = new 
　　FileOutputStream（"/home/jcxy/2.jpg"）； 
　　JPEGImageEncoder je = 
　　JPEGCodec.createJPEGEncoder（fos）； 
　　je.encode（img）； 
　　context.write（key， value）； 
　　}}} 
　　MyReduce类主要实现将数据流转换成图片保存到本地，并输出。 
　　5）编写主函数类 
　　创建MyTest.java。 
　　static{System.loadLibrary（Core.NATIVE_LIBRARY_NAME）；} 
　　public static void main（String[] args） { 
　　Job job = new Job（conf，" "）； 
　　job.setMapperClass（MyMap.class）； 
　　job.setReducerClass（MyReduce.class）； 
　　job.setInputFormatClass（SequenceFileInputFormat.class）； 
　　FileInputFormat.addInputPath（job，path）； 
　　FileOutputFormat.setOutputPath（job， new Path（"/result"））； 
　　System.exit（job.waitForCompletion（true）？0：1）； 
　　}} 
　　主函数实现Map、Reduce程序的调用。 
　　将Test项目打包成Test.jar（打包时选择Runnable JAR file，否则运行时会找不到路径），保存到主目录下，并在命令行中执行以下命令运行： 
　　hadoop jar Test.jar MyTest 
　　运行结果如图2所示。 
　　 
　　图2 运行效果图 
　　本示例主要实现对二进制图片文件的读取，转换，显示，存储。通过这几个步骤的实现表明，本环境能实现在hadoop平台上使用opencv进行图像的处理。 
　　5 结束语 
　　为了提高图像处理的速度，算法精度的提高是必不可少的，但集群化处理，对于大量的图片来说也是必需的。本文介绍了集群化图像处理平台环境的搭建，经过编码测试，在此大数据平台上可以实现opencv类的调用进行图像处理。本文为集群化图像处理的实现提供了平台搭建的基础，具有参考价值。 
　　参考文献： 
　　[1] 张林，吴振强.基于OpenCV的图像特征智能识别系统设计[J].电子设计工程， 2015， 23（20）： 189-192. 
　　[2] 霍树民.基于Hadoop的海量影像数据管理关键技术研究[D].长沙： 国防科学技术大学， 2010. 
　　[3] 英英.基于MATLAB的图形图像处理系统的实现[D].呼和浩特： 内蒙古大学， 2013. 
　　[4] 寇福东.基于多核DSP的数字图像处理并行化方法研究[D].北京： 北京理工大学， 2015. 
　　[5] 张良将，宦飞，王杨德. Hadoop云平台下的并行化图像处理实现[J]. 通信技术， 2012（10）： 59-62.