多线程写图像文件的一点小测试（Boost + Gual）
来源：互联网 发布：淘宝祛痘产品 编辑：程序博客网 时间：2024/06/12 23:13
转载自： http://blog.csdn.net/liminlu0314/article/details/7420484
在处理遥感图像中，发现往往比较耗时的是在数据的IO中，尤其是在O（写入）的时候更加耗时。GDAL可以支持图像的多线程写入，下面结合实例进行简单的测试，看看实际效果会不会提高。
在这里我使用的是boost库的thread库来进行多线程创建。下面先使用计算PI来对boost的thread有个简单的说明。这里的计时使用的是boost的progress_timer。下面是使用多线程计算PI的一段小代码，对于多线程计算的10部分没有加起来。
注： 以下boost为开源库，请自己去下载。
#include <stdio.h>#include <boost/progress.hpp>//boost计时函数#include <boost/thread.hpp>//boost多线程#include <boost/bind.hpp>//boost bind库using namespace boost;//计算PI的个数int iSize = 1000000000;int iSize1 = 100000000;//使用普通方式计算double CalcPi_S(){double dPi = 0.0;int iFlag = 1;for (int k=0; k<=iSize; k++){dPi = dPi + iFlag/(2*k+1.0);iFlag = -iFlag;}return dPi*4;}//多线程计算核心函数void ThreadPi(int iStart, int iEnd){double dPi = 0.0;int iFlag = 1;for (int k=iStart; k<=iEnd; k++){dPi = dPi + iFlag/(2*k+1.0);iFlag = -iFlag;}printf("%18.16lf\n", dPi*4);}//多线程计算函数void CalcPi_M(){for (int i=0; i<10; i++){boost::thread thrd(boost::bind(&ThreadPi, i*iSize1, (i+1)*iSize1));thrd.join();}}int main(){//不使用多线程处理progress_timer *pTime = new progress_timer(); // 开始计时printf("单线程计算PI\n");double dsPi = CalcPi_S();printf("计算结束，耗时：%f PI=%18.16lf\n", pTime->elapsed(), dsPi);//使用多线程处理pTime->restart(); // 开始计时printf("多线程计算PI\n");CalcPi_M();printf("计算结束，耗时：%f\n", pTime->elapsed());delete pTime;system("pause");return 0;}
通过对上面的代码进行测试，使用的是Release编译的结果，结果大概如下，第一次：
通过四次测试，发现多线程还是能够稍微提高点速度，但是不知道为什么，单线程计算的时候，时间跳跃比较大，起伏较大，不知道是什么原因，有知道的童鞋望不吝告知。
下面是创建了一个10000×10000的单波段图像，格式是Erdas的img格式，图像的内容是按照行号对255取余的结果，结果图像就是一条一条的黑白相间的波纹。多线程还是使用10个线程来写图像的不同部分。代码如下：
注： 以下gdal为开源库，请自己去下载。
（可参考：
GDAL源码剖析（一）
GDAL源码剖析（二）之编译说明
）
// 下面是创建了一个10000×10000的单波段图像，// 格式是Erdas的img格式，图像的内容是按照行号对255取余的结果，// 结果图像就是一条一条的黑白相间的波纹。多线程还是使用10个线程来写图像的不同部分#include <stdio.h>#include "gdal_priv.h"#include <boost/progress.hpp>//boost计时函数#include <boost/thread.hpp>#include <boost/bind.hpp>using namespace boost;#pragma comment(lib, "gdal_i.lib")typedef unsigned char DT_8U;/*** @brief 创建输出图像*/bool CreateImage(const char* pszFile){GDALAllRegister();GDALDriverH hDriver = GDALGetDriverByName( "HFA" );if( hDriver == NULL )return false;GDALDatasetH hDstDS = GDALCreate( hDriver, pszFile, 10000, 10000, 1, GDT_Byte, NULL );//创建输出文件if( hDstDS == NULL )return false;GDALClose(hDstDS);return true;}bool SingleProcess(const char* pszFile){GDALAllRegister();GDALDataset *poSrcDS = (GDALDataset *) GDALOpen( pszFile, GA_Update );if( poSrcDS == NULL )return false;int iWidth = poSrcDS->GetRasterXSize();int iHeight = poSrcDS->GetRasterYSize();GDALRasterBand *pBand = poSrcDS->GetRasterBand(1);DT_8U *pBuf = new DT_8U[iWidth];memset(pBuf, 0, sizeof(DT_8U)*iWidth);//超出AOI外for (int i=0; i<iHeight; i++){int iValue = i % 255;memset(pBuf, iValue, sizeof(DT_8U)*iWidth);//超出AOI外pBand->RasterIO(GF_Write , 0, i, iWidth, 1, pBuf, iWidth, 1, GDT_Byte, 0, 0);}GDALClose((GDALDatasetH) poSrcDS);return true;}void ThreadFun(const char* pszFile, int iStart, int iEnd/*, int index*/){GDALAllRegister();GDALDataset *poSrcDS = (GDALDataset *) GDALOpen( pszFile, GA_Update );if( poSrcDS == NULL )return;int iWidth = poSrcDS->GetRasterXSize();int iHeight = poSrcDS->GetRasterYSize();GDALRasterBand *pBand = poSrcDS->GetRasterBand(1);DT_8U *pBuf = new DT_8U[iWidth];memset(pBuf, 0, sizeof(DT_8U)*iWidth);//超出AOI外for (int i=iStart; i<iEnd; i++){int iValue = i % 255;memset(pBuf, iValue, sizeof(DT_8U)*iWidth);//超出AOI外pBand->RasterIO(GF_Write , 0, i, iWidth, 1, pBuf, iWidth, 1, GDT_Byte, 0, 0);}GDALClose((GDALDatasetH) poSrcDS);//printf("线程%n结束\n", index);}bool MultiProcess(const char* pszFile){for (int i=0; i<10; i++){boost::thread thrd(boost::bind(&ThreadFun, pszFile, i*1000, (i+1)*1000/*, i*/));thrd.join();}return true;}int main(){//不使用多线程处理progress_timer *pTime = new progress_timer(); // 开始计时const char* pszFileSingle = "Single.img";printf("创建图像开始\n");CreateImage(pszFileSingle);printf("创建图像结束，耗时：%f\n", pTime->elapsed());pTime->restart(); // 开始计时SingleProcess(pszFileSingle);printf("单线程处理图像结束，耗时：%f\n", pTime->elapsed());//使用多线程处理pTime->restart(); // 开始计时const char* pszFileMulti = "Multi.img";printf("创建图像开始\n");CreateImage(pszFileMulti);printf("创建图像结束，耗时：%f\n", pTime->elapsed());pTime->restart(); // 开始计时MultiProcess(pszFileMulti);printf("多线程处理图像结束，耗时：%f\n", pTime->elapsed());delete pTime;system("pause");return 0;}依旧使用Release编译的结果，运行的结果如下，
第一次：
如果你有更好的方式，望告知，谢谢。
以下补充网友对上述现象的解释：
（1） 读写最好还是不要多线程，硬盘读写的速度有限，单线程时已经满负荷了，多线程又会增加线程之间的切换，会增加时间。
如果想增加读写速度，应该增加硬盘，做raid
（2）首先是硬盘的写入是串行的，CPU的计算才是并行的，如果你偏重计算那么多线程能提高，要不怎么叫做并行计算呢；
如果侧重存储，除非数据量达到足以体现优势的程度，否则加上线程之间切换的损耗当然会效率更加地下。
（3）这个是按照算法来说的，目前来说大多数的算法都是很快的，瓶颈都在磁盘的IO上，我们针对大多数的算法都进行过测试，基本一半以上的时间都耗费在磁盘的IO上。
比如我处理一个影像，处理数据用了1分钟，写入图像用了2分钟，那你把你的算法优化的很牛逼，10秒中搞定，你的效率提高了多少，但是如果我多线程写入的话，
我效率提高一倍，也就是写入图像用了1分钟，那这个效率明显比你优化你的算法来的实惠。这个东西还是要针对算法来说的。
（4）磁盘IO单线程顺序写时最快的，如果多线程写，磁盘的磁头要不断重新寻址，所以写入速度反而会慢。
- 多线程写图像文件的一点小测试（Boost + Gual）
- 多线程写图像文件的一点小测试
- 多线程锁的一点测试
- 使用boost的多线程库写的线程池测试用例
- C++：今天写的一点小程序
- 写代码的一点小建议
- WINDOWS 多线程的一点小实验
- 写数据库测试工具的一点心得
- 写数据库测试工具的一点心得
- 使用Boost.Asio写的多线程TCP转发代理服务器
- 使用Boost.Asio写的多线程TCP转发代理服务器
- 使用Boost.Asio写的多线程TCP转发代理服务器
- 使用Boost.Asio写的多线程TCP转发代理服务器
- Delphi XE10写的转换图像文件大小，用于生成安卓和IOS的小图标和启动画面
- perl写的cgi一点小的问题
- JAVA多线程一点小见解
- [乐评]写一点关于我心中的小女人
- 写oracle存储过程的一点小经验
- linux的swapper_pg_dir的初始化
- GNU ARM汇编--(八)s3c2440的watchdog
- BMP文件格式详解
- Android的EidtText的一些研究，持续更新中！！！！！
- android源码解析 ---- camera 照相机 摄像机
- 多线程写图像文件的一点小测试（Boost + Gual）
- android notification
- Dialog背景透明无边框
- Component MSCOMCTL.OCX or one of its dependencies not currently registered
- 使用vc++建立一个utility工程
- multipart form-data boundary 说明
- 黑马程序员--java学习之享元与枚举
- 前端创作的总结
- DES加密解密算法（转）
