Hadoop的基准测试工具使用
来源:互联网 发布:google chrome mac版 编辑:程序博客网 时间:2024/05/21 14:04
一、背景
由于以前没有细看hadoop提供的测试工具,只是在关注hadoop本身的内容,所以很多的性能测试都忽略了。最近花了一周的时间准备做个性能测试,但是都是采用自己的方法得出的抽象值。今天看淘宝的博客,提到hadoop自带的测试工具,遂试了一把,记录一下,供以后参考。
二、使用
我做基准测试主要是用了hadoop-0.20.2-test.jar这个工具jar包。主要是做了I/O的测试。在网上也找了一些资料,抄抄谢谢记录如下:
DFSCIOTest
测试libhdfs中的分布式I/O的基准。Libhdfs是一个为C/C++应用程序提供HDFS文件服务的共享库。
DistributedFSCheck
文件系统一致性的分布式检查。
TestDFSIO
分布式的I/O基准。目前我就做了这个测试。输入参数:hadoop jar hadoop-0.20.2-test.jar TestDFSIO -write -nrFiles 10 -fileSize 1000,结果在同级目录下会有一个TestDFSIO_results.log,查看就可以了。完事记得执行hadoop jar hadoop-0.20.2-test.jar TestDFSIO -clean
clustertestdfs
对分布式文件系统的伪分布式测试。
dfsthroughput
测量HDFS的吞吐量。
filebench
SequenceFileInputFormat和SequenceFileOutputFormat的基准,这包含BLOCK压缩,RECORD压缩和非压缩的情况。TextInputFormat和TextOutputFormat的基准,包括压缩和非压缩的情况。
loadgen
通用的MapReduce加载产生器。
mapredtest
MapReduce作业的测试和检测。
mrbench
创建大量小作业的MapReduce基准。
nnbench
NameNode的性能基准。
testarrayfile
对有键值对的文本文件的测试。
testbigmapoutput
这是一个MapReduce作业,它用来处理不可分割的大文件来产生一个标志MapReduce作业。
testfilesystem
文件系统读写测试。
testipc
Hadoop核心的进程间交互测试。
testmapredsort
用于校验MapReduce框架的排序的程序。
testrpc
对远程过程调用的测试。
testsequencefile
对包含二进制键值对的文本文件的测试。
testsequencefileinputformat
对序列文件输入格式的测试。
testsetfile
对包含二进制键值对文本文件的测试。
testtextinputformat
对文本输入格式的测试。
threadedmapbench
对比输出一个排序块的Map作业和输出多个排序块的Map作业的性能。
- Hadoop的基准测试工具使用
- Hadoop的基准测试工具使用(部分转载)
- Hadoop基准测试工具
- Hadoop 集群的基准测试
- Hadoop 集群的基准测试
- Hadoop安装后的集群基准测试
- Hadoop安装后的集群基准测试
- Hadoop-2.2.0下的基准测试。
- 怎样选择Hadoop的基准测试
- hadoop 和spark的基准测试(1)
- 基准测试工具sysbench安装和使用
- JMH工具进行基准测试简单使用
- hadoop基准测试
- Hadoop Gridmix基准测试
- 运行hadoop基准测试
- hadoop基准测试---新手入门
- 运行hadoop基准测试
- hadoop基准测试
- 报表练习题:销售订单打印的相关说明
- php0114331
- U盘文件损坏怎么办还能恢复吗
- vc++下给自己的程序添加背景音乐
- 怎样解决Windows Update当前无法检查更新的问题
- Hadoop的基准测试工具使用
- 【PHP】YII 框架学习笔记
- 广东强降水和强对流天气已致7人死亡
- 用vlc搭建简单流媒体服务器(UDP和TCP方式)
- 【玩转cocos2d-x之三十七】粒子系统的加载优化
- Ubuntu(Linux)下手机调试Android程序(小米手机连接上Android ADB)
- 继承
- codeblocks调用lua“undefined reference to `luaL_newstate()”错误
- <C++实践系列>C++中的虚函数(virtual function)