Hadoop cdh4.2.0配置 ShortCircuitRead
来源:互联网 发布:苏宁互联是什么网络 编辑:程序博客网 时间:2024/05/19 18:17
Hadoop在读数据时提供了一种优化:如果读的block文件在本地时,hdfs的client会直接读本地data.dir内的block文件,而不是从datanode的网络端口读取。这个优化在mapreduce时会对性能有很大的提升,因为一般来说mapper都会和读取数据在一台server上。
ShortCircuitRead功能在chd4.1.0上有bug,除了hdfs用户其他用户比如hbase,yarn都不能采用ShortCircuitRead。在cdh4.2.0上修复了此bug,因此我们能够在此版本上enable这个功能。
步骤:
1.在hadoop的配置文件hdfs-site.xml中添加以下配置项:
<property> <name>dfs.client.read.shortcircuit</name> <value>true</value></property>
2.如果非hbase、mapreduce程序需要在启动参数中加入native配置,hbase和mapreduce因为在启动时会加载hadoop的native库所以不需要此配置:-Djava.library.path=/usr/lib/hadoop/lib/native"
在配置好后开启debuglog读文件,如果正好读取的block在本地就可以看到对应的log了:
The short-circuit local reads feature is enabled.
- Hadoop cdh4.2.0配置 ShortCircuitRead
- hadoop-2.0.0-cdh4.1.2.tar.gzl安装配置
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- cdh4 ha (hadoop-2.0.0-cdh4.1.2.tar.gz)
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
- hadoop commands(hadoop-2.0.0-cdh4.4.0)
- 公司集群配置方式Hadoop 2.0.0-cdh4.5.0 (hadoop-env.sh)
- hadoop-2.0.0-cdh4.2.1安装手册
- hadoop-2.0.0-cdh4.4.0 doc
- Hadoop 2.0.0-cdh4.5.0安装
- hadoop-2.0.0-cdh4.5.0安装
- Hadoop 2.0.0-cdh4.5.0安装
- hadoop cdh4 下载地址
- hadoop cdh4 eclipse plugin
- hadoop cdh4 文件结构
- 搭建hadoop-dist-2.0.0-cdh4.2.0开发测试环境
- jQuery(三)
- java预备知识
- 程序设计语言
- 用矩形法求定积分的通用函数
- drupal7 $user 对象的成分
- Hadoop cdh4.2.0配置 ShortCircuitRead
- 分析jrtplib库的内存管理类
- Android学习-Service的绑定
- blender2.6版快捷键
- Crucible使用说明
- android 中.9图片的用法
- 位图内存管理方法
- linux gcc常用命令及动态库/静态库的使用
- Google maps API开发