centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试
来源:互联网 发布:乐创圣衣神话淘宝 编辑:程序博客网 时间:2024/04/29 10:35
hadoop2.2.0 的8节点 配置
测试环境:硬件dell服务器
esxi5.1版虚拟化 这里虚拟化环境应该无所谓,vm的测试环境部署起来简单。
1、 下载 cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz
tar -zxvf hadoop-2.2.0.tar.gz
然后关闭selinux和iptables 执行setenforce 0 && service iptables off
推荐永久关闭 请参考网上相关文档。
这里rpm装oracle官方的jdk32位。
Vi /opt/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
更改export JAVA_HOME=/usr/java/jdk1.7.0_45/ 这里视自己的jdk版本而定。
2、编辑host文件 vi /etc/hosts
192.168.1.181 hadoop181
192.168.1.182 hadoop182
192.168.1.183 hadoop183
192.168.1.184 hadoop184
192.168.1.185 hadoop185
192.168.1.186 hadoop186
192.168.1.187 hadoop187
192.168.1.188 hadoop188
192.168.1.189 hadoop189
3、如下操作都在第一台服务器配置,配置完后直接clone其他服务器就行。快速简单。
其中181定义为主节点,其他从。
开始配置ssh免登陆。有的centos没有openssh客户端,需要装 yum install openssh-clients
然后开始建ssh目录 mkdir ~/.ssh
然后生成密钥 执行 sshkeygen 一路y下去
拷贝公钥 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4、 更改配置文件 如下配置都在<configuration>模块下
配置核心文件
vi /opt/hadoop-2.2.0/etc/hadoop/core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
<description></description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.181:8010</value>
<description></description>
</property>
更改map文件
mv
/opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml
vi /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.181:54311</value>
<description></description>
</property>
更改hdfs的配置
vi /opt/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
<description></description>
</property>
5、开始配置181的slave
vi /opt/hadoop-2.2.0/etc/hadoop/slaves
hadoop182
hadoop183
hadoop184
hadoop185
(这里先只放4个节点,后续测试动态增加节点)
本次采用的是整个虚拟机整体复制8份部署测试,如果不是这种部署方式的话需要配置ssh登陆和hosts文件,并且拷贝一份已经配置好的hadoop到其他服务器的同路径下。
6、开始启动:
格式化/opt/hadoop-2.2.0/bin/hdfs namenode -format
然后启动/opt/hadoop-2.2.0/sbin/start-dfs.sh
/opt/hadoop-2.2.0/sbin/start-yarn.sh
Ok,幸福时光到了,打开http://192.168.1.181:8088 这个地址看吧
然后打开http://192.168.1.181:50070 ,这个地址可以看看hdfs的相关信息。
7、 开始测试动态添加节点
打开181上的vi /opt/hadoop-2.2.0/etc/hadoop/slaves
添加上
hadoop186
hadoop187
hadoop188
hadoop189
然后执行/opt/hadoop-2.2.0/sbin/start-dfs.sh ,会自动启动另外4台服务器的hdfs,然后到主服务器的http://192.168.1.181:50070 查看下当前的Live Node ,数量正确则没问题。
刷新节点的命令为:/opt/hadoop-2.2.0/bin/hdfs dfsadmin -refreshNodes
然后测试看了下 在182上添加的文件在所有服务器上都可以看到。
至于其他hdfs的操作请参考网上其他文档。
- centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试
- hadoop2.x 动态添加节点
- Hadoop2.2.0单节点安装及测试
- Hadoop2.2.0单节点安装及测试
- Hadoop2.2.0单节点安装及测试
- Hadoop2.2.0单节点安装及测试
- Hadoop2.2.0单节点安装及测试
- Hadoop2.2.0单节点安装及测试
- Hadoop2.x集群动态添加删除数据节点
- hadoop学习【13】——hadoop2动态添加节点
- Hadoop2.x集群动态添加删除数据节点
- Hadoop2.7.0学习——动态添加节点
- hadoop2.X动态添加删除节点及相关问题总结
- 动态添加TREEVIEW的节点
- 动态添加treeview的节点
- form动态节点的添加
- Tchart 动态添加节点
- dtree动态添加节点
- oled屏资料1
- 在label上画线
- 网站流量的高低究竟与alexa排名有什么关系呢?
- 我在南大的七年
- rescue grub解决方案
- centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试
- PuTTY 中文教程
- ZeroMQ(java)Socket之Dealer
- maven学习笔记
- 【php】下载文件
- 基于 格子Boltzman方法的poiseuille流模拟
- SSH框架的用户登录小实例
- Android自定义View的实现方法,带你一步步深入了解View(四)
- Ruby on Rails总结(五)