hadoop-2.4.0的Federation搭建
来源:互联网 发布:linux history 编辑:程序博客网 时间:2024/05/17 08:42
hadoop-2.4.0 Federation的搭建
ns1的namenode:itr-mastertest01
ns2的namenode:itr-mastertest02
datanode:itr-nodetest01,itr-nodetest02
3.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)
3.1.1 hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_45
3.1.2 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.4.0/tmp</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns0</name>
<value>hdfs://itr-mastertest01:9000/</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns1</name>
<value>hdfs://itr-mastertest02:9000</value>
</property>
3.1.3 hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>itr-mastertest01:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>itr-mastertest01:50070</value>
</property>
<property>
<name>dfs.ha.namenodes.ns2</name>
<value>nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns2.nn2</name>
<value>itr-mastertest02:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns2.nn2</name>
<value>itr-mastertest02:50070</value>
</property>
3.1.6 slaves
itr-nodetest01
itr-nodetest02
3.1.7 删除其他节点的hadoop-2.4.0文件夹,然后把itr-mastertest01上的hadoop-2.4.0文件夹复制到itr-mastertest02、itr-nodetest01、itr-nodetest02节点
3.5 格式化namenode、启动namenode
在itr-mastertest01上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
在itr-mastertest01上执行hadoop/sbin/hadoop-daemon.sh start namenode
在itr-mastertest02上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
【clusterId的值与itr-mastertest01上执行的clusterId的值完全相同。如果不同,就不属于同一个federation】
在itr-mastertest02上执行hadoop/sbin/hadoop-daemon.sh start namenode
3.6 启动datanode
在itr-mastertest01上分别执行hadoop/sbin/hadoop-daemons.sh start datanode
3.8 启动resourcemanager和nodemanager
在itr-mastertest01上执行 hadoop/sbin/start-yarn.sh start resourcemanager
4.验证:
viewFS是跨隶属于同一个federation的多个hdfs的文件管理系统。
使用hadoop0:50070/dfsclusterhealth.jsp查看集群情况
使用hadoop/bin/hdfs dfs -ls viewfs:///统一查看联邦中的数据内容
0 0
- hadoop-2.4.0的Federation搭建
- Hadoop--Federation集群搭建
- 配置Hadoop-2.4.0的HA+Federation+Yarn详细记录
- Hadoop NameNode的Federation
- hadoop Federation设计文档
- hadoop HDFS Federation
- Hadoop HDFS-Federation概述
- 为已存在的Hadoop集群配置HDFS Federation
- Hadoop回顾--HDFS的HA机制&Federation机制
- hadoop federation 与hadoop HA
- centos hadoop-2.3.0(HA+Federation+YARN)配置
- Hadoop2.2.0--Hadoop Federation、Automatic HA、Yarn完全分布式集群搭建
- 整理Hadoop2下Hadoop Federation、Automatic HA、Yarn完全分布式集群搭建
- Hadoop2下Hadoop Federation、Automatic HA、Yarn完全分布式集群搭建
- Hadoop-2.6.2 HA + Federation 生产环境集群搭建实例以及源码编译案例分享
- Hadoop总结三:HDFS--Federation
- hadoop federation部署实践,亲测
- Hadoop学习五:hdfs federation
- javascript深入理解js闭包
- 人生第一篇微博
- WireShark on MacOS
- ALSA声卡驱动中的DAPM详解之六:精髓所在,牵一发而动全身
- Val编程-任务编程
- hadoop-2.4.0的Federation搭建
- ALSA声卡驱动中的DAPM详解之五:建立widget之间的连接关系
- 如何保证Android与服务器的DES加密保持一致
- git 使用笔记
- UML类图几种关系的总结
- nodejs初体验
- 平衡二叉树注意点
- Java图形化界面设计——布局管理器之FlowLayout(流式布局)
- 为什么答案是-54