hadoop 2.7.3 HA 安装指南
来源:互联网 发布:中标麒麟 软件源 编辑:程序博客网 时间:2024/06/04 00:22
Hadoop 2.7集群安装
安装Zookeeper集群
安装ZooKeeper集群需要至少3个以上奇数个节点,具体安装细节,请查阅我的博客。
Hadoop配置
core-site.xml
#修改为:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoopmaster:9000</value> <description>NameNode URI</description> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/h2/HA/data/jn</value> <description>journalnode</description> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/h2/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/h2/hdfs/datanode</value> </property> <property> <name>dfs.nameservices</name> <value>ha-cluster</value> </property> <property> <name>dfs.ha.namenodes.ha-cluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.ha-cluster.nn1</name> <value>hadoopmaster:9000</value> </property> <property> <name>dfs.namenode.rpc-address.ha-cluster.nn2</name> <value>hadoopmaster2:9000</value> </property> <property> <name>dfs.namenode.http-address.ha-cluster.nn1</name> <value>hadoopmaster:50070</value> </property> <property> <name>dfs.namenode.http-address.ha-cluster.nn2</name> <value>hadoopmaster2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoopmaster:8485;node1:8485;node2:8485/ha-cluster<value> </property> <property> <name>dfs.client.failover.proxy.provider.ha-cluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>192.168.2.76:2181,192.168.2.77:2181,192.168.2.88:2181</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/app/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property></configuration>
mapred-site.xml
<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value> <description>Execution framework.</description></property></configuration>
yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property></configuration>
复制配置文件到各个node节点中,并且保证hadoopmaster、hadoopmaster2能够ssh到各个节点中,master机器可以彼此通信。具体细节,请参考hadoop集群安装的ssh设置步骤。
启动进程操作
启动journalnode
在3个节点(hadoopmaster、node1、node2)上启动journalnode进程:
hadoop-daemon.sh start journalnode
格式化Zookeeper文件系统
在active的namenode上运行:
hdfs zkfc -formatZK
格式化namenode
在active的namenode格式化namenode,并启动namenode:
hdfs namenode -formathadoop-daemon.sh start namenode
在standby的namenode格式化namenode:
hdfs namenode -bootstrapStandby
启动hadoop所有进程
先stop已经启动的进程,然后,再启动hadoop所有进程。
stop-all.shstart-all.sh
查看运行的进程
active的master进程:
$ jps2551 JournalNode2839 ResourceManager2329 NameNode2731 DFSZKFailoverController3102 Jps25934 JobHistoryServer
standby的master进程:
$ jps11668 DFSZKFailoverController11550 NameNode11743 Jps
node1:
$ jps4035 NodeManager3924 JournalNode4164 Jps3818 DataNode
node2:
$ jps17459 NodeManager17588 Jps17349 JournalNode17243 DataNode
浏览WEB UI
MapReduce 管理页面:
http://{hadoopmaster}:50070/
http://{hadoopmaster}:50070/
验证HA
kill掉active的namenode,看看standby的namnode是否会变成active的。
http://{hadoopmaster2}:50070/
http://{hadoopmaster2}:50070/dfshealth.html#tab-datanode
验证HA有效,并且是成功的。
欢迎加入微信公众号
0 0
- hadoop 2.7.3 HA 安装指南
- Hadoop-2.7.3 HA搭建
- hadoop-2.7.4 安装部署: HA+Federation
- Hadoop HA的安装配置
- hadoop HA环境安装配置
- Hadoop-2.7.3 HA 完全分布式搭建
- Hadoop 2.7集群安装指南
- Hadoop-2.5.0-cdh5.3.2 HA 安装
- Hadoop-2.5.0-cdh5.3.2 HA 安装
- Hadoop集群之Hive HA 安装配置
- 安装 HA-hadoop教程,关键流程
- hadoop集群安装 7节点;HA
- hadoop 集群安装(二) HA部署
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- Hadoop 2.7.3 高可用(HA)集群部署
- Hadoop-2.7.3集群(HA HDFS)搭建
- HA Hadoop-2.7.3+Hbase-1.2.4搭建
- Hadoop安装部署指南
- Linux启动过程
- redhat6 搭建svn离线服务
- 四、引入mybatis连接数据库
- VerticalBannerView 是一个 android 平台下的自定义控件,通常用来展示广告,类似淘宝头条
- dialog设计stytle配置详解
- hadoop 2.7.3 HA 安装指南
- 神经网络和深度学习(二)——BP(Backpropagation Algorithm, 反向传播算法)
- 使APP无法使用系统截图
- vc6中打印Unicode宽字节字符
- Servlet请求转发与请求重定向
- php命名空间
- python中的文件内容操作
- 一个 Demo 告诉你怎么搞 JNI
- 微信遮罩层