大数据1-Hadoop双namenode配置搭建(HA)
来源:互联网 发布:ovid数据库检索方式 编辑:程序博客网 时间:2024/05/21 15:01
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。
Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。
配置Hadoop文件
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下:
core-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
hdfs-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
mapred-site.xml
- 1
- 2
- 3
- 4
yarn-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
hadoop-env.sh添加如下内容
- 1
- 2
- 3
yarn-env.sh添加如下内容
- 1
启动命令
注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了
首次启动命令
1、首先启动各个节点的Zookeeper,在各个节点上执行以下命令:
- 1
2、在某一个namenode节点执行如下命令,创建命名空间
- 1
3、在每个journalnode节点用如下命令启动journalnode
- 1
4、在主namenode节点用格式化namenode和journalnode目录
- 1
5、在主namenode节点启动namenode进程
- 1
6、在备namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!
- 1
- 2
7、在两个namenode节点都执行以下命令
- 1
8、在所有datanode节点都执行以下命令启动datanode
- 1
日常启停命令
- 1
- 2
测试验证
首先在浏览器分别打开两个节点的namenode状态,其中一个显示active,另一个显示standby
然后在active所在的namenode节点执行jps,杀掉相应的namenode进程
前面standby所对应的namenode变成active
2017-03-05更新
Hadoop配置了HA,Spark也需要更改一些配置,否则会报java.net.UnknownHostException的错误,就是在$SPARK_HOME/conf/spark-defaults.conf内添加如下内容:
- 1
Men were born to be suffering, the pain of struggle, or the pain of regret?
- 大数据1-Hadoop双namenode配置搭建(HA)
- Hadoop双namenode配置搭建(HA)
- Hadoop双namenode配置搭建(HA)
- 大数据 (三)Hadoop-HDFS namenode的HA --- zookeeper的引出
- hadoop namenode 高可用(HA)搭建指南 QJM方式
- apache hadoop namenode的HA搭建
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置
- hadoop集群搭建-Namenode HA和ResourceManager HA
- Hadoop+Zookeeper+NameNode(HA)+ResourceManager(HA)自动切换 配置
- 大数据实战下笔记——Hadoop NameNode HA的原理
- Hadoop大数据NameNode体系结构
- Hadoop namenode HA方案
- hadoop namenode ha方案
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
- jaxb实现XML与JavaBean的互相转换遇到的难点(二)
- eclipse运行报java.lang.OutOfMemoryError: PermGen space解决方法(自己备注用)
- Leetcode(W8):122. Best Time to Buy and Sell Stock II
- Handler处理消息的机制
- C# 中的委托和事件
- 大数据1-Hadoop双namenode配置搭建(HA)
- mac-安装redis
- 【Spark2.0源码学习】-9.Job提交与Task的拆分
- 处理输入成绩异常
- 【Ubuntu】使用 gnome-screenshot 截图
- git文件过大无法上传解决
- 第三天:浪迹天涯网上商城(1.0版本)--后台管理系统--商品列表的查询
- Java中代码的执行顺序
- VMware Workstation的使用过程中出现的错误及解决方案