Hadoop的namenode和secondnamenode分开部署在不同服务器
来源:互联网 发布:linux c语言sleep 编辑:程序博客网 时间:2024/05/26 19:15
一、系统环境:
Hadoop 0.20.2、JDK 1.6、Linux操作系统
二、使用背景
网上关于hadoop的集群配置,很多情况下,都是把namenode和secondnamenode部署在同一服务器上。为了降低风险,一个大的集群环境,最好是把这两个配置到不同的服务器上。
三、操作
要达到这要求,需要对conf/master、conf/hdfs-site.xml和conf/core-site.xml这三个配置文件进行设置。
1、conf/master文件:
hadoop的官网和大多网上的安装手册,都要求此文件配置namenode机器的IP或是名称。www.linuxidc.com 其实,master文件不决定哪个是namenode,而决定的是secondarynamenode(决定谁是namenode的关键配置是core-site.xml中的fs.default.name这个参数)。所以,这里直接写上作为secondnamenode的IP或机器名称(可以是集群中任一个datanode节点)就可以了。一行一个(可以配置多个secondnamenode)。
2、hdfs-site.xml:这个配置文件要改1个参数:
<property>
<name>dfs.http.address</name>
<value>hostIP:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
3、core-site.xml:这里有2个参数可配置,但一般来说我们不做修改。
fs.checkpoint.period表示多长时间记录一次hdfs的镜像。www.linuxidc.com 默认是1小时。fs.checkpoint.size表示一次记录多大的size,默认64M。
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers
a periodic checkpoint even if the fs.checkpoint.period hasn't expired.
</description>
</property>
四、检查结果
配置完成之后,我们需要检查一下是否成功。
1、在运行secondarynamenode的机器上,运行命令jps查看是否存在secondarynamenode进程。如不存在则表示secondarynamenode的启动有异常。
2、如果存在,在查看对应的目录下是否有备份记录。有以下目录结构表示设置成功。
进入hdfs-site.xml文件中配置的fs.checkpoint.dir目录,运行以下命令:
-bash-3.2$ ll namesecondary/
drwxr-xr-x 2 analyzer analyzer 4096 11-03 17:28 current
drwxr-xr-x 2 analyzer analyzer 4096 09-10 01:20 image
-rw-r--r-- 1 analyzer analyzer 0 11-03 16:22 in_use.lock
drwxr-xr-x 2 analyzer analyzer 4096 11-03 16:28 previous.checkpoint
-bash-3.2$ ll namesecondary/current/
-rw-r--r-- 1 analyzer analyzer 4 11-03 17:28 edits
-rw-r--r-- 1 analyzer analyzer 602092 11-03 17:28 fsimage
-rw-r--r-- 1 analyzer analyzer 8 11-03 17:28 fstime
-rw-r--r-- 1 analyzer analyzer 101 11-03 17:28 VERSION
- hadoop的namenode和secondnamenode分开部署在不同服务器
- Hadoop的namenode和secondnamenode分开部署在不同服务器
- Hadoop的namenode和secondnamenode分开部署在不同服务器
- Hadoop中namenode和secondarynamenode分开部署
- 将namenode与SecondNamenode分离在不同的主机上
- Hadoop--NameNode && SecondNameNode
- 基于hadoop2.2的namenode与SecondaryNameNode分开配置在不同的计算机
- 基于hadoop2.2的namenode与SecondaryNameNode分开配置在不同的计算机
- hadoop SecondNamenode
- hadoop SecondNamenode
- 在OpenStack下部署Hadoop时启动不了NameNode问题的解决
- Hadoop:NameNode和Secondary NameNode
- 在hadoop的namenode上建立文件夹
- HBase和PinPoint分别部署在不同服务器上
- 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
- 端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
- 关于附件和服务分开在不同机子上
- 对DataNode和namenode的理解--hadoop
- windows7下用iis和vs2010发布局域网网站
- 指令流水线的吞吐率
- 2014百度笔试题
- Spring AOP xml异常
- 我从业余项目被收购的过程中所学到的
- Hadoop的namenode和secondnamenode分开部署在不同服务器
- 获取transition表单的代码SQL
- ios UIApplication 在本地消息的推送上的应用
- sudo,,sudo-i ,,su的区别
- 二分查找
- 九度 OJ1001:A+B for Matrices
- Tomcat 6 配置虚拟主机<域名/二级域名>,并通过Tomcat控制台对多个Host进行管理
- Qt使用QSqlTableModel执行SQL语句,QLineEdit输入查询条件完成查询功能
- 第一篇致csdn