hadoop2.X如何将namenode与SecondaryNameNode分开配置

来源:互联网 发布:国内音乐节数据 编辑:程序博客网 时间:2024/05/18 21:08
1.如何将namenode与SecondaryNameNode分开?

2.SecondaryNameNode单独配置,需要修改那些配置文件?


3.masters文件的作用是什么?






我们这里假设你已经安装配置了hadoop2.2,至于如何配置可以参考,hadoop2.2完全分布式最新高可靠安装文档。
在这个基础上,我们对配置文件做一些修改:
1.增加masters文件
  1. sudo vi masters
复制代码


peizhsecondary.png (50.46 KB, 下载次数: 1)

下载附件  保存到相册

2014-6-17 06:10 上传



这里面放什么内容还是比较关键的,这里我们指定slave1节点上运行SecondaryNameNode。

注意:如果你想单独配置一台机器,那么在这个文件里面,填写这个节点的ip地址或则是hostname,如果是多台,则在masters里面写上多个,一行一个,我们这里指定一个
  1. slave1
复制代码

content.png (4.95 KB, 下载次数: 1)

下载附件  保存到相册

2014-6-17 06:14 上传



2.修改hdfs-site.xml
在下面文件中增加如下内容:(记得下面亦可写成ip地址,这里为了理解方便,写的是hostname)
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>

hdfssite.png (28.39 KB, 下载次数: 1)

下载附件  保存到相册

2014-6-17 06:21 上传





3.修改core-site.xml文件

  1. <property>
  2.   <name>fs.checkpoint.period</name>
  3.   <value>3600</value>
  4.   <description>The number of seconds between two periodic checkpoints.
  5.   </description>
  6. </property>
  7. <property>
  8.   <name>fs.checkpoint.size</name>
  9.   <value>67108864</value>
  10. </property>
复制代码

coresite.png (24.2 KB, 下载次数: 1)

下载附件  保存到相册

2014-6-17 06:20 上传




上面修改完毕,相应的节点也做同样的修改





下面我们开始启动节点:

  1. start-dfs.sh
复制代码
输出如下内容:
  1. Starting namenodes on [master]
  2. master: starting namenode, logging to /usr/hadoop/logs/hadoop-aboutyun-namenode-master.out
  3. slave2: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave2.out
  4. slave1: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave1.out
  5. Starting secondary namenodes [slave1]
  6. slave1: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-aboutyun-secondarynamenode-slave1.out
复制代码

startdfs.sh.png (35.47 KB, 下载次数: 1)

下载附件  保存到相册

2014-6-17 06:27 上传





然后查看节点:
(1)master节点:
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ jps
  2. 5994 NameNode
  3. 6201 Jps
复制代码


master.png (7.54 KB, 下载次数: 0)

下载附件  保存到相册

2014-6-17 06:28 上传




(2)slave1节点
  1. aboutyun@slave1:/usr/hadoop/etc/hadoop$ jps
  2. 5199 SecondaryNameNode
  3. 5015 DataNode
  4. 5291 Jps
复制代码


slave1.png (7.89 KB, 下载次数: 0)

下载附件  保存到相册

2014-6-17 06:29 上传




(3)slave2节点
  1. aboutyun@slave2:/usr/hadoop/etc/hadoop$ jps
  2. 3628 DataNode
  3. 3696 Jps
复制代码

slave2.png (7.53 KB, 下载次数: 0)

下载附件  保存到相册

2014-6-17 10:18 上传







停止节点:
  1. master: stopping namenode
  2. slave1: stopping datanode
  3. slave2: stopping datanode
  4. Stopping secondary namenodes [slave1]
  5. slave1: stopping secondarynamenode
复制代码









0 0
原创粉丝点击