hadoop 2.2.0 运维

1. 从secondary name node 回复数据：

    config: hdfs-site.xml

<property>  <name>dfs.secondary.http.address</name>  <value>second_namenode:50090</value>  <description>    The secondary namenode http server address and port.    If the port is 0 then the server will start on a free port.  </description></property> 

   secondary name node 默认checkpoint dir is:

<property>   <name>fs.checkpoint.dir</name>   <value>${hadoop.tmp.dir}/dfs/namesecondary</value> </property>

2. 回复checkpoint从secondary namenode

rm -rf dfsname/*scp -r secondaryNameNode root@NameNode:/*/dfsname

3. 同时可以配置checkpoint Node 和 BackUPNode (新功能)

4.配置datanode rack信息 (配置完机架信息后，hadoop fs -cat filename 读文件出现 nullpoint 异常，怀疑是dns域名需要修改)

  rack命名规范：  /rack1    etc.

  配置core-site.xml  in name node

<property><name>topology.script.file.name</name><value>/path/to/topology_rack.sh</value></property>

编写机架映射脚本

#!/bin/bashipaddr=$1if [ $ipaddr = "ip1" -o $ipaddr = "ip2" ]thenecho "/rack1"fiif [ $ipaddr = "ip3" -o $ipaddr = "ip4" ]thenecho "/rack2"fi

测试机架topology：

hdfs dfsadmin -printTopology

5. 安全模式：

NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1- dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

安全模模式控制命令：

hdfs dfsadmin -safemode