Hadoop之——随笔(基于Hadoop-2.4.1)

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51316923

*****副本存放策略：

1、先在客户端所连接的datanode上存放一个副本
2、再在另一个机架上选择一个datanode存放第二个副本
3、最后在本机架上根据负载情况随机挑选一个datanode存放第三个副本

****副本数量的配置优先级

1、服务端hdfs-site.xml中可以配置
2、在客户端指定dfs.replication的值
客户端所指定的值优先级更高!!!

****DataNode定期向NameNode汇报自身所存储的block信息

----------性感的分割线------------
hadoop集群启动常见异常
1、hadoop节点的本地工作目录访问异常（权限）
2、namenode处于安全模式，导致无法上传数据
namenode在刚刚启动的时候处于安全模式不一定是异常，但是如果启动完成之后一直不退出安全模式，就有问题，可以用以下指令尝试手动退出    hdfs namenode -safemode leave  
如果退出不成功，可以查看日志信息或者关闭重启
3、start-dfs.sh后，直接上传文件，发现上传失败抛出异常
排查异常的步骤：
--应该用jps查看一下进程是否正常：namenode  datanode  secondarynamenode
如果相关进程不存在，查看相关进程的日志文件来分析错误
--如果进程都存在，还存在问题，有可能是进程间的集群协调有问题
hdfs dfsadmin -report  来查看集群的信息

--实在找不到线索，删除tmp目录，然后重新用命令hadoop namenode -format格式化，启动