Hadoop运行时单个节点管理

来源:互联网 发布:java猜拳游戏编程代码 编辑:程序博客网 时间:2024/05/16 15:08
  1. 删除节点

    1. 在conf/hdfs-site.xml配置dfs.hosts.exclude属性配置为具体文件,如:/usr/soft/hadoop-1.0.4/conf./excludes在此文件中配置要被去掉的节点host将配置文件和此文件每台机器上发一份,保持配置一致性
    2. 执行下hadoop dfsadmin -refreshNodes即可完成
    3. 执行下hadoop dfsadmin -report 来查看节点情况
  2. 添加节点
    1. 和其他节点一样配置hadoop jdk ip hosts conf/slaves
    2. 执行hadoop-daemon.sh start datanode
    3. 执行 hadoop-daemon.sh start tasktracker
    4. 执行 start-balancer.sh
    5. 执行 start-balancer.sh threshold 5
    6. 设置balancer的带宽
  3. 可能出现问题
    1. 问题情形:执行了start-all.sh启动hadoop后个别节点或者部分节点的datanode无法启动,执行hadoop-daemon.sh start datanode 时启动后立马被stop了
    2. 问题解决:此种问题可能是由于配置了单个节点的删除部署exclude文件但是没注释,应该将配置文件中的该节点注释掉或者删除,在执行hadoop-daemon.sh start datanode来解决。
0 0
原创粉丝点击