Hadoop学习七：其它相关配置

标签（空格分隔）： hadoop

---

[TOC]
一，hdfs回收站配置
在core-site.xml文件中添加如下配置：

<property>    <name>fs.trash.interval</name>    <!--分钟->    <value>100</value></property>

二，动态修改hdfs集群节点

集群增加节点：
1，静态增加：停止节点服务，然后增加节点。生产环境下很少使用
2，动态增加：不需要停止集群服务，直接把节点加入集群

三. 动态添加节点步骤

1，新机器安装Hadoop2.x要求对集群进行配置（配置IP、主机名、/etc/—hosts、防火墙、selinux、安装用户、JDK等）
2，配置HDFS和YARN主节点到这台机器的SSH无密钥登录
3，在hosts添加主机名，并复制到其他节点上
4，修改主节点上的slaves文件（主要用于下次重启的时候读取）
5，将Hadoop2.x安装包（已经配置好）发到新节点上，并创建Hadoop2.x想关目录
6，新节点启动进程：datanode和nodemanager
7，在主节点上启动start-balancer.sh均衡当前的hdfs块

四，Hadoop2.x集群卸载节点：

1，卸载HDFS数据节点DataNode
（1）修改hdfs-site.xml配置文件

<property>    <name>dfs.hosts.exclude</name>    <value>/opt/app/hadoop-2.5.0/etc/hadoop/dfs-hosts.exclude</value></property>

（2）将要卸载的节点主机名或者IP加入文件dfs-hosts.exclude
（3）删除Slaves文件中被卸载节点的主机名或者IP
（4）主节点执行刷新命令# bin/hdfs dfsadmin –refreshNodes
（5）将卸载节点的进程datanode关闭
（6）节点卸载完成以后，将文件dfs-hosts.exclude清空

2，卸载YARN的NodeManager节点
（1）修改配置文件yarn-site.xml

<property>    <name>yarn.resourcemanager.nodes.exclude-path</name>    <value>/opt/app/hadoop-2.5.0/etc/hadoop/nodes-hosts.exclude</value></property>

（2）在nodes-hosts.exclude添加卸载节点
（3）删除Slaves文件中被卸载节点的主机名或者IP
（4）执行刷新命令# bin/yarn rmadmin -refreshNodes
（5）将卸载节点的进程datanode关闭
（6）卸载完成以后，将nodes-hosts.exclude清空

五，hdfs权限设置

方式一：

$ bin/hdfs dfs -chmod  757  /data

方式二:修改hdfs-site.xml文件禁用hdfs的权限检查

<property>    <name>dfs.permissions.enabled</name>    <value>false</value></property>