清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群，如果通过ambari安装hadoop集群后，想重新再来一次的话，需要清理集群。

对于安装了很多hadoop组件的话，这个工作很繁琐。接下来是我整理的清理过程。

1，通过ambari将集群中的所用组件都关闭，如果关闭不了，直接kill -9 XXX

2，关闭ambari-server，ambari-agent

ambari-server stopambari-agent stop

3，卸载安装的软件

yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全，执行完一下命令后，再执行

yum list | grep @HDP

查看是否还有没有卸载的，如果有，继续通过#yum remove XXX卸载

4，删除postgresql的数据

      postgresql软件卸载后，其数据还保留在硬盘中，需要把这部分数据删除掉，如果不删除掉，重新安装ambari-server后，有可能还应用以前的安装数据，而这些数据时错误数据，所以需要删除掉。

rm -rf /var/lib/pgsql

5，删除用户

     ambari安装hadoop集群会创建一些用户，清除集群时有必要清除这些用户，并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。     

userdel oozieuserdel hiveuserdel ambari-qauserdel flume  userdel hdfs  userdel knox  userdel storm  userdel mapreduserdel hbase  userdel tez  userdel zookeeperuserdel kafka  userdel falconuserdel sqoop  userdel yarn  userdel hcatuserdel atlasuserdel spark

rm -rf /home/atlasrm -rf /home/accumulorm -rf /home/hbaserm -rf /home/hiverm -rf /home/oozierm -rf /home/stormrm -rf /home/yarnrm -rf /home/ambari-qarm -rf /home/falconrm -rf /home/hcatrm -rf /home/kafkarm -rf /home/mahoutrm -rf /home/sparkrm -rf /home/tezrm -rf /home/zookeeperrm -rf /home/flumerm -rf /home/hdfsrm -rf /home/knoxrm -rf /home/mapredrm -rf /home/sqoop

6，删除ambari遗留数据

rm -rf /var/lib/ambari* rm -rf /usr/lib/python2.6/site-packages/ambari_*rm -rf /usr/lib/python2.6/site-packages/resource_managementrm -rf /usr/lib/ambari-*rm -rf /etc/ambari-* 

7，删除其他hadoop组件遗留数据

rm -rf /etc/hadooprm -rf /etc/hbaserm -rf /etc/hive rm -rf /etc/oozierm -rf /etc/sqoop rm -rf /etc/zookeeperrm -rf /etc/flume rm -rf /etc/storm rm -rf /etc/hive-hcatalogrm -rf /etc/tez rm -rf /etc/falcon rm -rf /etc/knox rm -rf /etc/hive-webhcatrm -rf /etc/kafka rm -rf /etc/slider rm -rf /etc/storm-slider-clientrm -rf /etc/spark rm -rf /var/run/sparkrm -rf /var/run/hadooprm -rf /var/run/hbaserm -rf /var/run/zookeeperrm -rf /var/run/flumerm -rf /var/run/stormrm -rf /var/run/webhcatrm -rf /var/run/hadoop-yarnrm -rf /var/run/hadoop-mapreducerm -rf /var/run/kafkarm -rf /var/log/hadooprm -rf /var/log/hbaserm -rf /var/log/flumerm -rf /var/log/stormrm -rf /var/log/hadoop-yarnrm -rf /var/log/hadoop-mapreducerm -rf /var/log/knox rm -rf /usr/lib/flumerm -rf /usr/lib/stormrm -rf /var/lib/hive rm -rf /var/lib/oozierm -rf /var/lib/flumerm -rf /var/lib/hadoop-hdfsrm -rf /var/lib/knox rm -rf /var/log/hive rm -rf /var/log/oozierm -rf /var/log/zookeeperrm -rf /var/log/falconrm -rf /var/log/webhcatrm -rf /var/log/sparkrm -rf /var/tmp/oozierm -rf /tmp/ambari-qarm -rf /var/hadooprm -rf /hadoop/falconrm -rf /tmp/hadoop rm -rf /tmp/hadoop-hdfsrm -rf /usr/hdprm -rf /usr/hadooprm -rf /opt/hadooprm -rf /tmp/hadooprm -rf /var/hadooprm -rf /hadoop

8，清理yum数据源

#yum clean all

通过以上清理后，重新安装ambari和hadoop集群（包括HDFS，YARN+MapReduce2，Zookeeper，Ambari Metrics，Spark）成功。如果安装其他组件碰到由于未清理彻底而导致的问题，请留言指出需要清理的数据，本人会补全该文档。