我的小锦囊之Hadoop集群的启动命令以及经常遇到的小问题

每天启动Hadoop集群时都会打开这份txt文档，现在看来觉得这份文档才是精髓，看一眼，就能理一遍思路。

如下的命令中，有启动Hadoop集群的，zookeeper集群的，hbase的，启动spark的，当然还有像Pig、Hive这些，直接输入就能进入。

总之，如果没有下面这个文档，每天遇到一些问题可能会毛手毛脚，甚至可能因为睡得懵懵的而忘了启动路径....

1.启动hadoop集群

cd /usr/local/hadoop-2.6.4/sbin/
./start-all.sh
--------------------------------------------------------------
2.启动zookeeper集群
cd /home
zk start(已经配置好了可以直接启动)
--------------------------------------------------------------
3.cd /home
  start-hbase.sh
--------------------------------------------------------------
4.hbase shell 进入终端
--------------------------------------------------------------
5. 启动Spark 
进入目录：启动spark
cd /usr/local/spark-1.4.1-bin-hadoop2.6/sbin
./start-all.sh
--------------------------------------------------------------
6.进入spark-shell
cd /usr/local/spark-1.4.1-bin-hadoop2.6/bin/
./spark-shell
--------------------------------------------------------------
6*.只启动yarn的方式
cd /usr/local/spark-1.4.1-bin-hadoop2.6/bin/
./spark-shell --master yarn --executor-memory 400m --num-executors 6 --driver-memory 1g

补充：
启动hive apach服务端口：
nohup hive --service hiveserver2 &
查看hive apach服务端口10000是否开启：
netstat -ntpl | grep 10000
------------------------------------------------------------------------------------------------------------------------------
7.进入Oozie（先看mysql启动了没 ）

首要要查看数据库状态：

/etc/init.d/mysqld status

若未启动则启动：
/etc/init.d/mysqld start

再查看数据库状态：

/etc/init.d/mysqld status

启动Oozie：

cd /usr/local/oozie-4.2.0 

bin/oozied.sh start     

运行文件：（这里分为Hive Pig MapReduce spark等不同形式下Oozie的运行，可以去参考我的相关文档）
oozie job -config /opt/job.properties -run


查oozie的错时老师的操作：（虽然不太明白怎么用）
tail -f ./logs/catalina.out
tail -n400 ./logs/catalina.out
netstat -ntpl |grep 11000
ifconfig
--------------------------------------------------------------------------------------------------------------------------------------------------

下面是我平时遇到的一些小问题

总结如下：

一些经常用到的网址：

HBase网址:http://master:16010
HDFS网址：http://master:50070/dfshealth.jsp
Ooize网址：http://1master:11000/oozie/
Application Manager应用管理界面http://master:8088/cluster
spark网址：http://master:8080
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
如果http://master:8088/cluster打不开：
cd /usr/local/hadoop-2.6.4/sbin
./mr-jobhistory-daemon.sh start history
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

当你打不开网页，而其他配置又没错误时，往往都是防火墙或者所有节点时间不同步的问题。屡试不爽，但需对主节点和所有子节点执行

永久关闭防火墙 service iptables stop & chkconfig iptables off

时间同步 service ntpd stop & ntpdate master & service ntpd start

---------------------------------------------------------------------------------------
Linux安装unzip：
mount /dev/dvd/ /media/
yum install unzip（其他安装也类似）
--------------------------------------------------------------------------------------
master节点jps后没有namenode怎么办？
对主节点：
[root@master bin]# cd /data/hadoop/hdfs
[root@master hdfs]# ls
name
[root@master hdfs]# rm -rf name

对三个子节点：
[root@slave1 ~]# cd /data/hadoop/hdfs
[root@slave1 hdfs]# ls
data
[root@slave1 hdfs]# rm -rf data

然后进行格式化：

cd /usr/local/hadoop-2.6.4

hdfs namenode -format

刚开始觉得这个操作特别复杂，但是现在觉得是一件很平常又简单的事情，如果遇到jps后主节点没有namenode问题，轻松对待即可~

但是正常情况下，你的虚拟机不会经常出现这个问题，个人觉得虚拟机在正常开关机的情况下，每天的使用状态是很平稳的，不会无端出状况。

请善待你的虚拟机，正常开关机，觉得麻烦可以直接挂起虚拟机，当然关机的速度比挂起要快的多呢~

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

这个Main是启动啥出现的？（存疑）

[root@master sbin]# jps
4689 NameNode
6133 JobHistoryServer
6164 Jps
4981 ResourceManager
2433 HMaster   
2635 Main
4837 SecondaryNameNode

第一个RunJar是启动Pig后显示的

第二个RunJar是启动Hive后显示的Master是启动spark后显示的

HMaster是启动HBase后显示的

SparkSubmit是只启动yarn的方式启动spark后显示的

Bootstrap是启动Oozie后显示的

[root@master ~]# jps
1989 ResourceManager
1696 NameNode
1845 SecondaryNameNode
3892 SparkSubmit
2983 Master
2635 HMaster

4257 Bootstrap
3105 RunJar
3566 RunJar
4109 Jps

----------------------------------------------------
清理内存：
hdfs dfs -du /
hdfs dfs -rm -r /文件名
hdfs dfs -rm -r /* 删除所有

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
执行交互式scala时：若报错内容为：
Caused by: java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[192.168.128.132:50010, 192.168.128.131:50010], original=[192.168.128.132:50010, 192.168.128.131:50010]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.


执行以下操作：
cd  /usr/local/hadoop-2.6.4/etc/hadoop/
vim hdfs-site.xml
在尾部添加：
<property>
<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
<value>NEVER</value>
</property>

ps.改完好像没什么作用