搭建hadoop集群

从今天开始我开始复习大数据方面的知识，所以入门或者复习的朋友都可以作参考。

首先我选用的是centos6.9的三台服务器，分别是

hdp-node-01   192.168.43.130

hdp-node-02   192.168.43.131

hdp-node-03   192.168.43.132

然后就是在/etc/hosts文件中把上面的内容加进去，：wq保存

在当前用户的~目录下新建.ssh文件夹，然后cd .ssh，在当前目录下输入ssh-keygen -t rsa,一直回车，在当前目录下就会出现两个带rsa的文件，在其他两台机器也这么做，

然后回到主节点机器上，接下来输入cat id_rsa.pub >> authorized_keys，然后将这个文件分发到两个子节点上去，scp authorized_keys hdp-node-02:/home/hadoop/.ssh，以此类推，然后就是我们去在etc/profile中配置我们的环境变量，我的配置如下

#JAVA
export JAVA_HOME=/home/hadoop/jdk1.8.0_77

#SCALA
#export SCALA_HOME=/home/wbc/opt/scala-2.11.8
export SCALA_HOME=/home/hadoop/scala-2.10.6

#HADOOP
#export HADOOP_HOME=/home/wbc/opt/hadoop-2.7.2
export HADOOP_HOME=/home/hadoop/hadoop-2.6.1
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH

 
#SPARK
export SPARK_HOME=/home/hadoop/spark-1.6.3

#TOMCAT
export CATALINA_HOME=/home/hadoop/tomcat
export CATALINA_BASE=/home/hadoop/tomcat

#ZOOKEEPER
export ZOOK_HOME=/home/hadoop/zookeeper-3.3.6

#HBASE
export HBASE_HOME=/home/hadoop/hbase-1.2.2

#HIVE
export HIVE_HOME=/home/hadoop/hive-2.1.0
#export HIVE_HOME=/home/wbc/opt/hive-2.0.0
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH

#REDIS
export REDIS_HOME=/home/hadoop/redis-3.0.0

export PATH=$JAVA_HOME/bin:$PYTHON_HOME/python:$REDIS_HOME/src:$FLUME_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$SPARK_HOME/bin:$HBASE_HOME/bin:$ZOOK_HOME/bin:$HIVE_HOME/bin:$CATALINA_HOME/bin:$NUTCH_HOME/runtime/local/bin:$MAHOUT_HOME/bin:$PATH
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HIVE_HOME/lib:$MAHOUT_HOME/lib

当然里面还有其他配置，这个我们以后再说，都是可以自己手动改变调整的。

接下来就是修改hadoop目录下的etc/hadoop下几个关键的配置文件了，如下：

vi  core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hdp-node-01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>

</property>

</configuration>

vi  hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/data/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/data/data</value>

</property>

 

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

 

<property>

<name>dfs.secondary.http.address</name>

<value>hdp-node-01:50090</value>

</property>

</configuration>

 

 

 

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

vi  salves

hdp-node-01

hdp-node-02

hdp-node-03

最后就是格式化namenode，命令是hadoop namenode -format就会提示你在主节点格式化成功。最后就是我们启动集群./sbin/start-all.sh,万事搞定。