Hadoop安装

一．软件各个版本
软件 对应版本
Jdk 1.7
Hadoop 2.6.4
hbase 1.2.2
zookeeper 3.4.8
spark 1.6.2
二．修改配置主机
1.修改各个主机名
命名分别如下：
dataminingmaster
dataminingslave1
dataminingslave2
dataminingslave3
dataminingslave4
以192.168.1.71主机为例，同理修改其他几个节点的hostname

2.修改hosts，其他节点同理
命令：sudo vi /etc/hosts
192.168.1.71 dataminingmaster
192.168.1.72 dataminingslave1
192.168.1.73 dataminingslave2
192.168.1.75 dataminingslave3
192.168.1.78 dataminingslave4
3.如果虚拟机是从其他节点拷贝过来 的，需要修改自身ip，修改好之后重启机器
命令：sudo vi /etc/network/interfaces

三．jdk安装
1. 解压jdk安装包
命令：tar -zxvf jdk-7u79-linux-x64.tar.gz
2. 设置jdk环境变量
命令：gedit ~/.bashrc
打开文件之后，在文件结尾中加入如下，然后保存。
export JAVA_HOME=/home/dm/opt/jdk1.7.0_79
export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/lib:JREHOME/libexportPATH={JAVA_HOME}/bin:$PATH
如图所示，已经加好的例子：

PS：在上述添加过程中，等号两侧不要加入空格，不然会出现“不是有效的标识符”，因为source /etc/profile可以让环境变量立马生效， 但是不能识别多余到空格，会理解为是路径一部分。
3.检验是否安装成功
在终端输入如下命令：java -version，出现如下图，则安装成功

四．hadoop安装
1.首先设置SSH无密码登陆本机
可以通过如下一句长命令设置：
rm -rf ~/.ssh;ssh-keygen -t rsa;chmod 700 ~/.ssh;more ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys;chmod 600 ~/.ssh/authorized_keys
如遇会话提示，按”Enter”键即可。
2.解压安装hadoop安装包
tar -zxvf hadoop-2.6.4.tar.gz
3.修改解压后的文件名称
命令：sudo mv hadoop-2.6.4 hadoop
4.修改配置文件
主要有7个文件需要修改：hadoop-env.sh,yarn-env.sh,core-site.xml,hdfs-site.xml,slaves,
mapred-site.xml,yarn-site.xml
(1)修改hadoop-env.sh文件
命令：sudo vi hadoop-env.sh
修改JAVA_HOME值（export JAVA_HOME= /home/dm/opt/jdk1.7.0_79）
(2)修改yarn-env.sh
命令：sudo vi yarn-env.sh
修改JAVA_HOME值（export JAVA_HOME= /home/dm/opt/jdk1.7.0_79）
(3)修改core-site.xml
首先在hadoop目录下建立临时文件夹目录tmp
命令：sudo vi core-site.xml

<configuration>  <property>          <name>fs.defaultFS</name>          <value>hdfs://dataminingmaster:9000</value>      </property>  <property>   <name>hadoop.tmp.dir</name>   <value>/home/dm/opt/hadoop/tmp</value> </property></configuration>

(4)修改hdfs-site.xml文件
首先在hadoop/hdfs目录下建立2个目录，namenode和datanode
命令：sudo vi hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>3</value></property> <property><name>dfs.namenode.name.dir</name><value>file:///home/dm/opt/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///home/dm/opt/hadoop/hdfs/datanode</value></property></configuration>

备注：
属性“dfs.replication”表示HDFS文件副本数量，默认为3，在单节点就改为1，免得浪费空间；
属性“dfs.namenode.name.dir”表示NameNode存储命名空间和操作日志相关的元数据信息的本地文件系统目录，该项默认本地路径为”/tmp/hadoop-{username}/dfs/name”；
属性”dfs.datanode.data.dir“表示DataNode节点存储HDFS文件的本地文件系统目录，由”file://本地目录”组成,该项默认本地路径为”/tmp/hadoop-{username}/dfs/data”。
(5)修改slaves文件
命令：sudo vi slaves
加入如下各个节点名称：
dataminingmaster
dataminingslave1
dataminingslave2
dataminingslave3
dataminingslave4
(6)修改mapred-site.xml
命令：sudo vi mapred-site.xml

<configuration>      <property>         <name>mapreduce.framework.name</name>          <value>yarn</value>      </property>    需要添加端口号</configuration>

(7)修改yarn-site.xml
命令：sudo vi yarn-site.xml

  <property>          <name>yarn.nodemanager.aux-services</name>          <value>mapreduce_shuffle</value>      </property>  </configuration>

5.格式化hdfs
首先进入 hadoop/bin目录
然后执行以下命令：
hdfs namenode -format

6.启动集群
首先进入 hadoop/sbin目录
start-all.sh或者start-dfs.sh、start-yarn.sh
验证是否安装成功
(1)如果上面操作一切正确的话，通过”jps”命令查看是否包含ResourceManager、NodeManager、NameNode、SecondaryNameNode、DataNode等5个Java
(2)输入命令看是否能够上传文件和下载文件
(3)跑一个MR代码看是否成功。
hadoop的目录
bin目录主要跟shell挂钩
etc/hadoop 里面是一些hadoop的配置文件
logs是一些日志，报错时，我们可以查看logs
sbin里面主要是一些脚本的起停。
hadoop安装中的路径一定是绝对路径。
安装心得体会：
在安装过程中遇到了下面问题。
1.环境变量一定是下面的形式
home/liusen(这是你的linux账号)/你的jdk安装目录
2.下面所有的路径都必须是
home/liusen等形式。
3.namenode,datanode文件夹一定建在已经存在的hdfs文件的下面。
4.http://lsmaster(这是自己的主机对应的ip地址):50070通过访问这个端口就可以看到hadoop节点的情况。