Apache hadoop2.6.4安装

整体安装步骤：
1：解压缩JDK安装包到对应的安装路径
2：解压缩hadoop的安装包到对应的路径
3：配置环境变量（JAVA_HOME ， HADOOP_HOME）
4：配置hadoop-env.sh
5：配置core-site.xml
6：配置hdfs-site.xml
7：配置mapred-site.xml
8：配置yarn-site.xml
9：把安装好的JDK和HADOOP分发到其他的虚拟机上
10：格式化namenode
11：测试namenode ， 并且配置免密码登录

在《linux centos6.5操作系统配置》这篇文章当中已经配置好了对应的集群环境，接下来就是安装hadoop的集群了。
一：首先在mini1上面安装JDK
通过sftp把下载好在win7上面的JDK7上传到mini1上面。
在mini1上面建一个空文件夹来保存对应的安装包

[hadoop@mini1 ~]# mkdir -p /home/hadoop/soft[hadoop@mini1 ~]# mkdir -p /home/hadoop/apps

然后通过alt+p可以打开sftp窗口。
在sftp窗口中直接

cd /home/hadoop/softput d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

然后解压jdk

[hadoop@mini1 ~]# tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/apps

将java添加到环境变量中

sudo vim /etc/profile

在文件最后添加

export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585export PATH=$PATH:$JAVA_HOME/bin

然后

[hadoop@mini1 ~]# source /etc/profile

同理，把hadoop的安装包也通过sftp的方式上传到/home/hadoop/soft目录下面。
并且解压

[hadoop@mini1 ~]# tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/apps

然后进入到以下文件夹：

cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop[hadoop@mini1 ~]$ cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop

配置hadoop
第一个：hadoop-env.sh

vim hadoop-env.sh

在第25行修改为

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45

第二个：

vim core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --><property>        <name>fs.defaultFS</name>        <value>hdfs://mini1:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property>        <name>hadoop.tmp.dir</name>        <value>/home/hadoop/hdpdata</value>    </property>

第三个：

vim hdfs-site.xml 

<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>2</value></property> 第四个：mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr运行在yarn上 --><property>        <name>mapreduce.framework.name</name>        <value>yarn</value></property>

第五个：

vim yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 --><property>        <name>yarn.resourcemanager.hostname</name>        <value>mini1</value></property><!-- reducer获取数据的方式 --><property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value></property>

然后将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

配置好了以后，把java的JDK复制到mini2, mini3 ,mini4上面。
需要把mini1上的hadoop复制到mini2, mini3 ，mini4上面。
同时也需要把/etc/profile文件也复制到mini2, mini3 ,mini4上面。

scp  -r /home/hadoop/apps/jdk1.7.0_45  mini2:/home/hadoop/appsscp  -r /home/hadoop/apps/jdk1.7.0_45  mini3:/home/hadoop/appsscp  -r /home/hadoop/apps/jdk1.7.0_45  mini4:/home/hadoop/appsscp -r /home/hadoop/apps/hadoop-2.6.4  mini2:/home/hadoop/appsscp -r /home/hadoop/apps/hadoop-2.6.4  mini3:/home/hadoop/appsscp -r /home/hadoop/apps/hadoop-2.6.4  mini4:/home/hadoop/appsscp /etc/profile mini2:/etc/scp /etc/profile mini3:/etc/scp /etc/profile mini4:/etc/

最后格式化namenode（是对namenode进行初始化）
hdfs namenode -format (或者hadoop namenode -format)
启动hadoop
先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

当然也可以用 hadoop-daemon.sh start namenode启动namenode
用 hadoop-daemon.sh start datanode启动datanode
停止dhfs可以用， hadoop-daemon.sh stop namenode , hadoop-daemon.sh stop datanode
或者stop-dfs.sh
采用start-dfs.sh或start-yarn.sh脚本来启动hadoop的话，因为是采用免密码去远程登录其他机器的，所以要先配置免密码登录，并且在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下面的slaves文件中需要配置对应的datanode的主机名

配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id mini2
ssh-copy-id mini3
ssh-copy-id mini4
然后验证是否成功, shh mini2 , ssh mini3 , ssh mini4
配置slaves文件,datanode所在的机器都需要配置
vi /home/hadoop/apps/hadoop-2.6.4/etc/hadoop/slaves

加入以下几行

mini2
mini3
mini4
至此， hadoop最小化的集群就安装好了！