Hadoop2.5.1伪分布式安装记录，Centos6.4系统，wordcount运行测试

一、准备工作（root用户）

1.关闭防火墙

关闭防火墙：service iptables stop关闭开机启动：chkconfig iptablesoff

2.创建用户

创建hadoop用户：useradd hadoop密码：passwd hadoop加入sudoers：vim /etc/sudoers ，在root下一行写入hadoop  ALL=(ALL)       ALL

二、安装JDK1.7（root用户）

1.查看已装JDK

rpm -qa |grep javarpm -qa |grep jdk

2.卸载上一步显示的程序

rpm -e --nodeps  程序名                           （如：rpm -e --nodeps tzdata-java-2013g-1.el6.noarchrpm -e --nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64）

2.安装JDK1.7

tar  -zxf  jdk-7u60-linux-x64.tar.gz    直接解压到/home/hadoop（username）/目录下并且更改文件名字为java1.7

3.修改环境变量

修改 /etc/profile文件，在文件末尾加入以下几行：exportJAVA_HOME=/home/hadoop/java1.7exportJRE_HOME=/home/hadoop/java1.7/jreexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.使刚修改的环境变量生效

source /etc/profile

5.验证JDK是否安装成功

java -versionecho $JAVA_HOME

三、SSH无密码登录（hadoop用户）

1.生成密钥

ssh-keygen -t dsa （然后一直按回车即可，会自动生成.ssh文件夹，内有两个文件）

2.生成authorized_keys

进入/home/hadoop/.ssh目录cat id_dsa.pub >> authorized_keys

3.给authorized_keys赋予执行权限

chmod 600authorized_keys         

3.测试是否能够无密码登录本地

ssh localhost如果不用再次输入密码，说明成功

四、安装hadoop（hadoop用户）

1.解压到指定目录（以在/home/hadoop目录为例）

tar -zxvf hadoop-2.5.1.tar.gz

2.配置文件

2.1.core-site.xml文件在<configuration>和</configuration>之间加入如下内容<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> <property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoopfile/tmp</value></property> <property><name>fs.trash.interval</name><value>1440</value></property></configuration>2.2.hdfs-site.xml文件<configuration>    <property>       <name>dfs.replication</name>        <value>1</value>    </property></configuration>       2.3.mapred-site.xml文件：<property><name>mapreduce.framework.name</name> <value>yarn</value>   </property>2.4.文件yarn-site.xml:<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> 2.5.mapred-env.sh文件export JAVA_HOME=/home/hadoop/java1.7export HADOOP_MAPRED_PID_DIR=/home/hadoop/hadoopfile/tmp2.6.hadoop-env.sh文件export JAVA_HOME=/home/hadoop/java1.7exportHADOOP_PID_DIR=/home/hadoop/hadoopfile/tmpexportHADOOP_SECURE_DN_PID_DIR=/home/hadoop/hadoopfile/tmp 

3.将hadoop加入环境变量

sudovim /etc/profile加入如下两行exportHADOOP_HOME=/home/hadoop/hadoop-2.5.1exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

五、启动（hadoop用户）

1.格式化namenode

hdfsnamenode -format

2.启动dfs

Start-dfs.sh

或者

 hadoop-daemon.shstart namenodehadoop-daemon.shstart datanode

 

通过jps能够验证是否启动成功

3.启动yarn

start-yarn.sh输入jps验证

3.在网页端查看

输入IP:50070（例如：http://192.168.56.103:50070/）

六、运行wordcount例子（hadoop用户）

Wordcount例子在/home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce中的

hadoop-mapreduce-examples-2.5.1.jar

1.上传本地文件至hdfs

hadoop fs -put 文件 /test （如：hadoop fs -put 1 /test是将本地的文件1上传至hdfs中的/test目录下）

2.运行

hadoopjar hadoop-mapreduce-examples-2.5.1.jar wordcount /test/1 /test/output/1

注意：/test/output/1必须是不存在的目录

</pre><h2>1.查看结果</h2><p align="left"></p><pre name="code" class="html">hadoopfs -cat /test/output/1/part-r-00000