（1）Hadoop 1.2.1伪分布搭建

1.引言

      在本篇博客中主要介绍一下：如何在Linux操作系统中搭建Hadoop的伪分布，在本篇博客中使用的环境为：

• 操作系统为：Centos6.7
• Java环境：JDK1.7
• Hadoop版本为：1.2.1
• 使用SecureCRT&&SecureFX连接Linux服务器
• 使用wpx用户（普通用户）安装Hadoop的伪分布
• Hadoop的安装路径为：/home/wpx/hadoop

2.安装Java环境

• 如何安装Java JDK环境请参考博客：Linux安装Java环境

3.SSH 免密码登录

      因为是伪分布环境，所以ssh的免密码登录是登录本机（即：ssh localhost）

• 生成ssh私钥和公钥文件

//输入命令，然后一直点确定ssh-keygen -t rsa

• 将公钥添加到认证用户

//输入localhost意味着本身，这个命令注意两个地方// 1. 确定连接本身// 2. 输入本机的密码ssh-copy-id localhost

• 测试ssh免密码是否成功

//如果不需要输入密码，就说明成功了ssh localhost

4 . 安装配置Hadoop1.2.1 伪分布

4.1 将hadoop配置到环境变量

• 首先将Hadoop安装包解压并改名字（名字也可以不修改，为了方便）

//解压tar -xzvf hadoop-1.2.1.tar.gz//修改名字mv hadoop-1.2.1 hadoop

• 将Haddop配置到当前用户的.bashrc文件中

//hadoop的目录export HADOOP_HOME=/home/wpx/hadoop//去除Hadoop执行命令时的警告（也可以不写）export HADOOP_HOME_WARN_SUPPRESS=1 //将hadoop添加到环境变量export PATH=$HADOOP_HOME/bin:$PATH

• 使配置文件生效

source /home/wpx/.bashrc

• 验证Hadoop添加到环境变量成功

hadoop version

4.2 修改Hadoop配置文件

• 修改conf/hadoop-env.sh配置文件

//制定jdk的路径，注意去掉前面的#号，#号代表注释export JAVA_HOME=/usr/local/jdk

• 第二个文件conf/core-site.xml

<!--    hadoop.tmp.dir 代表hadoop的数据存放目录     value值一般为 hadoop目录下面的 tmp文件夹（注意tmp文件夹不要自己创建），我的为:/home/wpx/hadoop/tmp--><!--    fs.default.name 代表hadoop的hdfs的访问路径    value值一般为localhost:9000 --><configuration><property><name>hadoop.tmp.dir</name><value>/home/wpx/hadoop/tmp</value><description>hadoop data directories</description></property><property><name>fs.default.name</name><value>hdfs://localhost:9000</value><description>HDFS location</description></property></configuration>

• 第三个文件是conf/hdfs-site.xml

<!--    dfs.replication:代表存放的副文本数    value:默认为3--><configuration><property><name>dfs.replication</name><value>3</value><description>replication</description></property></configuration>

• 第四个文件是conf/mapred-site.xml

<!--    mapred.job.tracker是JobTracker的地址    value默认值：localhost:9001--><configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value><description>JobTracker</description></property></configuration>

4.3 格式化NameNode

• 输入命令格式化NameNode

hadoop namenode -format

• 出现如图所示便格式化成功

4.4 启动Hadoop（查看Hadoop伪分布是否成功）

• 使用命令启动Hadoop

//启动hadoopstart-all.sh

• 输入命令jps查看进程，如果出现以下进程便安装成功

5.Hadoop1.2.1安装包

Hadoop1.2.1 的下载地址为：Hadoop1.2.1下载连接