hadoop1.x 伪分布式环境搭建

1、检查JDK

查看系统jdk版本：java -version

如果jdk版本过低则安装高版本的jdk

jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

查看jdk具体版本号：rpm -qa | grep gcj 

得到： libgcj-4.1.2-42.el5
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

卸载jdk：yum -y remove java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

将下载好的高版本jdk解压后、修改/etc/profile文件设置jdk环境变量

export JAVA_HOME=/usr/local/jdk1.6.0_11
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

保存文件后使文件生效：source /etc/profile

查看jdk版本验证是否安装成功：java -version

2、配置SSH

A.     通过ssh 127.0.0.1查看是否安装了ssh服务、也可使用which ssh验证。

B. 基于空口令创建一个新SSH密钥，以启用无密码登陆
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
C. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

authorized_keys 的权限设置为600(原因待补充)

3、hadoop安装

在hadoo的官网：hadoop.apache.org 上下载hadoop1.2.X稳定版本

将hadoop压缩包解压：tar -zxvf hadoop1.2.x.tar.gz

修改hadoop的配置文件：

A.修改conf文件夹下的hadoop-env.sh文件、添加java变量

export JAVA_HOME=/opt/jdk1.7.0_71

B.修改core-site.xml文件

<?xml version="1.0"?>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/tmp/hadoop</value>
    </property>
<property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
</property>
<property>
</configuration>  

C.修改hdfs-site.xml文件

<configuration>
<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>
</configuration>

D.修改master和slaves配置节点

E.格式化节点

进入hadoop/bin目录执行：./hadoop namenode -format

Storage directory /opt/tmp/hadoop/dfs/name has been successfully formatted

有上述格式化成功的信息则代表格式化成功。

F.启动hadoop

./start-all.sh

G.查看是否启动成功：jps