hadoop2.4.1伪分布式安装过程总结

先在root下的部分配置与安装

#配置机器网络环境

#修第一台 hostname 为 master 

hostname master

#检测

Hostname

 #配置主机名 (hostname)

   vi /etc/sysconfig/network 

NETWORKING=yes #启动网络

NETWORKING_IPV6=no

HOSTNAME=master  #主机名

 setup命令，对网络环境进行配置，并且关闭防火墙

 

/sbin/service network restart  #重新启动网络服务

/sbin/ifconfig  #检查网络ip配置

#配置集群hosts列表

vi /etc/hosts

#添加一下内容到 vi 中

127.0.0.1  localhost.localdomain  localhost //datanode被装在了这个上  默认的  

192.168.168.134  master

192.168.168.135  node1//这个没有用上有待于研究

 

#安装SSH 

yum install ssh  

执行：

 ssh  master

出现Last login: Wed Nov 19 21:15:38 2014 from 192.168.168.44

说明网络跟ssh都配置好,不好用的话再配置以下公钥密钥，后面有讲解

 

#安装JDK

把安装文件jdk-6u45-linux-i586.bin放到到/opt文件下

chmod  +x  jdk-6u45-linux-i586.bin

在/opt在执行

./jdk-6u45-linux-i586.bin

#配置环境变量

Vi /etc/profile.d/java.sh

内容如下

export JAVA_HOME=/opt/jdk1.6.0_45/

export PATH=$JAVA_HOME/bin:$PATH

 source  /etc/profile  使配置有效

测试是否成功：jps

#创建自己的用户

 groupadd hadoop

 useradd hadoop   -g  hadoop //加入组hadoop

#生成登陆密钥

#切换hadoop 用户下

su hadoop 

cd /home/hadoop/

#生成公钥和私钥

ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

cd .ssh

cat id_rsa.pub > authorized_keys

chmod go-wx  authorized_keys

测试：ssh master 

#安装Hadoop2.4.1

#切到 hadoop 安装路径下

 cp /root/hadoop-2.4.1-x64.tar.gz  /home/hadoop

#解压 复制或者下载的hadoop 文件

cd /home/hadoop/

tar -xzvf  hadoop-2.4.1-x64.tar.gz

hadoop 

#配置 hadoop-env.sh 环境变量

 vi  /home/hadoop/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

把Java的路径配置一下就行，别的不用管

# The java implementation to use.

export JAVA_HOME=/opt/jdk1.6.0_45/

 

下面要配置的是core-site.xml , 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>hadoop.tmp.dir</name>

   <value>/home/hadoop/tmp</value>

   </property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.168.134:9100</value>

</property>

</configuration>

hdfs-site.xml 配置如下：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<configuration>

<property>

   <name>dfs.namenode.name.dir</name>

   <value>/home/hadoop/tmp/dfs/name</value>

 </property>

 <property>

      <name>dfs.datanode.data.dir</name>

      <value>/home/hadoop/tmp/dfs/data</value>

 </property>

  <property>

    <name>dfs.http.address</name>

<value>master:50060</value>  

</property>

  <property>

    <name>dfs.secondary.http.address</name>

     <value>master:50090</value>

  </property>

  <property>

    <name>dfs.replication</name>

   <value>1</value>

  </property>

</configuration>

mapred-site.xml 配置如下

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

 <name>mapred.job.tracker</name>

 <value>master:9000</value>

</property>

<property>

 <name>mapred.map.tasks</name>

 <value>6</value>

</property>

<property>

 <name>mapred.reduce.tasks</name>

 <value>2</value>

</property>

</configuration>

yarn-site.xml配置是默认的无需更改

测试启动hadoop

  Cd  /home/hadoop/hadoop-2.4.1/bin

执行 ./hdfs namenode -format 对文件系统进行初始化

Cd  /home/hadoop/hadoop-2.4.1/sbin

执行 ./start-all.sh 启动全部进程

用jps进行测试，成功则会有五个进程：

SecondaryNameNode

DataNode

NodeManager

ResourceManager

NameNode

在/home/hadoop/hadoop-2.4.1/logs文件下可以查看各进程启动的日志文件

Ssh重启命令：service sshd restart