Ubuntu 14.10(32位)上搭建Hadoop2.5.0单机伪分布式环境

来源：互联网发布：mac清理软件破解版编辑：程序博客网时间：2024/05/29 08:35

1.环境介绍

操作系统：Ubuntu14.10 32位

Hadoop版本：Hadoop2.5.0

Java版本：jdk1.7.0

2.安装JDK，http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz，解压

zyg@zyg-Rev-1-0:~/disk/study$ tar -zxvf jdk-7-linux-i586.tar.gz

设置JAVA_HOME环境变量

zyg@zyg-Rev-1-0:~/disk/study$ sudo gedit /etc/profile

添加以下内容

export JAVA_HOME=/home/zyg/disk/study/jdk1.7.0export JRE_HOME=/home/zyg/disk/study/jdk1.7.0/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HOME/bin

使配置生效

zyg@zyg-Rev-1-0:~/disk/study$ source /etc/profile

3.安装Hadoop，http://archive.apache.org/dist/hadoop/core/hadoop-2.5.0/hadoop-2.5.0.tar.gz，解压

zyg@zyg-Rev-1-0:~/disk/study$ tar -zxvf hadoop-2.5.0.tar.gz

设置Hadoop环境变量

zyg@zyg-Rev-1-0:~$ sudo gedit ~/.bashrc

添加以下内容

export HADOOP_HOME=/home/zyg/disk/study/hadoop-2.5.0export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

使配置生效：

zyg@zyg-Rev-1-0:~$ source ~/.bashrc

4.配置SSH，生成密钥

zyg@zyg-Rev-1-0:~$ ssh-keygen -t rsa

将公钥写入authorized_keys文件中

zyg@zyg-Rev-1-0:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

输入以下命令，根据提示输入yes即可登录

zyg@zyg-Rev-1-0:~$ ssh localhost

5.修改Hadoop配置文件，进入hadoop-2.5.0/etc/hadoop目录

1）设置环境变量，hadoop-env.sh

export JAVA_HOME=/home/zyg/disk/study/jdk1.7.0

2）修改core-site.xml，添加以下内容

<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/zyg/disk/study/hadoop-2.5.0/hadooptmp</value> </property>

3）修改hdfs-site.xml，添加以下内容

<property><name>dfs.repliacation</name><value>1</value></property>

4）将map-site.xml.template重命名为map-site.xml，添加以下内容

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

5）修改yarn-site.xml，添加以下内容

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

6.启动Hadoop

zyg@zyg-Rev-1-0:~/disk/study/hadoop-2.5.0$ sbin/start-all.sh

8.验证是否启动成功

zyg@zyg-Rev-1-0:~/disk/study/hadoop-2.5.0$ jps

如出现以上信息，则表示伪分布式环境安装成功

0 0