linux搭建hadoop平台

软件预下载

• hadoop：

wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gzwget http://apache.opencas.org/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

注意：
网上较多教程为hadoop-1.0.0，apache网站已不再提供下载；
src提供java源码，非src版不提供。

• java

在官网下载即可，2016-04-08使用的是1.8版本。

笔者使用Ubuntu快速安装：

sudo apt-get install openjdk-7-jdksudo apt-get install openjdk-7-jre

安装

• hadoop：解压即可
• java

配置环境

$vi /etc/profile

配置以下环境：

#javaexport JAVA_HOME=/your/java/homeexport CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$PATH:$JAVA_HOME/bin#hadoopexport HADOOP_HOME=/your/hadoop/hadoop-2.6.4export PATH=$PATH:$HADOOP_HOME/bin

更新：

$source /etc/profile

查看版本

$java -version$hadoop version #在hadoop-2.6.4/bin文件夹下

配置hadoop

在etc/hadoop文件夹下，分别更改core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml。
更改的值根据三种模式，如下：

配置SSH

$sudo apt-get install ssh$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ssh localhost

HDFS

$hdfs namenode -format

创建用户目录

$hadoop fs -mkdir -p /user/$USER

开启deamons

$start-dfs.sh$start-yarn.sh$mr-jobhistory-daemon.sh start historyserver

进行具体的操作

关闭deamons

$stop-dfs.sh$stop-yarn.sh$mr-jobhistory-daemon.sh stop historyserver