ubuntu14.4（虚拟机）搭建hadoop 2.7.2

1. 接下来这个是配置环境变量 
2. vim~/.bashrc

要做接下来的修改：

文件最前头加上：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

文件末尾加上：

#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
#HADOOP VARIABLES END

按ESC保存 后 按 SHIFT + Z +Z 退出编辑页面

然后source~/.bashrc 使环境变量生效

接着执行echo$JAVA_HOME# 检验变量

java -version

$JAVA_HOME/bin/java -version# 与直接执行 java -version 一样

然后是安装Hadoop（ 在ubuntu的浏览器下载）

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/下载，一般选择下载最新的稳定版本，即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件 这里我下载 hadoop-2.7.2

sudo tar -zxf ~/Downloads/hadoop-2.7.2.tar.gz -C /usr/local

解压到/usr/local中 如果这句命令有问题，试试把命令中的Downloads 改成 下载

cd/usr/local/

sudo mv./hadoop-2.7.2/ ./hadoop# 将文件夹名改为hadoop

sudo chown-R hadoop ./hadoop# 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd/usr/local/hadoop

./bin/hadoop version

然后配置

打开文件夹 就是Computer中 usr/local/hadoop/etc/hadoop中

改core-site.xmlyarn-site.xmlmapred-site.xmlhdfs-site.xml

也可以用命令行进入 如 gedit ./etc/hadoop/core-site.xml

其中core-site.xml ：

把

<configuration>

</configuration>

之间加上

1. <property>
2. <name>hadoop.tmp.dir</name>
3. <value>file:/usr/local/hadoop/tmp</value>
4. <description>Abase for other temporary directories.</description>
5. </property>
6. <property>
7. <name>fs.defaultFS</name>
8. <value>hdfs://localhost:9000</value>
9. </property>

yarn-site.xml：

也是一样在里面加上内容为：

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

关于mapred-site.xml：

要先在命令行

  首先

cd/usr/local/hadoop/etc/hadoop/

然后 

cp mapred-site.xml.template mapred-site.xml

然后一样在文件 修改（加上）东西：

 

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

关于 hdfs-site.xml ：

先做以下工作：

然后一样 加上：

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/hdfs/data</value>

    </property>

关于  hadoop-env.sh

把export JAVA_HOME 改成    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 

然后执行命令

./bin/hdfs namenode -format

./sbin/start-dfs.sh

sbin/start-yarn.sh

然后jps就可以看到

浏览器打开 http://localhost:50070/，会看到hdfs管理页面

浏览器打开http://localhost:8088，会看到hadoop进程管理页面

参考链接：

http://dblab.xmu.edu.cn/blog/install-hadoop/

http://www.cnblogs.com/kinglau/p/3794433.html

http://www.cnblogs.com/kinglau/p/3796164.html