hadoop-2.6.3环境配置和安装

1.要安装hadoop必须先要安装jdk，还需要hadoop的安装包我使用的是

2.解压jdk配置环境变量

解压命令：tar  -zxvf  jdk-8u121-linux-x64.tar.gz  -C /usr/java

配置环境变量：vi /etc/profile 

在profile里加上

export JAVA_HOME=/usr/java/jdk1.8.0_121  
export PATH=$JAVA_HOME/bin:$PATH  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存然后执行命令 ：

source   /etc/profile

再执行

java -version

3.解压hadoop安装包

tar  -zxvf  hadoop-2.6.3.tar.gz  -C /home/hadoop

进入hadoop的安装目录

cd /home/hadoop/hadoop-2.6.3/etc/hadoop

hadoop的配置文件都在这里：

（1）配置hadoop-env.sh
进入/home/hadoop目录下面，用vi编辑器打开home/hadoop/hadoop-env.sh，在hadoop-env.sh末尾添加如下内容：
 view plain copy
# set to the root of my java installation  
export JAVA_HOME=/usr/java/jdk1.8.0_121 
  

（2）配置core-site.xml
进入/opt/hadoop目录下面，用vi编辑器打开etc/hadoop/core-site.xml，在core-site.xml的<configuration></configuration>标签对之间添加如下内容：
 view plain copy
<configuration>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://localhost:9000</value>  
    </property>  
</configuration>  


（3）配置hdfs-site.xml
进入/home/hadoop目录下面，用vi编辑器打开etc/hadoop/hdfs-site.xml，在hdfs-site.xml的<configuration></configuration>标签对之间添加如下内容：
 view plain copy
<configuration>    
    <property>    
        <name>dfs.replication</name>    
        <value>1</value>    
    </property>  
  
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/home/mengwx/hdfs/namenode</value>    
    </property>    
      
    <property>    
        <name>dfs.blocksize</name>    
        <value>268435456</value>    
    </property>    
  
 <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/home/mengwx/hdfs/datanode</value>    
    </property>   
  
</configuration>  


至此，基本配置完成。可以在本机上运行MapReduce任务。
#1：格式化文件系统
进入/opt/hadoop目录下面，命令行输入：
bin/hdfs namenode -format
#2：启动 NameNode 和 DataNode 的守护进程
在/opt/hadoop目录下面，命令行输入：
sbin/start-dfs.sh
Hadoop的守护进程的日志被写入到$HADOOP_LOG_GIR目录下面，默认是在$HADOOP_LOG_DIR/logs里面。
#3：通过web浏览器接口查看NameNode的情况

http://139.129.239.74:50070/

#4：建立 HDFS 文件目录
在/home/hadoop目录下面，命令行依次输入：
 bin/hdfs dfs -mkdir /user
 bin/hdfs dfs -mkdir /user/mengwx 
#5：/home/hadoop目录下面，创建input目录
mkdir input
#6：把输入的文件拷贝到文件系统
在/home/hadoop目录下面，命令行依次输入：
cp home/hadoop/*.xml input  //将etc/hadoop/目录下面所有的xml文件拷贝到input文件夹里面
bin/hdfs dfs -put home/hadoop input
#7：运行实例
在/opt/hadoop目录下面，命令行输入：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.3.jar grep input output 'dfs[a-z.]+'
#8：查看实例运行结果
在/opt/hadoop目录下面，命令行依次输入：
bin/hdfs dfs -get output output
cat output/*
或者输入：
bin/hdfs dfs -cat output/*

#9：运行结束，关闭守护进程
在/home/hadoop目录下面，命令行输入：
sbin/stop-dfs.sh
（4）在 YARN上运行MapReduce的配置
#1：配置mapred-site.xml
进入/opt/hadoop目录下面，用vi编辑器打开etc/hadoop/mapred-site.xml，在mapred-site.xml的<configuration></configuration>标签对之间添加如下内容：
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
#2：配置yarn-site.xml
进入/opt/hadoop目录下面，用vi编辑器打开etc/hadoop/yarn-site.xml:，在yarn-site.xml的<configuration></configuration>标签对之间添加如下内容：
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
#3：启动ResourceManager和NodeManager的守护进程
在/opt/hadoop目录下面，命令行输入：
sbin/start-yarn.sh
#4：通过web浏览器接口查看ResourceManager的信息

http://139.129.239.74:8088/