hadoop安装和配置

1 安装jdk6以上版本
卸载自带openjdk
rpm -qa | grep jdk
yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
安装sunjdk
下载jdk-7u79-linux-x64.rpm
rpm -ivh jdk-7u79-linux-x64.rpm
rpm安装方式不需要配置jdk环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
2 下载hadoop稳定版本
下载
配置环境变量
export HADOOP_INSTALL=/usr/opt/hadoop  
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin${PATH}  
export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}  
export HADOOP_COMMON_HOME=${HADOOP_INSTALL}  
export HADOOP_HDFS_HOME=${HADOOP_INSTALL}  
export YARN_HOME=${HADOOP_INSTALLL}  
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie    
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"  
3 伪分布模式搭建
安装openssh
配置ssh无密码登录
ssh-keygen  -t  rsa -P '' -f  ~/.ssh/id_rsa
cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys
设置hadoop-env.sh中的java环境变量 
vim ./etc/hadoop/hadoop-env.sh   
export JAVA_HOME=/usr/java/jdk1.7.0_79
hadoop的配置文件主要有core-site.xml  、 hdfs-site.xml 、 yarn-site.xml 三个文件。
 
cd /usr/opt/hadoop/etc/hadoop  
 
core-site.xml  
<configuration>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/opt/hadoop/tmp</value>
    </property>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://localhost:9000</value>  
    </property>  
</configuration>  


hdfs.xml
 
<configuration>    
<property>    
        <name>dfs.replication</name>    
        <value>1</value>    
    </property>    
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/usr/opt/hadoop/dfs/name</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/usr/opt/hadoop/dfs/data</value>    
    </property>    
    <property>
            <name>dfs.permissions</name>    
            <value>false</value>    
     </property>    
 </configuration>    


yarn-site.xml 
<configuration>  
<property>  
<name>mapreduce.framework.name</name>  
<value>yarn</value>  
</property>  
  
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce_shuffle</value>  
</property>  
</configuration>  


接下来创建需要的文件夹
 
 


cd /usr/opt/hadoop  
mkdir tmp dfs dfs/name dfs/data  
 
 
到目前为止所有的配置都已经完成。
首先格式化文件系统
 
hdfs namenode -format   
启动
 
start-dfs.sh  
start-yarn.sh