hadoop笔记（1）——安装 单机版

上次写的太简单了，换机器重装，重写详细点。

1、虚拟机安装及环境准备：redhat6为例

1.1 新建虚拟机，极简安装。

1.2 开ssh和ftp。参考http://blog.chinaunix.net/uid-24612962-id-3159961.html

      注意在虚拟机中连接一下安装cd。

      1.2.1 安装xinetd-2.3.14-39.el6_4.x86_64.rpm，service xinetd start

      1.2.2 ssh免密码

        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

        cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

      1.2.2 安装ftp客户端ftp-0.17-54.el6.x86_64.rpm；

      1.2.3 安装vsftp     vsftpd-2.2.2-12.el6_5.1.x86_64.rpm;

      1.2.4 发现登录失败，500 OOPS: priv_sock_get_cmd，执行setsebool ftp_home_dir 1 搞定

1.3 安装java。

2、安装hadoop单机

2.1 解压hadoop，修改etc/hadoop/hadoop-env.sh  export JAVA_HOME=/usr/java/latest

   （如果指定了用户的JAVA_HOME可以省略此步）

2.2 配置hdfs

etc/hadoop/core-site.xml:

<configuration>

    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property>  </configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>        <value>1</value>    </property></configuration>

2.3 格式化namenode  bin/hdfs namenode -format;
2.4 启动sbin/start-dfs.sh；启动后通过 ip:50070查看hdfs信息；
2.5 环境变量，配了方便些
export HADOOP_HOME=/home/hadoop/hadoop-2.7.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
2.3配置yarn。

etc/hadoop/mapred-site.xml:
<configuration>
    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>
etc/hadoop/yarn-site.xml:
<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>
启动
sbin/start-yarn.sh

 http://localhost:8088/