hadoop集群（二）安装配置

1.hadoop安装
hadoop2.6.4，一般软件安装都选择次新版
选择dashuju174的机器
su - hadoop，进入hadoop用户的目录，一般默认为/home/hadoop
mkdir application
cd application
上传hadoop-2.6.4.tar.gz，执行命令

tar zxvf hadoop-2.6.4.tar.gzln -s hadoop-2.6.4 hadoop // 创建软链接

2.设置环境变量
vi /etc/profile，添加以下内容，注意编辑完后，一定要source /etc/profile

export HADOOP_HOME=/home/hadoop/application/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

3.hadoop配置
hadoop的配置文件位于${HADOOP_HOME}/etc/hadoop目录下
3.1 core-site.xml

<configuration>        <property>        <name>fs.default.name</name>        <value>hdfs://dashuju174:9000</value>        <description>dashuju174</description>        </property>        <property>                <name>hadoop.tmp.dir</name>                <value>/home/hadoop/platform/hadoop/tmp</value>        </property>         <property>        <name>io.file.buffer.size</name>        <value>131702</value>    </property></configuration>

3.2 hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 //可通过which java找到目录位置，只需写到Java的安装位置即可。注意hadoop无法使用linux预装的OpenJDKexport HADOOP_SSH_OPTS="-p 2222" // 此项如果ssh的端口为默认端口22，则不需要配置。

3.3 hdfs-site.xml
dfs.webhdfs.enabled配置为true的原因，再往后如果使用apache hue的时候，就非常依赖此配置。

<configuration>    <property>    <name>dfs.namenode.name.dir</name>    <value>/home/hadoop/platform/hadoop/hdfs/name</value></property><property>    <name>dfs.datanode.data.dir</name>    <value>/home/hadoop/platform/hadoop/hdfs/data</value></property><property>    <name>dfs.replication</name>    <value>2</value></property>            <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value></property>

3.4 mapred-site.xml
如果没有mapred-site.xml，则执行命令 cp mapred-site.xml.template mapred-site.xml

<configuration>    <property>   <name>mapreduce.framework.name</name>    <value>yarn</value>   </property><property>   <name>mapreduce.jobhistory.address</name>    <value>dashuju174:10020</value>   </property>   <property>   <name>mapreduce.jobhistory.webapp.address</name>    <value>dashuju174:19888</value>   </property></configuration>

3.5 slaves
hadoop集群中有两种节点namenode和datanode，slaves是配置datanode。

dashuju172dashuju173

3.6 yarn-site.xml

<configuration>  <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>  </property>  <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property>  <property><name>yarn.resourcemanager.hostname</name><value>dashuju174</value>  </property>  <property>   <name>yarn.resourcemanager.address</name>   <value>dashuju174:8032</value>  </property>  <property><name>yarn.resourcemanager.scheduler.address</name><value>dashuju174:8030</value>  </property>  <property><name>yarn.resourcemanager.resource-tracker.address</name><value>dashuju174:8031</value>  </property>  <property><name>yarn.resourcemanager.admin.address</name><value>dashuju174:8033</value>  </property>  <property><name>yarn.resourcemanager.webapp.address</name><value>dashuju174:8088</value>  </property>  <property>   <name>yarn.web-proxy.address</name>   <value>dashuju174:8888</value>  </property></configuration>

4. 172、173hadoop配置
配置172、173的hadoop，则在174上执行命令，将文件同步过去

scp -P 2222 -r /home/hadoop/application/hadoop-2.6.4 hadoop@dashuju172:/home/hadoop/application/scp -P 2222 -r /home/hadoop/application/hadoop-2.6.4 hadoop@dashuju173:/home/hadoop/application/

通过过去后，在172、173上执行命令ln -s hadoop-2.6.4 hadoop创建软链接
vi /etc/profile配置172、173的环境变量，注意source进行生效处理

export HADOOP_HOME=/home/hadoop/application/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6 启动hadoop
先创建hdfs文件系统分区，注意命令是hadoop用户下namenode节点执行。

hdfs namenode -format // 这点跟windows是一样的，重新分区后的卷总是需要格式化，所以系统分布创建好后，不要随便格式化start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver // 启动作业

登录http://192.168.5.174:50070，查看hadoop的情况

如果启动过程发生错误，可以执行一下命令，重新执行，查看hadoop的日志，hadoop的日志位于${HADOOP_HOME}/logs

export HADOOP_ROOT_LOGGER=DEBUG,console

也可以通过jps检查进程，如果缺少，则需要查看日志，定位问题
针对namenode

针对datanode