Hadoop installation. Hadoop fully distributed install (2.6.0)

安装的tar.gz文件来源于已重新编译过native library (32bits的机器可以不用重新编译直接使用官方的tar.gz) 的文件

具体编译方法在上一篇文章有: Hadoop native library build

下面配置过程和内容跟Hadoop版本关系不大 以后的版本也可以如此使用

不过有可能因为版本变化, 有些.xml的参数或被修改或抛弃, 所以配置过程一定利用好官网, 而不是一味百度 google, 有些搜索看时间都好多年前的

已经不会适用

现在配置的这版已经是2.6.0了

安装过程主要参考: 官网安装教程

hadoop安装路径根据每个人习惯可以放在不同地方

笔者先将hadoop-version这个文件夹改名为hadoop(方便而已)

cluster: 1主3从

然后将hadoop文件夹放在/opt/目录下

cd到/opt/hadoop/etc/hadoop/下

先修改hadoop-env.sh 和 yarn-env.sh

修改的参数如下:

export JAVA_HOME="你的JAVA_HOME" (两个env.sh都有这个参数)

export HADOOP_LOG_DIR="你想将log文件放在的目录"(目录用于debug使用)

我的修改方式是: export HADOOP_LOG_DIR=/opt/hadoop/log

export YARN_LOG_DIR="你想将yarn log文件放在的目录"(用处上同)\

我的修改方式是: export YARN_LOG_DIR=/opt/hadoop/yarn-log

还有很多参数可以修改, 根据需要.

一般玩家(初接触)可以只修改上面提及到, 其他参数采用系统默认的就好

修改core-site.xml, master是我的主机名(hostname) 供参考的官方默认参数: core-default.xml

<configuration>        <property>                <name>fs.defaultFS</name>                <value>hdfs://master:9000</value>        </property>        <property>                <name>io.file.buffer.size</name>                <value>131072</value>        </property>        <property>                <name>hadoop.tmp.dir</name>                <value>/opt/hadoop/tmp</value>        </property></configuration>

修改hdfs-site.xml, 基本上都是上述网页都推荐设置 供参考的官方默认参数: hdfs-default.xml

<configuration>        <property>                <name>dfs.namenode.hosts</name>                <value>slave1,slave2,slave3</value>        </property>        <property>                <name>dfs.blocksize</name>                <value>268435456</value>        </property>        <property>                <name>dfs.namenode.handler.count</name>                <value>100</value>        </property></configuration>

修改yarn-site.xml, 主要修改好resourcemanager的host就可以了, 官网上提供的其他参数用默认的就行 供参考的官方默认参数: yarn-default.xml

<configuration>        <property>                <name>yarn.acl.enable</name>                <value>false</value>        </property>        <property>                <name>yarn.admin.acl</name>                <value>*</value>        </property>        <property>                <name>yarn.log-aggregation-enable</name>                <value>false</value>        </property>        <property>                <name>yarn.resourcemanager.hostname</name>                <value>master</value>        </property>        <property>                <name>yarn.resourcemanager.nodes.include-path</name>                <value>slave1,slave2,slave3</value>        </property>        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property></configuration>

修改mapred-site.xml(修改之前改下文件名 原名叫mapred-site.xml.template) 供参考的官方默认参数: mapred-defalut.xml

<configuration>        <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>        </property>        <property>                <name>mapreduce.map.memory.mb</name>                <value>1536</value>        </property>        <property>                <name>mapreduce.map.java.opts</name>                <value>-Xmx1024M</value>        </property>        <property>                <name>mapreduce.reduce.memory.mb</name>                <value>3072</value>        </property>        <property>                <name>mapreduce.reduce.java.opts</name>                <value>-Xmx2560M</value>        </property>        <property>                <name>mapreduce.task.io.sort.mb</name>                <value>512</value>        </property>        <property>                <name>mapreduce.task.io.sort.factor</name>                <value>100</value>        </property>        <property>                <name>mapreduce.reduce.shuffle.parallelcopies</name>                <value>50</value>        </property>        <property>                <name>mapreduce.jobhistory.address</name>                <value>master:10020</value>        </property>        <property>                <name>mapreduce.jobhistory.webapp.address</name>                <value>master:19888</value>        </property></configuration>

最后是配置slaves (改成你的slaves的主机名) 以下是我的slaves的主机名

slave1slave2slave3

配置过程中遇到不知道参数意义或者想了解默认参数和推荐参数又何区别的时候

建议click进去所给的默认-default.xml中进行查询

到这里 配置完成!

然后将以上配置文件所在的目录复制到各台从机的hadoop的相同目录上

然后cd到 /opt/hadoop目录下

运行:

bin/hdfs namenode -format (只需要第一次运行)

sbin/start-dfs.sh

sbin/start-yarn.sh

使用官方的指令介绍也可, 这里没有用到jobhistory,因为笔者实验过程中未用到mapreduce, 所以不开启, 开启需按照官网的指令:

sbin/mr-jobhistory-daemon.sh start historyserver

完毕.

(前期那些如何配置ssh和保持username一致等不作累赘说明)