Hadoop初次配置

第一部分 下载Hadoop文件

下载目录

http://mirrors.cnnic.cn/apache/hadoop/common/

在这里我们下载的版本为最近的稳定版本hadoop-2.4.1，点击下载

解压文件至文件夹

tar zxvf hadoop-2.4.1.tar.gz -C /root

第二部分 配置Hadoop的JAVA环境变量

/root/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

修改JAVA_HOME值 export JAVA_HOME=/usr/lib/jdk1.7.0_60

/root/hadoop-2.4.1/etc/hadoop/yarn-env.sh

修改JAVA_HOME值export JAVA_HOME=/usr/lib/jdk1.7.0_60

/root/.bashrc

export JAVA_HOME=/usr/lib/jdk1.7.0_60
export HADOOP_HOME=/root/hadoop-2.4.1
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${JAVA_HOME}/bin:$PATH
export HADOOP_MAPARED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

第三部分 配置Hadoop集群

/root/hadoop-2.4.1/etc/hadoop/slaves (这个文件里面保存所有slave节点)

CentOsHadoop11

/root/hadoop-2.4.1/etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://CentOsHadoop10:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>/root/temp</value><description>Abase for other temporary directories.</description></property><property><name>hadoop.proxyuser.hduser.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hduser.groups</name><value>*</value></property></configuration>

hadoop.tmp.dir-HDFS的根目录，它指定了HDFS在本地文件系统保存其全部数据的位置

/root/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>CentOsHadoop10:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/root/dfs/name/</value></property><property><name>dfs.datanode.data.dir</name><value>file:/root/dfs/data/</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>

dfs.replication-指定每个HDFS数据块的复制次数，HDFS确保每个数据块被复制到多台不同的主机，以此方式处理故障

/root/hadoop-2.4.1/etc/hadoop/mapred-site.xml(从新创建文件，可修改mapred-site.xml.template文件名)

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>CentOsHadoop10:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>CentOsHadoop10:19888</value></property></configuration>

/root/hadoop-2.4.1/etc/hadoop/yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>CentOsHadoop10:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>CentOsHadoop10:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>CentOsHadoop10:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>CentOsHadoop10:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>CentOsHadoop10:8088</value></property></configuration>

第四部分 对集群的配置同步

把以上的所有配置同步到各个集群机器，注意：完全同步即可

scp -r /root/hadoop-2.4.1 root@192.168.81.11:/root/hadoop-2.4.1

第五部分 处理namenode文件

创建文件夹

/root/dfs/name/

/root/dfs/data/

/root/temp

dfs文件夹hadoop是不会自己创建的，如果没有手动创建，则启动详细日志可以看到报错，这个地址与上面dfs.namenode.name.dir配置的地址参数一样

关于HDFS的具体知识点你要上网上简单看看，但估计你也看不懂，回来我手把手教你

格式化HDFS

hdfs namenode –format

在首次启动hadoop之前，都需要格式化hadoop将要用到的HDFS系统

第六部分启动Hadoop

start-all.sh

如见一下输出为正常并正确，恭喜亲

第七部分 测试与调试

详细查看日志，如果看到什么异常，则需要解决

/root/hadoop-2.4.1/logs/hadoop-root-namenode-CentOsHadoop10.log

/root/dfs/name 目录下有系统启动后自动创建的文件

附录 常见问题

• Could not resolve hostname It's: Name or service not known