centOS6.3下的hadoop2.x基本配置（本地模式和伪分布式模式）

本文章仅为作者笔记

一.安装JDK，不会请自行百度。(记得配置完使用 source /etc/profile 使配置生效)
二.解压hadoop.2.5.2.tar.gz包 —> tar -zxf hadoop.2.5.2.tar.gz 。解压后的包放在 /home/hadoop/hadoop/hadoop下 名为hadoop.2.5.2的文件夹
三.开始配置hadoop。
hadoop所有需要配置的文件都在hadoop.2.5.2/etc/hadoop文件夹下
1.配置hadoop-env.sh
使用echo ${JAVA_HOME} 命令查看安装的jdk的路径将其替换到红框中


现在可以启动hadoop了。hadoop有三种模式：本机模式、伪分布式模式、分布式模式。
本机模式：
mkdir input
cp etc/hadoop/*.xml
input目录下的xml文件

执行mapreduce自带的一个程序：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output ‘dfs[a-z.]+’
然后会生成一个output文件夹，在output文件夹里会有一个文件

如果为SUCCESS则成功.
在运行个小程序测试一下：
创建一个wcinput文件夹，在这个文件夹里创建一个文件，写入字符

然后对这个文件进行处理
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount wcinput wcoutput
结果会输出到当前目录下的wcoutput文件夹下（即命令中的wcinput是输入目录，wcoutput是输出目录）

“hadoop”字符出现了4次 “yarn”字符出现了2次，其余出现了1次.

四.关于HDFS的配置
HDFS的配置有两个配置文件（core-site.xml 和 hdfs-site.xml）
利用hostname命令查看本机

1.core-site.xml

将主机名称copy到标签中（注意：前缀hdfs://不能省，8020为端口号，第二个标签是修改它的默认配置,hadoop.tmp.dir是hadoop运行时的一个临时目录，图中的data/tmp目录自己创建）

2.配置hdfs-site.xml

因为是伪分布式，所以标签中值为1
接下来执行格式化命令 bin/hdfs namenode -format
下图为格式化成功！

3.启动namenode
sbin/hadoop-daemon.sh start namenode
启动datanode
sbin/hadoop-daemon.sh start datanode
用jps命令查看启动是否成功

浏览器查看web界面：主机名+50070端口(http://localhost.localdomain:50070/)

点击界面中的Utilities–>browse the file system查看文件系统
创建目录：bin/hdfs dfs -mkdir -p /user/hads/
查看目录：bin/hdfs dfs -ls -R/
跑一个小程序测试一下
新创建一个目录：bin/hdfs dfs -mkdir -p /user/hads/mapreduce/wordcount/input
上传文件：bin/hdfs dfs -put wcinput/wc.input /user/hads/mapreduce/wordcount/input
处理该文件：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /user/hads/mapreduce/wordcount/input/ /user/hads/mapreduce/wordcount/output/
五.配置yarn(单节点安装)
1.配置yarn-env.sh

2.配置yarn-site.xml(第一个为修改默认配置)

3.启动yarn：sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
使用jps命令查看启动是否成功

使用浏览器访问web页面：http://localhost.localdomain:8088/
六.将mapreduce运行yarn上
1.配置maperd-env.sh

2.配置maperd-site.xml(即将maperd-site.xml.template重命名为maperd-site.xml)

运行一个小程序测试一下(先删除之前输出的数据bin/hdfs dfs -rm -R /user/hads/mapreduce/wordcount/output)
处理文件命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /user/hads/mapreduce/wordcount/input/ /user/hads/mapreduce/wordcount/output/