1 Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建

安装步骤：
1.创建用户，使用hadoop用户
2.修改主机名以及ssh免密码登录
3.jdk安装
4.hadoop安装

1. Hadoop环境搭建-创建用户

步骤：(root用户密码为123456)
1. 使用useradd hadoop添加用户
2. 使用passwd hadoop设置用户密码，密码为abc123_
3. 给用户赋予使用sudo命令的权限。
4. chmod u+w /etc/sudoers
6. vim /etc/sudoers
7. 在root ALL=(ALL) ALL下面加上一行hadoop ALL=(ALL) ALL。（分隔的是制表符）
8. chmod u-w /etc/sudoers

2. Hadoop环境搭建-修改主机名以及ssh免密码登录

步骤：（使用hadoop用户登录）
1. 使用sudo hostname hh修改主机名，当前生效，重启后失效。
2. 使用vim /etc/sysconfig/network修改主机名，重启生效。
3. 在/etc/hosts文件中添加主机名对于的ip地址。
4. 使用ssh-keygen -t rsa生成ssh秘钥。dsa
5. 进入.ssh文件夹，创建authorized_keys文件，并将id_rsa.pub的内容添加到文件中去，修改文件权限为600(必须)。
6. ssh hh验证

查看磁盘挂载、使用情况[hadoop@hadoop-senior ~]$ df -m[hadoop@hadoop-senior ~]$ df -lh[hadoop@hadoop-senior ~]$ mkdir bigdater[hadoop@hadoop-senior ~]$ cd bigdater/[hadoop@hadoop-senior bigdater]$ mkdir softs

3. Hadoop环境搭建-JDK安装

步骤：
1. 复制jdk压缩包到softs文件夹中
2. 解压tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
3. 创建软连接sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79 /usr/local/jdk
4. 配置相关环境变量vim ~/.bash_profile:

export JAVA_HOME=/usr/local/sdkexport CLASSPATH=.:$JAVA_HOME/libexport PATH=$JAVA_HOME/bin:$PATH

全局生效配置文件/etc/profile。
5. 使环境变量生效 source ~/.bash_profile
7. 验证java -version/ javac -version

Linux中/etc/profile和$HOME/.bash_profile 每当系统登陆时都要读取这两个文件，用来初始化系统所用到的变量，其中/etc/profile是超级用户所用，$HOME/.bash_profile是每个用户自己独立的,可以修改该文件来设置一些变量。java -versionjavac -version

4. Hadoop环境搭建-hadoop安装

步骤：
1. 下载hadoop安装包并复制到到softs文件夹中。
2. 解压tar -zxvf softs/hadoop-2.5.0-cdh5.3.6.tar.gz，并创建数据保存文件hdfs(~/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/)。
3. 配置hadoop-env.sh mapred-env.sh yarn-env.sh文件
4. 配置基本环境变量core-site.xml文件
5. 配置hdfs相关变量hdfs-site.xml文件
7. 配置mapred相关环境变量mapred-site.xml文件
8. 配置yarn相关环境变量yarn-site.xml文件
9. 配置datanode相关变量slaves文件
10. 配置hadoop相关环境变量

配置【一定要看清楚变量！千万不能配错！！！】

第一步：配置hadoop-env.sh    export JAVA_HOME=/usr/local/jdk    export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp第二步：配置mapred-env.sh    export HADOOP_MAPRED_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp第三步：配置yarn-env.sh    export YARN_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp第四步：配置core-site.xml文件    <property>        <name>fs.defaultFS</name>        <value>hdfs://hh:8020</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>    </property>第五步：配置hdfs-site.xml文件    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>        <name>dfs.namenode.name.dir</name>        <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>    </property>    <property>        <name>dfs.namenode.data.dir</name>        <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>    </property>    <property>        <name>dfs.permissions.enabled</name>        <value>false</value>    </property>第六步：创建mapred-site.xml文件，直接执行命令cp mapred-site.xml.templete mapred-site.xml第七步：配置mapred-site.xml文件    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>第八步：配置yarn-site.xml文件    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>第九步：配置slaves指定datanode节点，将localhost改成主机名第十步：修改环境变量文件".base_profile",并使其生效source ~/.bash_profile###### hadoop 2.5.0export HADOOP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/export HADOOP_PREFIX=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_PREFIXexport HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoopexport HADOOP_HDFS_HOME=$HADOOP_PREFIXexport HADOOP_MAPRED_HOME=$HADOOP_PREFIXexport HADOOP_YARN_HOME=$HADOOP_PREFIXexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

验证环境变量是否设置成功

[hadoop@hadoop-senior ~]$ hadoop versionHadoop 2.5.0-cdh5.3.6Subversion http://github.com/cloudera/hadoop -r 6743ef286bfdd317b600adbdb154f982cf2fac7aCompiled by jenkins on 2015-07-28T22:14ZCompiled with protoc 2.5.0From source with checksum 9c7775296a534f91809cc23d2d15ffccThis command was run using /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/share/hadoop/common/hadoop-common-2.5.0-cdh5.3.6.jar

Hadoop环境搭建-hadoop启动

步骤：
1. 验证hadoop是否启动成功有两种方式，第一种：通过jps命令查看hadoop的进行是否启动，第二种：查看web界面是否启动显示正常内容。
2. 验证hadoop对应的yarn(MapReduce)框架是否启动成功：直接运行hadoop自带的example程序。
使用hadoop自带的mapreduce程序验证：/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar
将文件内容添加上去后执行：hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /test.txt output/1234

测试

[hadoop@hh hadoop-2.5.0-cdh5.3.6]$ hdfs dfs -put ~/bigdater/datas/test.txt /

搭建完毕！