centos6.8安装开发环境2之hadoop伪分布式搭建

前言：hadoop生态圈集群一般是主从机器搭建，现用一台机器搭建伪分布式

1、使用命令 hostname 查看主机名

1.1、配置机器名，使主机名和ip地址映射 

 使用命令  vi /etc/hosts  在末尾加上192.168.xxx.xxx  主机名

2、配置免密码登录

2.1、在机器上生成秘钥对
使用命令ssh-keygen -t rsa -p ' ' 
2.2、把公钥id_rsa.pub追加到授权的key里面去
使用命令cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.3、修改文件authorized_keys权限
chmod 600 ~/.ssh/authorized_keys
2.4、将授权文件分配到其他主机上（伪分布式此步骤不要）
ssh-copy-id -i ~/.ssh/id_rsa.pub  用户名@主机名
2.5、用root账户 在主机上修改配置文件

vi /etc/ssh/sshd_config

将下面的注释去掉：
RSAAuthentication yes #启用RSA认证
　　PubkeyAuthentication yes #启用公钥私钥配对认证方式
　　AuthorizedKeysFile      .ssh/authorized_keys #公钥文件路径

配置完成时候 ssh 主机名不要密码就登录上去表示成功

3、准备好hadoop 在这里我准备的是hadoop-2.7.4.tar.gz上传

4、解压hadoop-2.7.4.tar.gz

使用tar -zxvf hadoop-2.7.4.tar.gz解压

5、修改配置文件

切换到hadoop解压目录下 mkdir data新建data文件夹

6、
[root@oracle hadoop-2.7]# cd etc/hadoop/
[root@oracle hadoop]# ls
capacity-scheduler.xml  hadoop-env.cmd              hadoop-policy.xml        httpfs-signature.secret  kms-log4j.properties  mapred-env.sh               ssl-client.xml.example  yarn-site.xml
configuration.xsl       hadoop-env.sh               hdfs-site.xml            httpfs-site.xml          kms-site.xml          mapred-queues.xml.template  ssl-server.xml.example
container-executor.cfg  hadoop-metrics2.properties  httpfs-env.sh            kms-acls.xml             log4j.properties      mapred-site.xml.template    yarn-env.cmd
core-site.xml           hadoop-metrics.properties   httpfs-log4j.properties  kms-env.sh               mapred-env.cmd        slaves                      yarn-env.sh

7、配置JAVA_HOME

vi hadoop-env.sh修改JAVA_HOME路径为系统环境变量里面配置的JAVA_HOME路径一样

8、配置core-site.xml

[root@oracle hadoop]# vi core-site.xml

在configuration标签下加入（一下文件配置都是在次标签下加入的）

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.XXX.XXX:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.7/data/tmp</value></property>

9、开始配置hdfs-site.xml（设置备份数，hadoop默认是三份，由于我们是伪分布式，所以一份就够了）
<name>dfs.replication</name><value>1</value>
10、然后开始格式化文件系统
        [root@oracle hadoop-2.7]#  bin/hdfs namenode –format
出现：17/08/16 15:26:43 INFO namenode.FSImage: Allocated new BlockPoolId: BP-34958735-192.168.159.129-150286840312117/08/16 15:26:43 INFO common.Storage: Storage directory /home/software/hadoop-2.7/data/tmp/dfs/name has been successfully formatted.17/08/16 15:26:43 INFO namenode.FSImageFormatProtobuf: Saving image file /home/software/hadoop-2.7/data/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression17/08/16 15:26:43 INFO namenode.FSImageFormatProtobuf: Image file /home/software/hadoop-2.7/data/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.17/08/16 15:26:43 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 017/08/16 15:26:43 INFO util.ExitUtil: Exiting with status 017/08/16 15:26:43 INFO namenode.NameNode: SHUTDOWN_MSG:/************************************************************SHUTDOWN_MSG: Shutting down NameNode at oracle/192.168.159.129************************************************************/
表示格式化成功
11、启动HDFS

[root@oracle sbin]# ./start-dfs.sh

12、验证在本机上访问ip:50070出现界面则表示启动成功

注：如果访问不上也可能是防火墙打开的原因

关闭防火墙：service iptables stop