Hadoop2.7.3伪分布式搭建过程详解

Hadoop2.8伪分布式安装过程分享：

一．实验环境

Vmwareworkstation12

Centos7

网络我选择的是host模式

主机名hadoop  ip地址192.168.40.66

二.

1.首先看一下主机的ip地址

2.然后去这个目录下修改固定ip地址（非必要，只是为了方便）

3.重启网络服务修改ip成功

Ping 一下 网关地址 也能ping通说明配置成功

修改主机名

4.关闭防火墙

systemctl stop firewalld

system disable firewalld

关闭禁用防火墙（centos7下命令稍微有点修改）

修改etc/hosts文件绑定本机ip与主机名，只是为了方便非必要

5.重启机器

重启之后，主机名修改完毕

使用systemctl status firewalld 命令查看防火墙已经关闭

6.制作ssh免密登录

一路回车看到下图说明秘钥生成完毕

来到root用户的家目录下 cd  ~

Ls –a 命令查看隐藏文件 打开.ssh 文件夹

复制公钥到本地改名为authorized_keys

实验一下ssh hadoop 第一次登录要输入yes 但并没有输入密码说明配置成功咯

7.接下来要使用xshell往虚拟机里传入hadoop2.8的安装包

安装xshell时选择免费为学校就可以

使用xftp将hadoop和jdk安装包放在usr/local下面（这里的jdk我用的1.8）

使用tar –zxvf 命令解压安装包

将文件夹改名为hadoop  mv  hadoop…. Hadoop

8.查找本机已安装的jdk 使用RPM –e卸载没用的

安装好我们的jdk1.8 rpm –ivh jdk…默认安装在usr/java下

我比较习惯在/usr/local/下安装软件所以我把它移动了。。

编辑etc下的profile文件修改环境变量

测试一下java-version命令和hadoop命令

 

9.然后配置hadoop的相关参数

需要配置的文件在/usr/local/hadoop/etc/hadoop目录下

第一coresite.xml

<configuration>

 <property>

 <name>fs.defaultFS</name>定义master的URI和端口

 <value>hdfs://master:9000</value>//

 </property>

 <property>

 <name>io.file.buffer.size</name>//用作序列化文件处理时读写buffer的大小

 <value>131072</value>

 </property>

 <property>

 <name>hadoop.tmp.dir</name>

//临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。

 <value>file:/usr/local/hadoop/tmp</value>

 <description>Abase for other temporarydirectories.</description>

 </property>

 <property>

 <name>hadoop.proxyuser.root.hosts</name>

 <value>*</value>

 </property>

 <property>

 <name>hadoop.proxyuser.root.groups</name>

 <value>*</value>

 </property>

</configuration>

改好自己的主机名第一个配置项

Hadoop-env.sh

修改javahome值

Hdfs-site.xml

<configuration>

 <property>

 <name>dfs.namenode.name.dir</name>

 <value>file:/usr/local/hadoop/hdfs/name</value>

 </property>

 <property>

 <name>dfs.datanode.data.dir</name>

 <value>file:/usr/local/hadoop/hdfs/data</value>

 </property>

 <property>

 <name>dfs.replication</name>

 <value>1</value>

 </property>

 <property>

 <name>dfs.namenode.secondary.http-address</name>

 <value>master:9001</value>

 </property>

</configuration>

修改mapred-site.xml.template并改名mapred-site.xmlhadoop2.0此项已没用改用yarn了

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

Yarn-site.xml

<configuration>

<property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

 </property>

 <property>

           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

           <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

 <property>

            <name>yarn.resourcemanager.address</name>

            <value>hadoop:8032</value>

 </property>

 <property>

            <name>yarn.resourcemanager.scheduler.address</name>

            <value>hadoop:8030</value>

 </property>

 <property>

            <name>yarn.resourcemanager.resource-tracker.address</name>

            <value>hadoop:8035</value>

 </property>

 <property>

            <name>yarn.resourcemanager.admin.address</name>

            <value>hadoop:8033</value>

 </property>

 <property>

            <name>yarn.resourcemanager.webapp.address</name>

            <value>hadoop:8088</value>

 </property>

 

<!-- Site specific YARN configurationproperties -->

 

</configuration>

注意修改成自己的主机名

10.执行完毕后格式化hadoop文件系统

Hadoop namenode  –format

执行命令start-all.sh （虽然这个命令有点过时了，但还是好用）

执行jps看到有五个如下五个进程在运行说明hadoop伪分布式架构搭建完毕

接下来是开发环境的搭建：