Hadoop 2.6 完全分布环境搭建

来源：互联网发布：怎样登录wifi网络认证编辑：程序博客网时间：2024/05/14 17:57

Hadoop 2.6 完全分布环境搭建

一、安装VM，修改本地window系统的网卡

修改网关ip

一、安装CENTOS 6.4

不再赘述

二、虚拟机设置静态IP

虚拟机调节成主机限定模式，并设置如下网络

那么接下来就是重启网络服务

Service networkrestart

我们来检测一下是否在本地window可以链接

Ping 192.168.80.101

连接成功

以后就可以用xxh等工具进行远程访问了，如果失败注意关闭防火墙（service iptables stop 或者chkconfig iptables off）

虚拟机只需要安装一个，其余的复制就好

创建一个用户hadoop, useradd Hadoop

密码统一为123456

修改主机名称

Vim /etc/hosts

密钥互信

四、安装jdk

CENTOS本身已经安装了jdk，但是我们还是建议自己重新安装

首先卸载jdk

Rpm –qa | grep jdk

会列出来已经安装的列表，删掉1.5，1.6，我这里把1.7也删掉了

Yum –y remove jdk1.5

重复执行上面的命令，依次卸载其他版本

复制jdk到你想要的地方，比如/opt/develop

之后解压 tar–zxvf jdk-8u144-linux-x64.tar.gz

解压完毕会出现jdk1.8.0_144目录

之后我们把jdk加入环境变量

Vim /et c/profile

追加

export JAVA_HOME=/opt/develop/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/sbin

别忘记，source /etc/profile让配置生效

五、安装hadoop

注意看地址：http://archive.cloudera.com/cdh5/cdh/5/

上传文件到虚拟机

下载之后在解压 tar zxvfhadoop-2.6.0-cdh5.6.0.tar.gz

然后复制文件到/opt/develop

喜欢命令就 cp hadoop-2.6.0-cdh5.6.0/opt/develop/

不喜欢就自己根据GUI去点击

然后建立文件夹切换到root用户执行

Mkdir/opt/develop/hdfs

Mkdir/opt/develop/hdfs/name

Mkdir/opt/develop/hdfs/data

修改配置文件(在后面追加即可)

hadoop-env.sh(文件都在/usr/hadoop/etc/hadoop中)

修改JAVA_HOME值

修改yarn-env.sh

修改JAVA_HOME值

配置文件：slaves

将内容修改为：

slave1

slave2

配置文件：core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/tmp</value>

<description>Abase forother temporary directories.</description>

</property>

<name>hadoop.proxyuser.u0.hosts</name>

</property>

<name>hadoop.proxyuser.u0.groups</name>

</property>

</configuration>

配置文件：hdfs-site.xml

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/hdfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

配置文件：mapred-site.xml

　　　　　　　　<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

配置文件：yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

将hadoop传输到slave1和slave2根目录

scp -r /opt/develop/ hadoop-2.6.0-cdh5.6.0 hadoop@slave1: /opt/develop/

scp -r/opt/develop/ hadoop-2.6.0-cdh5.6.0 hadoop@slave2: /opt/develop/

1）配置环境变量

#root模式编辑/etc/profile

vim /etc/profile

#以上已经添加过java的环境变量,在后边添加就可以

Export PATH=$PATH:$JAVA_HOME/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/sbin

启动hadoop

Start-all.sh

格式化hdfs

Hadoop namenode–format

查看进程

注：

留意这几个端口号，出现连接失败，拒绝链接，考虑防火墙和端口号问题

阅读全文

0 0