Hadoop开发初探--Hadoop环境搭建

目前本人正在学习Hadoop，现将老师所讲内容进行总结概括如下：

注：Hadoop基于VMWare下的centos7中，因此需要掌握部分Linux命令，Linux的相关知识见此链接Linux基础知识学习，以后我也会对其进行总结。

1、环境的配置与搭建

（1）centos7镜像安装

（2）设置主机名及配置网关

由于Hadoop分布式需要多个虚拟机之间相互连接，因此每个系统都要有自己的主机名，每台主机的ip地址又有网关，修改命令：vi /etc/sysconfig/network。

（3）修改网卡ens33配置

设置网关、ip和DNS，查看网关信息的命令为：cat /Library/Preferences/VMware Fusion/vmnet8/dhcpd.conf，修改网卡的具体命令为：vi /etc/sysconfig/network-scripts/ifcfg-ens33

（4）设置DNS--->修改resovl.conf，具体命令：vi /etc/resolv.conf，内容设置为：nameserver 223.5.5.5

（5）重启网卡：service network restart，进行测试：ping www.baidu.com（前提：主机联网）

2、Linux环境的配置

（1）查看虚拟机ip地址：ifconfig

（2）为方便连接，设置域名与ip地址绑定，具体命令为：vi /etc/hosts，添加一行内容：ip地址    域名，随后进行测试：ping hadoop.skedu.com

（3）设置以域名方式访问系统： sudo vi /etc/hosts，添加对应内容：ip地址   域名

（4）在ssh工具中进行配置连接到centos主机，并在ssh工具中更新所有程序：yum update -y

（5）关闭SeLinux：vi /etc/selinux/config，将SELINUX修改为disabled

（6）重启服务器：reboot -h，关闭防火墙：service firewalld stop，关闭开机启动：systemctl disable firewalld.service

（7）在opt目录下分别创建四个子目录，modules（存放安装包）,softwares（存放软件）,tools（工具）,datas（数据文件）

（8）使用ftp软件将java的SDK和Hadoop安装文件上传至software目录并进行安装。

3、jdk的安装及配置

（1）安装命令：rpm -ivh jdk-7u79-linux-x64.rpm

（2）配置环境变量：vi /etc/profile，在profile文件后追加以下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

（3）保存退出，并执行source /etc/profile

（4）更新alternatives，选择jdk版本，执行命令为：

update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_79/bin/java 60

（4）配置jdk，执行update-alternatives --config java

4、安装和配置Hadoop

（1）解压缩软件包至modules目录：tar -zxf hadoop-2.7.3.tar.gz -C /opt/modules/

（2）配置Hadoop的JAVA_HOME环境变量： vi ${hadoop安装目录}/etc/hadoop/hadoop-env.sh，添加：export JAVA_HOME=/usr//java/jdk1.7.0_79