hadoop环境搭建

来源：互联网发布：淘宝老酒拍卖真吗编辑：程序博客网时间：2024/06/05 19:43

1 安装前准备

虚拟机软件：VMWare

操作系统：ubuntu-16.04.1

下载地址：http://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/16.04.1/ubuntu-16.04.1-server-amd64.iso

hadoop版本：hadoop-2.7.3

下载地址：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

jdk版本：jdk-8u111-linux-x64.tar.gz

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

将下载的jdk、hadoop包拷贝到接口usb2.0的U盘中

2 安装流程概览

a.VMWare安装ubuntu操作系统；

b.在ubantu上安装jdk；

c.设置ssh免密码登录；

d.安装、配置hadoop；

e.启动hadoop。

3 具体安装流程

3.1 VMWare安装ubuntu操作系统

典型安装即可，注意记住设置的用户名、密码。

3.2 ubantu上安装jdk

具体见我的另一篇博客：http://blog.csdn.net/blue_it/article/details/53926123

3.3 设置ssh免密码登录

先确认能否不输入口令就用ssh登录localhost:
ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行过程的确认项，输入yes即可。

正确执行后在~/.ssh目录输入命令：ls 可见 id_rsa id_rsa.pub文件

ssh免密码登录，结果如下：

3.4 安装、配置hadoop

a.将U盘中hadoop安装包复制到当前用户目录下，并解压。

复制、解压操作具体见我的另一篇博客：http://blog.csdn.net/blue_it/article/details/53926123中jdk的复制、解压。

b.进入解压的目录hadoop-2.7.3中，找到etc文件夹，进入，找到hadoop文件夹，进入，可看到core-site.xml、hdfs-site.xml等文件。

c.分别配置如下文件

core-site.xml 配置如下：　　　　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/home/kent/hadoop2.7.3/hadoop-2.7.3/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　</property>
　　　　</configuration>

　　其中的hadoop.tmp.dir的值可以根据自己的需求进行设置。

　　mapred-site.xml.template配置如下：　　　　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapred.job.tracker</name>
　　　　　　　　<value>localhost:9001</value>
　　　　　　</property>
　　　　</configuration>

　　hdfs-site.xml配置如下：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/kent/hadoop2.7.3/hadoop-2.7.3/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/kent/hadoop2.7.3/hadoop-2.7.3/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

　　其中dfs.namenode.name.dir和dfs.datanode.data.dir的值可以自由设置，最好在hadoop.tmp.dir的目录下面。

3.5 启动hadoop

1.初始化HDFS系统
在hadoop目录下，输入命令：bin/hdfs namenode -format，过程需要进行ssh验证，键入y即可。
2.开启NameNode和DataNode守护进程
　　　在hadoop目录下，输入命令：sbin/start-dfs.sh 即可，启动成功显示如下：

　如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop-env.sh里面，具体如下：
export JAVA_HOME="/usr/lib/java/jdk1.8.0_111"

3.外部访问

关闭防火墙命令:ufw disable

外部浏览器访问: http://ipaddress:50070

注意ipaddress需改为虚拟机地址，同时虚拟机网络连接应设置为：桥接模式

正常访问结果如下：

0 0