hadoop伪分布式安装-腾讯云

最近学习hadoop，为了方便，于是我在腾讯云上安装部署了 hadoop伪分布式

环境：

腾讯云——1G内存，20G硬盘，1M带宽；

系统是Ubuntu16

java是jdk-8u101-linux-x64.tar（下载地址：http://download.csdn.net/detail/qinxike/9600178）

hadoop版本是hadoop-2.6.5.tar.gz（下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz）

先在本地把 jdk和hadoop下载下来，再通过 xftp 软件把jdk和hadoop上传到腾讯云上（我把jdk和hadoop放在/usr/local 目录下）

以下所有操作都是root用户

先关闭防火墙：# service iptables stop

开始工作了：

1.进入/usr/local 目录

# cd /usr/local/

2.解压 jdk-8u101-linux-x64.tar.gz

# tar -zxvf  jdk-8u101-linux-x64.tar.gz

3.配置jdk环境变量(在profile文件的后面添加如下内容)

# vi /etc/profile

4.刷新profile文件

# source /etc/profile

5.查看jdk的版本号

# java -version

6.安装ssh软件，启动ssh

# apt-get install -y ssh

# /etc/init.d/sshd start

7.设置ssh免密码登录(默认会放在当前用户的目录中)

# ssh-keygen -t  rsa -P ''

# cd /root/.ssh

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# chmod 777 ~/.ssh/authorized_keys

8.进入/usr/local 目录

# cd /usr/local

9.解压hadoop-2.6.5.tar.gz(我的解压包名字是：hadoop-2.6.5)

# tar -zxvf hadoop-2.6.5.tar.gz

# mv hadoop-2.6.5 /usr/local/hadoop

10.配置hadoop环境变量，这样就可以在任意目录中使用hadoop指令

# vi /etc/profile

查看hadoop版本

11.hadoop伪分布式配置，先进入hadoop配置文件目录下

# cd /usr/local/hadoop/etc/hadoop/

12.修改 core-site.xml文件，hdfs-site.xml文件，mapred-site.xml文件，slaves文件，分别如下：

core-site.xml文件：

hdfs-site.xml文件：

mapred-site.xml文件：

slaves文件：

说明：master是主机名

13.修改 /etc/hosts 文件

# vi /etc/hosts

说明：119.29.167.178是腾讯云的公网ip

14.格式化namenode

# hadoop namenode -format

15.启动hadoop

# start-all.sh

16.查看hadoop的进程

说明：可以看到NameNode，DataNode，NodeManager，ResourceManager进程说明启动成功了。