Hadoop平台搭建-ubuntu下

 http://blog.csdn.net/ruishenh/article/details/17039407

在阿里云上搭建hadoop

http://www.cnblogs.com/laov/p/3421479.html

使用虚拟机搭建完全分布式的hadoop

参考上述网址搭建hadoop

 

注释：蓝色的字为输入的指令或者输入到服务器文本的内容。

 

1、增加主机IP映射，后续配置就不需要输入IP了，直接输入master、slave1即可。所有虚拟机修改文件：vi /etc/hosts

增加  

120.24.218.175  master

120.27.103.221  slave1

120.25.153.204  slave2

 

2、添加用户 hadoop

①添加用户组  hadoop： 输入命令sudo addgroup hadoop

②添加用户 hadoop ：输入命令sudo adduser -ingroup hadoop hadoop 

③给hadoop用户添加权限（赋予hadoop用户root用户同样的权限）：

按打开/etc/sudoers文件：vi /etc/sudoers，

在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL

 

3、通过ssh key互相免密码授权

①设置ssh的密钥和密钥的存放路径，路径为~/.ssh下：

输入命令ssh-keygen -t rsa  一路按回车就行了

     打开~/.ssh 下面有三个文件

    authorized_keys，已认证的keys

    id_rsa，私钥

    id_rsa.pub，公钥

 

若authorized_keys文件不存在，则在.ssh文件夹下创建authorized_keys即可。（因为authorized_keys 文件中存放的是已认证的keys，包括自己的公钥、别的服务器成功发送的公钥）

②在master上将公钥放到authorized_keys里。

命令：sudo cat id_rsa.pub >> authorized_keys

③将master上的authorized_keys放到其他linux的~/.ssh目录下。

命令：sudo scp authorized_keys hadoop@slave1:~/.ssh       

sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。

    公钥给对方保存，私钥自己保存，机器互相持有对方的pub key

④修改authorized_keys权限，

命令：chmod 644 authorized_keys

⑤测试是否成功

ssh host2 输入用户名密码，然后退出，再次ssh host2不用密码，直接进入系统。 这就表示成功了。

4、安装jdk（删除openjdk的方法;sudo apt-get autoremove openjdk-6-jre）

安装jdk分为两种方式：

A、通过"apt-get install openjdk-8-jdk"。

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

sudo apt-get install oracle-java8-set-default

 

B、通过windows系统直接下载安装包，然后通过filezilla上传，解压缩安装。

①下载jdk-8u121-linux-i586.tar.gz文件到本地后即可在所在的文件夹进行解压安 装。(非root权限命令如下)

tar -zxvf jdk-7u25-linux-i586.tar.gz    解压压缩文件到所在文件夹

mkdir /usr/java/                       在usr下创建java文件夹

cp -R jdk1.8.0_40/ /usr/java/　　把jdk1.8.0_40复制到/usr/java/文件夹下

 

②配置环境变量

gedit /etc/profile                  打开环境变量配置文件/etc/profile

在环境变量配置文件中加入以下内容

export JAVA_HOME=/usr/java/jdk1.8.0_121

export ANDROID_JAVA_HOME=$JAVA_HOME

export JRE_HOME=/usr/java/jdk1.8.0_121/jre

export CLASSPATH=/usr/java/jdk1.8.0_121/lib

export PATH=$JAVA_HOME/bin:$PATH

 

使配置文件生效：source /etc/profile    或者重启服务器使配置文件生效。

 

③测试是jdk是否安装成功

输入命令：java  -version　　       

如果显示如下三行,则表示安装成功

java version "1.8.0_121"

Java(TM) SE Runtime Environment (build 1.8.0_121-b13)

Java HotSpot(TM) Client VM (build 25.121-b13, mixed mode)

 

 

 

5、下载hadoop 最新版本

    下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/

    目前最新版本是2.6.0

 

6、解压hadoop

 

7、配置hadoop环境变量

8、更改hadoop配置文件

①更改hadoop-env.sh文件，路径为：

/usr/local/hadoop-3.0.0-alpha1-src/hadoop-common-project/hadoop-common/src/ main/conf

改export JAVA_HOME=/usr/java/jdk1.8.0_121

②修改