ubuntu 下安装伪分布式 hadoop

安装准备：

(1)hadoop安装包：hadoop-1.2.1.tar.gz

(2)jdk安装包：jdk-7u60-linux-i586.gz

(3)要是需要eclipse开发的话 还需要eclipse安装包 和eclipse和hadoop相关连的jar包。

安装：

(1)可以选择一个新建用户安装 也可以使用目前账户。

(2)规定 所属用户组：

(3) 给予用户hadoop权限：

sudo vim /etc/sudoers 修改添加：

 说到vim ubuntu本身自带的是vim tiny 不可用 需要使用的是vim full版本 需要下载安装：

sudo apt-get  remove vim-common

sudo apt-get install vim

vim 本身的一些配置可根据自己的喜好进行设置。

(4) 安装 jdk：

根据自己需要选择安装路径、

sudo mkdir /usr/java

tar -zxvf jdk-7u60-linux-i586.gz

mv jdk-1.7.0 jdk(修改名字 可以不设置（最好）)

删除安装包：

(5)  配置jdk环境：

sudo vim /etc/profile 添加

更新一下（必须）：source /etc/profile

测试一下：

jdk 完成。

(6) ssh 免密码：

一般ssh-client 包含在ubuntu系统中，但是ssh-server并没有 安装，可以通过 ssh ip 测试下；

安装ssh-server: sudo apt-get install ssh

安装之后进行操作：

生成：

ssh 可以登录。

(7) 安装hadoop

可以先创建一个hadoop到文件夹：

sudo mkdir /usr/hadoop

cd /usr/hadoop/

sudo tar -zxvf hadoop-1.2.1.tar.gz

sudo mv hadoop-1.2.1 hadoop

sudo chown -R hadoop:hadoop hadoop 将文件夹hadoop 读权限赋予hadoop用户

sudo rm -rf hadoop-1.2.1.tar.gz

安装之后需要进行配置：

配置 /etc/profile 添加：

sudo vim /etc/profile

配置hadoop-env.sh文件：

sudo vim /usr/hadoop/conf/hadoop-env.sh:

建立一个文件夹：用于配置hadoop.tmp.dir参数：

sudo mkdir /usr/hadoop/tmp

配置核心文件：

core-site.xml:

hdfs-site.xml:

mapred-site.xml:

启动：由于前面配置 输入：

格式化节点：

hadoop namenode -format

启动：start-all.sh

jps 查看

停止：stop-all.sh 

（8）安装eclipse

同上 先创建一个文件夹 解压安装....

进去启动eclipse 遇到个小问题：

      eclipse找不到jdk 或是jre

解决：

cd /home/hadoop/eclipse (安装eclipse)

sudo ln -sf $JRE_HOME jre

就是这个：

进行eclipse 配置hadoop 将相关连的插件 复制到 eclipse下到plugins文件夹里面：

启动 eclipse：

 window->perferences:

hadoop的安装目录。

设置：

右键下面的空白区域：

出现：并配置

点开左侧小象：

eclipse配置完成。

以后可以在eclipse书写作业  然后到终端进行执行。

配置遇到的问题：

namenode datanode 没有起来：

解决如下：

(1)删除 /usr/hadoop/tmp

(2)在创建 ： sudo mkdir /usr/hadoop/tmp

(3)删除 /tmp文件夹下 所有以hadoop开头的文件：

sudo rm -rf /tmp/hadoop*

(4)重新格式化：

hadoop namenode -format

(5)启动 

start-all.sh