虚拟机ubuntu部署hadoop2.2.0伪分布（1）

链接：http://pan.baidu.com/s/1bn4IIQF密码：ramg

 

开发环境：win7（32bit）+Eclipse（eclipse-jee-indigo-SR2-win32）

1、首先安装虚拟机VMWare，然后在虚拟机上安装ubuntu系统（/linux镜像文件/ubuntu-12.04-server-i386.ios）

                   虚拟机和win7的网络连接方式配置的是桥连

                  

2、要查看ubuntu中的apt-get是否能用（sudo apt-get update是否报错），如果不可以用，需要查找能够连接上的软件源

（软件源可以在http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8此地址查找合适的数据源，更新步骤同样是参考此处）。

         更新apt-get的目的是在线安装vsftp（方便win7系统和虚拟机交互），ssh（用于hadoop启动）。

         （1）首先备份源列表(for sure):sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup

         （2）而后用gedit或其他编辑器打开: vim /etc/apt/sources.list，目前本人选择的软件源为搜狐更新服务器：

                   deb http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse

                   deb http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-security main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-updates main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-proposed main restricted universe multiverse

                   deb-src http://mirrors.sohu.com/ubuntu/ utopic-backports main restricted universe multiverse

                   替换掉文件中所有的内容，保存编辑好的文件。

                   注意：一定要选对版本

         （3）刷新列表: sudo apt-get update

                   注意：一定要执行刷新

3、更新vsftp

（1）查看系统是否有ftp服务：ps -e | grep vsftpd，如果安装就可以不再重复安装

（2） vsftp执行命令：sudo apt-get install vsftpd

执行此命令后可能出现以下报错，出现此报错说明没有执行sudo apt-get update此命令或者是软件源不正常导致的，需要重新配置软件源，并执行sudo apt-get update命令：

安装完成之后主要修改/etc/vsftpd.conf这个文件（没发现这个文件？看看有没/etc/vsftpd/vsftpd.conf...）。注意，修改VSFTP配置之后需要重启一下其服务。（参考地址http://blog.sina.com.cn/s/blog_6b45901801012z0i.html）
1、下面这个控制用户上传许可：
write_enable=YES//该选项一般要打开，否则用户无法上传文件 

（3）重启

service vsftpd restart

4、安装shh

ssh执行命令：sudo apt-get install ssh（可参考网址：http://www.aboutyun.com/thread-6487-1-1.html）

                   通过ssh localhost测试一下自己有没有设置好无口令登陆，如果没有设置好，系统将要求你输入密码，通过下面的设置可以实现无口令登陆，具体原理请百度谷歌：

                   $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

                   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5、安装jdk(下载路径/jdk/jdk-7-linux-i586.tar)（可参考网址：http://www.aboutyun.com/thread-6750-1-1.html）

（1）解压安装

01.sudo mkdir /usr/lib/jvm

02.sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/lib/jvm

03.cd /usr/lib/jvm

04.sudo mv jdk1.7.0 java

（2）修改环境变量

vim ~/.bashrc

在最下边增加以下代码

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

（3）配置默认JDK版本

由于ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。

执行代码:

         sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/bin/java 300

         sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/bin/javac 300

         sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java/bin/jar 300

         sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java/bin/javah 300

         sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java/bin/javap 300

（4）测试

         $ java -version

         java version "1.7.0"

         Java(TM) SE Runtime Environment (build 1.7.0-b147)

         Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)

6、hadoop2.2.0安装（下载路径/hadoop/hadoop-2.2.0.tar.gz）（可参考网址：http://www.linuxidc.com/Linux/2014-09/106148.htm）

（1）、解压hadoop压缩包

sudo tar xzvf hadoop-2.2.0.tar.gz

sudo mv hadoop2.2.0 /home/tom

要确保所有的操作都是在用户tom下完成的：

sudo chown -R tom:tom /home/tom/hadoop-2.2.0

（2）配置.bashrc文件

vim ~/.bashrc在末尾增加如下代码：

export HADOOP_INSTALL=/home/tom/hadoop-2.2.0

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

重新加载.bashrc文件

source ~/.bashrc

（3）设定hadoop-env.sh(Java安装路径)

进入hadoop目录，打开/home/tom/hadoop-2.2.0/etc/hadoop/目录（貌似1.x的配置目录是/conf文件夹下，和2.x不同）下到hadoop-env.sh，修改信息：

vim hadoop-env.sh

在大概27行，把之前的export JAVA_HOME=${JAVA_HOME}改为

export JAVA_HOME=/usr/lib/jvm/java (视你机器的java安装路径而定)

 并且，让环境变量配置生效source

source ~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

（4）查看hadoop是否安装成功

通过命令hadoop version命令查看，出现如图结果说明安装成功：