hadoop学习之hadoop安装

此篇文章hadoop的安装是基于ubutu13系统的。

在安装hadoop之前，先要安装jdk和ssh。ubutu系统是默认没有安装这些的。

一.安装JDK

1.先到官网下载jdk，要1.6以上版本，版本越新越好，我选择的是1.8，下载地址是：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

根据系统的位数来下，如果系统是32位的话，就下32位的版本。（注意：jdk版本的位数要对应eclipse版本的位数）

2.下载后直接解压到你想安装的目录，解压目录就是安装目录（我的目录是/usr/lib/jvm/jdk1.8.0_11）。（估计有的小伙伴是刚接触Linux，会遇到很多权限问题，我就写详细点，尽量不用命令）

首先打开终端，就是命令输入窗口。如果找不到，直接快捷键（ctrl+alt+t）。先保留这个窗口。

打开系统盘，linux的系统盘是名字位“计算机”的盘。进入usr/lib，此时，你会发现文件夹上边有一个锁，说明里面不能进行文件的复制和新建。要想可以，必须赋予权限。

（给第一次接触linux的小伙伴：现在终端所在的目录是/home/用户名，可以用pwd命令查看，为了方便，先回到系统目录，直接输入cd /）

现在可以在终端输入命令了ls，查看该目录下有什么文件或者文件夹，一步一步来：先给usr赋予权限：sudo chmod 777 usr，第一次会要求输入密码，就输入你的登录密码吧。

接着给lib目录赋予权限：sudo chmod 777 usr/lib  此命令执行完后，你会发现lib文件夹上的锁不见了，你也可以在lib里面新建文件夹，就在里面新建一个jvm文件夹吧。然后把解压后的jdk复制到jvm里面。（解压方法，右键，提取到此处，会出现jdk1.8.0_11文件夹，把这个文件夹复制到jvm即可）

3.配置JDK的环境变量

终端输入：sudo  gedit  /etc/profile会弹出一个文件编辑。如果弹出的是空白文件，多尝试几遍，直到有文字为止。

在弹出的文件最后面输入以下内容：

#set Java Environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export CLASSPATH=.:$JAVA_HOME/lib:/$JRE_HOME/lib:$CLASSPATH
export JRE_HOME=/usr/lib/jvm/jdk1.8.0_11/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

根据自己的安装目录修改，如果安装目录和我一样就不用修改。保存。

在终端输入：sudo source /etc/profile使参数生效或者重启系统使参数生效。

4.在终端输入java，如果出现用法和很多参数，说明配置成功了。

5.如果输入java显示权限不够，也说明配置成功了，不过不能使用。

这时候就在终端输入：sudo chmod a+x /usr/lib/jvm/jdk1.8.0_11/bin/*为bin里面的所有文件赋予执行的权限，就可以了。

至此，jdk的配置和安装就完成了。

二.安装SSH（要连接网络）

1.网上很多是直接在终端输入：sudo apt-get install ssh安装，有时候可以安装，但有时候可能会提示没有找到软件包或者软件包过期。

这时候怎么办呢？不急，先在终端输入：sudo apt-get update，更新一下，然后sudo apt-get install ssh就会自动安装了。

2.安装完成后在终端输入ssh localhost，如果提示输入登录密码，说明成功。

3.对ssh进行无密码登录

先在终端输入：ssh-keygen -t rsa -f ~/.ssh/id_rsa
如果提示输入密码，直接按回车键跳过
出现图案代表成功。

然后输入：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

此时再登录：ssh localhost，如果出现登录时间，说明成功。

三.安装hadoop（我的是hadoop-2.2.0）

hadoop集群的安装方法有三种：单机，伪分布式，完全分布式，一般个人配置安装用伪分布式，我这里只介绍伪分布式。

1.到官网下载hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/

2.解压文件到/usr/local下，目录可以自己决定，不过最好是这个目录。解压方法同上，如果遇到权限问题同上处理，这里不多说了。

3.修改配置文件，如果是2.2的话，配置文件在hadoop-2.2.0/etc/hadoop目录下，如果是其他版本，可能在conf目录下。

先修改hadoop-env.sh文件，添加JDK路径，这是你JDK的安装目录

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11

然后修改core-site.xml文件，添加

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/king/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<final>true</final>
</property>
</configuration>

再修改hdfs-site.xml文件，添加

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/king/hadoop/dfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/king/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

再修改mapred-env.sh文件，添加jdk安装路径

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11

4.cd进入到hadoop的安装目录，cd /usr/local/hadoop-2.2.0，准备启动hadoop

5.启动前先格式化以下namenode，输入命令：bin/hadoop namenode -format，有提示的话输入yes。

6.启动hadoop，如果是低版本的话，输入：bin/start-all.sh，如果是2.2的话，输入；sbin/start-all.sh，等待启用

7.启动完成后输入：jps，显示下面内容，说明成功了。

3331 ResourceManager
3477 NodeManager
3160 SecondaryNameNode
2973 DataNode
2845 NameNode
5871 Jps

8.也可以到浏览器上输入下面地址：http://localhost:50070查看HDFS系统

输入下面地址：http://localhost:50030/查看mapred系统

两者都可以进去说明启动正常，如果哪个不能进去说明哪个启动出问题。