hadoop之伪分布安装

hadoop 是大数据分布式存储与计算平台。采用HDFS体系结构(Distributed File system分布式)。

为了方便学习hadoop的伟大功能。

本人采取在VMware中安装Linux虚拟机的方式。通过配置Linux的各种环境，为hadoop学习做准备!

首先在VMware中安装Linux(本人采用centOS以下都称做centOS)操作系统。本人不做具体详解。

安装完成后，就可进行伪分布的安装:

一:设置虚拟机操作系统静态ip地址

     在centos桌面右上角的图标上，右键点击电脑图片。

点击Edit Connections。出现wired列表。

选择单击edit。

配置ipv4.。

method方法为静态方式。选择Manual。

address为ip地址。

gateway为网关。(一定与本机及宿主机的一致)。点击保存

打开命令行：service network restart重启网卡。直到 ok指示。

验证:执行命令ifconfig

二:修改主机名:

命令hostname查看当前主机名:

vi /ect/sysconfig/network 修改主机名

保存退出vi

三:主机名与ip地址绑定

vi /etc/hosts在文件末尾添加一行 192.168.80.100(虚拟机ip)  hadoop(主机名)

验证:ping 主机名

四:关闭防火墙:

service iptables status 查看防火墙信息

service iptables stop  关闭防火墙

五：关闭防火墙自动运行

chkconfig --list 查看服务列表

chkconfig --list | grep iptables 查看防火墙

chkconfig iptables off  关闭防火墙自启动

验证: chkconfig --list |grep iptables

六：SSH(secure shell...)

SSH的免密码登陆:方便连接到其他主机

1)执行命令ssh-keygen -t rsa 产生密钥位于~/.ssh文件夹中(-t rsa之名算法)

2)在当前目录将产生两个文件夹。执行命令 cp id_rsa.pub authorized_keys 将公钥传递给authorized_keys文件夹中

3)验证:ssh localhost 确立连接 (通过自己连接到自己)

七:安装jdk

1)getconf LONG_BIT   查看当前Linux系统多少位。下载对应的jdk版本。建议去Oracle的官网下载! 顺便下载hadoop.tar.gz版本

2)使用工具winscp(一种使用SSH的开源的图形化SFTP客户端)主要功能:在本地与远程计算机之间安全地复制文件。将jdk.bin 与hadoop.tar.gz复制到/root/Downloads/下

3)cd /usr/local/    目录下。 rm -rf  *   (递归强制删除该目录下所有文件:目录下的文件基本无用)

4)cp /root/Downloads/* .     将jdk.bin 与hadoop.tar.gz移动到当前目录下 (!!!!不要忘了cp 最后的点。代表当前目录)

5)给jdk.bin文件授权:  chmod u+x jdk.bin      给当前用户授予jdk可操作的权限

6)./jdk.bin    解压安装jdk

7) 安装完成后 多出一个jdk1.6（当前笔者按照jdk1.6）的文件。执行命令mv jdk1.6 jdk  给文件重命名

8)配置jdk的环境变量 vi /etc/profile 

在空白处配置（笔者推荐百度具体方式）

9)环境配置完成后 source /etc/profile  更改的配置立即生效

验证: java -version查看当前java的版本信息

(可能错误:1.环境配置不正确。2:未将jdk/jre/lib 下的rt.pack解压成 rt.jar  或者jdk目录下的带.pack 的文件未解压成.jar的文件 eg: unpack200 rt.pack rt.jar命令转换)

八：安装hadoop

1)tar -zxvf hadoop.tar.gz  解压hadoop

2)解压后当前目录多出一个hadoop1.2（笔者安装的hadoop1.2）文件夹 mv hadoop1.2 hadoop  改名

3)配置环境变量 source /etc/profile 立即执行更改

4)修改hadoop的配置文件(一共4个) 位于hadoop(安装好后)的conf目录下

1.hadoop-env.sh

exportJAVA_HOME=/usr/local/jdk/                <!--笔者安装的jdk的路径-->

2.core-site.xml

<configuration>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://hadoop:9000</value>        <!--hadoop代表的是当前主机名-->            

        <description>change your ownhostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

       <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

3.hdfs-site.xml

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml

<configuration>

    <property>

       <name>mapred.job.tracker</name>

        <value>hadoop:9001</value>                       <!--hadoop代表的是当前主机名-->       

        <description>change your ownhostname</description>

    </property>

</configuration>

5)对hadoop进行格式化   hadoop namenode -format

6)启动: start-all.sh  

7)验证:命令 jps 查看当前java进程

可以看到6个java进程

至此。hadoop的伪分布式的体系结构全部完成。

九:先归纳总结大家在安装过程中可能错误:

1)NameNode进程没有启动成功?

  1 没有格式化

  2 4个配置文件没有改对

  3 hostname没有与ip绑定(详见第三步)

  4 SSH的免密码登陆没有配置成功

2)多次格式化hadoop也是错误的

  方法：删除hadoop/tmp文件夹。重新格式化