Hadoop1.x伪分布安装

下面介绍的是在Wind7上安装Vmware workstation 10 + lunix_CentOS5.4

 

安装完虚拟机后，有两个需求。

需求一： 主机和虚拟机能通信

需求二：虚拟机能连上互联网

 

我个人喜欢选择host-only 方式去和虚拟机链接，这样我换了地方，换了网络，所有的配置都不需要改变主机和虚拟机就可以通信。 但是VMware 官方文档上说，如果选择host-only方式，虚拟机是没法连上互联网的。

真的是这样吗？

从上面的图上可以看出，主机通过物理网卡连接互联网，通过主机虚拟网卡连接虚拟机。 如果有一种技术，让主机物理网卡和主机虚拟网卡连接，理论上虚拟机就可以连上互联网了。

有这样一种技术吗？

有的，就是Winds的ICS(Internet Connection Sharing ).

怎么设置ICS呢？

1.      打开Control Panel， 选择Network and Internet，选择Network and Sharing Center

2.      选择Change adapter setting

3.      选择一个你连上网的物理网卡，我们选择Wireless. 右键，->Properties->Sharing

4.      打上勾，选择VMware Network Adapter VMnet1.(VMnet1是host-only)

这样虚拟机的IP地址就会被改掉了。

 

 

 

 

 

伪分布模式安装步骤

·        关闭防火墙

·        修改iP

·        修改hostname

·        设置ssh免密码登陆

·        安装JDK

·        安装Hadoop

 

 

一些常用的unix命令：

 

 

 

 

 

Hadoop 的伪分布安装

1.      设置静态IP

改完后，重启网卡：service network restart

看一下ip地址： ifconfig—这和Winds不一样，winds是ipconfig

2.      修改主机名

主机名类似于域名，容易记忆，有意义。

（1）     临时修改，只对当前回话有效

这样hostanme就从localhost.localdomain改成hadoop了。

（2）     修改network文件，永久生效

进入/etc/sysconfig/， 修改network

当前network内容为：

修改为hadoop

检测一下：重启后，查看主机名

reboot

hostname

3.      绑定IP和主机名

#vi /etc/hosts

192.168.117.128 hadoop

保存退出

#Ping hadoop

4.      关闭防火墙

查看防火墙： serviceiptables status

关闭防火墙： serviceiptables stop

 

5.      查看防火墙是否会被自动运行，如果有on，就会。

查看： #chkconfig --list | grep iptables

关闭防火墙自动运行: # chkconfig  iptables off

6.      SSH的免密码登陆设置

(1)   产生秘钥，位于 ~/.ssh：ssh-keygen-t rsa

(2)   拷贝公钥到authorized_keys

#cp ~/.ssh/id_rsa.pub ~/.sshauthorized_keys

验证：sshlocalhost

7.      安装jdk-6u24-linux-i586.bin

(1)   拷贝jdk-6u24-linux-i586.bin，hadoop-1.1.2.tar.gz到/usr/local下

(2)   解压： ./jdk-6u24-linux-i586.bin

(3)   配置环境变量：#vi /etc/profile

加入： export JAVA_HOME=/usr/local/jdk

               exportPATH=.:$JAVA_HOME/bin:$PATH

(4)   立即生效：# source /etc/profile

(5)   验证： java  -version

8.      安装hadoop

(1)解压文件： #tar–zxvf  hadoop-1.1.2.tar.gz

(2)设置环境变量

 # vi/etc/profile

加上： exportHADOOP_HOME==/usr/local/hadoop

 修改    export PATH=.:$HADOOP_HOME:$JAVA_HOME/bin:$PATH

(3)   # source /etc/profile

(4)   修改hadoop的配置文件，位于HADOOP_HOME/conf下

修改4个配置文件，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml.

a.      【hadoop-env.sh】

修改： exportJAVA_HOME=/usr/local/jdk

 

b.     【core-site.xml】

<configuration>

    <property>

       <name>fs.default.name</name>

        <value>hdfs://主机名:9000</value>

       <description>change your own hostname</description>

    </property>

    <property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

c.      【hdfs-site.xml】

<configuration>

    <property>

       <name>dfs.replication</name>

       <value>1</value>

    </property>

    <property>

       <name>dfs.permissions</name>

       <value>false</value>

    </property>

</configuration>

d.     【mapred-site.xml】

<configuration>

    <property>

       <name>mapred.job.tracker</name>

        <value>主机名:9001</value>

        <description>change your ownhostname</description>

    </property>

</configuration>

(5)   对hadoop进行格式化

#hadoop namenode –format

(6)   启动

#start-all.sh

#查看是否有5个java进程：  #jps

(7)   验证 是否启动成功

lnix浏览器中输入：hadoop:50070

lnix浏览器中输入：hadoop:50030

如果想在winds 中也可以输入主机名就可以验证，就需要在winds中也要绑定主机名和ip地址。进入winds中的 C:\Windows\System32\drivers\etc， 修改hosts 文件。

 

 

 

 

 

(8)   解决启动hadoop时的警告信息。

解决方法： # vi /etc/profile

 加入：export HADOOP_HOME_WARN_SUPPRESS=1