hadoop伪分布模式安装步骤

搭建hadoop环境，按如下步骤操作：

第一步，设置IP地址，使用host-only方式，使其在windows环境能连接到linux环境。

设置完ip地址 执行 service network restart重启虚拟网卡

验证：ifconfig  查看设置的IP地址和windows下VMnet1的IP地址是否在同一网段。

第二步，关闭防火墙

执行命令 service iptables stop

验证 service iptables status 如果显示 iptables: Firewall is not running.则证明防火墙关闭成功

第三步，关闭防火墙的自动运行（即使执行service iptables stop，重新启动后，防火墙可能还会自动开启，所以要关闭防火墙的自动运行）

执行命令 chkconfig iptables off

验证 chkconfig --list|grep iptables 如果列表显示都为off，证明自动关闭生效。

第四步，修改hostname

执行命令 vi /etc/sysconfig/network  显示如下，将HOSTNAME改为xiaoqi：

NETWORKING=yes
HOSTNAME=xiaoqi

验证 hostname 应该显示为xiaoqi

第五步，将IP地址与主机名绑定

执行命令 vi /etc/hosts  在里面新增一行 192.168.44.10 xiaoqi

验证 ping xiaoqi

第六步，设置ssh自动登录

执行命令 (1)ssh -keygen -t rsa (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证 ssh xiaoqi 不需要输入密码 就可以直接登录

========================================================================

下面开始安装jdk

第一步，将jdk-6u24-linux-i586.bin通过工具上传到linux上/usr/local目录下

第二步，由于刚上传上来，没有执行权限，所以要给他赋予执行权限，chmod u+x jdk-6u24-linux-i586.bin

第三步，执行./jdk-6u24-linux-i586.bin

第四步，将jdk-1.6.0_24 名字改为jdk，即执行命令mv jdk-1.6.0_24  jdk

第五步，给jdk配置环境变量，vi /etc/profile

增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

保存退出。 执行source /etc/profile使环境变量生效

 

验证: java -version

========================================================================

下面开始安装hadoop

第一步，将hadoop-1.1.2.tar.gz上传到linux上的/usr/local目录下

第二步，解压缩hadoop-1.1.2.tar.gz，即执行 tar -zxvf hadoop-1.1.2.tar.gz命令 并将hadoop-1.1.2改名为hadoop 即mv hadoop-1.1.2 hadoop

第三步，设置环境变量 vi /etc/profile

增加内容如下:
        export JAVA_HOME=/usr/local/jdk
        export HADOOP_HOME=/usr/local/hadoop
        export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

执行source /etc/profile让环境变量生效

 

第五步，修改/usr/local/hadoop/conf下的配置文件。

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://xiaoqi:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

3.hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>xiaoqi:9001</value>

    </property>

</configuration>

修改后保存

第六步，格式化namenode

执行命令 hadoop namenode -format

第七步，启动hadoop

start-all.sh

验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
          (2)在浏览器查看，http://chaoren:50070 http://chaoren:50030

hadoop 安装完成。

========================================================================