hadoop的伪分布安装步骤

２.　hadoop的伪分布安装步骤

使用root用户登陆

２.１　设置静态ｉｐ

　　　在ｃｅｎｔｏｓ桌面右上角的图标上，右键修改。

　　　重启网卡，执行命令service  network  restart

       验证：执行命令ifconfig

２.２　修改主机名

       <1> 修改当前会话中的主机名，执行命令　hostname hadoop

       <2> 修改配置文件中的主机名，执行vi  /etc/sysconfig/network,改成：

验证：重启机器　

ｖｉ回顾：

vi(vim)  只读不能写

              编辑　能读　也能写

              按Ｅｓｃ键，然后按Ｓｈｉｎｔ＋：组合键，输入ｗｑ保存退出

              命令，需要执行命令

２.３　把主机名和ｉｐ绑定

       执行命令　vi /etc/hosts 增加一行内容,如下：

       192.168.153.130  hadoop

       保存退出。

       验证：ping hadoop

２.４　关闭防火墙

执行　service iptables stop

验证：service iptablesstatus

2.5 关闭防火墙的自动运行

执行命令　chkconfigiptables off

验证：　chkconfig  --list | grep iptables

２.６　SSH(service shell)

         <1> 执行命令　ssh-keygen –t rsa 产生密钥，位于~/.ssh文件夹中

什么都不用输入，一直按回车

<2>执行命令　cp~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证：ssh localhost

敲入yes

 

2.7 安装ｊｄｋ

网上教程1.7：http://www.cnblogs.com/rilley/archive/2012/02/02/2335395.html

截图：

网上安装１.６的教程：http://www.centoscn.com/image-text/2013/0418/319.html

具体步骤：

<1> 执行命令　rm –rf/usr/local/*　删除所有内容

<2> 使用winscp把jdk文件从windows复制到/usr/local目录下

<3> 执行命令　chmod u+x jdk-… 赋予执行权限

<4> 执行命令　./jdk-… 加压缩

<5> 执行命令　mv jdk1.6.0_24jdk

<6> 执行命令　vi/etc/profile 设置环境变量，增加了２行内容

           export JAVA_HOME=/usr/local/jak

           export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

执行　source /etc/profile生效

<7> 验证：java –version

２.８　安装hadoop

       <1>执行命令　tar –zxvf hadoop-1.1.2.tar.gz进行解压缩

       <2>执行命令　mv hadoop-1.1.2 hadoop

<3>执行命令　vi/etc/profile 设置环境变量,增加了一行内容

       export HADOOP_HOME=/usr/local/hadoop

       修改了一行内容

exportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4>修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下的hadoop-env.sh

, core-site.xml, hdfs-site.xml, mapred-site.xml

具体修改见ＰＰＴ

【hadoop-env.sh】修改内容如下（修改第９行）

exportJAVA_HOME=/usr/local/jdk

【core-site.xml】修改内容如下

<configuration>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://hadoop0:9000</value>(改为自己的主机名：hadoop)

        <description>change your ownhostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

       <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

【hdfs-site.xml】修改内容如下

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

【mapred-site.xml】修改内容如下

<configuration>

    <property>

       <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>(改为自己的主机名：hadoop)

        <description>change your ownhostname</description>

    </property>

</configuration>

<5>执行命令hadoop namenode –fromat 对hadoop进行格式化

<6>执行命令　start-all.sh启动

验证：（１）执行jps,发现有５个java进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.

(2)通过linux下的浏览器 http://hadoop:50070 和http://hadoop:50030访问

***可以修改windows系统下的C:\Windows\System32\drivers\etc文件夹中的hosts

文件，增加:192.168.153.130 hadoop，即可完成windows下的访问***

２.９　NameNode进程没有启动成功?

       （１）没有格式化

       （２）配置文件只copy,不修改

       （３）hostname与ip没有绑定

       （４）ssh免密码登陆没有配置成功

３.０　多次格式化hadoop也是错误的？

       方法：删除/usr/local/hadoop/tmp文件夹，重新格式化

３.１　去除hadoop的启动过程中警告信息

       使用命令 vim /etc/profile打开profile，增加一行

export HADOOP_HOME_WARN_SUPPRESS=1

保存退出，利用命令source /etc/profile　使其生效

验证：

使用命令start-all.sh　启动

warning已经消失！