hadoop集群搭建和测试

在上面的文章中我已经搭建好了一个单机的 hadoop，并且可以可是成功

前沿：其实所谓搭建 无非就是 更改几个文件夹下的内容（就是所谓的"配置"）

好吧！！下面我来介绍下搭建 hadoop集群 分布式 的步骤

<pre name="code" class="html">1、把hadoop目录下的conf/core-site.xml文件修改成如下：<configuration>        <property><name>fs.default.name</name><value>hdfs://huoxin:9000</value>   //这里的huoxin  必须是主机名字</property><property><name>hadoop.tmp.dir</name><value>/usr/hx</value>  //这里的 /usr/hx   最好不要放到 tmp 目录</property></configuration>

2、把hadoop目录下的conf/ hdfs-site.xml文件修改成如下<configuration><property><name>dfs.replication</name><value>2</value>    //这里的2 代表 你建立了几台机器，   比如说我有一台主机，还有一台分机，  那么我这里就写2</property><property>                 <name>dfs.datanode.max.xcievers</name>                 <value>4096</value>         </property></configuration>

3、把hadoop目录下的conf/ mapred-site.xml文件修改成如下<configuration><property><name>mapred.job.tracker</name><value>huoxin:9001</value>   //huoxin  同样必须是主机名</property></configuration>

<span style="font-family:Arial, Helvetica, sans-serif;"><span style="white-space: normal;"></span></span><pre name="code" class="html">4、把hadoop目录下的conf/ masters文件修改成如下：huoxin

5、把hadoop目录下的conf/ slaves文件修改成如下：huoxin1

6、修改hosts文件  vi /etc/hosts127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.237.149 huoxin <span style="white-space:pre"></span>//这里是配置主机192.168.237.150 huoxin1<span style="white-space:pre"></span>//这里是配置分机

注意：分机上一定也要安装hadoop以及 配置以上文件 才可以集群

OK 通过以上6个步  hadoop集群配置完毕

测试： 进入hadoop/bin   目录下  运行hadoop格式化分布式文件系统./hadoop namenode -format执行命令./start-all.sh启动hadoop    //如果不能all 启动 ， 可以选择 手动启动    ./hadoop-daemon.sh start namenode[hadoop@master hadoop]$ jps3200 SecondaryNameNode3271 JobTracker3370 TaskTracker3002 NameNode3106 DataNode5687 Jps

然后再huoxin1(分机)机器 上 运行结果：[hadoop@slave1 ~]$ jps1477 DataNode3337 Jps1547 TaskTracker

注意关闭防火墙：sudo ufw disable

OK了  hadoop分布式搭建完成， 你看懂了吗

下篇文章介绍  hbase集群搭建