Hadoop集群搭建

机器配置

host配置:

10.0.1.101 bj-esbp-mid1.w-oasis.com10.0.1.102 bj-esbp-mid2.w-oasis.com10.0.1.103 bj-esbp-mid3.w-oasis.com

各个机器部署情况：

Name IP 部署程序 运行进程 bj-esbp-mid1.w-oasis.com 10.0.1.101 bj-esbp-mid2.w-oasis.com 10.0.1.102 bj-esbp-mid3.w-oasis.com 10.0.1.103

先决环境配置

资源限制配置

首先执行vim /etc/profile,加入：ulimit -n 10240,执行source /etc/profile;

之后修改文件：/etc/security/limits.conf，配置打开文件数目以及用户打开进程数目
1. ulimit-修改打开文件数目
加入：

* soft nofile 10240* hard nofile 10240

加入之后使用查看是否生效（默认为1024）：

[root@bj-esbp-mid1 security]# ulimit -n10240

1. nproc-修改打开进程数目
   加入：

* soft noproc 10240* hard noproc 10240

加入之后使用命令ulimit -u查看是否生效;

JDK

版本：

[root@bj-esbp-mid3 bin]# java -versionjava version "1.7.0_25"Java(TM) SE Runtime Environment (build 1.7.0_25-b15)Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

安装说明

集群之间无密码登陆

# ssh-keygen -t rsa# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# chmod 700 ~/.ssh && chmod 600 ~/.ssh/*

之后复制到其他机器上：

scp authorized_keys bj-esbp-mid2.w-oasis.com:/root/.sshscp authorized_keys bj-esbp-mid3.w-oasis.com:/root/.ssh

修改hadoop配置

1. 进入目录/data/woasis/hadoop-2.6.5/etc/hadoop:
   修改core-site.xml文件：

<configuration><property>    <name>hadoop.tmp.dir</name>    <value>/data/woasis/hadoop-2.6.5/tmp</value></property><property>   <name>fs.default.name</name>   <value>hdfs://10.0.1.101:9000</value></property> <property>     <name>dfs.datanode.data.dir</name>     <value>/data/woasis/hadoop-2.6.5/hadoop/data</value>  </property></configuration>

1. 修改hadoop-env.sh文件，添加jdk路径;
2. 创建hadoop的数据和用户目录:

[root@bj-esbp-mid1 hadoop-2.6.5]# pwd/data/woasis/hadoop-2.6.5[root@bj-esbp-mid1 hadoop-2.6.5]# mkdir -p /hadoop/name[root@bj-esbp-mid1 hadoop-2.6.5]# mkdir -p /hadoop/data

1. 修改hdfs-site.xml文件：

<configuration> <property>   <name>dfs.namenode.name.dir</name>   <value>/data/woasis/hadoop-2.6.5/hadoop/name</value> </property> <property>    <name>dfs.datanode.data.dir</name>    <value>/data/woasis/hadoop-2.6.5/hadoop/data</value> </property> <property>     <name>dfs.replication</name>     <value>3</value> </property>  <property>       <name>dfs.namenode.rpc-address</name>       <value>10.0.1.101:9001</value>   </property></configuration>

1. mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

添加：

<configuration>  <property>     <name>mapred.job.tracker</name>     <value>bj-esbp-mid1.w-oasis.com:9001</value>  </property></configuration>

1. 修改slave文件&masters文件

  [root@bj-esbp-mid1 hadoop]# vim slaves

改为：

  bj-esbp-mid2.w-oasis.com  bj-esbp-mid3.w-oasis.com

同样，在masters文件中填入master的地址。
同步文件：

scp -r hadoop-2.6.5 bj-esbp-mid2.w-oasis.com:/data/woasisscp -r hadoop-2.6.5 bj-esbp-mid3.w-oasis.com:/data/woasis

启动Hadoop集群

进入到Hadoop的bin目录下：

 ./hadoop namenode -format

格式化namenode，第一次启动服务前执行的操作，以后不需要执行。

然后启动hadoop：

sbin/start-all.sh

通过jps命令能看到除jps外有3个进程：

30613 NameNode
30807 SecondaryNameNode
887 Jps
30972 ResourceManager