程序博客网 > javascript代码知乎

Hadoop （CDH4发行版）集群部署 （部署脚本，namenode高可用，hadoop管理）

来源：互联网 发布：javascript代码知乎 编辑：程序博客网 时间：2024/04/30 07:17

前言

部署的脚本网址：(http://git.oschina.net/snake1361222/hadoop_scripts)。

 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。

 本文的部署过程中涵盖了namenode的HA实现，hadoop管理的解决方案（hadoop配置文件的同步，快速部署脚本等）。

环境准备

一共用5台机器作为硬件环境，全都是centos 6.4

  • namenode & resourcemanager 主服务器: 192.168.1.1

  • namenode & resourcemanager 备服务器: 192.168.1.2

  • datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102

  • zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101

  • jobhistory 服务器(用于记录mapreduce的日志): 192.168.1.1

  • 用于namenode HA的NFS: 192.168.1.100

环境部署

一、加入CDH4的YUM仓库

1.最好的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库

2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库

1
2
wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
sudo yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

二、创建用于namenode HA的NFS服务器

1.登录192.168.1.100,执行以下脚本 createNFS.sh

1
2
3
4
5
6
7
8
#!/bin/bash
yum -y installrpc-bind nfs-utils
mkdir -p /data/nn_ha/
echo "/data/nn_ha  *(rw,root_squash,all_squash,sync)" >> /etc/exports
/etc/init.d/rpcbindstart
/etc/init.d/nfs start
chkconfig  --level 234 rpcbind   on
chkconfig  -level 234 nfs  on

三、Hadoop Namenode & resourcemanager 主服务器 环境部署

1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来


1
2
3
4
5
yum –y installgit
mkdir –p /opt/
cd /opt/
git clone http://git.oschina.net/snake1361222/hadoop_scripts.git
/etc/init.d/iptablesstop

2.修改hostname

1
sh /opt/hadoop_scripts/deploy/AddHostname.sh

3.修改部署脚本的配置文件

1
2
3
4
5
vim /opt/kingsoft/hadoop_scripts/deploy/config
#添加master服务器的地址，也就是namenode主服务器
master="192.168.1.1"
#添加nfs服务器地址
nfsserver="192.168.1.100"

4.编辑hosts文件(此文件会同步到hadoop集群所有机器)

1
2
3
4
5
6
7
8
vim /opt/hadoop_scripts/share_data/resolv_host
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.1 nn.dg.hadoop.cn
192.168.1.2 nn2.dg.hadoop.cn
192.168.1.100 dn100.dg.hadoop.cn
192.168.1.101 dn101.dg.hadoop.cn
192.168.1.102 dn102.dg.hadoop.cn

5.执行部署脚本CreateNamenode.sh

1
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh

6.搭建saltstack master

PS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用

a.安装

1
yum -y installsalt salt-master

b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项

1
2
3
4
5
6
7
8
修改监听IP：
interface: 0.0.0.0
多线程池：
worker_threads: 5
开启任务缓存：（官方描叙开启缓存能承载5000minion）
job_cache
开启自动认证：
auto_accept: True

c.开启服务

1
2
/etc/init.d/salt-masterstart
chkconfig  salt-master on

7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件

a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<property>
  <name>dfs.namenode.rpc-address.mycluster.ns1</name>
  <value>nn.dg.hadoop.cn:8020</value>
  <description>定义ns1的rpc地址</description>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.ns2</name>
  <value>nn2.dg.hadoop.cn:8020</value>
  <description>定义ns2的rpc地址</description>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>dn100.dg.hadoop.cn:2181,dn101.dg.hadoop.cn:2181,dn102.dg.hadoop.cn:2181,</value>
    <description>指定用于HA的ZooKeeper集群机器列表</description>
</property>

b. mapred-site.xml

1
2
3
4
5
6
7
8
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>nn.dg.hadoop.cn:10020</value>
</property>
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>nn.dg.hadoop.cn:19888</value>
</property>


c. yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>nn.dg.hadoop.cn:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>nn.dg.hadoop.cn:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>nn.dg.hadoop.cn:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>nn.dg.hadoop.cn:8033</value>
</property>


三、Hadoop Namenode & resourcemanager 备服务器 环境部署

1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来

1
2
3
/etc/init.d/iptablesstop
mkdir –p /opt/hadoop_scripts
rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts

2.执行部署脚本CreateNamenode.sh

1
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh

3.同步hadoop配置文件

1
rsync –avz 192.168.1.1::hadoop_conf  /etc/hadoop/conf

4.部署saltstack客户端

1
sh /opt/hadoop_scripts/deploy/salt_minion.sh

四、zookeeper服务器集群部署

zookeeper是一个开源分布式服务，在这里用于namenode 的auto fail over功能。

1.安装

1
yum installzookeeper zookeeper-server

2.修改配置文件/etc/zookeeper/conf/zoo.cfg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
maxClientCnxns=50
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/var/lib/zookeeper
# the port at which the clients will connect
clientPort=2181
#这里指定zookeeper集群内的所有机器,此配置集群内机器都是一样的
server.1=dn100.dg.hadoop.cn :2888:3888
server.2=dn101.dg.hadoop.cn:2888:3888

3.指定当前机器的id,并开启服务

1
2
3
4
5
6
7
#譬如当前机器是192.168.1.100(dn100.dg.hadoop.cn),它是server.1，id是1，SO：
echo "1" >  /var/lib/zookeeper/myid
chown -R zookeeper.zookeeper /var/lib/zookeeper/
service zookeeper-server init
/etc/init.d/zookeeper-serverstart
chkconfig zookeeper-server on
#如此类推，部署192.168.1.101

五、datanode & nodemanager 服务器部署

1.登录datanode机器,创建脚本目录，从主服务器把脚本同步过来

1
2
3
/etc/init.d/iptablesstop
mkdir –p /opt/hadoop_scripts
rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts

2.修改hostname，执行部署脚本 CreateDatanode.sh

1
2
sh /opt/hadoop_scripts/deploy/AddHostname.sh
sh /opt/hadoop_scripts/deploy/CreateDatanode.sh

集群初始化

到这里，hadoop集群的环境已部署完毕，现在开始初始化集群

一、namenode的HA高可用初始化

1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化

1
sudo –u hdfs hdfs zkfc –formatZK

2.把zookeeper集群服务启动(192.168.1.100  192.168.1.101 )

1
/etc/init.d/zookeeper-serverstart

3.把namenode主备服务器的zkfc服务起来(192.168.1.1  192.168.1.2)

1
/etc/init.d/hadoop-hdfs-zkfcstart

4.在namenode主服务器(192.168.1.1)格式化hdfs

1
2
#确保是用hdfs用户格式化
sudo -u hdfs hadoop namenode –format

5.第一次搭建namenode高可用，需要把name.dir下面的数据复制到namenode备服务器（此坑花了好多时间）

a.在主服务器(192.168.1.1)执行

1
2
tar -zcvPf /tmp/namedir.tar.gz/data/hadoop/dfs/name/
nc -l 9999 < /tmp/namedir.tar.gz

b.在备服务器(192.168.1.2)执行

1
2
wget 192.168.1.1:9999 -O/tmp/namedir.tar.gz
tar -zxvPf /tmp/namedir.tar.gz

6.主从服务都启动

1
2
/etc/init.d/hadoop-hdfs-namenodestart
/etc/init.d/hadoop-yarn-resourcemanagerstart

7.查看hdfs的web界面

1
2
3
4
5
http://192.168.1.1:9080
http://192.168.1.2:9080
#如果在web界面看到两个namenode都是backup状态，那就是auto fail over配置不成功
#查看zkfc日志(/var/log/hadoop-hdfs/hadoop-hdfs-zkfc-nn.dg.s.kingsoft.net.log)
#查看zookeeper集群的日志(/var/log/zookeeper/zookeeper.log)

8.现在可以尝试关闭namenode主服务，看是否能主从切换

二、hdfs集群开启

到这里，所有hadoop部署已完成，现在开始把集群启动，验证效果

1.把所有datanode服务器启动

1
2
#还记得之前搭建的saltstack管理工具不，现在开始发挥它的作用,登录saltstack master(192.168.1.1)执行
salt -v"dn*" cmd.run "/etc/init.d/hadoop-hdfs-datanode start"

2.查看hdfs web界面,看是否都成为live nodes

3.如果没有问题，现在可以尝试hdfs操作

1
2
3
4
5
6
7
8
9
10
#创建一个tmp目录
sudo -u hdfs hdfs dfs -mkdir /tmp
#创建一个10G大小的空文件,计算它的MD5值，并放入hdfs
dd if=/dev/zeroof=/data/test_10G_filebs=1G count=10
md5sum /data/test_10G_file
sudo -u hdfs hdfs dfs -put /data/test_10G_file /tmp
sudo -u hdfs hdfs dfs -ls /tmp
#现在可以尝试关闭一台datanode,然后把刚才的测试文件拉取出来，再算一次MD5看是否一样
sudo -u hdfs hdfs dfs -get /tmp/test_10G_file /tmp/
md5sum /tmp/test_10G_file

三、yarn集群开启

hadoop除了hdfs用于大数据的分布式存储，还有更重要的组件，分布式计算(mapreduce)。现在我们来把mapreducev2 yarn集群启动

1.在主服务器把resourcemanager服务起来（192.168.1.1）

1
/etc/init.d/hadoop-yarn-resourcemanagerstart

2.把所有nodemanager服务启动

1
2
#还是登陆saltstack master，执行
salt -v"dn*" cmd.run "/etc/init.d/hadoop-yarn-nodemanager start"

3.查看yarn 任务追踪界面(http://192.168.1.1:9081/),看是否所有nodes都已加入

4.hadoop自带有基准测试的mapreduce实例，我们利用它来测试yarn环境是否正常

1
2
3
4
5
6
7
8
9
10
11
#TestDFSIO测试HDFS的读写性能,写10个文件，每个文件1G.
su hdfs -
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar TestDFSIO  -write -nrFiles 10 -fileSize 1000
#Sort测试MapReduce
##向random-data目录输出数据
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomwriter  random-data
##运行sort程序
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarsort random-data sorted-data
##验证sorted-data 文件是否排好序
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar testmapredsort -sortInput random-data \
-sortOutput sorted-data

Hadoop集群的管理

一、datanode & nodemanager 节点加入

1.修改hosts表,譬如有节点192.168.1.103需要加入

1
2
3
4
5
6
7
8
9
vim /opt/hadoop_scripts/share_data/resolv_host
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.1 nn.dg.hadoop.cn
192.168.1.2 nn2.dg.hadoop.cn
192.168.1.100 dn100.dg.hadoop.cn
192.168.1.101 dn101.dg.hadoop.cn
192.168.1.102 dn102.dg.hadoop.cn
192.168.1.103 dn103.dg.hadoop.cn

2.修改hostname，同步脚本目录,并执行部署

1
2
3
4
mkdir –p /opt/hadoop_scripts
rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts
sh /opt/hadoop_scripts/deploy/CreateDatanode.sh
sh /opt/hadoop_scripts/deploy/AddHostname.sh


3.开启服务

1
2
/etc/init.d/hadoop-hdfs-datanodestart
/etc/init.d/hadoop-yarn-nodemanagerstart

二、修改hadoop配置文件

一般在一个hadoop集群中维护一份hadoop配置，这份hadoop配置需要分发到集群中各个成员。这里的做法是 salt + rsync

1
2
3
4
5
#修改namenode主服务器的hadoop配置文件  /etc/hadoop/conf/，然后执行以下命令同步到集群中所有成员
sync_h_conf
#脚本目录也是需要维护的，譬如hosts文件/opt/hadoop_scripts/share_data/resolv_host，修改后执行以下命令同步到集群中所有成员
sync_h_script
#其实这两个命令是我自己定义的salt命令的别名，查看这里/opt/hadoop_scripts/profile.d/hadoop.sh

三、监控

比较普遍的方案是,ganglia和nagios监控，ganglia收集大量度量，以图形化程序，nagios在某度量超出阀值后报警.ganglia监控以后补充一下文档

其实，hadoop自带有接口提供我们自己写监控程序，而且这个接口还是比较简单，通过这样便可以访问http://192.168.1.1:9080/jmx,返回值是JSON格式，其中的内容也非常详细。但是每次查询都返回一大串的JSON也是浪费，其实接口还提供更新详细的查询  譬如我只想查找系统信息，可以这样调用接口http://192.168.1.1:9080/jmx?qry=java.lang:type=OperatingSystem 。qry参考后跟的就是整个JSON的“name”这个key的值

javascript代码知乎 javascript代码知乎
原创粉丝点击
热门IT博客
mysql 时分秒mysql 时分秒
凯里欧文总决赛数据凯里欧文总决赛数据
淘宝开店版权怎么写
淘宝上的诺邓火腿
ubuntu下运行py文件
c 行业和java的区别
家具店进销存软件
淘宝物流服务低怎么办
扣扣软件
数据挖掘的例子
php amqp协议
程序员的数学3 pdf下载
鸠摩智和金轮法王知乎
coc七本兵种升级数据
centos6 yum php7
淘宝联盟不能注册
游戏 ios 知乎
飞天侠淘宝客9.1破解
软件服务器怎么架设
depthmap软件说明
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 长颈鹿地板 必美地板 白色木地板 地板图片 誉丰地板 地板装修 木地板选购 水磨石地板 惠尔地板 地板选择 柚木地板 木地板种类 欧式地板 大理石地板 地板蜡 榆木地板 木地板排名 贝尔地板 黑色地板 肯帝亚地板 原木地板 木地板规格 地板精油 地板种类 灰色地板 瓷木地板 安心地板 防潮地板 扬子地板 竹地板品牌 地板效果图 荣登地板 木地板上墙 地板贴纸 地板排名 高架地板 地塑地板 地板瓷砖 地板怎么选 地热地板 地板排行榜

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里