程序博客网 > python 单元测试

Hadoop+Flume+Kafka+Zookeeper集群环境搭建（一）

来源：互联网 发布：python 单元测试 编辑：程序博客网 时间：2024/05/16 17:12

Hadoop+Flume+Kafka+Zookeeper集群环境搭建

1.部署基础条件

1.1 硬件条件

IP

hostname

192.168.100.103

mater

192.168.100.104

flumekafka1

192.168.100.105

flumekafka2

192.168.100.106

flumekafka3

注意：修改hostname的方法是：

（1）       vim /etc/hostname

（2）       将localhost改成您所需要的内容

1.2 修改ssh

在master机器上执行下面的命令：

$ ssh -keygen -t dsa -P ''  -f  ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/ 
scp ~/.ssh/authorized_keys flumekafka2 ~/.ssh/

scp ~/.ssh/authorized_keys flumekafka1 ~/.ssh/

注意：
（1）若提示.ssh目录不存在，则表示此机器从未运行过ssh，因此运行一次即可创建.ssh目录。（2）.ssh/的权限为600,authorized_keys的权限为700，权限大了小了都不行。

1.3 JAVA环境变量的配置

l  下载jdk（版本是：jdk-1.7.0_80）

l  将jdk的压缩包解压到/home/bms目录下

l  配置环境变量

1）  vim /etc/profile

2）  添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0._80

export JRE_HOME=${ JAVA_HOME }/jre

export CLASSPATH=.:${ JAVA_HOME }/lib: ${ JRE_HOME}/lib

export PATH=${ JAVA_HOME }/bin

3）  保存文件

注意：上述四台虚拟机要进行同样的配置

1.4 安装hadoop

l  下载hadoop-2.6.0

l  将hadoop的压缩包解压到/home/bms目录下，解压命令式：tar -zxvf hadoop-2.6.0.tar.gz

l  配置hadoop的环境变量

按着配置JAVA环境变量的方法在/etc/profile中添加如下内容：

exportHADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

exportHADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

export HADOOP_HOME=/home/bms/Hadoop-2.6.0

exportPATH=$PATH:$HADOOP_HOME/bin

1.5 hadoop相关配置

注意：相关的配置文件都在/home/bms/Hadoop-2.6.0/etc/hadoop下面

l  配置hadoop_env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80

l  配置core-site.xml

<property>

   <name>hadoop.tmp.dir</name>

   <value>/root/Hadoop/tmp</value>

   <description>Abase for other temporarydirectories.</description>

</property>

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://master:9000</value>

</property>

<property>

    <name>io.file.buffer.size</name>

    <value>4096</value>

</property>

l  配置hdfs-site.xml

<property>

   <name>dfs.replication</name>

    <value>3</value>

</property>

<property>

    <name>dfs.data.dir</name>

    <value>/root/hadoop/hdfs/data</value>

</property>

<property>

    <name>dfs.name.dir</name>

    <value>/root/hadoop/hdfs/name</value>

</property>

l  配置mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>master:50030</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

l  配置yarn.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

    </property>

    <property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>master:8088</value>

</property>

l  配置slaves文件

flumekafka1 

flumekafka2 

flumekafka3

1.6 将master上/home/bms/Hadoop-2.6.0整个文件分别拷贝到三个slave虚拟机上面

1.7 格式化namenode

在master虚拟机上执行如下操做：

l  Cd /home/bms/Hadoop-2.6.0/bin

l  hadoop namenode -format

1.7 启动hadoop

在master虚拟机上执行如下操做：

l  cd /home/bms/Hadoop-2.6.0/sbin

l  ./start-all.sh

1.8 查看java进程

1）在master上操做如下命令

$ jps
3694 NameNode
3882 SecondaryNameNode
7216 Jps
4024 ResourceManager

2）在slave上执行如下操作

$ jps
1913 NodeManager
2673 Jps
1801 DataNode

Hbase与zookeeper集群部署的步骤

1.部署基础条件

1.1 硬件条件

IP

hostname

192.168.100.103

mater

192.168.100.104

flumekafka1

192.168.100.105

flumekafka2

192.168.100.106

flumekafka3

 

1.2 下载hbase-0.98.13-hadoop2的安装包

1.3 将hbase的压缩包解压到master的/home/bms目录下

1.4 配置hbase的环境变量

1）在master上做如下操作

l  Vim /etc/profile

l  在上述文件中添加如下内容：

Export PATH=$PATH:/home/bms/hbase-0.98.13-hadoop2/bin

2）在所有的slave上做与master上一样的操作

1.5 配置hbase

1）cd /home/bms/hbase-0.98.13-hadoop2/conf

2）在hbase-env.sh文件中添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80

export HBASE_MANAGES_ZK=false

3）在hbase-site.xml文件中添加如下内容

<configuration>

  <property>

    <name>hbase.rootdir</name>

   <value>hdfs://master:9000/hbase</value>

  </property>

  <property>

<name>hbase.cluster.distributed</name>

<value>true</value>

  </property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>flumekafka1,flumekafka2, flumekafka3</value>

</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>

</property>

<property>

   <name>hbase.zookeeper.property.dataDir</name>

    <value>/home/bms/zookeezookeeper-3.4.5/zookeeper-data</value>

</property>

<property>

<name>hbase.master</name>

<value>master</value>

</property>

</configuration>   

4）在regionservers文件中添加如下内容

flumekafka1
flumekafka2
flumekafka3

1.6 将master上/home/bms/hbase-0.98.13-hadoop2整个文件拷贝到其余的三个slave机器上面。

1.7 zookeeper部署

1）下载zookeeper安装文件（zookeeper-3.4.5压缩包）

2）将zookeeper-3.4.5压缩包加压到flumekafka1虚拟机的/home/bms目录下

3）配置zookeeper环境变量

l  vim /etc/profile

l  在上述文件中添加如下内容

export  ZOOKEEPER_HOME=/home/bms/zookeeper-3.4.5

export PATH=$PATH:${ZOOKEEPER_HOME }/bin

4）将/home/bms/zookeeper-3.4.5/conf/ 目录下的zoo_sample.cfg 改名成 zoo.cfg操作命令是：

l  cd /home/bms/zookeeper-3.4.5/conf

l  mv zoo_sample.cfg  zoo.cfg

5）修改zoo.cfg文件内容如下

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can passbetween 
# sending a request and getting anacknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/bms/zookeeper-3.4.5/zookeeper-data
# the port at which the clients will connect
clientPort=2222
server.1=flumekafka1:2888:3888
server.2= flumekafk21:2888:3888
server.3= flumekafka3:2888:3888

6）分别在将flunekafka1上/home/bms/zookeeper-3.4.5整个目录拷贝到另外两台slave虚拟机上

注意：最后记得在部署zookeeper的节点上的/root/zookeeper/zookeeper-data的目录下新建一个myid文件里写上zoo.cfg文件对应的server号码，flumekafka1写1，flumekafka2写2，flumekafka3写3，这样基本就完成了zookeeper的配置了。

7）分别在三台slave机器上执行下面的操作

l  cd /home/bms/zookeeper-3.4.5/bin

l  zookeeper/bin/zkServer.sh start

8)     分别在三台slave机器上执行下面的操作

l  zookeeper/bin/zkServer.sh status(验证zookeeper的启动状态)

9）在master上面执行下面的命令

l  cd /homehbase/bin/start-hbase.sh

FlumeNG部署的步骤

1.1    下载FlumeNG

下载地址是：http://flume.apache.org/download.html

1.2    下载FlumeNG

将下载的安装包解压到master的/home/bms目录下

l  将apache-flume-1.6.0-bin.tar.gz拷贝到/home/bms目录下面

l  执行tar -zxvf apache-flume-1.6.0-bin.tar.gz

1.3    下载FlumeNG

关于flume的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986

Kafka与zookeeper部署的步骤

关于kafka的相关配置和运行方式请查看个人博客：http://l=blog.csdn.net/xuguokun1986

 

1 0
python 单元测试 python 单元测试
原创粉丝点击
热门IT博客
c语言写九九乘法口诀c语言写九九乘法口诀
知乎西昌知乎西昌
mysql数据库结构设计
软考程序员百度云
javascript库
m400数据采集管理软件
c语言编写的程序被称为
winhex数据恢复收费吗
淘宝售后说明模板
淘宝怎么办理换货
国内编程语言排行2016
淘宝代销的不利
8.27儿童网络暴力事件
程序员笑话段子
深入浅出数据分析视频
淘宝联盟在哪里认证
自动关机软件
淘宝运费险漏洞
java 唤醒指定线程
俄语配音软件
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 汽车模拟器 汽车发动机 美国汽车 新阳光汽车 汽车节目 汽车咨询 汽车公司 汽车点评 汽车英文 汽车发展史 汽车名字 汽车性能 汽车频道 汽车评测 汽车auto 汽车介绍 汽车安全 便宜汽车 汽车内饰 汽车寿命 汽车饰品 汽车名称 第一辆汽车 报价汽车网 汽车世界 汽车车标 汽车直接 汽车制造 汽车价格表 汽车种类 汽车猎豹 福迪汽车 汽车app软件 汽车参数 汽车超人 汽车构造图 黄海汽车 汽车设计图 汽车大世界 开汽车 大汽车

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里