CDH(CLoudera5.7.X)安装Kafka问题

来源:互联网 发布:java管理系统案例 编辑:程序博客网 时间:2024/05/18 17:44

CDH版本5.7.X 安装Kafka流程   

来源:http://blog.csdn.net/chlu113/article/details/51925650


    1 Cloudera kafka集成

参考CDH官网文档http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html在CDH官网中关于Kafka的安装和升级中已经说到,在CDH中,Kafka作为一个分布式的parcel,单独出来作为parcel分发安装包。
  • 1
  • 2
  • 3

1.1 Kafka parcels包下载 
csd包:http://archive.cloudera.com/csds/kafka/ 
这里写图片描述
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载) 
这里写图片描述
1.2 Kafka parcels包上传 
上传 KAFKA-1.2.0.jar放到cm安装节点下的 /opt/cloudera/csd目录下,如图 : 
这里写图片描述
将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下,如图: 
这里写图片描述
1.3 检查更新,分配激活 
如下图,分配的kafka parcels必须要激活。 
这里写图片描述
如下图,激活成功 
这里写图片描述
1.4 往集群里添加kafka服务 
如下图: 
这里写图片描述

1.5 kafka配置 
安装kafka服务时,会报java heap memory out 
进主机各broker中配置一看,居然默认是50M(奇葩配置),改为2G以上 
: 
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。
 



原创粉丝点击