cdh集成kafka,spark2
来源:互联网 发布:国税总局网络 编辑:程序博客网 时间:2024/05/22 00:05
参考文章:
http://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
在CDH官网中关于Kafka的安装和升级中已经说到,在CDH中,Kafka作为一个分布式的parcel,单独出来作为parcel分发安装包。只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。
注意集成之前请阅读官方文档,特别是版本支持方面。
集成过程,直接上图:
Kafka安装包准备:
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载 )
我们这里centos6.7 x64的系统,注意下载对应的parcel包,如下图所示
在此得注意hash值的匹配
CDH集成Kafka实现:
1、将原来Kafka的在CDH中删除
2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下,如图 :
3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下,如图:
4、启动cm服务,检查更新parcel,分配并激活percel包,注意此处一定要激活才能使用
5、添加kafka服务和配置角色节点
6、启动服务
安装完成后需要在spark2的配置里面指定kafka版本。
- cdh集成kafka,spark2
- CDH集群集成kafka
- CDH集成Kafka
- CDH集成Kafka
- CDH集成Kafka
- cdh完美集成kafka
- spark2如何集成到cdh里
- CDH集成kafka方法实践
- CDH 5.12.1 离线部署指南(附spark2.2.0集成指南)
- CDH 安装spark2 缺包
- CDH 自定义添加Spark2服务
- cdh kafka环境搭建
- 编译CDH版Kafka
- Spark2.11 两种流操作 + Kafka
- CDH集成KUDU
- CDH集成Phoenix
- [Apache Kafka]Kafka集成
- 从源码编译Cloudera CDH 5.7.1的Spark2.1.1
- @OneToOne
- Java集合---ArrayList的实现原理
- js2
- python读取配置文件
- 多线程之NSThread
- cdh集成kafka,spark2
- Linux笔记 程序非正常退出报错 Segmenttation fault
- Android设置Activity背景为透明style发生的错误
- leetcode#552. Student Attendance Record II
- 一个页面从输入 URL 到页面加载显示完成,这个过程中都发生了什么?
- code
- laravel5 怎么实现事务
- 了解sklearn中的pipeline及FeatureUnions
- Java web访问WEB-INF下的jsp的方法