CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
来源:互联网 发布:源码资本海外招聘 编辑:程序博客网 时间:2024/05/22 13:10
简介:
CDH的parcel包中是没有kafka的,kafka被剥离了出来,需要从新下载parcel包安装。或者在线安装,但是在线安装都很慢,这里使用下载parcel包离线安装的方式。
PS:kafka有很多版本,CDH也有很多版本,那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有介绍,文档地址:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka ,这里截图:
由于我的CDH是5.11,所以只支持kafka2.1.x的,所以我安装的就是这个版本
一。安装准备:
所需软件:
①kafka csd包,下载地址:http://archive.cloudera.com/csds/kafka/
②kafka parcel包:
地址:http://archive.cloudera.com/kafka/parcels/latest/,根据操作系统,下载对应的包
二。开始安装
1.上传kafka。
注意,以下操作,需要在你CDH的所有机器执行,不然待会检测不到。
①上传CSD包KAFKA-1.2.0.jar,到服务器CDH目录下,路径为/opt/cloudera/csd
②上传parcel包中的那3个文件,到目录/opt/cloudera/parcel-repo下,注意如果有文件重名,如manifest那个文件,把以前的重命名为其他名字
2.分配,激活
进入CDH的管理界面,点击主机->parcel->检查新parcel
如果成功,则会看到你的kafka一项,并且有分配按钮,点击分配,等待,然后分配按钮编程激活按钮,点击激活,等待,操作成功后如下
OK,kafka安装完成
三。善后工作
安装完成后,便可以在添加服务里,添加kafka服务了。这里如果遇到最后一步,启动kafka的时候,失败报错如下:
Fatal error during KafkaServerStartable startup. Prepare to shutdown java.lang.OutOfMemoryError: Java heap space at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57) at java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:43) at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:186) at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83) at kafka.log.LogCleaner$$anonfun$1.apply(LogCleaner.scala:83)
这是因为 Java Heap Size配置小了(奇怪的是安装kafka的时候它也没提示我设置啊,简直怪了),这里如下解决:
回到CDH主页面,点击kafka,进入配置页面,修改 Java Heap Size of Broker为1G,如下:,然后保存,重启KAFKA,OK,这下终于好了
阅读全文
0 0
- CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
- CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
- 自定义添加KAFKA服务启动时报错
- CDH5.2.0 yarn启动失败
- Mysql Server 服务启动失败解决
- CDH5启用Kerberos和添加Sentry服务
- CM添加kafka服务
- cloudera 添加Kafka服务
- 右键新建菜单异常解决 | windows服务启动失败解决
- oracle11g em控制台服务启动失败之解决过程。
- “parallel port driver 服务启动失败”的解决
- 解决错误1069:由于登录失败而无法启动服务
- CentOS 7下MySQL服务启动失败的解决思路
- CentOS 7下MySQL服务启动失败的解决思路
- 【解决】速达服务启动失败,文件无效
- 记录Apache服务启动失败的解决过程
- CentOS 7下MySQL服务启动失败的解决思路
- CentOS 7下MySQL服务启动失败的解决思路
- android SDK-抓取apk包的logcat日志
- 网页打开过程到底发生了什么
- eclipse里面关于subversion(svn)的使用之检出项目
- cocos2d-x 帧循环
- ant打包项目,部署
- CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
- angularJs-工具方法2
- 移动平台资源路径问题
- 【LeetCode】121.Best Time to Buy and Sell Stock解题报告
- oracle监听器安全
- Android提供了短信群发的机制
- 书籍-Java性能调优指南
- python的selenium不管项目模块迁移哪个项目文件目录下,都用这句代码解决
- 创建bootstrap的表格(含日期控件)