大数据IMF传奇行动绝密课程第89课:SparkStreaming On Kafka之kafka解析和安装实战
来源:互联网 发布:flame软件 编辑:程序博客网 时间:2024/05/01 02:37
SparkStreaming On Kafka之kafka解析和安装实战
1、Kafka解析
2、Kafka安装实战
Kafka元数据被ZooKeeper管理
Kafka是Scala写的,所以需要安装Scala、Java
将slf4j-nop-1.7.6.jar拷贝到kafka的libs目录下,slf4j用于nohup
配置集群中每台机器:
1、配置.bashrc
export KAFKA_HOME=/usr/local/kafka_2.10-0.9.0.10-0PATH加入{$KAFKA_HOME}/bin
2、配置属性
kafka目录下server.properties
broker.id=0(每台机器不同Worker1设置为1,Worker2设置为2)
zookeeper.connect=Master:2181,Worker1:2182,Worker2:2181(zookeeper client默认端口)
3、启动(所有机器都要启动)
nohup ./kafka-server-start.sh ../config/server.properties &
创建topic
./kafka-topics.sh --create --zookeeper Master:2181,Worker1:2181,Worker2:2181 --replication-factor 3 --partitions 1 --topic HelloKafka
查看topic
./kafka-topics.sh --discribe --zookeeper Master:2181,Worker1:2181,Worker2:2181 --topic HelloKafka
配置生产者
./kafka-console-producer.sh --broker-list Master:9092,Worker1:9092,Worker2:9092 --topic HelloKafka
在下面输入
This is DT_Spark!
I’m Rocky!
Life is short, you need Spark!
消费者:
./kafka-console-consumer.sh --zookeeper Master:2181,Worker1:2181,Worker2:2181 --from-beginning --topic HelloKafka
0 0
- 大数据IMF传奇行动绝密课程第89课:SparkStreaming On Kafka之kafka解析和安装实战
- 大数据IMF传奇行动绝密课程第90课:SparkStreaming基于Kafka Receiver案例实战和内幕源码解密
- 大数据IMF传奇行动绝密课程第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密
- 大数据IMF传奇行动绝密课程第85课:基于HDFS的SparkStreaming案例实战和内幕源码解密
- 大数据IMF传奇行动绝密课程第93课:SparkStreaming updateStateByKey案例实战和内置源码解密
- 大数据IMF传奇行动绝密课程第94课:SparkStreaming实现广告计费系统中在线黑名单过滤实战
- 大数据IMF传奇行动绝密课程第86课:SparkStreaming数据源Flume实际案例分享
- 大数据IMF传奇行动绝密课程第38课:BlackManager原理和源码解析
- 大数据IMF传奇行动绝密课程第88课:SparkStreaming从Flume Poll数据案例实战和内幕源码解密
- 大数据IMF传奇行动绝密课程第92课:SparkStreaming中Transformations和状态管理解密
- 大数据IMF传奇行动绝密课程第100-101课:使用Spark Streaming+Spark SQL+Kafka+FileSystem综合案例
- 大数据IMF传奇行动绝密课程第117课:Spark Streaming性能优化:如何最大程度的确保Spark Cluster和Kafka连接的稳定性
- 大数据IMF传奇行动绝密课程第57课:Spark SQL on Hive配置及实战
- 大数据IMF传奇行动绝密课程第74课:Hive on Spark大揭秘
- 大数据IMF传奇行动绝密课程第27课:Spark on Yarn彻底解密
- 大数据IMF传奇行动绝密课程第95课:通过SparkStreaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- 大数据IMF传奇行动绝密课程第67课:spark SQL案例综合实战
- 大数据IMF传奇行动绝密课程第69课:Spark SQL通过Hive数据源实战
- linux入门命令
- POJ 2184 Cow Exhibition(0-1背包,负化正)
- RocketMQ源码分析----Broker处理发送请求
- Fibonacci Again hdu1021
- 字符串的每个单词首字母大写
- 大数据IMF传奇行动绝密课程第89课:SparkStreaming On Kafka之kafka解析和安装实战
- 理解HTTP协议
- 利用sleep函数(Linux平台)结合结构体,编写一个模拟时钟
- C++ 编译的时候缺少mex.h文件
- 关于qemu-system-i386.exe 停止工作 在android studio下
- 神秘的三位数
- 【网络流24题 搭配飞行员】二分图匹配
- 笔记本电脑+一根网线+树莓派(含充电设备) 远程控制树莓派
- eclipse maven add Archetype and Maven repository URL