spark streaming + kafka +python(编程)初探
来源:互联网 发布:三只松鼠淘宝代理加盟 编辑:程序博客网 时间:2024/06/06 07:27
一、环境部署
hadoop集群2.7.1zookeerper集群kafka集群:kafka_2.11-0.10.0.0spark集群:spark-2.0.1-bin-hadoop2.7.tgz环境搭建可参考我前面几篇文章。不再赘述三台机器:master,slave1,slave2
二、启动集群环境
1.启动hadoop集群
start-all.sh
2.启动spark集群
start-master.shstart-slaves.sh
3.启动zookeeper集群
在三台机器下均输入以下命令
zkServer.sh start
4.启动kafka集群
在三台机器下均输入以下命令
kafka-server-start.sh -daemon ../config/server.properties
5.jps查看进程
master:
slave1与slave2一样:6.创建kafka topic
kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --replication-factor 3 --partitions 3 --topic test5
故topic为test3 分区为3个,分别为:0,1,2
可用该命令查看kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5
三、编程,KafkaWordCount.py
编写spark steaming 代码,读取kafka流数据,并统计词频
spark streaming 从 kafka 接收数据,有两种方法:(1)使用receivers和高层次的API;(2)使用Direct API,低层次的kafkaAPI
这里我采用的是第一中方式,基于receivers的方法
具体两种方式以及编程实例可参考官网
kafka topic 为:test5
partitions: 0,1,2
consumer_group_id: test-consumer-group (在kafka/config/consumer.properties里面查看group.id)
代码(python 实现):# -*- coding: UTF-8 -*- ###spark streaming&&kafkafrom pyspark import SparkContextfrom pyspark.streaming import StreamingContextfrom pyspark.streaming.kafka import KafkaUtilssc=SparkContext("local[2]","KafkaWordCount")#处理时间间隔为2sssc=StreamingContext(sc,2)zookeeper="192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181"#打开一个TCP socket 地址 和 端口号topic={"test5":0,"test5":1,"test5":2} #要列举出分区groupid="test-consumer-group"lines = KafkaUtils.createStream(ssc, zookeeper,groupid,topic)lines1=lines.map(lambda x:x[1]) #注意 取tuple下的第二个即为接收到的kafka流#对2s内收到的字符串进行分割words=lines1.flatMap(lambda line:line.split(" "))#映射为(word,1)元祖pairs=words.map(lambda word:(word,1))wordcounts=pairs.reduceByKey(lambda x,y:x+y)#输出文件,前缀+自动加日期wordcounts.saveAsTextFiles("/tmp/kafka")wordcounts.pprint()#启动spark streaming应用ssc.start()#等待计算终止ssc.awaitTermination()
四、运行
1.下载依赖的jars包
注意,应该去官网找对应的jar包,例如
kafka2.01对应
下载spark-streaming-kafka-0-8_2.11.jar 我放在了kafka/lib下2.启动kafka生产者
kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5
3.运行KafkaWordCount.py
在master下
运行spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py
这里有个小技巧,因为终端报的信息很多,有时候,一些错误信息被覆盖掉了,因此,可将终端的输出信息输出到文件中
例如spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py 2> error.txt
便如查看错误信息
4.生产者端输入流数据
5.result
终端打印:
hdfs上:hadoop fs -ls /tmp/kafka*
四、下一步
考虑使用direct API,待完成
参考文档
spark streaming kafka整合指南
spark集成kafka总结
作者:玄月府的小妖在debug
链接:http://www.jianshu.com/p/04f8e78ea656
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
- spark streaming + kafka +python(编程)初探
- spark----基于Python的Spark Streaming+Kafka编程实践
- Spark Streaming+kafka+eclipse编程
- Spark Streaming+kafka+eclipse编程
- 基于Python的Spark Streaming+Kafka编程实践
- #####好#########基于Python的Spark Streaming+Kafka编程实践
- kafka+spark streaming代码实例(pyspark+python)
- Spark Streaming与Kafka集成编程
- Spark Streaming整合Kafka
- Spark Streaming + kafka
- Kafka+Spark Streaming集成
- kafka + spark streaming 架构
- spark streaming+kafka
- Spark Streaming + Kafka
- kafka-spark streaming-hbase
- spark streaming 整合kafka
- spark streaming + kafka
- flume kafka spark streaming
- 关于路径问题
- 算法
- 流程控制
- ffmpeg合并两路rtmp流并推送
- Ubuntu下进行Github的环境配置
- spark streaming + kafka +python(编程)初探
- NYOJ-305
- Android自定义view,实现多画面播放器
- Java笔记8
- Linux下$#,$0,$1,$2,$3,$@,$*,$$,$?代表的含义
- java 学习路线
- Linux下SVN使用指南
- HDU
- All in all (ACM V)