Spark Streaming 监控通过 nc -lk 9999 命令发送的word计数
来源:互联网 发布:CPDA数据分析师证书 编辑:程序博客网 时间:2024/05/15 05:59
package org.lm.spark.streamingimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object SparkStreamingQucikOps { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("Spark Streaming Qucik Ops").setMaster("spark://192.168.189.128:7077") val ssc=new StreamingContext(conf,Seconds(5)) val lines=ssc.socketTextStream("192.168.189.129",9999) val words=lines.flatMap(line=>line.split(" ")) val pairs=words.map(word=>(word,1)) val wordcount=pairs.reduceByKey(_+_) wordcount.print() ssc.start() ssc.awaitTermination() }}
阅读全文
0 0
- Spark Streaming 监控通过 nc -lk 9999 命令发送的word计数
- Spark Streaming 通过NC运行日志
- spark-streaming 编程(二) word count单词计数统计
- Spark-Streaming 程序监控
- spark streaming 应用程序监控
- spark streaming统计kafka数据计数不准的问题
- Spark Streaming---Streaming Word Count(java)
- 第124课:Spark Streaming性能优化:通过Spark Streaming进行设备日志监控报警及性能优化
- spark streaming job 耗时监控
- Spark Streaming 监控HDFS目录
- Spark Streaming和Flink的Word Count对比
- Spark Streaming场景应用- Spark Streaming计算模型及监控
- spark streaming 通过zookeeper读取kafka上的数据
- Python爬虫之Spark Streaming任务监控
- Spark Streaming监控HDFS输入流
- Python爬虫之Spark Streaming任务监控
- Spark Streaming的WindowedDStream
- spark streaming 的wordcount程序,从hdfs上读取文件中的内容并计数
- Add Two Numbers[LeetCode 2]
- JQuery 实例:微博 显示添加'@好友',添加小表情
- 面向对象基础笔记
- okhttp源码简
- zabbix邮件报警配置
- Spark Streaming 监控通过 nc -lk 9999 命令发送的word计数
- Ubuntu挂载exFAT文件系统
- c语言的文件操作
- JDBC连接Oracle报错ORA-12505
- 3-9·CentOS7版本基本网络设置
- springboot读取yml中的配置加载到javabean中
- c#仔细研究之char[]和string
- java 并发包-Unsafe
- 最小二乘法(高斯)