SparkStreaming的实时单词统计小例子
来源:互联网 发布:恒腾网络 百度百科 编辑:程序博客网 时间:2024/05/22 03:16
package com.yc.spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{ StructType, StructField, StringType, IntegerType }
import java.util.Properties
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.graphx.Graph
object SparkStreaming1 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[2]").setAppName("Stream")
val ssc = new StreamingContext(conf, Seconds(5)) //spark实时数据流处理对象
ssc.sparkContext.setLogLevel("error")
// val ds = ssc.textFileStream("/data/stream") //DStream 是spark streaming的数据处理类型
var ds = ssc.socketTextStream("master", 7777)
val words = ds.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
words.print()
Graph
ssc.start()
ssc.awaitTermination()
}
}
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{ StructType, StructField, StringType, IntegerType }
import java.util.Properties
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.graphx.Graph
object SparkStreaming1 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[2]").setAppName("Stream")
val ssc = new StreamingContext(conf, Seconds(5)) //spark实时数据流处理对象
ssc.sparkContext.setLogLevel("error")
// val ds = ssc.textFileStream("/data/stream") //DStream 是spark streaming的数据处理类型
var ds = ssc.socketTextStream("master", 7777)
val words = ds.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
words.print()
Graph
ssc.start()
ssc.awaitTermination()
}
}
阅读全文
1 0
- SparkStreaming的实时单词统计小例子
- sparkstreaming版本的单词统计
- SparkStreaming小例子
- stom实时单词统计
- 带有状态的SparkStreaming单词计数程序
- sparkstreaming实时统计并且存储到mysql数据库中
- 基于SparkStreaming的实时数据清洗
- SparkStreaming例子
- hadoop老API(基于统计单词数的例子)
- 统计网站访问量的小例子
- hadoop mapreduce统计的小例子
- sparkstreaming统计一段时间内的热搜词
- C++统计单词小程序
- 统计一串字符串中,单词的个数,并输出这些单词,测试例子
- 统计文章中出现的单词频率java小程序
- 统计单词的代码
- 统计最长的单词
- Spark Streaming从Kafka中获取数据,并进行实时单词统计,统计URL出现的次数
- hdu 2732 网络流,建图
- 秒懂JAVA泛型
- 几道经典的递归(可以用动态规划优化)好题源码实现(1)
- Oracle系统表处理
- Java数据结构详解(九)-Deque
- SparkStreaming的实时单词统计小例子
- SpringMVC接受JSON参数详解及常见错误总结
- Java多线程
- 机器学习第3章第4节 : 随机像素点的绘制
- WINAPI--CopyFile()函数
- 博弈论小结
- 渗透测试 | 无线渗透 | 3-帧类型
- 关于jsp和servlet常见面试题
- MyEclipse 2015优化技巧