spark streaming案例整理
来源:互联网 发布:r语言和c语言 编辑:程序博客网 时间:2024/05/15 06:05
scala程序实现,接收一个端口发来的信息:端口信息使用模拟程序来实现一个端口发来的信息。
代码如下:
代码如下:
程序生成A-G的随机字母
importjava.io.PrintWriter
importjava.net.ServerSocket
classLoggerSimulation {
}
object LoggerSimulation{
/**
* 生成一个字母
* @param 字母的下标
* @return 生成的字母
*/
def gennerateContent(index:Int):String = {
importscala.collection.mutable.ListBuffer
val charList = ListBuffer[Char]();
for(i<-65to90){
charList += i.toChar
}
val charArray = charList.toArray
charArray(index).toString();
}
/**
* 生成随机下标
* @return 返回一个下标
*/
def index = {
importjava.util.Random
val rdm =newRandom()
rdm.nextInt(7)
}
def main(args: Array[String]): Unit = {
val listener =newServerSocket(9090) //输入端口号
println("已经做好连接的准备-------")
while(true){
val socket = listener.accept()
newThread(){
override def run(): Unit = {
println("Got client connected from:"+socket.getInetAddress)
val out =newPrintWriter(socket.getOutputStream,true)
while(true){
Thread.sleep(2000) //间隔时间
val content = gennerateContent(index)
println(content)
out.write(content+"\n")
out.flush()
}
socket.close()
}
}.start()
}
}
}
importorg.apache.spark.storage.StorageLevel
importorg.apache.spark.streaming.{Seconds, StreamingContext}
importorg.apache.spark.{SparkConf, SparkContext}
classNetWorkWordCount {
}
object NetWorkWordCount{
def main(args: Array[String]): Unit = {
val config =newSparkConf().setAppName("NetWorkWordCount").setMaster("local");
val ssc =newStreamingContext(config,Seconds(5)); //多长时间为间隔
val lines = ssc.socketTextStream("10.1.31.12",8899,StorageLevel.MEMORY_ONLY_SER) //主机和端口地址
val words = lines.flatMap(line => line.split(" "));
val wordCount = words.map(x=>(x,1)).reduceByKey(_+_);
wordCount.print()
ssc.start();
ssc.awaitTermination();
}
}
另一种方式为
打开一个终端,打开一个终端,输入 命令 nc -lk 9999 然后输入内容即可
http://www.jianshu.com/p/59733597d448 挺详细的
阅读全文
0 0
- spark streaming案例整理
- Spark Streaming Java案例
- Spark SQL+Spark Streaming案例
- Spark Streaming基于案例详解
- Spark Streaming 实战案例(一)
- Spark Streaming 结合Spark SQL 案例
- Spark Streaming 实战案例(四) Spark Streaming 缓存、Checkpoint机制
- Spark Streaming 实战案例(五) Spark Streaming与Kafka
- Spark-Spark Streaming例子整理(一)
- Spark-Spark Streaming例子整理(二)
- Spark-Spark Streaming例子整理(三)
- Spark-Spark Streaming例子整理(一)
- Spark-Spark Streaming例子整理(二)
- Spark-Spark Streaming例子整理(三)
- Spark-Spark Streaming例子整理(一)
- Spark Streaming 订单关联案例剖析
- Spark Streaming 图片处理案例介绍
- Spark Streaming 图片处理案例介绍
- 定义和调用TP的模板
- caffe基础-05全连接层的配置
- 最大公约数 与 异或 UVA GCD XOR 数论小技巧记录
- if语句 和switch语句
- js的程序设计思维
- spark streaming案例整理
- 580. Count Student Number in Departments
- hdu--6055--Regular polygon
- Java中的final关键字
- Win10局域网内离线安装sqlserver2012 .net framkwork 3.5问题
- 最大连续子串和 dp
- C#实现获取IIS站点及虚拟目录信息的方法
- 安卓 应用程序userID标志位
- 君正X系列开发---GPIO在用户空间使用&platform_device驱动&gpiolib库的使用5