Spark流处理(WordCount)
来源:互联网 发布:你知我所想我知你所要 编辑:程序博客网 时间:2024/05/20 16:33
Spark流处理(WordCount)
1. Spark环境
1) 4台CentOs 6.4
2) Hadoop 2.2.0
3) Jdk 1.7
4) Scala 2.10.3
5) Spark 0.9.0
2. 前期准备
由于Spark支持Socket流输入,准备NetCat作为TCP服务器不断对Spark进行word输入。
2.1 NetCat安装
1) yum install -y nc
2.2 启动监听服务
1) nc -l 9999 9999是端口号
3 启动Spark
输入:
/usr/local/spark/bin/run-exampleorg.apache.spark.streaming.exampl.NetworkWordCount local[2] 192.168.178.1829999
解释:192.168.178.182是netcat服务器的IP地址,9999是netcat服务器的端口号。
4 结果
4.1 netcat端输入
4.2 Spark中输出
0 0
- Spark流处理(WordCount)
- spark-wordcount
- Spark-wordcount
- wordcount spark...
- wordCount spark
- spark wordcount
- Spark WordCount
- spark wordcount
- Spark WordCount
- spark wordcount
- spark wordcount
- spark on hdfs spark处理hdfs上的文件简单的wordcount
- spark入门之wordcount
- spark如何wordcount中文
- Spark入门-WordCount
- Spark之WordCount
- 007-spark的wordCount
- Spark学习1-wordcount
- 动态规划
- 嵌入式Linux之我行——Linux-2.6.30.4在2440上的移植之UDA1341声卡驱动
- nyoj_168 房间安排
- linux gdb调试命令小助手
- 初识GitHub
- Spark流处理(WordCount)
- HDU 1010(剪枝+深搜)
- poj 1293 Duty Free Shop
- crc64 redis 源码
- Algorithm学习笔记 --- 三角形求周长
- Transport (VMDB) error 44 Message
- 编译MT7620内核出现问题
- LeetCode之Binary Tree Inorder Traversal
- 第四周(项目四)——数组做数据成员。