SparkStreaming之foreachRDD
来源:互联网 发布:在线java程序编译器 编辑:程序博客网 时间:2024/04/28 12:30
原文链接: http://blog.csdn.net/legotime/article/details/51836039
参考链接:http://blog.csdn.net/erfucun/article/details/52312682
首先我们来对官网的描述了解一下。
DStream中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。所以要掌握它,对它要有深入了解。下面有一些常用的错误需要理解。经常写数据到外部系统需要创建一个连接的object(eg:根据TCP协议连接到远程的服务器,我们连接外部数据库需要自己的句柄)和发送数据到远程的系统为此,开发者需要在Spark的driver创建一个object用于连接。
为了达到这个目的,开发人员可能不经意的在Spark驱动中创建一个连接对象,但是在Spark worker中 尝试调用这个连接对象保存记录到RDD中,如下:
dstream.foreachRDD { rdd => val connection = createNewConnection() // executed at the driver rdd.foreach { record => connection.send(record) // executed at the worker }}
这是不正确的,因为这需要先序列化连接对象,然后将它从driver发送到worker中。这样的连接对象在机器之间不能
传送。它可能表现为序列化错误(连接对象不可序列化)或者初始化错误(连接对象应该 在worker中初始化)等
等。正确的解决办法是在worker中创建连接对象。
然而,这会造成另外一个常见的错误-为每一个记录创建了一个连接对象。例如:dstream.foreachRDD { rdd => rdd.foreach { record => val connection = createNewConnection() connection.send(record) connection.close() }}
通常,创建一个连接对象有资源和时间的开支。因此,为每个记录创建和销毁连接对象会导致非常高的开支,明显
的减少系统的整体吞吐量。一个更好的解决办法是利用rdd.foreachPartition方法。 为RDD的partition创建一个连接对
象,用这个两件对象发送partition中的所有记录。
dstream.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => val connection = createNewConnection() partitionOfRecords.foreach(record => connection.send(record)) connection.close() }}
最后,可以通过在多个RDD或者批数据间重用连接对象做更进一步的优化。开发者可以保有一个静态的连接对象
池,重复使用池中的对象将多批次的RDD推送到外部系统,以进一步节省开支
dstream.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => // ConnectionPool is a static, lazily initialized pool of connections val connection = ConnectionPool.getConnection() partitionOfRecords.foreach(record => connection.send(record)) ConnectionPool.returnConnection(connection) // return to the pool for future reuse }}
需要注意的是,池中的连接对象应该根据需要延迟创建,并且在空闲一段时间后自动超时。这样就获取了最有效的
方式发生数据到外部系统。
其它需要注意的地方:(1)输出操作通过懒执行的方式操作DStreams,正如RDD action通过懒执行的方式操作RDD。具体地看,RDD
actions和DStreams输出操作接收数据的处理。因此,如果你的应用程序没有任何输出操作或者 用于输出操作
dstream.foreachRDD(),但是没有任何RDD action操作在dstream.foreachRDD()里面,那么什么也不会执行。系统
仅仅会接收输入,然后丢弃它们。
(2)默认情况下,DStreams输出操作是分时执行的,它们按照应用程序的定义顺序按序执行。
实验1:把SparkStreaming的内部数据存入Mysql
(1)在mysql中创建一个表用于存放数据
(2)用scala编写连接Mysql的连接池
(3)编写SparkStreaming程序(4)编写一个socket端的数据模拟器实验数据为:
spark
Streaming
better
than
storm
you
need
it
yes
do
it
(5)实验启动
在客户端启动数据流模拟
对socket端的数据模拟器程序进行 jar文件的打包,并放入到集群目录中
启动程序如下:
启动SparkStreaming程序
结果如下:
- SparkStreaming之foreachRDD
- SparkStreaming之foreachRDD
- SparkStreaming之foreachRDD
- SparkStreaming之foreachRDD
- Spark Streaming之foreachRDD性能优化
- Spark Streaming之妙用foreachRDD和foreachPartition
- AMPCamp2015之SparkStreaming wordCount
- SparkStreaming之DStream operations
- SparkStreaming之窗口函数
- SparkStreaming之Output Operations
- SparkStreaming可视化之Wisp
- SparkStreaming之窗口函数
- SparkStreaming之HDFS操作
- Spark之SparkStreaming案例
- SparkStreaming之黑名单过滤
- SparkStreaming数据源之Kafka
- sparkStreaming
- sparkStreaming
- Tomcat:在部署war包的时候java.util.zip.ZipException: error in opening zip file
- 链表问题---反转部分单向链表
- oracle中修改数据库实例监听的ip和端口
- 【算法】单词接龙
- hdfs文件操作
- SparkStreaming之foreachRDD
- MYSQL 中视图的操作
- 在Java中,关于Static关键字的案例分析
- 浏览器兼容性2—opacity(设置不透明度)
- pyspider安装问题
- FPGA前世今生(三)
- NIO基础(3)-非阻塞式网络通信
- 为什么研究彩票是一种“侮辱智商”的行为?
- 关于各种无法解析的外部符号问题的相应解决方案