####好#####DStreams上的输出操作
来源:互联网 发布:慈溪行知职高好吗 编辑:程序博客网 时间:2024/06/09 16:23
DStreams上的输出操作
输出操作允许DStream的操作推到如数据库、文件系统等外部系统中。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。目前,定义了下面几种输出操作:
pprint()
。saveAsObjectFiles(prefix, [suffix])保存DStream的内容为一个序列化的文件SequenceFile
。每一个批间隔的文件的文件名基于prefix
和suffix
生成。"prefix-TIME_IN_MS[.suffix]",在Python API中不可用。saveAsTextFiles(prefix, [suffix])保存DStream的内容为一个文本文件。每一个批间隔的文件的文件名基于prefix
和suffix
生成。"prefix-TIME_IN_MS[.suffix]"saveAsHadoopFiles(prefix, [suffix])保存DStream的内容为一个hadoop文件。每一个批间隔的文件的文件名基于prefix
和suffix
生成。"prefix-TIME_IN_MS[.suffix]",在Python API中不可用。foreachRDD(func)在从流中生成的每个RDD上应用函数func
的最通用的输出操作。这个函数应该推送每个RDD的数据到外部系统,例如保存RDD到文件或者通过网络写到数据库中。需要注意的是,func
函数在驱动程序中执行,并且通常都有RDD action在里面推动RDD流的计算。利用foreachRDD的设计模式
dstream.foreachRDD是一个强大的原语,发送数据到外部系统中。然而,明白怎样正确地、有效地用这个原语是非常重要的。下面几点介绍了如何避免一般错误。
- 经常写数据到外部系统需要建一个连接对象(例如到远程服务器的TCP连接),用它发送数据到远程系统。为了达到这个目的,开发人员可能不经意的在Spark驱动中创建一个连接对象,但是在Spark worker中尝试调用这个连接对象保存记录到RDD中,如下:
dstream.foreachRDD(rdd => { val connection = createNewConnection() // executed at the driver rdd.foreach(record => { connection.send(record) // executed at the worker }) })
这是不正确的,因为这需要先序列化连接对象,然后将它从driver发送到worker中。这样的连接对象在机器之间不能传送。它可能表现为序列化错误(连接对象不可序列化)或者初始化错误(连接对象应该在worker中初始化)等等。正确的解决办法是在worker中创建连接对象。
- 然而,这会造成另外一个常见的错误-为每一个记录创建了一个连接对象。例如:
dstream.foreachRDD(rdd => { rdd.foreach(record => { val connection = createNewConnection() connection.send(record) connection.close() }) })
通常,创建一个连接对象有资源和时间的开支。因此,为每个记录创建和销毁连接对象会导致非常高的开支,明显的减少系统的整体吞吐量。一个更好的解决办法是利用rdd.foreachPartition
方法。为RDD的partition创建一个连接对象,用这个两件对象发送partition中的所有记录。
dstream.foreachRDD(rdd => { rdd.foreachPartition(partitionOfRecords => { val connection = createNewConnection() partitionOfRecords.foreach(record => connection.send(record)) connection.close() }) })
这就将连接对象的创建开销分摊到了partition的所有记录上了。
- 最后,可以通过在多个RDD或者批数据间重用连接对象做更进一步的优化。开发者可以保有一个静态的连接对象池,重复使用池中的对象将多批次的RDD推送到外部系统,以进一步节省开支。
dstream.foreachRDD(rdd => { rdd.foreachPartition(partitionOfRecords => { // ConnectionPool is a static, lazily initialized pool of connections val connection = ConnectionPool.getConnection() partitionOfRecords.foreach(record => connection.send(record)) ConnectionPool.returnConnection(connection) // return to the pool for future reuse }) })
需要注意的是,池中的连接对象应该根据需要延迟创建,并且在空闲一段时间后自动超时。这样就获取了最有效的方式发生数据到外部系统。
其它需要注意的地方:
- 输出操作通过懒执行的方式操作DStreams,正如RDD action通过懒执行的方式操作RDD。具体地看,RDD actions和DStreams输出操作接收数据的处理。因此,如果你的应用程序没有任何输出操作或者用于输出操作
dstream.foreachRDD()
,但是没有任何RDD action操作在dstream.foreachRDD()
里面,那么什么也不会执行。系统仅仅会接收输入,然后丢弃它们。 - 默认情况下,DStreams输出操作是分时执行的,它们按照应用程序的定义顺序按序执行。
阅读全文
0 0
- ####好#####DStreams上的输出操作
- Spark流编程指引(六)-----------------------DStreams上的输出操作
- Spark流编程指引(五)-----------------------------DStreams上的转换操作
- ######好#######输入DStreams和receivers
- 一个向Visual Studio的输出窗口上输出文字的好用函数
- ubuntu上一些好的操作方式 习惯 文件备份
- PB调用EXCEL的操作不失为一种好的报表输出方式
- 数据结构的输出操作
- csdn上的好东西
- github 上的好文章
- 输出排列好的星号符
- zTree的操作。封装好
- 用于简单输出变量的输出操作
- 上三角开的输出
- 输出操作符<< 的重载
- 如何在子线程中操作窗体上的控件(在做线程,把好资料转载)
- String上的操作
- CodProject.com上的一些好代码
- 利用slf4j+log4j将日志写入指定的文件中
- 第十六章:数组
- Linux signals(二) sigprocmask,sigaction,不可靠信号及实例代码
- php框架一般功能
- 动态加载资源
- ####好#####DStreams上的输出操作
- h5中的画布----Canvas
- Examples with HiveSemanticAnalyzerHook org.apache.hadoop.hive.ql.parse.HiveSemanticAnalyzerHook used
- Mysql(Laravel)实现按天分组查询数据
- ajax请求成功后location.href没有跳转
- 《笨方法学python》第四天
- BuildAnimationController
- Android报错:Parent file doesn't exist:/Users/XXX/Library/Caches/AndroidStudio2.3/caches/
- MongoDB与python的交互