算子优化 foreachPartition
来源:互联网 发布:mac os x 10.13虚拟机 编辑:程序博客网 时间:2024/04/29 13:07
算子优化 foreachPartition
foreach的写库原理
默认的foreach的性能缺陷在哪里?
首先,对于每条数据,都要单独去调用一次function,task为每个数据,都要去执行一次function函数。
如果100万条数据,(一个partition),调用100万次。性能比较差。
另外一个非常非常重要的一点
如果每个数据,你都去创建一个数据库连接的话,那么你就得创建100万次数据库连接。
但是要注意的是,数据库连接的创建和销毁,都是非常非常消耗性能的。虽然我们之前已经用了
数据库连接池,只是创建了固定数量的数据库连接。
你还是得多次通过数据库连接,往数据库(MySQL)发送一条SQL语句,然后MySQL需要去执行这条SQL语句。
如果有100万条数据,那么就是100万次发送SQL语句。
以上两点(数据库连接,多次发送SQL语句),都是非常消耗性能的。
foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的
使用批处理操作(一条SQL和多组参数)
发送一条SQL语句,发送一次
一下子就批量插入100万条数据。
用了foreachPartition算子之后,好处在哪里?
1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据
2、主要创建或者获取一个数据库连接就可以
3、只要向数据库发送一次SQL语句和多组参数即可
在实际生产环境中,清一色,都是使用foreachPartition操作;但是有个问题,跟mapPartitions操作一样,
如果一个partition的数量真的特别特别大,比如真的是100万,那基本上就不太靠谱了。
一下子进来,很有可能会发生OOM,内存溢出的问题。
一组数据的对比:生产环境
一个partition大概是1千条左右
用foreach,跟用foreachPartition,性能的提升达到了2~3分钟。
实际项目操作:
首先JDBCHelper里面已经封装好了一次批量插入操作!
1343行
批量插入session detail
唯一不一样的是我们需要ISessionDetailDAO里面去实现一个批量插入
List<SessionDetail> sessionDetails
foreach的写库原理
默认的foreach的性能缺陷在哪里?
首先,对于每条数据,都要单独去调用一次function,task为每个数据,都要去执行一次function函数。
如果100万条数据,(一个partition),调用100万次。性能比较差。
另外一个非常非常重要的一点
如果每个数据,你都去创建一个数据库连接的话,那么你就得创建100万次数据库连接。
但是要注意的是,数据库连接的创建和销毁,都是非常非常消耗性能的。虽然我们之前已经用了
数据库连接池,只是创建了固定数量的数据库连接。
你还是得多次通过数据库连接,往数据库(MySQL)发送一条SQL语句,然后MySQL需要去执行这条SQL语句。
如果有100万条数据,那么就是100万次发送SQL语句。
以上两点(数据库连接,多次发送SQL语句),都是非常消耗性能的。
foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的
使用批处理操作(一条SQL和多组参数)
发送一条SQL语句,发送一次
一下子就批量插入100万条数据。
用了foreachPartition算子之后,好处在哪里?
1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据
2、主要创建或者获取一个数据库连接就可以
3、只要向数据库发送一次SQL语句和多组参数即可
在实际生产环境中,清一色,都是使用foreachPartition操作;但是有个问题,跟mapPartitions操作一样,
如果一个partition的数量真的特别特别大,比如真的是100万,那基本上就不太靠谱了。
一下子进来,很有可能会发生OOM,内存溢出的问题。
一组数据的对比:生产环境
一个partition大概是1千条左右
用foreach,跟用foreachPartition,性能的提升达到了2~3分钟。
实际项目操作:
首先JDBCHelper里面已经封装好了一次批量插入操作!
1343行
批量插入session detail
唯一不一样的是我们需要ISessionDetailDAO里面去实现一个批量插入
List<SessionDetail> sessionDetails
0 0
- 算子优化 foreachPartition
- Spark算子[01]:foreach,foreachPartition
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark编程之基本的RDD算子sparkContext,foreach,foreachPartition, collectAsMap
- 算子优化 filter + coalesce
- 算子优化 reduceByKey
- 算子优化 MapPartitions
- 算子优化 repartiton
- Spark core 核心算子优化
- Spark core 核心算子优化
- spark 一些算子的使用及优化
- 算子
- 算子
- 算子
- Rdd的 foreach 和 foreachPartition
- L1-025. 正整数A+B
- (转)【ImageView】自定义ImageView系列(一)——简单圆形图片
- c# asp.net mvc 开发的正方教务助手(一)
- C++:堆与栈区别
- 浅谈自适应浏览器宽度变化的瀑布流布局的实现
- 算子优化 foreachPartition
- 精简版ffmpeg编译脚本
- JavaScript打印倒三角
- 关于cookie和session简单粗暴的感性理解
- 使物体围绕中心点转动(可用于电风扇等的旋转)
- SQLite执行计划优化
- eclipse最实用的快捷键
- ztree一级一级加载,解决数据过大加载缓慢问题
- (转)Android开源系列:CircleImageView自定义圆形控件的使用