spark性能优化之一条
来源：互联网 发布：排序算法效率比较 编辑：程序博客网 时间：2024/05/29 01:53
之所以称为一条，是真的只有一个需要注意的地方。
之前在为spark streaming程序分配资源的时候，为了提高并行度，尽量分配了更多的executor，最近在程序里增加了window操作，仍然是按每个executor一个core来分配的，结果发现程序运行的相当慢，而且经常会出现node_local，rack_local这种情况，因为我们的数据量比较大，所以数据的本地性比并行度更能影响性能，果断改为按window时长除以duration的数量来分配core的数量，这样就保证进行window操作的数据都在一个jvm里，保证process_local的本地性，运行速度提高了10倍以上，所以spark资源的分配还是要和具体的场景相联系，才能得到好的性能
0 0
- spark性能优化之一条
- Spark性能优化之一
- Spark性能优化(1)
- Spark性能优化(1)
- Spark性能优化(2)
- Spark性能优化(3)
- Spark SQL性能优化
- Spark应用性能优化
- Spark性能优化2
- spark性能优化1
- spark的性能优化
- Spark性能优化总结
- Spark性能优化总结
- spark性能优化一
- spark性能优化二
- spark性能优化三
- spark性能优化四
- spark性能优化八
- 取一个月之后的时间
- 掌握感性思路，轻松写出高质量的SEO原创文章
- php中实现记住密码下次自动登录的例子
- hog特征
- JFrame窗口，面板，标签，按钮，文本区域 使用
- spark性能优化之一条
- Execution failed for task ':app:processDebugManifest'
- 【bzoj2120】数颜色 莫队
- 【.Net码农】利用Lambda获取属性名称
- linux里创建pyhone3的scrapy框架
- git gui & git bash 的简单操作手册 - 将本地更改上传更新到远程服务器
- hibernate实体类注解错误Could not determine type for: java.util.Set
- ARM内核全解析，从ARM7,ARM9到Cortex-A7,A8,A9,A12,A15到Cortex-A53,A57
- python 字符串操作大全
