Spark性能相关参数配置
来源:互联网 发布:酒店数据库管理系统 编辑:程序博客网 时间:2024/05/16 07:40
Spark性能相关参数配置
http://spark-config.readthedocs.org/en/latest/
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 在Spark的官方文档http://spark.apache.org/docs/latest/configuration.html 中提供了这些可配置参数中相当大一部分的说明.
但是文档的更新总是落后于代码的开发的, 还有一些配置参数没有来得及被添加到这个文档中, 最重要的是在这个文档中,对于许多的参数也只能简单的介绍它所代表的内容的字面含义, 如果没有一定的实践基础或者对其背后原理的理解, 往往无法真正理解该如何针对具体应用场合进行合理配置。
本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。需要注意的是,理论上,没有绝对正确的配置(否则也就不需要对应的配置参数了,Spark框架内部直接写死就好了),所以请结合自己的实际情况,辩证的看下面的内容。
由于本文主要针对和性能相关的一些配置参数进行阐述,所以基本不会覆盖其它和性能没有太多关系的配置参数。
- Shuffle 相关
- Storage相关配置参数
- 压缩和序列化相关
- schedule调度相关
0 0
- Spark性能相关参数配置
- Spark性能相关参数配置
- Spark性能相关参数配置
- Spark性能相关参数配置 之 Storage相关配置参数
- Spark 性能相关参数配置详解
- Spark 性能相关参数配置详解
- Spark性能相关参数配置-大全
- Spark性能相关参数配置及原理
- Spark性能相关参数配置 之 Shuffle 相关
- Spark性能相关参数配置 之 schedule调度相关
- Spark 性能相关参数配置详解-shuffle篇
- Spark 性能相关参数配置详解-Storage篇
- Spark 性能相关参数配置详解-任务调度篇
- Spark 性能相关参数配置详解-任务调度篇
- Spark 性能相关参数配置详解-shuffle篇
- Spark 性能相关参数配置详解-shuffle篇
- Spark 性能相关参数配置详解-Storage篇
- Spark 性能相关参数配置详解-任务调度篇
- 内存管理
- 【 D3.js 入门系列 --- 9.6 】 打包图的制作
- zoj 1014
- Read_Text函数的使用方法
- swift笔记1
- Spark性能相关参数配置
- 【阅读】《Head First javascript》第一章——交互式网络
- C语言遍历文件和目录——————【Badboy】
- 黑马程序员——IO流字符流
- POJ 3370 Halloween treats(抽屉原理)
- Struts2+Spring+Mybatis环境搭建
- GNU C 、ANSI C、标准C、标准c++区别和联系
- 小黑小波比.Ubuntu14.04下配置Nginx+php5+Mariadb开发环境
- 每天一个linux命令telnet