spark-env.sh配置
来源:互联网 发布:屏幕镜像软件 编辑:程序博客网 时间:2024/05/16 13:50
SPARK_MASTER_PORT 从另外一个端口启动master(默认: 7077)
SPARK_MASTER_WEBUI_PORT Master的web UI端口 (默认: 8080),这个端口太常用,建议换一个
SPARK_WORKER_PORT 启动Spark worker 的专用端口(默认:随机)
SPARK_WORKER_DIR 伸缩空间和日志输入的目录路径(默认: SPARK_HOME/work);
SPARK_WORKER_CORES 作业可用的CPU内核数量(默认: 所有可用的);
SPARK_WORKER_MEMORY 作业可使用的内存容量,默认格式1000M或者 2G (默认: 所有RAM去掉给操作系统用的1 GB);注意:每个作业自己的内存空间由SPARK_MEM决定。
SPARK_WORKER_WEBUI_PORT worker 的web UI 启动端口(默认: 8081)
SPARK_WORKER_INSTANCES 没太机器上运行worker数量 (默认: 1). 当你有一个非常强大的计算机的时候和需要多个Spark worker进程的时候你可以修改这个默认值大于1 . 如果你设置了这个值。要确保SPARK_WORKER_CORE 明确限制每一个r worker的核心数, 否则每个worker 将尝试使用所有的核心
SPARK_DAEMON_MEMORY 分配给Spark master和 worker 守护进程的内存空间 (默认: 512m)
SPARK_DAEMON_JAVA_OPTS Spark master 和 worker守护进程的JVM 选项(默认: none)
- spark-env.sh配置
- Standalone spark-env.sh 配置
- Spark env
- hadoop-0.20-env.sh
- set-env.sh
- set-env-uat.sh
- 公司集群配置方式Hadoop 2.0.0-cdh4.5.0 (hadoop-env.sh)
- 解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题
- Java-env.sh-stop.sh-start.sh 示例
- hadoop 1.2.1 hadoop-env.sh
- spark学习3 standalone下的 env和default的配置
- 新版本caffe脚本运行无权限,#!/usr/bin/env sh
- 新版本caffe脚本运行无权限,#!/usr/bin/env sh
- [develop env]samba服务器配置
- [work]pycharm配置virtual env
- spark-shell.sh脚本分析
- Spark学习笔记2@spark-env参数说明
- Web项目启动脚本start.sh和环境脚本env.sh示例
- 壮阔与波澜:互联网十年创业记
- sqlServer 聚集函数 和 分组查询
- 更新CocoaPods到1.2.0
- go语言并发编程之select
- springmvc3.2.2版本的日期的处理
- spark-env.sh配置
- 如何开始一个linux程序编程
- Thrift学习笔记(2)--Thrift 非阻塞式IO服务模型
- maven基础知识汇总
- 框架模式 MVC 在Android中的使用
- Test
- yum本地源配置
- C++学习笔记
- Servlet表单