sparkR集群启动脚本的封装
来源:互联网 发布:知乎 温州人 上海 编辑:程序博客网 时间:2024/06/16 03:29
sparkR默认是以单机方式运行的。实现sparkR的集群启动,需要指定master地址,占用内存、CPU,及UI端口等,这对分析人员来说是比较麻烦的。
如何实现对其启动的封装,方便分析人员来使用:
创建启动的脚本文件
- vi bdcmagicR
- #!/bin/bash
- function rand(){
- min=$1
- max=$(($2-$min+1))
- num=$(($RANDOM+1000000000)) #增加一个10位的数再求余
- echo $(($num%$max+$min))
- }
- rnd=$(rand 40000 50000)
- echo $rnd
- /opt/modules/spark/bin/sparkR --master spark://10.130.2.20:7077 --executor-memory 8g --total-executor-cores 45 --conf spark.ui.port=$rnd
说明:
1)首先使用一个随机函数生成一个40000到50000之间随机数,用来做UI的端口。2)然后指定指定master地址,占用内存、CPU。
3)最后把bdcmagicR 加入环境变量即可。
使用时,在终端输入 bdcmagicR
即可以集群方式启动运行sparkR
0 0
- sparkR集群启动脚本的封装
- sparkR集群启动脚本的封装
- zookeeper集群启动的shell脚本
- kafka集群启动脚本
- mongo集群启动脚本
- 集群storm启动脚本
- Kafka 集群启动脚本
- 脚本启动zookeeper集群
- redis集群启动脚本
- shell脚本启动storm 集群
- Hbase 集群启动脚本分析
- storm集群启动/停止脚本
- zookeeper 启动集群shell脚本
- 启动Hadoop集群和HBase集群脚本
- 编写Strom启动和停止集群的脚本
- hadoop集群及相关服务的启动、停止shell脚本
- SparkR的安装配置
- SparkR的编译安装
- MySQL 百万级分页优化(Mysql千万级快速分页)
- Android中自定义MultipartEntity实现文件上传以及使用Volley库实现文件上传
- Debugging with Xdebug and Sublime Text 3
- 关闭ios虚拟键盘的几种方法
- linux命令操作
- sparkR集群启动脚本的封装
- make命令详解
- ocp-361
- DO-178B目标的定量分析
- lua和c交互用到的c api介绍
- 百度Ueditor上传插件
- 调试记录: 最初想法
- 文章标题
- Cg basic shader