spark博客 http://www.cnblogs.com/cenyuhai/p/3537249.html Spark作业调度
来源:互联网 发布:python大数据挖掘 编辑:程序博客网 时间:2024/06/09 15:42
http://www.cnblogs.com/cenyuhai/p/3537249.html
Spark在standalone模式下,默认是使用FIFO的模式,我们可以使用spark.cores.max
来设置它的最大核心数,使用spark.executor.memory 来设置它的内存。
在YARN模式下,使用--num-workers设置worker的数量,使用--worker-memory设置work的内存,使用
--worker-cores设置worker的核心数。
下面介绍一下怎么设置Spark的调度为Fair模式。
在实例化SparkContext之前,设置spark.scheduler.mode。
System.setProperty("spark.scheduler.mode", "FAIR")
公平算法支持把作业提交到调度池里面,然后给每个调度池设置优先级来运行,下面是怎么在程序里面指定调度池。
context.setLocalProperty("spark.scheduler.pool", "pool1")
上面是设置调度池为pool1,当不需要的时候,可以设置为null。
context.setLocalProperty("spark.scheduler.pool", null)
默认每个调度池在集群里面是平等共享集群资源的,但是在调度池里面,作业的执行是FIFO的,如果给每个用户设置一个调度池,这样就不会出现迟提交的比先提交的先运行。
下面是设置pool的样本,详情可以具体参考conf/fairscheduler.xml.template。
<?xml version="1.0"?><allocations> <pool name="production"> <schedulingMode>FAIR</schedulingMode> <weight>1</weight> <minShare>2</minShare> </pool> <pool name="test"> <schedulingMode>FIFO</schedulingMode> <weight>2</weight> <minShare>3</minShare> </pool></allocations>
schedulingMode:FAIR或者FIFO。
weight: 权重,默认是1,设置为2的话,就会比其他调度池获得2x多的资源,如果设置为-1000,该调度池一有任务就会马上运行。
minShare: 最小共享核心数,默认是0,在权重相同的情况下,minShare大的,可以获得更多的资源。
我们可以通过spark.scheduler.allocation.file参数来设置这个文件的位置。
System.setProperty("spark.scheduler.allocation.file", "/path/to/file")
- spark博客 http://www.cnblogs.com/cenyuhai/p/3537249.html Spark作业调度
- Spark使用总结与分享[http://www.cnblogs.com/bourneli/p/4394271.html]
- 转自博客园:http://www.cnblogs.com/txw1958/p/wechat-tutorial.html
- http://www.cnblogs.com/flylovesky/p/3274869.html
- http://www.cnblogs.com/ada-zheng/p/3284660.html
- http://www.cnblogs.com/zhanghaiba/p/3548602.html
- http://www.cnblogs.com/scy251147/p/3566638.html
- http://www.cnblogs.com/amosli/p/3577645.html
- http://www.cnblogs.com/VisualImage/p/3594973.html
- http://www.cnblogs.com/kuangbin/p/3164106.html
- http://www.cnblogs.com/wengzilin/p/3530712.html
- http://www.cnblogs.com/qingjoin/p/3549325.html
- http://www.cnblogs.com/interdrp/p/3785164.html
- http://www.cnblogs.com/ruiati/p/3930732.html
- http://www.cnblogs.com/knowledgesea/p/3491214.html
- http://www.cnblogs.com/ganganloveu/p/3755191.html
- http://www.cnblogs.com/kenshincui/p/3885689.html
- http://www.cnblogs.com/lanxuezaipiao/p/3440471.html
- 坚持练字一年是什么样的体验?
- spring+springMVC+hibernate 三大框架整合
- WPF中 Image控件以绝对路径调用图片方法
- Glib GObject
- 关于listview记录
- spark博客 http://www.cnblogs.com/cenyuhai/p/3537249.html Spark作业调度
- redis-单节点规范安装
- php soap nowsdl简单使用
- 红黑树详解
- 单链表排序之直接插入排序
- SVN提交.a文件
- 第13周项目2-动物这样叫(1)
- Lua基础语法学习(二)+Lua5.3参考手册
- 重载