Spark Job (thrift-server) 动态分配资源

项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。
（thrift-server也是一个job（yarn app），因此这种方法同样适用于一般的spark job）。
目前动态资源分配只适合spark on yarn，配置方式如下。

yarn node manager 配置

修改所有节点yarn node-manager配置，在$HADOOP_HOME/etc/hadoop/yarn-site.xml中添加：

    <property>        <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>        <value>org.apache.spark.network.yarn.YarnShuffleService</value>    </property>    <property>        <name>spark.shuffle.service.port</name>        <value>7337</value>    </property>

将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar copy到 $HADOOP_HOME/share/hadoop/yarn/lib 目录下。

重启yarn。

spark-default配置

修改 $SPARK_HOME/conf/spark-default.conf 文件，添加以下内容：

spark.shuffle.service.enabled truespark.shuffle.service.port 7337 spark.dynamicAllocation.enabled truespark.dynamicAllocation.minExecutors 1spark.dynamicAllocation.maxExecutors 12spark.dynamicAllocation.schedulerBacklogTimeout 1spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5spark.dynamicAllocation.cachedExecutorIdleTimeout 60

验证

这里使用spark中内置的thrift-server验证。
启动thrift-server，只配置 --executor-memory 参数。
sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配，当有并发查询或者查询压力比较大时，会申请更多的executor，空闲时回收。