Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
来源：互联网 发布：i3-2350m编程好用吗 编辑：程序博客网 时间：2024/06/04 19:27
1。单节点运行
bin/spark-sql --master spark://bigdata01.hzjs.co:7077 --executor-memory 40g --total-executor-cores 50 --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=4g缺点：数据量特别大会造成集群任务死掉
2。集群运行
bin/spark-sql --master yarn-client --executor-memory 80g --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=10g阅读全文
0 0
- Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
- Spark学习-SparkSQL--01-SparkSQL CLI
- Spark学习-SparkSQL--03-SparkSQL CLI 建表查询出问题
- Spark学习-SparkSQL--05-SparkSQL CLI Application report for application_15_0022 (state: ACCEPTED)
- spark学习-SparkSQL--12-SparkSession与SparkContext
- Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
- Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
- Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
- Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
- Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
- spark-sparkSQL
- Spark-SparkSql
- Spark学习笔记-SparkSQL-1
- spark学习4 yarn运行
- Spark学习手札（一）：SparkSQL的registerAsTable与registerTempTable
- Spark学习-SparkSQL--02-Spark history Server
- spark：在spark-shell上运行一些sparkSQL简单语句--12
- SparkSQL学习
- Super Jumping! Jumping! Jumping! dp
- Spring框架笔记 _01
- leetcode--Largest Rectangle in Histogram
- Android 冷启动实现APP秒开
- 设置VS2017背景图片
- Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
- 广度优先搜索--推箱子
- POJ 2288 Islands and Bridges （状压DP）
- Android 四大组件之BroadcastReceiver
- ZeroMemory、memset 和 “={0}” 三者用于清零操作的区别
- 设计模式相关
- 数据结构实验之二叉树的建立与遍历
- for...in和for...of循环以及forEach方法
- oracle数据库之初步（3）
