spark程序运行缓慢
来源:互联网 发布:监控系统怎么连接网络 编辑:程序博客网 时间:2024/05/21 12:07
spark程序运行缓慢
原因一:在map ,reducebykey ,transform 等算子里进行耗时操作
耗时操作包括: 读取配置文件,打印,读取数据库的数据 对象
boolean local =ConfigurationManager.getBoolean(Constants.SPARK_LOCAL);
总结:在spark的算子中,只能执行对数据的处理逻辑,其间不要加载其他配置文件(读取配置文件),调用jvm的系统api(打印)等等
原因二:在算子中执行mysql 的select 操作 ,查询的数据库,没有索引(key)
当表的数据为100万的时候,没有索引的查询大概需要1秒钟,有索引的查询只需要0.001秒, 1000倍! 所以需要查询的表,一定要建立索引
阅读全文
0 0
- spark程序运行缓慢
- Job_temp_monitor:监控后台运行缓慢的程序
- JavaWeb程序运行缓慢原因分析之一
- 运行Spark程序
- spark程序运行时问题
- 使用IDEA运行Spark程序
- 运行第一个spark程序
- eclipse上运行spark程序
- windows下运行spark程序
- eclipse上运行spark程序
- linux上运行spark程序
- spark程序的运行过程
- spark实例:用spark-submit运行spark程序
- myEclipse运行缓慢解决方法
- MyEclipse 解决运行缓慢
- Apache Windows运行缓慢
- Xcode运行缓慢
- IDEA运行缓慢解决方案
- 关于登陆的配置问题总结
- 排序——插入排序
- SolrCloud基础认识
- spring4 hibernate5配置 getHibernateFlushMode is not valid without active transaction
- Zookeeper实例Curator API-TestingServer
- spark程序运行缓慢
- servlet生命周期
- 【JSON学习】--简介
- Zookeeper实例Curator API-TestingCluster
- windows运行 HiveContext 报错
- spark-SQL的DataFrame和DataSet
- Spark集成 hadoop,hbase 的 maven冲突
- 三大机器翻译技术的high-level概述:Neural, Rule-Based and Phrase-Based Machine Translation
- 代理模式-以房屋中介说明