禁用共享jar包上传,加快任务启动
来源:互联网 发布:网络视频推广方案 编辑:程序博客网 时间:2024/06/03 17:35
禁用共享jar包上传,加快任务启动
发现启动spark-sql的时候比较慢,肿么了?平时为减少一堆信息干扰,console没有设置INFO级别,需要改回去看看怎么回事。
vi log4j.properties
log4j.rootCategory=WARN, console
改成
log4j.rootCategory=INFO, console
发现了,一个280M的共享jar包每次启动都上传一次。天哪!!!!
插图:
于是搜到:
Spark优化:禁止应用程序将依赖的Jar包传到HDFS
http://www.iteblog.com/archives/1173
vi spark-defaults.conf
spark.yarn.jar=hdfs://mycluster/user/spark/lib/spark-assembly-1.5.0-cdh5.5.0-hadoop2.6.0-cdh5.5.0.jar
修改后,再次观察:重要的一条看到了。。。
Source and destination file systems are the same. Not copying hdfs://mycluster/user/spark/lib/spark-assembly-1.5.0-cdh5.5.0-hadoop2.6.0-cdh5.5.0.jar
省去这个上传动作,快多了。
发现启动spark-sql的时候比较慢,肿么了?平时为减少一堆信息干扰,console没有设置INFO级别,需要改回去看看怎么回事。
vi log4j.properties
log4j.rootCategory=WARN, console
改成
log4j.rootCategory=INFO, console
发现了,一个280M的共享jar包每次启动都上传一次。天哪!!!!
插图:
于是搜到:
Spark优化:禁止应用程序将依赖的Jar包传到HDFS
http://www.iteblog.com/archives/1173
vi spark-defaults.conf
spark.yarn.jar=hdfs://mycluster/user/spark/lib/spark-assembly-1.5.0-cdh5.5.0-hadoop2.6.0-cdh5.5.0.jar
修改后,再次观察:重要的一条看到了。。。
Source and destination file systems are the same. Not copying hdfs://mycluster/user/spark/lib/spark-assembly-1.5.0-cdh5.5.0-hadoop2.6.0-cdh5.5.0.jar
省去这个上传动作,快多了。
插图:
看看“Environment”,有新发现,相比之前多了一个spark.yarn.jar属性。
0 0
- 禁用共享jar包上传,加快任务启动
- tomcat7中的jar包共享
- 加快maven中jar包的下载速度
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- nexus自定义jar包上传:
- Maven 更新上传jar包
- maven仓库上传jar包
- maven上传jar包-命令行
- Maven3的jar包上传
- tomcat启动jar包加载
- linux jar包启动脚本
- 通过jar包来共享图片资源
- tomcat 下多项目共享jar包
- tomcat共享jar包(maven项目)
- tomcat配置多项目JAR包共享
- 关于写Jar包共享的注意事项
- Tomcat 多个项目jar包共享
- jsp利用jspsmartupload.jar包上传源码和jar包
- win10打开电脑蓝牙
- 二叉搜索树(BST)的常用操作:建树、插入、查询、删除、排序打印
- SQL Server 错误日志收缩(ERRORLOG)
- 周工作汇报分解
- 贪心算法入门(杭电2037)
- 禁用共享jar包上传,加快任务启动
- RTOSck-软中断调度器
- Linux如何查找软件的安装路径
- 初步认识DWR框架
- SQL Server 重置Identity标识列的值(INT爆了)
- Linux下文件的压缩与打包
- 百度地图的设计
- SQL Server 置疑、可疑、正在恢复
- Duilib开发手机助手基础教程