hive on spark通过YARN-client提交任务不成功
来源:互联网 发布:网络电视怎么看中央5 编辑:程序博客网 时间:2024/06/05 08:21
在Hive on spark中 设置spark.master 为 yarn-client ,
提交HiveQL任务到yarn上执行,发现任务无法执行 输出一下错误:
可以看到 Hive on Spark 可以submit查询,但是任务无法执行。
因为我们设置的yarn-client 模式提交,所以在hive执行的输出log日志中查找到相应语句输出的log信息:
发现yarn.Client 一直在重复的report,等待资源调度。
总结下解决思路:
1> 首先想到是集群中内存资源不足,可以检查下每台机器是否有足够剩余内存( free -g);也可能是其他已经提交的应用占了大部分资源;
2> 如果1>正常,我们可以看看YARN集群是否启动成功。注意“坑”可能就在这里: 即使Slave上的nodemanager进程存在,要注意检查resource manager日志,看看各个node manager是否启动成功,我的问题就出现在这里:进程在,但是日志显示node manager状态为UNHEALTHY,所以YARN集群能识别到的总内存资源为0。。。
检查了UNHEALTHY的原因,
2017-09-11 18:21:55,857 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /tmp/hadoop-root/nm-local-dir error, used space above threshold of 90.0%, removing from list of valid directories
2017-09-11 18:21:55,857 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/Beaver/hadoop-2.7.3/logs/userlogs error, used space above threshold of 90.0%, removing from list of valid directories
2017-09-11 18:21:55,857 INFO org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Disk(s) failed: 1/1 local-dirs are bad: /tmp/hadoop-root/nm-local-dir; 1/1 log-dirs are bad: /opt/Beaver/hadoop-2.7.3/logs/userlogs
2017-09-11 18:21:55,857 ERROR org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Most of the disks failed. 1/1 local-dirs are bad: /tmp/hadoop-root/nm-local-dir; 1/1 log-dirs are bad: /opt/Beaver/hadoop-2.7.3/logs/userlogs
发现是由于磁盘空间不够,已经达到 90%的阈值,导致无法启动node节点启动为UNHEALTHY,所以 清理一些磁盘空间再启动就可以正常的运行了。
- hive on spark通过YARN-client提交任务不成功
- Spark通过YARN-client提交任务不成功
- Spark on Yarn:任务提交参数配置
- hive on spark on yarn
- Windows Spark On YARN 提交任务到CDH集群
- Spark on Yarn-cluster与Yarn-client
- 关于spark-submit 使用yarn-client客户端提交spark任务的问题
- spark on yarn中yarn-cluster与yarn-client区别
- spark on yarn-client 奇怪问题
- Spark On Yarn:提交Spark应用程序到Yarn
- Spark On Yarn:提交Spark应用程序到Yarn
- spark用程序提交任务到yarn
- Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
- Oozie 提交Spark On Yarn示例
- Spark on yarn 提交应用的方式
- spark-on-yarn作业提交缓慢优化
- HDP2.5.0 + Spark1.6.2 通过IDEA(Win64)远程提交spark jobs On YARN
- Spark on YARN client模式作业运行全过程分析
- 170911 WarGames-Utumno(3)
- 第一章 预备知识
- 安卓开发启用线程动态显示和隐藏悬浮控件(ImageButton),点击回到页面顶部
- thrift的lua实现
- 美中德IT企业飞跃发展 阿里巴巴市值为丰田两倍多
- hive on spark通过YARN-client提交任务不成功
- Google Test -- C++单元测试框架
- 设备树相关--我眼中的Linux设备树(Device tree)
- Android Studio 3.0 Canary版本相关问题总结
- 硬件能力与智能AI-Zoomla!逐浪CMS2 x3.9.2正式发布
- 直播推流拉流概念介绍
- 【学习笔记】后端数据管理的准备工作
- Android Studio内存泄漏分析指南
- 机器视觉Halcon——1. 图片读入