「解决」spark on yarn上遇到的一个问题
来源:互联网 发布:cms 系统 编辑:程序博客网 时间:2024/06/10 16:27
昨天在yarn上提交spark任务一直出现一个错误
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/172.16.50.131:9000. Already tried 0 time(s).
网上查了半天说是看看yarn启动是否成功,我这才想起我忘启动yarn,说这个的意思是出现这种错误的原因就是yarn没有正常运行,像我一样忘记启动的可能不多,所以你们应该检查你们启动的时候有没有出错,先看主节点有没有resourceManager进程,从节点有没有nodeManager进程,如果有还是出错,再查看日志,看看启动过程中是否出错。这个问题在正确启动yarn之后就解决了,但是我又遇到一个新的问题
yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)15/03/31 09:00:46 INFO yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)15/03/31 09:00:47 INFO yarn.Client: Application report for application_1427763283312_0001 (state: ACCEPTED)
spark在提交时状态一直停留在ACCEPTED,这个问题在网上有一个普遍接受的答案
在spark-env.sh中添加
export SPARK_YARN_USER_ENV="CLASSPATH=hadoop/etc/hadoop"
但遗憾的是这个方法并没有解决我的问题,折腾了半天问题还是解决了
原因在java的版本问题,我用的是spark 1.6.0,刚开始装的是jdk8,后来我想着我们只需要一个运行环境,就装了个jre7,发现也不行,最终装jdk7问题完美解决,其它版本的没试过,不过你们在遇到这个问题死活都不能解决的情况下可以尝试换个jdk
0 0
- 「解决」spark on yarn上遇到的一个问题
- Spark on Yarn可能遇到的问题
- Spark on Yarn遇到的几个问题及解决思路
- Spark on Yarn遇到的几个问题
- Spark on Yarn遇到的几个问题
- Spark on Yarn遇到的几个问题
- Spark on Yarn遇到的几个问题
- Spark on Yarn遇到的几个问题
- Spark on yarn的内存分配问题
- Spark on yarn的内存分配问题
- Spark on yarn的内存分配问题
- spark on yarn 出现的问题【测试wordcount程序遇到的错误,ipc.client连接到yarn的端口失败】
- 部署zeppelin时遇到的spark on yarn的submit方式问题
- Spark on Yarn开发运维过程中遇到的问题汇总
- 【解决】Spark On Yarn执行中executor内存限制问题
- 【解决】Spark On Yarn执行中executor内存限制问题
- Eclipse调用Spark on yarn问题及解决
- Spark on Yarn安装过程遇到的错误
- TCP/IP SOCKET HTTP及HTTPS之间的关系
- 关于Android中广告轮播的第三方
- Deep Learning 学习系列003 —— 隐藏单元
- ip地址基础概念
- Flume官网之---用户使用手册
- 「解决」spark on yarn上遇到的一个问题
- 利用反射查看类的结构
- 数据字典
- USBee近恶意软件,瞄准Air-Gap电脑采集数据
- 微信公众平台开发教程(五)自定义菜单
- 演示StringBuffer
- win10网络配置从公用网络修改专用网络
- Android中的弹幕效果
- Java转换字符串首字母大小写