关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
来源:互联网 发布:单片机 电化学工作站 编辑:程序博客网 时间:2024/05/17 04:49
今天在启动Hadoop和Hbase之后,发现nodemanager节点并未启动起来,于是对Hadoop进行初始化并启动,但发现启动Hadoop的时候节点正常,但在启动hbase之后,nodemanager节点依然会挂掉。反复试验并重启虚拟机之后问题依然存在。在察看hadoop的日志错误报告后,在yarn-root-nodemanager-hy.log中找到相应报错信息:java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found
在查找相应资料后,发现解决办法如下:
1.修改${HADOOP_HOME}/etc/hadoop/yarn-site.xml中关于spark的参数时候,将<value>mapreduce_shuffle</value>更换为:<value>mapreduce_shuffle,spark_shuffle</value>,并添加:
<property>
<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
<value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>
2.拷贝“${SPARK_HOME}/lib/spark-2.2.0-yarn-shuffle.jar”到“${HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。(注意:不是${HADOOP_HOME}下的lib目录,我在第一次复制的时候就搞错了)
3.删除{HADOOP_HOME}下的dfs、logs、tmp目录并初始化重启hadoop。问题解决
- 关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
- nodemanager报错 spark.network.yarn.YarnShuffleService not found
- class org.apache.commons.dbcp.basicdatasource not found解决办法
- 关于class not found的解决办法
- class"org.apache.commons.dbcp.BasicDataSource"not found解决方案
- class"org.apache.commons.dbcp.BasicDataSource"not found解决方案
- class not found: org/apache/xpath/CachedXPathAPI 解决方法
- Class 'org.apache.commons.dbcp.BasicDataSource' not found
- class"org.apache.commons.dbcp.BasicDataSource"not found解决方案
- class not found:org.apache.struts2.dispatcher.ng.filter.StrutsPrepareAndExecuteFilter
- Class org.apache.hadoop.io.compress.BZip2Codec not found
- Class org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe not found
- Class 'org.apache.commons.dbcp.BasicDataSource' not found
- SAX2 driver class org.apache.xerces.parsers.SAXParser not found
- class 'org.springframework.orm.hibernate3.LocalSessionFactoryBean' not found解决办法
- hibernate 出现 org.hibernate.MappingException: entity class not found 的解决办法
- php Class 'ZipArchive' not found的解决办法
- php Class 'ZipArchive' not found的解决办法
- 进入新公司.使用ROR框架.
- GitHub入门(2)
- Eclipse如何卸载SVN插件 Subclipse
- 设置cocos2d颜色
- 世界经理人丁海森:榜单与大数据,虚拟网站利器
- 关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
- FlexSlider插件的详细设置参数(兼容PC和移动的轮播图)
- Android 简单了解ORM/GreenDao(GreenDao3.2.0使用教程)
- 编程之路小细节-逆向思维的运用
- Redhat 6.5 源更改
- 《流畅的Python》第一章学习笔记
- python+selenium 编写第一个程序 Firefox篇
- 超酷炫.NET数据可视化组件LightningChart
- linux下安装或升级GCC4.8,以支持C++11标准