spark常见问题解决
来源:互联网 发布:linux拼接回车符 编辑:程序博客网 时间:2024/06/06 03:17
问题1:执行spark-shell进入交互界面时INFO信息过多
解决方法:
cd /usr/local/spark/conf
cp log4j.properties.template log4j.properties
编辑log4j.properties,将“log4j.rootCategory=INFO,console”修改为“log4j.rootCategory=WARN,console”
问题2:训练推荐模型执行val model=ALS.train(ratingsRDD,10,10,0.01)时报java.long.stackoverflowerror
解决方法:
将迭代次数(即第2个10),这个数调低一些,比如修改为9,8,7,...
我这里修改为4,即执行val model=ALS.train(ratingsRDD,10,4,0.01)
问题3:java.lang.ClassNotFoundException: scala.Cloneable
将scala-library-2.11.8.jar拷贝到工程lib目录下
问题4:java.lang.ClassNotFoundException: org.spark_project.guava.cache.CacheLoader
将spark-network-common_2.11-2.1.0.jar复制到lib目录下。
问题5:java.lang.ClassNotFoundException: org.slf4j.impl.StaticLoggerBinder
将slf4j-log4j12-1.7.16.jar复制到lib目录下
- spark常见问题解决
- spark-submit常见问题及其解决
- spark常见问题
- Apache Spark技术实战之6 -- spark-submit常见问题及其解决
- Apache Spark技术实战之6 -- spark-submit常见问题及其解决
- Apache Spark技术实战之6 -- spark-submit常见问题及其解决
- 常见问题解决
- 常见问题解决
- Spark的常见问题
- spark常见问题积累
- Spark 常见问题小结
- 部署Spark不常见问题
- spark 常见问题,命令
- Spark中常见问题
- Spark SQL的常见问题
- Spark 常见问题小结
- Spark常见问题解决办法
- Spark常见问题汇总 (转载)
- 创建, 读取,修改img文件 (以ext4 为例)
- 随机森林 算法原理详解与实现步骤
- Android GridView 去掉GridView左和上的空白区域
- 标准IO和文件IO
- Android GridView 去掉GridView左和上的空白区域
- spark常见问题解决
- Jquery页面跳转方法
- 分类与回归区别
- Nginx+Tomcat搭建高性能负载均衡集群
- c++中的访问说明符
- SMO算法实现多类划分
- Js输出消息的几种方式和转义字符
- C#使用timespan和timer完成一个简单的倒计时器
- 解决分布式环境中多线程高并发重复请求服务器。造成的数据冗余问题