spark 日常
来源:互联网 发布:上海乐蜀网络 编辑:程序博客网 时间:2024/05/16 17:13
1、向spark集群上传大批数据,出现这样的错
GC overhead limit exceeded 和 Java heap space
修改好多配置文件,最后发现是m1机的内存不够,最后要合并数据m1上的jdk负担不了,所以报错。之后换s1成功·
2、group by 后面不用where 用having,我好像搞错了spark sql 的where和groupby方法的意思,那些好像是操作RDD的 所以之前的spark sql总报错。
3、Scala这个语言好像是有点傻的=。= 之前没有写else····报错
def gender(SFZH:String):String = {
if (SFZH.size == 18){
SFZH.substring(16, 17).toInt % 2
}else
SFZH.size.toString
}
4,
阅读全文
0 0
- spark 日常
- spark日常知识点
- 日常
- 日常
- 【日常】...
- 日常
- 。。。。。日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 日常
- 一分钟ECS上搭建云HBase Thriftserver
- 需要了解的相关知识
- QT安装问题
- 洛谷P1082 同余方程
- TensorFlow基本操作及函数
- spark 日常
- spring boot:Scheduling Tasks
- 爬格子呀6-4、6-5、6-9
- 软件评测师资源共享
- PHP学习-1
- Spring AOP基础
- 统计一段文字中每个字符出现的次数,并输出结果(包含字符及其出现次数)保存在一个适合的集合中。
- 程序员应该学的投资
- Python的基础知识