Spark开发问题集锦
来源:互联网 发布:会计电算化软件下载 编辑:程序博客网 时间:2024/05/01 07:47
1、使用SparkContex.makeRDD , 生成一个 RDD[BasicBSONObject] 的 RDD
因为 makeRDD 的函数参数是一个数组,所以先生成一个数组
val bson = new BasicBSONObject bson.put("name",spark) bson.put("value",123)val array = Array(bson)val rdd = sc.makeRDD(array)
2、在 web ui里看不到正在运行的程序
要么是在控制台里提交的是local命令,要么是在写程序生成 SparkContext设置成local了,比如 sc = new SparkContext("local")
3、spark启动时,worker节点日志出现,
ERROR NettyTransport: failed to bind to bt-199-037.bta.net.cn/202.106.199.37:0, shutting down Netty transport
修改spark-env.sh 从节点的woker ip不要设置成主节点的ip,可以直接删掉不设置
查看hosts文件,hostname与ip是否对应
4、
java.lang.NumberFormatException: multiple points
问题:
多线程方法中使用了共享变量SimpleDateFormat,报如下错误:
java.lang.NumberFormatException: multiple points at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1084
原因:
SimpleDateFormat是线程不安全的,切忌切忌!
0 0
- Spark开发问题集锦
- spark zeppelin 问题集锦
- spark集群管理问题集锦
- Wince开发问题集锦
- OpenDwg开发问题集锦
- err开发问题集锦
- Web开发问题集锦
- Struts开发问题集锦
- 开发问题集锦
- iOS 开发问题集锦
- android开发问题集锦
- 网站开发问题集锦
- Android开发问题集锦
- Android开发问题集锦
- 前端开发问题集锦
- Android开发问题集锦
- iOS开发问题集锦
- iOS开发问题集锦
- Spring学习笔记——Sprin管理Bean的原理
- [BZOJ 1029][JSOI2007]建筑抢修
- 最大子列和算法
- sql left join的多表应用
- nginx配置文件详解
- Spark开发问题集锦
- grep命令的详细使用方法
- 网站怎么运转的
- 约瑟夫环问题
- 怎样教四岁的孩子学画画
- Android中如何解析JSON数据
- 前端开发跨浏览器计算页面大小、滚动高度
- 无人机时代:天长地久还要靠平台化
- 宝宝四岁多了该如何教育