集群上打印rdd的元素的坑
来源:互联网 发布:php门户网站源码 编辑:程序博客网 时间:2024/06/05 21:03
在集群上运行spark程序时,rdd的操作都在worker机上,因此输出rdd的元素将在worker机的标准输出上进行,驱动节点上不会运行,故直接才程序中写如下代码
rdd.foreach(println(_))
并不能产生期望的结果。此时应该先收集数据,再进行打印,即可得到预期结果
rdd.collect().foreach(println(_))
0 0
- 集群上打印rdd的元素的坑
- Spark编程指引(二)---------------RDD介绍,闭包对RDD的影响,如何打印RDD。
- Spark编程指引(二)---------------RDD介绍,闭包对RDD的影响,如何打印RDD。
- 打印重复的元素
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- RDD:基于内存的集群计算容错抽象
- Jvm运行机制
- butterknife 源码分析
- Java解析QRCode二维码(QRCode方式)
- react-native添加redux支持
- 指针
- 集群上打印rdd的元素的坑
- Oracle PL/SQL开发基础(第十七弹:集合类型)
- 异步提交加表单验证
- Jvm的配置参数
- 2016湖南省省赛G题
- 二叉树的后序遍历(leetcode 145)
- 怎么完整的写单例
- 原码、反码、补码和移码其实很简单
- 分析ondraw()过程