Spark map 遍历rdd中的每个元素
来源:互联网 发布:一淘和淘宝联盟一起用 编辑:程序博客网 时间:2024/03/29 14:30
Map操作主要是遍历rdd中的每个元素,对每个元素进行操作并返回,代码如下:
public static void myMap(){
List<Integer> numbers=Arrays.asList(1,2,3,4,5);
SparkConf conf=new SparkConf()
.setMaster("local")
.setAppName("myMap");
JavaSparkContext sc=new JavaSparkContext(conf);
JavaRDD<Integer> numberRdd= sc.parallelize(numbers);
//第一个参数表示输入的值,第二个参数表示输出的值
JavaRDD<Integer> numMapRdd=numberRdd.map(new Function<Integer,Integer>(){
private static final long serialVersionUID = 1L;
@Override
public Integer call(Integer num) throws Exception {
// TODO Auto-generated method stub
return num+2;
}
});
numMapRdd.foreach(new VoidFunction<Integer>(){
@Override
public void call(Integer num) throws Exception {
// TODO Auto-generated method stub
System.out.println("numbers;"+num);
}
});
}
结果:
umbers;3
numbers;4
numbers;5
numbers;6
numbers;7
- Spark map 遍历rdd中的每个元素
- java遍历Map中的元素
- java遍历Map中的元素
- (1)遍历数组中的每个元素
- Spark算子:统计RDD分区中的元素及数量
- Spark算子:统计RDD分区中的元素及数量
- Spark算子:统计RDD分区中的元素及数量
- Spark RDD---api(map&reduce)
- spark中的RDD
- spark中的RDD算子
- Spark中的RDD
- spark filter过滤rdd元素
- 遍历删除map中的元素之注意事项
- 正确遍历删除Map中的元素
- spark中的RDD持久化
- Spark RDD API详解Map和Reduce
- Spark RDD API详解 Map和Reduce
- Spark RDD API详解 Map和Reduce
- shell 第一个简单的脚本和变量
- java 常用弹出框
- 将本地项目上传至CSDN代码创库
- 第一章作业题
- esxi在终端开启命令行模式
- Spark map 遍历rdd中的每个元素
- CSAPP LAB4 perflab-handout性能优化 smooth负优化详解
- 解决Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’错误
- python处理文件tab替换成空格
- Docker学习系列(五):Dockerfile文件
- 第十二周项目 Time类中的运算符重载
- 常用排序算法总结(Java)
- 设计用户界面
- 树