Spark api介绍一

来源:互联网 发布:安卓7.0 知乎 编辑:程序博客网 时间:2024/06/05 10:51

http://blog.csdn.net/jewes/article/details/39896301

针对于map和reduce进行了相关的介绍,还比较通俗易懂,做个标记,感谢原文作者



并行集合的一个重要参数是slices,表示数据集切分的份数。Spark将会在集群上为每一份数据起一个任务。典型地,你可以在集群的每个CPU上分布2-4个slices. 一般来说,Spark会尝试根据集群的状况,来自动设定slices的数目。然而,你也可以通过传递给parallelize的第二个参数来进行手动设置。(例如:sc.parallelize(data, 3)).