Spark算子[15]：sample、takeSample 源码实例详解

sample

返回一个RDD[T]

源码：

/** * 返回此RDD的抽样子集。 * @note 这并不能保证提供的只是给定[[RDD]]的分数。 */def sample(    withReplacement: Boolean,    fraction: Double,    seed: Long = Utils.random.nextLong): RDD[T] = {  require(fraction >= 0,    s"Fraction must be nonnegative, but got ${fraction}")  withScope {    require(fraction >= 0.0, "Negative fraction value: " + fraction)    if (withReplacement) {      new PartitionwiseSampledRDD[T, T](this, new PoissonSampler[T](fraction), true, seed)    } else {      new PartitionwiseSampledRDD[T, T](this, new BernoulliSampler[T](fraction), true, seed)    }  }}

参数：

1、withReplacement：元素可以多次抽样(在抽样时替换)

2、fraction：期望样本的大小作为RDD大小的一部分，
当withReplacement=false时：选择每个元素的概率;分数一定是[0,1] ；
当withReplacement=true时：选择每个元素的期望次数; 分数必须大于等于0。

3、seed：随机数生成器的种子

案例：

建议第三个参数seed可以默认，不好把控。

（1）元素不可以多次抽样：withReplacement=false，每个元素被抽取到的概率为0.5：fraction=0.5

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6,2,8,4));JavaRDD<Integer> res = rdd.sample(false, 0.5);res.foreach(x -> System.out.print(x +" "));//结果：2 8 4 

（2）元素可以多次抽样：withReplacement=true，每个元素被抽取到的期望次数为2：fraction=2

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6,2,8,4));JavaRDD<Integer> res = rdd.sample(true, 2);res.foreach(x -> System.out.print(x +" "));//结果：6 2 8 8 8 8 8 4

---

takeSample

返回一个Array[T]；
该方法仅在预期结果数组很小的情况下使用，因为所有数据都被加载到driver的内存中。

源码：

def takeSample(    withReplacement: Boolean,    num: Int,    seed: Long = Utils.random.nextLong): Array[T] = withScope {...}

参数：

1、withReplacement：元素可以多次抽样(在抽样时替换)

2、num：返回的样本的大小

3、seed：随机数生成器的种子

案例：

建议第三个参数seed可以默认，不好把控。

（1）当不可以多次抽样：withReplacement=false；样本个数num大于父本个数时，只能返回父本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));List<Integer> res = rdd.takeSample(false, 8);System.out.println(res);//结果：[6, 8, 2, 4]

（2）当不可以多次抽样：withReplacement=false；样本个数num小于父本个数时，返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));List<Integer> res = rdd.takeSample(false, 3);System.out.println(res);//结果：[8, 4, 2]

（3）当可以多次抽样：withReplacement=true；样本个数num大于父本个数时，返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));List<Integer> res = rdd.takeSample(true, 8);System.out.println(res);//结果：[4, 6, 8, 2, 6, 2, 4, 2]

（4）当不可以多次抽样：withReplacement=true；样本个数num小于父本个数时，返回样本个数

JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(6, 2, 8, 4));List<Integer> res = rdd.takeSample(true, 3);System.out.println(res);//结果：[8, 8, 2]