spark--actions算子--takeSample
来源:互联网 发布:家庭网络布线多少米 编辑:程序博客网 时间:2024/06/05 18:27
import org.apache.spark.{SparkConf, SparkContext}/** * Created by yz02 on 2017/6/16. */object A_takeSample { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("takeSample_test").setMaster("local") val sc = new SparkContext(conf) //准备一下数据 val nameList : List[Int] = List(1,2,3,4,5) val numbers = sc.parallelize(nameList) //随机两个数据 val num = numbers.takeSample(true,2,1) for (x <- num) { println(x) } //随机4个数据,注意随机的数据可能是重复的 val num1 = numbers.takeSample(true,4,1) for (x <- num1) { println(x) } val num2 = numbers.takeSample(false,4,1) for (x <- num2) { println(x) } }}
运行结果:
1
3
3
4
4
5
2
4
5
2
5
3
1
2
3
1
2
阅读全文
0 0
- spark--actions算子--takeSample
- spark--Actions算子--countByKey
- spark--actions算子--collect
- spark--actions算子--count
- spark--actions算子--first
- spark--actions算子--reduce
- spark--actions算子--saveAsObjectFile
- spark--actions算子--saveAsTextFile
- spark--actions算子--takeOrdered
- Spark算子[15]:sample、takeSample 源码实例详解
- Spark 算子
- spark算子
- spark 算子
- Spark算子
- spark算子
- Spark RDD Actions&Transformations
- Spark RDD中Transformation的mapValues、subtract、sample、takeSample详解
- 【Spark Java API】Action(4)—sortBy、takeOrdered、takeSample
- let&const进阶
- Laravel学习之
- 7.12--SSH学习之Struts上传和下载和Ajax,Json
- PHP内核探索:PHP中的哈希表
- Spring5:@Autowired注解、@Resource注解和@Service注解
- spark--actions算子--takeSample
- Spring Cloud生态圈简介
- c语言运算符与表达式的优先级
- Eclipse工具安装OpenExplorer插件--快速打开文档目录
- Linux 常用基本命令 分屏显示more 管道符 "|"
- 指针数组和数组指针的使用
- Composer Class Fxp\Composer\AssetPlugin\Repository\NpmRepository does not exist
- 旋转矩阵、欧拉角、四元数、轴/角之间的转换
- yum无响应问题