spark--actions算子--count
来源:互联网 发布:python 一段时间日期 编辑:程序博客网 时间:2024/05/17 18:03
import org.apache.spark.{SparkConf, SparkContext}/** * Created by liupeng on 2017/6/16. */object A_count { System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5") def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("count_test").setMaster("local") val sc = new SparkContext(conf) //准备一下数据 val nameList : List[Int] = List(1,2,3,4,5) val numbers = sc.parallelize(nameList) //计算数据集的数据个数,一般都是统计内部元素的个数。 val num = numbers.count() println(num) }}
运行结果:
5
阅读全文
0 0
- spark--actions算子--count
- spark--Actions算子--countByKey
- spark--actions算子--collect
- spark--actions算子--first
- spark--actions算子--reduce
- spark--actions算子--saveAsObjectFile
- spark--actions算子--saveAsTextFile
- spark--actions算子--takeOrdered
- spark--actions算子--takeSample
- Spark算子[07]:reduce,reduceByKey,count,countByKey
- Spark算子:RDDAction操作–first/count/reduce/collect/collectAsMap
- Spark 算子
- spark算子
- spark 算子
- Spark算子
- spark算子
- Spark RDD Actions&Transformations
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- [JSOI2008]星球大战 洛谷P1197
- mysql、http、oracle响应码连接
- 两种数组传值方法
- 阶梯博弈——学习笔记
- Python内置函数: __nonzero__
- spark--actions算子--count
- 全国各省市县级边界范围及其中心城区查询(调用百度地图)
- sklearn训练后使用pickle、joblib保存与恢复模型
- druid数据库连接池
- 自定义UISegmentControl控件
- learning之建造者模式
- C语言包含头文件时用引号和尖括号的区别
- 用python解压分析jar包
- 【二叉树】树的直径【543. Diameter of Binary Tree】