Scala的join算子
来源:互联网 发布:keras 安装 windows 编辑:程序博客网 时间:2024/06/05 02:03
1:使用Scala的算子join进行练习
val spark = SparkSession.builder().master("local[2]").appName("simple").getOrCreate() val visit = spark.sparkContext.parallelize(List(("index.html","1.2.3.4"),("about.html","3,4,5,6"),("index.html","1.3.3.1"),("hello.html","1,2,3,4")),2); val page = spark.sparkContext.parallelize(List(("index.html","home"),("about.html","about"),("hi.html","2.3.3.3")),2); visit.join(page).foreach(println) page.join(visit).foreach(println)
打印结果:
第一个join
(index.html,(1.2.3.4,home))(about.html,(3,4,5,6,about))(index.html,(1.3.3.1,home))第二个join
(index.html,(home,1.2.3.4))(index.html,(home,1.3.3.1))(about.html,(about,3,4,5,6))
可见,join算子使用的是内连接的join,
以某一个表为基础,KEY相同的打印出来,不相同的不打印
阅读全文
0 0
- Scala的join算子
- spark算子join讲解
- spark--transform算子--join
- Spark Scala算子
- Spark join和cogroup算子
- Spark join与cogroup算子
- Scala Spark 得到最近一天的数据 重点:join
- Spark编程之基本的RDD算子之join,rightOuterJoin, leftOuterJoin
- Spark统计唯一值、缺失值和单值的算子(scala实现)
- 初学Scala(1): Scala实现Hash Join
- Spark Scala DataFram join 操作
- MATLAB的Roberts算子与Sobel算子
- Spark算子:RDD键值转换操作(4)–cogroup/join
- Spark算子:RDD键值转换操作(4)–cogroup、join
- Spark算子:RDD键值转换操作(4)–cogroup、join
- Spark算子[12]:groupByKey、cogroup、join、lookup 源码实例详解
- Spark算子[16]:subtractByKey、join、rightOuterJoin、leftOuterJoin 实例详解
- SLK算子的理解
- ubuntu: Error installing pg解决办法
- 数据结构封装之《LinkQueue链式队列》
- UVa1112
- java提高篇(四)-----抽象类与接口
- ECShop短信插件(2.7.3 UTF-8版)高级版V2
- Scala的join算子
- MyEclipse 2017 优化技巧
- ZigBee_CC2530_0CH_终端动态切换信道
- 几种排序算法的python实现
- springMVC中关于时间的处理
- 求链表中倒数第K个节点
- Python--类的创建与继承
- leetcode 24. Swap Nodes in Pairs
- 安卓开发环境ADT报错:adt版本低于sdk版本,请升级