[3].Spark 学习笔记 使用java ---explode

这篇文章将记录如何使用spark DataFrame将列数据展开，这里使用的是explode方法

将对List数据和Map分别给出展开的例子：

在stackoverflow 中的问题是这样的：

https://stackoverflow.com/questions/37391241/how-to-explode-columns/37392793#37392793

加入我们有这种数据：

name age interest A 20 篮球,羽毛球 B 22 游泳，慢跑，写代码 … … ….

我们希望得到这种格式的:

name age interest A 20 篮球 A 20 羽毛球 B 22 游泳 B 22 慢跑 B 22 写代码 … … ….

那么使用java如何操作呢？ 一种是使用RDD啊什么的一个一个的转，但是强大的spark用提供了一个强大的explode方法

首先看下explode官方给的文档吧~~

可以知道 explode方法可以从规定的Array或者Map中使用每一个元素创建一列

废话不多说，直接上代码~~

df = df.withColumn("entityPair", functions.explode(functions.col("entityList")));

这里explode中传入的是需要进行展开的列名，withColun中的第一个参数是展开后的新列名。
其中entityList必须是一个List。例如上面给的数据例子，在爱好哪一行，数据类型应该是这样的

List<String> : {"羽毛球","篮球"}

文档中还说了可以将map数据展开，那么如何进行呢？

假设我们有这样一个map

url data www.xxx.com map(key1->value1, key2->value2) www.aaa.com map(key3->value3) … …

我们需要将map中所有的key和value展开，所有的key为一列，所有的value为一列

得到如下结构

url key value www.xxx.com key1 value1 www.xxx.com key2 value2 www.aaa.com key3 value3 … … …

下面给出java 方法

df = df.select(functions.explode(functions.col("data"))).toDF("key", "value");

可以看到，这里和List有一个不同的地方时需要在explode后接一个toDF操作，是因为map进行展开操作后自然会得到两列，我们需要将其转化为DataFrame格式的两列，列名可以自己指定。

如果您还有好的方法，希望可以留言告诉我~~