Spark 基础 —— RDD（二）

来源：互联网发布：mysql 保持数据一致性编辑：程序博客网时间：2024/04/29 19:18

弹性分布式数据集（Resilient Distributed Dataset），简称 RDD，RDD 是 Spark 所提供的最基本的数据抽象，代表分布在集群中多台机器上的对象集合。Spark 有两种方法可以创建 RDD：

（1）用 SparkContext 基于外部数据源创建 RDD，外部数据源包括
- HDFS 上的文件
- 通过 JDBC 访问的数据库表
- Spark shell 创建的本地对象集合
（2）在一个或多个已有 RDD 上执行转换操作来创建 RDD，这写转换操作包括：
- 记录过滤
- 对具有相同键值的记录做汇总
- 多个 RDD 关联在一起

使用 SparkContext 的 textFile 方法得到 RDD 形式的数据引用：

scala> val rawData = sc.textFile("kddcup.data")rawData: org.apache.spark.rdd.RDD[String]

把数据从集群上获取到客户端

注意此时类型为RDD[String] 的 rawData所引用的数据仍然在集群上存储。RDD 有许多方法，我们可以用其成员方法从集群读取数据到客户端机器上的 Scala REPL 中。最为简单的方法大概就是 first 了，该方法向客户端返回 RDD 的第一个元素（RDD 是弹性分布式数据集嘛）：

scala> rawData.firstres0: String

first 方法可以对数据集做常规检查，但通常我们更想返回更多样例数据供客户端分析。

scala> rawData.countres1: Long = 4898431

如果 count 方法获悉 RDD 只包含少量记录，可以用 collect 方法向客户端返回一个包含所有 RDD 内容的数组（Array[String]）。此外还可以使用 take 方法该方法在 first 和 collect 之间做了一些折衷，可以向客户端返回一个包含指定数量记录的数组（Array[String]），

scala> val head = rawData.take(10)head: Array[String] = Array(...)scala> head(0)res2: Stringscala> head.apply(0)res3: String

0 0