Spark DataFrames
来源:互联网 发布:淘宝号注册马上注册 编辑:程序博客网 时间:2024/05/17 22:36
转自:http://www.k6k4.com/chapter/show/aafliljce1474164458328
1、样本数据
每一行存一个json对象
文件路径为 example/input/data
- { "name": "Andy", "age": 30 }
- { "name": "Justin", "age": 19 }
- { "name": "tom", "age": 21 }
2、加载数据
- scala> val df=spark.read.json("example/input/data")
- ...
- df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
3、查看数据
- scala> df.show
- +---+------+
- |age| name|
- +---+------+
- | 30| Andy|
- | 19|Justin|
- | 21| tom|
- +---+------+
4、查看表Schema
- scala> df.printSchema
- root
- |-- age: long (nullable = true)
- |-- name: string (nullable = true)
5、数据查询基本操作
- scala> df.select("name").show
- +------+
- | name|
- +------+
- | Andy|
- |Justin|
- | tom|
- +------+
- scala> df.select($"name",$"age"+1).show
- +------+---------+
- | name|(age + 1)|
- +------+---------+
- | Andy| 31|
- |Justin| 20|
- | tom| 22|
- +------+---------+
- scala> df.filter($"age">21).show
- +---+----+
- |age|name|
- +---+----+
- | 30|Andy|
- +---+----+
0 0
- Spark DataFrames
- Spark DataFrames
- spark sql 创建dataframes
- Pandarize Your Spark Dataframes
- Spark DataFrames DataSet
- Spark SQL and DataFrames
- spark创建DataFrames
- dataframes
- Parquet_11. Spark: DataFrames 和 Parquet -- 待完善
- Spark SQL and DataFrames Version 1.6
- Apache Spark DataFrames入门指南:操作DataFrame
- Apache Spark DataFrames入门指南:创建DataFrame
- Apache Spark DataFrames入门指南:创建DataFrame
- Apache Spark DataFrames入门指南:操作DataFrame
- Apache Spark DataFrames入门指南:操作DataFrame
- Spark SQL, DataFrames and Datasets Guide
- Spark SQL, DataFrames 和 Datasets 指南
- Spark SQL和DataFrames支持的数据格式
- python标准输入输出
- Android自定义View实现开关效果
- poi基本导入
- POJ 1733 Parity game
- 函数指针
- Spark DataFrames
- 坑爹的 小数加法
- 异或的应用及性质
- SmartMonkey--UI遍历
- oracle_单引号问题和execute immediate 赋值问题
- 洛谷 P1018 [NOIP2000 T2] 乘积最大
- 【华为OJ17】坐标移动----方法二(推荐)
- Unity资源热更之AssetBundle(3)———新版本AssetBundle
- 基于V4L2摄像头采集图片程序设计