SparkSQL中DataFrame Operations操作（select、filter、groupBy、count）

来源：互联网发布：淘宝信用贷款逾期编辑：程序博客网时间：2024/06/07 01:41

注意：此处用的spark version 1.6.0，版本不同，SparkSQL写代码时不太一样，比如要查询所有用户，并且使每一位用户年龄增加1.

spark 2.1.0写法为：

df.select($"name", $"age" + 1).show()

spark 1.6.0写法为：

df.select(df("name"),df("age")+1).show()

1.创建DataFrame

val df = new SQLContext(sc).read.json("E:\\spark-2.1.0\\spark-2.1.0\\examples\\src\\main\\resources\\people.json")

2.查看DataFrame内容

df.show()

结果如图所示：

3.查看Schema

df.printSchema()

4.Select操作

4.1 只查看姓名

df.select("name").show()

4.2 查看所有姓名、年龄

df.select("name","age").show()

4.3 查看所有姓名，同时使每个人年龄增加1

df.select(df("name"),df("age")+1).show()

注意：不能写成这样：

df.select("name","age"+1).show()

否则会报如下错误：

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;

5.Filter操作

查询年龄大于21的用户

df.filter(df("age")>21).show()

6.GroupBy操作

按年龄分组查看用户

df.groupBy("age").count().show()

7.完整代码

/**  * Created by RiverCode on 2017/3/6.  */object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E:\\spark-2.1.0\\spark-2.1.0\\examples\\src\\main\\resources\\people.json")    df.show()    df.printSchema()    df.select("name").show()    df.select("name","age").show() // 可以//  df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;//  df.select($"name",$"age"+1)  // spark 2.1.0 这样写    df.select(df("name"),df("age")+1).show()  // spark 1.6.3    df.filter(df("age")>21).show()    df.groupBy("age").count().show()     }}

8.相关文章链接

Spark中DataFrame的schema讲解：spark中DataFrame的schema讲解

http://blog.csdn.net/rivercode/article/details/60604327

spark创建DataFrame：spark创建DataFrame

http://blog.csdn.net/rivercode/article/details/60596079

0 0