pyspark之DataFrame学习【dataFrame查询】（3）

在查看dataFrame的信息时，可以通过collect()、show()、或者take()、来查看DataFrame中的数据（show()和take()包含了限制返回行数的选项）

1.查看行数

可以使用count()方法查看DataFrame的行数

from pyspark.sql import SparkSessionspark= SparkSession\                .builder \                .appName("dataFrame") \                .getOrCreate()# # 导入类型from pyspark.sql.types import *#生成以逗号分隔的数据stringCSVRDD = spark.sparkContext.parallelize([    (123,"Katie",19,"brown"),    (234,"Michael",22,"green"),    (345,"Simone",23,"blue")])#指定模式,StructField(name,dataType,nullable)其中name:该字段的名字，dataType：该字段的数据类型，nullable:指示该字段的值是否为空schema = StructType([    StructField("id",LongType(),True),    StructField("name",StringType(),True),    StructField("age",LongType(),True),    StructField("eyeColor",StringType(),True)])#对RDD应用该模式并且创建DataFrameswimmers = spark.createDataFrame(stringCSVRDD,schema)#利用DataFrame创建一个临时视图swimmers.registerTempTable("swimmers")#查看DataFrame的行数print swimmers.count()

3

2.筛选语句

使用filter字句运行筛选语句

#获取age=22的idswimmers.select("id","age").filter("age=22").show()

+---+---+
| id|age|
+---+---+
|234| 22|
+---+---+

上述查询的另一种写法

swimmers.select(swimmers.id,swimmers.age).filter(swimmers.age==22).show()

+---+---+
| id|age|
+---+---+
|234| 22|
+---+---+

如果只想得到眼睛颜色是以字母b开头的人的名字，则可使用like

#获得eyeColor like 'b%'的（name）名字，（eyeColor）眼睛颜色swimmers.select("name","eyeColor").filter("eyeColor like 'b%'").show()

+------+--------+
|  name|eyeColor|
+------+--------+
| Katie|   brown|
|Simone|    blue|
+------+--------+

3.利用SQL查询

可以执行SQL查询是因为对swimmers数据执行了.registerTempTable方法

查询行数

# swimmers.select("name","eyeColor").filter("eyeColor like 'b%'").show()spark.sql("select count(1) from swimmers").show()

+--------+
|count(1)|
+--------+
|       3|
+--------+

利用where字句运行筛选语句

#用SQL获得age=22的id，agespark.sql("select id,age from swimmers where age=22").show()

+---+---+
| id|age|
+---+---+
|234| 22|
+---+---+

如果只是想要取回眼睛颜色以字母b开头的人的名字，则可以使用like

spark.sql("select name,eyeColor from swimmers where eyeColor like 'b%'").show()

+------+--------+
|  name|eyeColor|
+------+--------+
| Katie|   brown|
|Simone|    blue|
+------+--------+