SparkSql读取数据和插入数据

一、sparksql读写mysql数据

1.读取

val url = "jdbc:mysql://主机名:端口号"val tableName = "db_name"val properties = new java.util.Properties()properties.put("user", "username")properties.put("password", "password")val tbDeptDF = sqlContext.               read. // 获取数据读取对象               jdbc(url, tableName, properties)

2.写入

val url = "jdbc:mysql://主机名:端口号"val tableName = "db_name"val properties = new java.util.Properties()properties.put("user", "username")properties.put("password", "password")df.write.jdbc(url, tableName, properties)// df.write.mode("append").jdbc(url, tableName, properties)//追加写入//df.write.mode("overwrite").jdbc(url, tableName, properties)//重新写入// df.write.mode("ignore").jdbc(url, tableName, properties)//忽略写入

二、sparksql读写parquet格式的数据

1.读取

val df1 = sqlContext.          read. // 获取数据读取对象          format("parquet"). // 指定格式          load("/存储路径")val df1 = sqlContext.          read. // 获取数据读取对象          format("parquet"). // 指定格式          load("/存储路径")//可以是文件夹，也可以是指定文件

2.写入

df. write. // DF数据写出对象              format("parquet"). // 指定文件格式              mode("overwrite"). // 给定模式是覆盖              save("/路径") // 给定保存路径，存在在hdfsdf.repartition(3). // 重置分区数量为3个              write. // DF数据写出对象              format("parquet"). // 指定文件格式              mode("overwrite"). // 给定模式是覆盖              save("/路径") // 给定保存路径，存在在hdfs