Spark SQL Hive数据源复杂综合案例实战

Spark SQL Hive数据源复杂综合案例实战（读写各种分区表）

Hive数据源来源

• Spark SQL除了支持SQLContext之外，还支持HIVESQL语法，利用HIVEContext来创建，HiveContext继承自SQLContext，但是增加了在Hive表中数据库中查找，同时也支持hql（方法）。Hiveql的功能要比sql的功能要强大很多。
• 使用HiveContext，可以执行Hive的大部分功能，包括创建表、往表里导入数据以及用SQL语句查询表中的数据。查询出来的数据是一个Row数组。
• 我们之前在将hive与spark集成的时候，讲过他们是如何集成的，大家在详细看看老师之前讲解的文档。
  将hive-site.xml拷贝到spark/conf目录下，将mysql connector拷贝到spark/lib目录下

修改saprk-submit.sh

standalone 集群模式是 以这样的配置方式是可以的

/opt/spark/bin/spark-submit \--class $1 \--num-executors 1 \--driver-memory 1g \--executor-memory 1g \--executor-cores 2 \--files /opt/hive/conf/hive-site.xml \--driver-class-path /opt/hive/lib/mysql-connector-java-5.1.39.jar \/opt/jars/spark/spark-hive.jar\

将数据保存到Hive数据仓库中

• Spark SQL还允许将数据保存到Hive表中。调用DataFrame的saveAsTable命令，即可将DataFrame中的数据保存到Hive表中。
  与registerTempTable区别，
  saveAsTable是会将DataFrame中的数据物化到Hive表中的，而且还会在Hive元数据库中创建表的元数据。
• saveAsTable会创建一张Hive Managed Table，也就是说，数据的位置都是由元数据库中的信息控制的。当Managed Table被删除时，表中的数据也会一并被物理删除。
  registerTempTable只是注册一个临时的表，只要Spark Application重启或者停止了，那么表就没了。而saveAsTable创建的是物化的表，无论Spark Application重启或者停止，表都会一直存在。
• 同时我们在调用HiveContext.table()方法，还可以直接针对Hive中的表，创建一个DataFrame方便我们以后进行操作。

代码案例 ##、

Scala 版本

/**  *  关于Spark 和 Hive  的一个集成  */object SparkHiveOps extends App{    val conf = new SparkConf().setAppName("SparkHiveOps")    val sc  = new  SparkContext(conf)    val hiveContext = new HiveContext(sc)    /**      * 查询hvie中的数据      * */    val df = hiveContext.table("word");    df.show()  /**    * 向hive中写数据    * teacher_info    *     name,height    * teacher_basic    *     name,age,married,children    *  这是两张有关联的表，关联字段是name，    *  需求：    *    teacher_info和teacher_basic做join操作，求出每个teacher的name，age，height，married，children    *    要求height>180    */  //在hive中创建相应的表  hiveContext.sql("DROP TABLE IF EXISTS teacher_basic")  hiveContext.sql("CREATE TABLE teacher_basic(" +    "name string, " +    "age int, " +    "married boolean, " +    "children int) " +    "row format delimited " +    "fields terminated by ','")    //向teacher_basic表中加载数据    hiveContext.sql("LOAD DATA LOCAL INPATH '/opt/data/spark/teacher_basic.txt' INTO TABLE teacher_basic")    //创建第二张表        hiveContext.sql("DROP TABLE IF EXISTS teacher_info")    hiveContext.sql("CREATE TABLE teacher_info(name string, height int) row format delimited fields terminated by ','")    hiveContext.sql("LOAD DATA LOCAL INPATH '/opt/data/spark/teacher_info.txt' INTO TABLE teacher_info")    //执行多表关联    val joinDF = hiveContext.sql("select b.name, b.age, b.married, b.children, i.height from teacher_basic b left join teacher_info i on b.name = i.name where i.height > 180")    hiveContext.sql("DROP TABLE IF EXISTS teacher")    joinDF.show()    joinDF.write.saveAsTable("teacher")    sc.stop()}

Java版本

public class SparkHiveJava {public static void main(String[] args) {    SparkConf conf = new SparkConf().setAppName(SparkHiveJava.class.getSimpleName());    JavaSparkContext sc = new JavaSparkContext(conf);    HiveContext hiveContext = new HiveContext(sc);    //查询hvie 中的数据    DataFrame df = hiveContext.table("word");    df.show();    //向数据库中写数据    /**     * 向hive中写数据     * teacher_info     *     name,height     * teacher_basic     *     name,age,married,children     *  这是两张有关联的表，关联字段是name，     *  需求：     *    teacher_info和teacher_basic做join操作，求出每个teacher的name，age，height，married，children     *    要求height>180     */    //在hive中创建相应的表    hiveContext.sql("DROP TABLE IF EXISTS teacher_basic");    hiveContext.sql("CREATE TABLE teacher_basic(" +            "name string, " +            "age int, " +            "married boolean, " +            "children int) " +            "row format delimited " +            "fields terminated by ','");    //向teacher_basic表中加载数据    hiveContext.sql("LOAD DATA LOCAL INPATH '/opt/data/spark/teacher_basic.txt' INTO TABLE teacher_basic");    //创建第二张表    hiveContext.sql("DROP TABLE IF EXISTS teacher_info");    hiveContext.sql("CREATE TABLE teacher_info(name string, height int) row format delimited fields terminated by ','");    hiveContext.sql("LOAD DATA LOCAL INPATH '/opt/data/spark/teacher_info.txt' INTO TABLE teacher_info");    //执行多表关联    DataFrame joinDF = hiveContext.sql("select b.name, b.age, b.married, b.children, i.height from teacher_basic b left join teacher_info i on b.name = i.name where i.height > 180");    hiveContext.sql("DROP TABLE IF EXISTS teacher");    joinDF.show();    joinDF.write().saveAsTable("teacher");    sc.stop();}

}

常见错误

O audit: ugi=kkk    ip=unknown-ip-addr  cmd=get_table : db=default tbl=word 

---

这样写无法执行/opt/spark/bin/spark-submit \--class $1 \--master spark://master:7077 \--num-executors 1 \--driver-memory 1g \--executor-memory 1g \--executor-cores 2 \/opt/jars/spark/spark-hive.jar\

standalone 集群模式是 以这样的配置方式是可以的

/opt/spark/bin/spark-submit \--class $1 \--num-executors 1 \--driver-memory 1g \--executor-memory 1g \--executor-cores 2 \--files /opt/hive/conf/hive-site.xml \--driver-class-path /opt/hive/lib/mysql-connector-java-5.1.39.jar \/opt/jars/spark/spark-hive.jar\

---

/opt/spark/bin/spark-submit \--class $1 \--master yarn \--deploy-mode cluster \--num-executors 1 \--driver-memory 1g \--executor-memory 1g \--executor-cores 2 \--files /opt/hive/conf/hive-site.xml \--driver-class-path /opt/hive/lib/mysql-connector-java-5.1.39.jar \/opt/jars/spark/spark-hive.jar\目前yarn集群模式，搞不定呀