Spark-SQL和Hive on Spark, SqlContext和HiveContext

Hive on Spark和Spark SQL是不同的东西

Hive on Spark: 是除了DataBricks之外的其他几个公司搞的，想让Hive跑在Spark上;
Spark SQL: Shark的后继产品, 解除了不少Hive的依赖，且让SQL更加抽象通用化, 支持json,parquet等格式;

关于Catelog和Schema

Catelog是目录的意思，从数据库方向说，相当于就是所有数据库的集合;

Schema是模式的意思, 从数据库方向说, 类似Catelog下的某一个数据库;

SqlContext和HiveContext

SqlContext: 应该是对应spark-sql这个project; 与hive解耦，不支持hql查询;
HiveContext:应该是对应spark-hive这个项目; 与hive有部分耦合, 支持hql,是SqlContext的子类,也就是说兼容SqlContext;
hiveContext:
  catalog: HiveMetastoreCatalog; 使用了Hive的MetaStore;
  analyzer: 
  catalog; 上面的catalog;
functionRegistry; 用于自定义UDF;
  planner = hivePlanner: SparkPlanner & HiveStrategies; 

sqlContext:
  parser = new catalyst.SqlParser
  parseSql(sql: String): LogicalPlan = parser(sql)  //解析sql语句的入口; 调用的是上面的catalyst.SqlParser
 => 产生UnresolvedLogicalPlan;
  QueryExecution:
logical: LogicalPlan //上面的UnresolvedLogicalPlan;
analyzed = ExtractPythonUdfs(analyzer(logical)) //产生resolved LogicalPlan;
optimizedPlan = optimizer(analyzed) //产生optimized LogicalPlan
sparkPlan = planner(optimizedPlan).next() 
executedPlan: SparkPlan = prepareForExecution(sparkPlan) /产生可执行的物理计划;
toRdd: RDD[Row] = executedPlan.execute(); //执行可执行物理计划;

一个开发例子

准备数据  

1 test.txt的内容:

 zhangyali yes cuiyang

2 hive中执行:

 LOAD DATA LOCAL INPATH '/Users/cuiyang_mt/test.txt' OVERWRITE INTO TABLE ewaplog;

3 hive中查询:

 select * from ewaplog where value in ('yes', null);

 只会出现第1条,也就是说, null与 in的比较，结果是false;

在spark shell中查询

 sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)

  会出现两条:

 [zhangyali,yes] [cuiyang,null]

  也就是说, spark hql和hive hql, 对于null的比较，返回的结果是不同的;

SqlContext可以将很多数据类型抽象为SQL查询对象

import org.apache.spark.rdd.RDDval sqlc = new org.apache.spark.sql.SQLContext(sc)import sqlc.implicits._case class Person(name: String, age: Int)val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()people.registerTempTable("people")