04大数据内存计算spark系列贴-SHARK(SQL on spark 0.x)

   （原文地址：http://blog.csdn.net/codemosi/article/category/2777045，转载麻烦带上原文地址。hadoop hive hbase mahout storm spark kafka flume,等连载中，做个爱分享的人）

shark 相当于是hive on spark， 用法和hive 大致是一样的。还是一样。从代码开始。

             1：创建表
CREATE EXTERNAL TABLE user
(
DT STRING,
username STRING,
password STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY  '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/rdc/user/'

         2：创建内存表（_cached结尾的表为内存表，表放在内存中，处理SQL查询相当的快）
CREATE TABLE user_cached AS SELECT * FROM user

         3：查询功能，和hive 的区别就是对SQL语句的执行。shark使用spark来算，使用上是一样的，输入SQL 得到查询结果，各种SQL查询语句就不演示了。

         4： shark 将SQL查询结果，直接转换成RDD传给spark

             shark具有spark的好处 cache后的RDD存在内存中，下次可以直接使用。也就是说shark可以把表存在内存中，这种模式基于内存来算，减少了IO，加上spark的transformation的迭代正是mapreduce的缺点！并且执行是不像hive一样还要开个mapreduce，慢。
              当然shark 也有缺点。基于hive的代码改造的，hive是进程安全的，因为hive执行使用mapreduce，进程安全就够了。shark执行是spark来做。要求线程安全。不然可能你一样的SQL出来的结果不一样。所以还要安装一个hive的补丁包。