spark和hive结合实践

上文中已经说了建立spark ,现在需要 spark访问hive的数据。

hive安装0.13版。

创建mysql数据库。

设置hive/conf/hive-site.xml设置元数据存储在mysql中。

在hive中创建一些表。

把数据存到hadoop

在hive中用select * from tableName limit 10;可以看到数据。

执行spark-shell，执行以下语句：

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)hiveContext.sql("show databases")

提示错误如下(只截取最后一部分)：

export SPARK_CLASSPATH=/usr/local/hadoop/share/hadoop/common/lib/hadoop-gpl-compression-0.2.0-dev.jar:/usr/local/spark/lib/mysql-connector-java-5.1.18-bin.jar