spark-sql on yarn环境搭建

安装环境：

hadoop2.6.0 + hive1.2.1 + spark1.5.1

前提是hive和hadoop集群已经安装完毕。

1.将hive-site.xml配置文件放置在spark目录下的conf目录下。

2.配置spark-defaults.conf文件：

spark.master                     yarn
spark.executor.instances     5

spark.executor.memory              2g

3.修改spark-env.sh文件，添加

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

export SPARK_CLASSPATH=/usr/local/spark/libext/*

ps：在spark目录下创建一个libext文件，将mysql的jar包，以及其他一些非hadoop官方的包放入这个目录下，比如说hadoop的lzo包等，这样设置的话spark就可以默认这些jar文件。

4.通过bin/spark-sql来执行sql

 

5.也可通过 sbin/start-thriftserver.sh来启动spark的hiveserver2接口，然后通过beeline来连接。或者通过jdbc的接口类来实现。