大数据环境部署7：SparkSQL配置使用



1、SparkSQL配置

1. 将$HIVE_HOME/conf/hive-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。
2. 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷贝到$SPARK_HOME/conf目录下。

2、运行

1. 启动Spark集群
2. 启动SparkSQL Client：./home/spark/opt/spark-1.2.0-bin-hadoop2.4/bin/spark-sql --master spark://172.16.107.9:7077 --executor-memory 1g
3. 运行SQL，访问hive的表：spark-sql>select count(*) from test.t1;

注意：

在启动spark-sql时，如果不指定master，则以local的方式运行，master既可以指定standalone的地址，也可以指定yarn；

当设定master为yarn时(spark-sql--master yarn)时，可以通过http:// 172.16.107.9:8088页面监控到整个job的执行过程；

如果在$SPARK_HOME/conf/spark-defaults.conf中配置了spark.masterspark:// 172.16.107.9:7077，那么在启动spark-sql时不指定master也是运行在standalone集群之上。

3、可能的问题

在启动的时候，报字符串输入不正确，根据提示到$SPARK_HOME/conf/hive-site.xml修改正确即可正确启动。

 

 

参考：

http://doc.okbase.net/byrhuangqiang/archive/104202.html

http://www.cnblogs.com/shishanyuan/p/4723604.html?utm_source=tuicool