window+sparksql+hive+debug sparksql本地环境搭建

来源:互联网 发布:淘宝最有创意的店铺 编辑:程序博客网 时间:2024/06/06 01:55
 步骤1deom代码2安装配置jdk1.83安装配置scala2.11.184导入pom.xml中依赖jar:注意scala版本要和spark依赖的保持一致5下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录6下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7

配置本地host:要想知道host的地址,可以ping mysql.csdn.net

#远程hive的meterstore地址

192.168.25.22 mysql.csdn.net

#远程的一个节点

192.168.25.25 node01.csdn.net8在代码中配置hive.metastore.uris
    val spark = SparkSession

      .builder()

.master("local[2]")

      .appName("Spark Hive Example")

      .config("hive.metastore.uris", "thrift://mysql.csdn.net:9083")//远程hive的meterstore地址
      .enableHiveSupport()
      .getOrCreate()
0 0