Spark & Livy

来源：互联网发布：js判断chrome浏览器编辑：程序博客网时间：2024/05/22 09:06

简介

livy为Spark提供了REST接口，有如下特性:
* 提供交互式shell
* 批量提交
* 多用户使用用一个服务(用户模拟)
* 可以从任何地方使用REST的方式提交
* 无需对代码进行任何修改

获取源码，进行编译(如果编译不通过需使用vpn)

git clone git@github.com:cloudera/livy.gitcd livy-mastermvn -Dspark.version=1.6.2 -Dmaven.test.skip package

配置

vim conf/livy-env.shexport SPARK_HOME=/usr/install/sparkexport HADOOP_CONF_DIR=/usr/install/hadoop/etc/hadoop/confvim spark-blacklist.conf注释spark.master# spark.mastervim livy.conf//默认使用hiveContextlivy.repl.enableHiveContext = true//开启用户代理livy.impersonation.enabled = true//设置session空闲过期时间livy.server.session.timeout = 1h

启动livy

nohup sudo -u admin ./livy-server >/dev/null 2>&1 &

通过端口8998访问

项目地址

https://github.com/cloudera/livy

0 0