利用 livy 远程提交 spark作业
来源:互联网 发布:linux系统下删除用户 编辑:程序博客网 时间:2024/05/21 17:49
1. 下载,安装 livy
下载 地址 :http://livy.io/quickstart.html
下载之后,解压即可运行
2. 配置环境变量
export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
3.配置主机和端口(可跳过,直接用默认值)
# What host address to start the server on. By default, Livy will bind to all network interfaces. (主机)
livy.server.host = 0.0.0.0
# What port to start the server on.(端口)
livy.server.port = 8998
# Time in milliseconds on how long Livy will wait before timing out an idle session.(超时时长,即session多久未用之后,自动kill掉) livy.server.session.timeout = 1h
这里需要创建logs文件夹
mkdir logs
chmod -R 777 logs
4. 开启livy服务
./bin/livy-server
5.REST Api (以下url均以host:port开头,默认为 localhost:8998)
1)GET /sessions
Returns all the active interactive sessions.返回所有活跃的session
2)POST /sessions
Creates a new interativeScala,Python, or R shell in the cluster. 创建一个session,即新开一个shel
Request Body
3)GET /sessions/{sessionId}
Returns the session information. 返回相应session的信息
4)DELETE /sessions/{sessionId}
Kills the Session job.
5) GET /sessions/{sessionId}/statements
返回session的所有statement的信息
6)POST /sessions/{sessionId}/statements
Runs a statement in a session. 即提交一个语句,运行7) GET /sessions/{sessionId}/statements/{statementId}
获取相应statement的信息
阅读全文
0 0
- 利用 livy 远程提交 spark作业
- 利用 livy 远程提交 spark作业
- Spark & Livy
- spark livy
- spark livy hue
- spark源码研究---作业提交
- 提交spark sample作业失败
- eclipse java spark作业提交
- Spark提交作业运行过程
- spark的作业提交流程
- Livy:基于Apache Spark的REST服务
- Livy:基于Apache Spark的REST服务
- Livy:基于Apache Spark的REST服务
- Spark源码分析(一)作业提交
- 关于spark提交作业报错原因
- spark-submit 提交作业到集群
- Spark学习(单机本地提交作业)
- 简单Spark作业编写与提交执行
- node接收get与post请求
- 全栈式PHP集成环境-laragon(一)介绍、安装
- 23种设计模式
- 了解负载均衡 会话保持 session同步(转)
- Error dropping database (can't rmdir './xxxxxxx/', errno: 17)
- 利用 livy 远程提交 spark作业
- Eclipse快捷键及配置
- 面试_思维开发题
- 【转】JavaScript RegExp 正则表达式基础详谈
- <小程序>日期选择器的起始时间极限值
- dup,dup2函数,复制文件描述符
- TSO、UFO、GSO、LRO、GRO和RSS介绍
- Windows下本地RabbitMQ服务的安装(V3.01)
- Nginx配置文件nginx.conf详解