利用 livy 远程提交 spark作业

来源：互联网发布：女朋友没有安全感知乎编辑：程序博客网时间：2024/05/12 20:01

利用 livy 远程提交 spark作业

1. 下载，安装 livy

下载地址：http://livy.io/quickstart.html

下载之后，解压即可运行

2. 配置环境变量

export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf

`3.配置主机和端口（可跳过，直接用默认值）`

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主机） livy.server.host = 0.0.0.0# What port to start the server on.（端口） livy.server.port = 8998

# Time in milliseconds on how long Livy will wait before timing out an idle session.（超时时长，即session多久未用之后，自动kill掉） livy.server.session.timeout = 1h

4. 开启livy服务

./bin/livy-server

5.REST Api (以下url均以host:port开头，默认为 localhost:8998)

1）GET /sessions

Returns all the active interactive sessions. 返回所有活跃的session

2)POST /sessions

Creates a new interative Scala, Python, or R shell in the cluster. 创建一个session，即新开一个shell

Request Body

namedescriptiontypekindThe session kind (required)session kindproxyUserUser to impersonate when starting the sessionstringconfSpark configuration propertiesMap of key=val

3)GET /sessions/{sessionId}
Returns the session information. 返回相应session的信息

4）DELETE /sessions/{sessionId}

Kills the Session job.

5) GET /sessions/{sessionId}/statements

返回session的所有statement的信息

6）POST /sessions/{sessionId}/statements

Runs a statement in a session. 即提交一个语句，运行

7) GET /sessions/{sessionId}/statements/{statementId}

获取相应statement的信息

0 0