Zeppelin安装文档

来源:互联网 发布:如何入门数据分析师 编辑:程序博客网 时间:2024/06/05 01:41

Zeppelin是一个Web笔记形式的基于Spark的大数据交互式数据查询分析工具(类似python notebook),可以在线写Scala和SQL代码对数据进行查询分析并生成报表,开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎。


0、 下载zeppelin

下载地址:https://zeppelin.incubator.apache.org/download.html

选择已编译版本:


解压目录结构:



1、  修改conf/zeppelin-env.sh,设置SPARK_HOME、HADOOP_HOME(copy模板)
export SPARK_HOME=$SPARK_HOME

exportHADOOP_HOME=$HADOOP_CONF_DIR

(设置为堡垒机.bashrc中参数)

 

2、 修改conf/zeppelin-site.sh,设置运行端口(copy模板)

<property>

 <name>zeppelin.server.port</name>

 <value>8097</value>

 <description>Server port.</description>

</property>

 

3、 修改conf/interpreter.json,定位spark配置项,修改spark配置参数



4、 修改bin/interpreter.sh


去除参数:--driver-class-path"${ZEPPELIN_CLASSPATH_OVERRIDES}:${CLASSPATH}"

--driver-class-path必需去除参数,不然会报错

ErrorFound both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

并增加运行队列参数:--queue [队列名]


5、 启动/停止zeppelin

启动命令:bin/zeppelin-daemon.sh start

停止命令:bin/zeppelin-daemon.sh start

重启命令:bin/zeppelin-daemon.sh restart

 

6、 访问页面(ip:port),运行示例程序

Eg. http://172.22.170.128:8097

 



7、 其它

Zeppelin定位于交互式可视化分析环境,而yarn-client模式适用于交互和调试zeppelin目前不支持yarn-cluster模式运行

0 0
原创粉丝点击