zeppelin实战安装配置,经过检验的呀!

来源:互联网 发布:python curl post 编辑:程序博客网 时间:2024/06/06 07:05

       zeppelin作为大数据的可视化组件,由于使用该组件的人比较少,网上的资料也比价少,安装配置过程中的阻力很大,经过两三天的探索,终于出成果了,zeppelin0.6.2与spark2.0.2组合配置。

    安装配置过程说明:

   1、解压zeppelin-0.6.2-bin-all.gz 到Linux中 ,更改conf目录中的zeppelin-site.xml.template zeppelin-en.sh.template   分别为zeppelin-site.xml  zeppelin-en.sh zeppelin的默认端口为8080,假如有端口冲突,需要更改zeppelin-sitt.xml中的端口号

   2、spark配置:将spark-* 、hadoop-lzo*.jar 等可能的依赖jar 拷入\zeppelin-0.6.2-bin-all\interpreter\spark\dep ,我用的是spark-core*、spark-sql*等。

   3 、jdbc 配置:将hive*.jar等依赖jar拷入zeppelin\zeppelin-0.6.2-bin-all\interpreter\jdbc  ;

   4、hbase配置:将hbase-site.xml拷入\zeppelin-0.6.2-bin-all\conf目录下,不能拷贝core-site、hdfs-site ;将hbase的依赖jar包拷入\zeppelin-0.6.2-bin-all\interpreter\hbase目录下(删除原有的);

    4、启动zeppelin :/bin/zeppelin-daemon.sh start

   5、登陆zeppelin 8080端口配置interpreter配置:1  interpreter 搜索%spark    编辑:  spark://master:7077,executer  memory  *G 、   executer cores  * 保存;notebook 新建节点: %spark  spark.version    验证spark 版本信息。2  interpreter 搜索%jdbc   配置响应的jdbc 、用户名、密码,对应的beeline可以登陆,jdbc就应该没有问题;注意一定要配置default  hive 两个用户名,否则可能无法启动mr任务,只能select * 查询。3  配置 interpreter 搜索%hbase ,编辑 HBase_home 、ruby对应的目录就可以了

  

   6、以上配置完成,就可以新建nootbook 开始测试了 

    

   上面只是简单的配置,大数据量测试与jdbc多活没有测试,不知道性能如何 具体使用调优就需要各位更改对应的zeppelin-en.sh参数了



阅读全文
0 0
原创粉丝点击