zeppelin实战安装配置,经过检验的呀!
来源:互联网 发布:python curl post 编辑:程序博客网 时间:2024/06/06 07:05
zeppelin作为大数据的可视化组件,由于使用该组件的人比较少,网上的资料也比价少,安装配置过程中的阻力很大,经过两三天的探索,终于出成果了,zeppelin0.6.2与spark2.0.2组合配置。
安装配置过程说明:
1、解压zeppelin-0.6.2-bin-all.gz 到Linux中 ,更改conf目录中的zeppelin-site.xml.template zeppelin-en.sh.template 分别为zeppelin-site.xml zeppelin-en.sh zeppelin的默认端口为8080,假如有端口冲突,需要更改zeppelin-sitt.xml中的端口号
2、spark配置:将spark-* 、hadoop-lzo*.jar 等可能的依赖jar 拷入\zeppelin-0.6.2-bin-all\interpreter\spark\dep ,我用的是spark-core*、spark-sql*等。
3 、jdbc 配置:将hive*.jar等依赖jar拷入zeppelin\zeppelin-0.6.2-bin-all\interpreter\jdbc ;
4、hbase配置:将hbase-site.xml拷入\zeppelin-0.6.2-bin-all\conf目录下,不能拷贝core-site、hdfs-site ;将hbase的依赖jar包拷入\zeppelin-0.6.2-bin-all\interpreter\hbase目录下(删除原有的);
4、启动zeppelin :/bin/zeppelin-daemon.sh start
5、登陆zeppelin 8080端口配置interpreter配置:1 interpreter 搜索%spark 编辑: spark://master:7077,executer memory *G 、 executer cores * 保存;notebook 新建节点: %spark spark.version 验证spark 版本信息。2 interpreter 搜索%jdbc 配置响应的jdbc 、用户名、密码,对应的beeline可以登陆,jdbc就应该没有问题;注意一定要配置default hive 两个用户名,否则可能无法启动mr任务,只能select * 查询。3 配置 interpreter 搜索%hbase ,编辑 HBase_home 、ruby对应的目录就可以了
6、以上配置完成,就可以新建nootbook 开始测试了
上面只是简单的配置,大数据量测试与jdbc多活没有测试,不知道性能如何 具体使用调优就需要各位更改对应的zeppelin-en.sh参数了
- zeppelin实战安装配置,经过检验的呀!
- zeppelin安装部署配置
- Zeppelin的简易安装
- Zeppelin下GroovyInterpreter的配置
- zeppelin的安装与使用
- zeppelin的安装以及使用
- 推荐一些经过实践检验的学习方法
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)【张振华.Jack】
- CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
- Zeppelin 的安装及简单使用
- JDK安装与配置检验
- 【串口通信一】经过检验的串口通信协议
- 【串口通信一】经过检验的串口通信协议
- 那些经过时间检验的职场经验
- Could not resolve URL for hyperlinked relationship using view name "xxx:api:xxx-detail". Y
- 【Python】urllib的基本用法01
- Android全局捕获崩溃异常记录日志保存至本地并定时删除
- Android崩溃日志获取与解析
- SATA代码分析和学习心得
- zeppelin实战安装配置,经过检验的呀!
- 获取本地cookies出现的错误 sqlite3.DatabaseError: malformed database schema (is_transient)
- 理解JavaScript作用域
- python第23篇之-最简单的类使用(面向对象编程)
- 卷积神经网络中图像池化操作全解析
- HTML+CSS编写静态网站-06 创建基础结构
- python第24篇之--类的初始化(面向对象编程)
- 开发者,只有被裁,没有退休
- (一) 电商项目完成的BUG调查原因和解决方案