Zeppelin 搭建不是那么简单

来源：互联网发布：php授权验证系统怎么用编辑：程序博客网时间：2024/05/19 02:23

1
配置文件中添加
export SPARK_HOME=/usr/local/spark
export HADOOP_CONF_DIR=/usr/local/hadoop
//这一条很奇怪，可能和hadoop版本默认支持2.6有关，路径和2.7版不同

2
集成hbase，添加依赖
org.apache.hbase:hbase-client:1.3.1
集成mysql，添加依赖
mysql:mysql-connector-java:5.1.38

3
java.lang.NoSuchMethodError: org.apache.hadoop.tracing.SpanReceiverHost.get(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String;)Lorg/apache/hadoop/tracing/SpanReceiverHost;
spark版本是spark-2.1.1-bin-hadoop2.6时不会报错（注意2.6）
或者，将lib目录下三个hadoop jar包替换为spark jars目录下的三个2.7版本jar包

这里写图片描述

4
运行spark相关，NullPointerException
配置 export HADOOP_HOME=/usr/local/hadoop 并没有用，我认为这是不正常的
需要配置 export HADOOP_CONF_DIR=/usr/local/hadoop

5
Jackson version is too old 2.5.3的问题
zeppelin目录下jackson版本比spark目录下的版本低
rm -f jackson-annotations-2.5.0.jar
rm -f jackson-core-2.5.3.jar
rm -f jackson-databind-2.5.3.jar
替换为spark目录下2.6.5的版本

6
解决一切问题的方法：自己编译，修改依赖和环境中使用的一致

阅读全文

1 0