spark 连接hbase
来源:互联网 发布:mathcad读取数据 编辑:程序博客网 时间:2024/05/22 13:42
一、环境准备
1、复制HBase目录下的lib文件 到 spark目录/lib/hbase。spark 依赖此lib清单如下:guava-12.0.1.jar htrace-core-3.1.0-incubating.jar protobuf-java-2.5.0.jar 这三个jar加上以hbase开头所有jar,其它就不必了。全部复制会引起报错。
2、修改spark配置文件(spark-env.sh),在最后面增加一行
export SPARK_CLASSPATH=/usr/local/spark-1.5.1-bin-hadoop2.4/lib/hbase/*
重启spark集群,然后执行操作
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.util.Bytes; #主要是下面几个包import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Resultimport org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.mapreduce.TableInputFormatval conf = HBaseConfiguration.create()conf.set(TableInputFormat.INPUT_TABLE,"thd")val rdd = sc.newAPIHadoopRDD(conf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])
此时如果查看rdd.take(1)运行得到后可能会报错
ERROR Executor: Exception in task 0.0 in stage 14.0 (TID 14)java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable
排查了好久,后来参考链接中的解答
http://stackoverflow.com/questions/28159185/streaming-from-hbase-using-spark-not-serializable
rdd里的内容需要转化成string
执行rdd.map(_.toString)
之后正常,从而可以利用spark对hbase进行rdd操作了…
0 0
- Spark 连接 Hbase 配置
- spark 连接hbase
- spark 连接hbase hive
- Spark应用连接HBase报NullPointerException
- sqoop连接hbase以及spark sql使用
- Spark连接需Kerberos认证的HBase
- Scala Spark 连接 HBase ( IDEA) 调试Spark Standalone
- spark hbase
- spark hbase
- Spark&hbase
- spark hbase hbase-rdd
- Spark连接HBase进行读写相关操作【CDH5.7.X】
- spark任务中报连接不到hbase的错误
- Learning Spark——Spark连接Mysql、mapPartitions高效连接HBase
- Spark连接HBase操作异常处理ERROR spark.SparkContext: Error initializing SparkContext. java.lang.SecurityExcep
- HBase连接
- Spark操作hbase
- spark 操作 hbase
- 友盟第三方推送
- apple pay代码实现
- 在网站开发中很有用的8个 jQuery 效果【附源码】
- 我的第一篇博文
- display:flex属性学习
- spark 连接hbase
- 怎样在Eclipse中快速查看各种源代码?
- BS版代码生成器 简介
- spring bean初始化
- 央企、创业企业、金融大企业的对比
- SPDY、HTTP/2、QUIC协议
- ExecutorService——newScheduledThreadPool使用功能测试
- IOS年、月、日三种日期加减选择器
- PullUtils解析xml