spark 读取hbase数据并转化为dataFrame
来源:互联网 发布:mac book能下载爱剪辑 编辑:程序博客网 时间:2024/06/05 09:42
最近两天研究spark直接读取hbase数据,并将其转化为dataframe。之所以这么做,
1、公司的数据主要存储在hbase之中
2、使用dataframe,更容易实现计算。
尽管hbase的官方已经提供了hbase-spark 接口,但是并未对外发布,而且目前的项目又有这方面的需求,且网上关于这么方面的参考比较少,
故贴出来,代码如下,仅供参考
import org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.mapreduce.TableInputFormatimport org.apache.hadoop.hbase.{TableName, HBaseConfiguration}import org.apache.hadoop.hbase.util.Bytesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkContext, SparkConf}/** * Created by seagle on 6/28/16. */object HBaseSpark { def main(args:Array[String]): Unit ={ // 本地模式运行,便于测试 val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest") // 创建hbase configuration val hBaseConf = HBaseConfiguration.create() hBaseConf.set(TableInputFormat.INPUT_TABLE,"bmp_ali_customer") // 创建 spark context val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) import sqlContext.implicits._ // 从数据源获取数据 val hbaseRDD = sc.newAPIHadoopRDD(hBaseConf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result]) // 将数据映射为表 也就是将 RDD转化为 dataframe schema val shop = hbaseRDD.map(r=>( Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("customer_id"))), Bytes.toString(r._2.getValue(Bytes.toBytes("info"),Bytes.toBytes("create_id"))) )).toDF("customer_id","create_id") shop.registerTempTable("shop") // 测试 val df2 = sqlContext.sql("SELECT customer_id FROM shop") df2.foreach(println) }}
代码能够运行的前提是
1、 引用了 spark-sql jar
2、配置了Hbase-site.xml ,并将其放在工程的根目录下
2 0
- spark 读取hbase数据并转化为dataFrame
- spark 读取hbase数据并转化为dataFrame
- spark 读取hbase数据并转化为dataFrame
- python读取文本中数据并转化为DataFrame
- 使用lxml的xpath读取网页中的表格并转化为pandas的DataFrame
- Spark 读取Hbase表数据并实现类似groupByKey操作
- Spark读取Hbase中的数据
- Spark读取Hbase中的数据
- spark 读取hbase中的数据
- Spark读取Hbase中的数据
- Python 读取 MySQL 数据并转为DataFrame
- 从HBase数据库表中读取数据动态转为DataFrame格式,方便后续用Spark SQL操作(scala实现)
- Spark2.0以下读取csv数据并转化为RDD
- RDD 转化为 DataFrame
- java反射加载类,并转化为DataFrame
- 如何将Dataframe数据转化为ndarry数据
- python3.X访问mysql,并读取为DataFrame
- spark读取hbase数据做分布式计算
- 不用加减乘除做加法
- Qt5简单例子和中文乱码问题
- 源码分析查看
- 装完Centos7提示Initial setup of CentOS Linux 7 (core)
- XPath路径表达式
- spark 读取hbase数据并转化为dataFrame
- sql语句的异常
- Android二维码功能实现,在程序内嵌入ZXing项目
- 一图熟悉Git的基本操作
- Joda-Time的日常使用
- 有关auocad编程和CadLib4.0的相关总结
- c/c++ 函数中局部变量的返回
- android 移植
- dancing link 精确覆盖 重复覆盖 (DLX)