hbase filter及rowkey范围检索使用并对结果集处理

hbase新API操作hbase过滤器之后对结果集进行处理生成spark临时表用于后续处理。

注意hbase中，表中存储的数据类型必须一一对应，否则会因为解码问题，导致最后结果非常的混乱

代码如下：    （如有大神看到，请不吝赐教，交流邮箱[e-mail]）

  val show_info_one:Array[(String,String,String)] = Array(//查找需要使用的列 填充此处    ("cf","user_id","Long"),    .........  )  //注册成的表名：ywapp_bigdata_user_score_tmp  FilterRowkeyGetHtable(sp,"db_oss_ywgl:ywapp_bigdata_user_score",show_info_one,getDateTime(0))sp.sql("select * from ywapp_bigdata_user_score_tmp limit 10").show()  sp.sql("select count(1) from ywapp_bigdata_user_score_tmp").show()  val show_info_two:Array[(String,String,String)] = Array(    //查找需要使用的列 填充此处    ("cf","user_id","Long"),   .........  )  //注册成的表名：ywapp_bigdata_user_indicator_tmp  FilterRowkeyGetHtable(sp,"db_oss_ywgl:ywapp_bigdata_user_indicator",show_info_two,getDateTime(0))  sp.sql("select * from ywapp_bigdata_user_indicator_tmp limit 10").show()  sp.sql("select count(1) from ywapp_bigdata_user_indicator_tmp").show()

/**    * 根据rowkey进行数据筛选    * 测试：使用scan的setStartRow设置rowkey的起始位置，    *        可以指定rowkey的前缀进行匹配查询，    *        不可以指定rowkey中间的一部分进行数据筛选    * @param sparkSesson    * @param tbl_nm     表名    * @param show_info 展示的列名(cf,col_nm,valueType)    * @param tuple      rowkey对日期筛选的条件，startTime,endTime   区间是[startTime,endTime)    * @param filters    过滤器元素(cf,col_nm,filterValue)，默认为空    *                   注册成临时表：tabl_nm_tmp    */  private def FilterRowkeyGetHtable(sparkSesson:SparkSession,tbl_nm:String,show_info:Array[(String,String,String)],tuple:Tuple2[String,String],filters:Array[(String,String,String)]=Array(("","",""))): Unit ={    val sparkContext = sparkSesson.sparkContext    val sqlContext = sparkSesson.sqlContext    val hbaseconf = HBaseConfiguration.create()    hbaseconf.set(TableInputFormat.INPUT_TABLE,tbl_nm)    val table = new HTable(hbaseconf,tbl_nm)    val scan = new Scan()    scan.setStartRow(Bytes.toBytes(tuple._1))    scan.setStopRow(Bytes.toBytes(tuple._2))    //添加自定义过滤器    if(filters.length>0){      for(filter<-filters){        val f = new SingleColumnValueFilter(Bytes.toBytes(filter._1),Bytes.toBytes(filter._2),CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes( filter._3)))        scan.setFilter(f)      }    }    for(i <- show_info){      scan.addColumn(Bytes.toBytes(i._1),Bytes.toBytes(i._2))    }    val ScannerRes = table.getScanner(scan)    val ColumnValueScanner = ScannerRes.iterator()    /**      * -------------------------重点-----------------------------      * 将扫描得到的结果值转换成可以匹配注册表用的RDD[ROW]      * 使用      *      * 此处对ColumnValueScanner的处理不完善，需要后续修改，查找有效的方法      */    val listRow = new util.ArrayList[Row]()    var flag = true    while(ColumnValueScanner.hasNext){      try{        //每个result都是一行数据        val r:Result = ColumnValueScanner.next()        val arr = ArrayBuffer[Any]()        //正常此处需要根据structType中元素类型，以及表中元素的类型指定类型，但是此处由于部分未知原因，转换为其他类型会报错，故统一转换成String        //获取rowkey        arr+=Bytes.toString(r.getRow)        //*************---------------------------此处需要指定每列的类型进行模式匹配处理        for(col<-show_info){          col._3 match {            case "Float"=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())      //此部分由于类型转换内部存在调用bytes.length操作，需要对空指针数据进行处理              if(v!=null)arr+=Bytes.toFloat(v) else arr+=v            }            case "Int"=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())              if(v!=null)arr+=Bytes.toInt(v) else arr+=v            }            case "Double"=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())              if(v!=null)arr+=Bytes.toDouble(v) else arr+=v            }            case "Long"=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())              if(v!=null)arr+=Bytes.toLong(v) else arr+=v            }            case "String"=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())              if(v!=null)arr+=Bytes.toString(v) else arr+=v            }            case _=>{              val v = r.getValue(col._1.getBytes(),col._2.getBytes())              if(v!=null)arr+=Bytes.toString(v) else arr+=v            }          }        }        val row = Row.fromSeq(arr.toSeq)        listRow.add(row)      }catch{        case e:Exception=> e.printStackTrace()      }    }    //构建RDD    //val seqRDD = sc.makeRDD(arr)    val schema = StructType({      val list = new util.ArrayList[StructField]()      list.add(StructField("rowkey",StringType,true))      for(col<-show_info){        col._3 match{          case "Float"=>list.add( StructField(col._2,FloatType,true))          case "Int"=>list.add( StructField(col._2,IntegerType,true))          case "Double"=>list.add( StructField(col._2,DoubleType,true))          case "Long"=>list.add( StructField(col._2,LongType,true))          case "String"=>list.add( StructField(col._2,StringType,true))          case _=>list.add( StructField(col._2,StringType,true))        }      }      list    }    )    //创建dataframe    val df = sqlContext.createDataFrame(listRow,schema)    val tbl = tbl_nm.split(":")(1)    df.createTempView(tbl+"_tmp")    // println("----------------------------------"+sqlContext.sql(s"select * from $tbl"+"_tmp").count())    ScannerRes.close()  }