使用elasticsearch提高hbase基于列的查询效率
来源:互联网 发布:马龙 王皓 知乎 编辑:程序博客网 时间:2024/06/11 00:02
网上能查到的hbase提高基于列的查询效率基本上是建立二级索引的方法,介绍另外一种方法,使用分布式索引技术elasticsearch来提高效率,
基本思路和二级索引差不多,都是通过对要查询的列建立索引,先根据建立的列索引查询到rowkey,再根据rowkey查询到需要的数据,步骤如下:
1. 安装elasticsearch,安装简单,网上查找安装方法
2.使用elasticsearch建立hbase的相关查询列的索引,值包括查询列与rowkey
3.使用ealsticsearch查询到列对应的rowkey值,再根据rowkey查询需要的信息
代码只包括第3步:
package hbase;import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.util.Bytes;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.FilterBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
public class SearchWithElasticSearch {
public static void main(String[] args) throws IOException{
//elasticsearch相关设置
Settings settings = ImmutableSettings.settingsBuilder()
//指定集群名称
.put("cluster.name", "elasticsearch")
.put("client.transport.sniff", true).build();
// 创建客户端,
Client client = new TransportClient(settings)
//ip改为自己的ip
.addTransportAddress(new InetSocketTransportAddress("ip", 9300));
//elasticsearch查询,查询NAME为blacklau的记录
SearchResponse response = client.prepareSearch("hbase")
.setTypes("netflow")
.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
// NAME对应hbase表的列名
.setPostFilter(FilterBuilders.termFilter("NAME", "blacklau"))
.execute()
.actionGet();
SearchHits shs = response.getHits();
//根据查询到的rowkeys构建Get
List<Get> gets = new ArrayList<Get>();
for(SearchHit hit : shs){
//ROWKEY对应hbase表的rowkey
String rowkey = (String)hit.getSource().get("ROWKEY");
Get get = new Get(Bytes.toBytes(rowkey));
gets.add(get);
}
if(gets.size() == 0) return;
HTable table=new HTable(HBaseConfiguration.create(),"netflow");
Result[] rs=table.get(gets);
//打印hbase表查询结果
for(Result r:rs){
System.out.println(r);
}
client.close();
table.close();
}
}
0 1
- 使用elasticsearch提高hbase基于列的查询效率
- 使用Elasticsearch建索引提高HBase检索速度的探索
- 使用WITH提高查询效率
- 使用WITH提高查询效率
- 提高SQL查询的效率
- 提高SQL的查询效率
- 提高mysql的查询效率
- 提高SQL的查询效率
- 提高SQL的查询效率
- 提高查询效率的方法
- java中使用sql的存储过程,提高查询效率
- 使用INTERSECT来提高关联查询的效率
- ElasticSearch查询的使用
- 使用子查询提高MySQL分页效率
- 使用Bulk Collect提高Oracle查询效率
- mysql使用 limit 1提高查询效率
- 提高SVN的使用效率
- 提高MySQL 查询效率的三个技巧
- OA--对于每个form表单(<s:iterator>生成)的处理
- POJ Goldbach's Conjecture
- HDU-#4472 Count(DP)
- 枚举变量的大小是多少?
- dbms_shared_pool
- 使用elasticsearch提高hbase基于列的查询效率
- "PCH 警告:标头停止点不能位于宏或#if块中"
- 求集合的所有子集
- Ubuntu新建账户终端显示不正常问题
- 谱聚类算法详解
- 西红柿烧茄子---贝太厨房
- Linux 性能监控、测试、优化工具
- IOS开发 阅读器类APP可用开源框架介绍(1)
- Xshell登录Ubuntu12.04