Storm Kafka + Storm + HBase实例

需求

1. WordCount案例 Kafka + Storm + HBase
2. HBase表名：wordcount;
   列族：result;
   RowKey：word;
   Field：count
3. 打包集群部署运行

开发过程

1.
配置kafkaSpout,通过KafkaSpout获取Kafka集群中的数据

//从zookeeper动态读取brokerBrokerHosts hosts = new ZkHosts("172.17.11.120:2181,172.17.11.117:2181,172.17.11.118:2181");String topic="TOPIC-STORM-HBASE";String zkRoot="/storm";//用于存储当前处理到哪个OffsetSpoutConfig spoutConfig = new SpoutConfig(hosts, topic, zkRoot, SPOUTID);spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());//如何解码数据KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);

2.
实现一个Bolt用于切割字符串并记录每个单词出现的次数，关键代码

方法一

@Overridepublic void execute(Tuple input) {String line=input.getString(0);String[] words=line.split(" ");for(String word:words){if (!word.equals("")){  //  this.collector.emit(tuple(word,1));if(map.containsKey(word)){map.put(word,map.get(word)+1);}else {map.put(word,1);}}}for (Map.Entry<String,Integer> e:map.entrySet()){this.collector.emit(tuple(e.getKey(),e.getValue().toString()));} this.collector.ack(input);}@Overridepublic void declareOutputFields(OutputFieldsDeclarer declarer) {declarer.declare(new Fields("word", "count"));}

方法二

使用计数器

在Topology中

SimpleHBaseMapper mapper = new SimpleHBaseMapper().withRowKeyField("word").withCounterFields(new Fields("count"))//.withColumnFields(new Fields("count")).withColumnFamily("result");

在Bolt中可以直接传送分割后的字符串，count为1

this.collector.emit(tuple(word,1));

3.
配置HBase，存储storm输出的实时数据

Config config = new Config();config.setDebug(true);Map<String, Object> hbConf = new HashMap<String, Object>();hbConf.put("hbase.rootdir","hdfs://master:9000/hbase");hbConf.put("hbase.zookeeper.quorum","master,slave1,slave2");//不加入该项配置，会出现连接到HBase失败的错误config.put("hbase.conf", hbConf);SimpleHBaseMapper mapper = new SimpleHBaseMapper().withRowKeyField("word").withColumnFields(new Fields("count")).withColumnFamily("result");HBaseBolt hbase = new HBaseBolt("Wordcount", mapper).withConfigKey("hbase.conf");

4.
在Topology中加入spout，bolt

TopologyBuilder builder=new TopologyBuilder();builder.setSpout(SPOUTID,new KafkaSpout(spoutConfig),1);builder.setBolt(COUNT_BOLT,bolt,1).shuffleGrouping(SPOUTID);builder.setBolt(HBASE_BOLT,hbase,1).fieldsGrouping(COUNT_BOLT,new Fields("word"));

打包提交运行

没有指定拓扑名,在控制台运行，并不提交

bin/storm jar examples/Storm-Case-02-0.0.1-SNAPSHOT.jar com.horizon.storm.kafkahbase.KHTopology

指定拓扑名，提交运行

bin/storm jar examples/Storm-Case-02-0.0.1-SNAPSHOT.jar com.horizon.storm.kafkahbase.KHTopology KHTopology

Topology成功提交运行

测试一下,在Kafka启动的Producer中输入

在HBase中查看表，可以看到新生产的数据已经加入，及对应的value

之前的测试扔进去一大段话，所以表中显示这么多，但是可以发现HBase存储的value类型为十六进制

修改Bolt中传递到HBaseBolt的数据类型为String，可以使在HBase表中查看的效果为十进制

this.collector.emit(tuple(e.getKey(),e.getValue().toString()));

开发过程中遇到的问题

1.
jar包的依赖中含有配置文件，和集群环境中的配置文件冲突

删掉jar包中的文件即可

2.
本地模式无法保存Offset，参考http://blog.csdn.net/xeseo/article/details/18615761

原因：KafkaSpout初始化时，会去取spoutConfig.zkServers 和 spoutConfig.zkPort 变量的值，而该值默认是没塞的，所以是空，那么它就会去取当前运行的Storm所配置的zookeeper地址和端口，而本地运行的Storm，是一个临时的zookeeper实例，并不会真正持久化。所以，每次关闭后，数据就没了。本地模式，要显示的去配置

spoutConfig.zkServers = new ArrayList<String>(){{  add("10.1.110.20");  add("10.1.110.21");  add("10.1.110.24");  }};  spoutConfig.zkPort = 2181;  

自己实现Scheme

Scheme解码方式是与Producer端生成时加入数据的编码方式配套的

public class MyKHScheme implements Scheme{@Overridepublic List<Object> deserialize(ByteBuffer byteBuffer) {String word=decode(byteBuffer);return new Values(word);}@Overridepublic Fields getOutputFields() {return new Fields("word");}public String decode(ByteBuffer byteBuffer){Charset charset = null;CharsetDecoder decoder = null;CharBuffer charBuffer = null;charset = Charset.forName("UTF-8");decoder = charset.newDecoder();try {charBuffer  =  decoder.decode(byteBuffer);} catch (CharacterCodingException e) {e.printStackTrace();}return charBuffer.toString();}}

修改Topology中scheme为自定义的scheme

spoutConfig.scheme = new SchemeAsMultiScheme(new MyKHScheme());

在Bolt中测试一下读入的数据

正确打印出我想要的数据格式（可以改成错误的试试，我试过了）

HBase相关操作 看这里
Kafka相关操作看这里
完整代码看我的GitHub