复习总结06：Kafka

来源：互联网发布：资源商城源码编辑：程序博客网时间：2024/06/10 18:25

一、Kafka概述

核心组件：

Topic：消息分类，接收到的消息按照Topic进行分类。

Producer：发送消息。

Consumer：接收消息。

broker：每个Kafka实例。

zookeeper：依赖集群保存meta信息

集群模型

二、Kafka常用命令

1、创建topic

bin/kafka-topics.sh --create --zookeeper server:2181 --replication-factor1 --partitions1 --topic test

2、kafka生产者客户端命令

bin/kafka-console-producer.sh --broker-list server:9092 --topic test

3、kafka消费者客户端命令

bin/kafka-console-consumer.sh -zookeeper server:2181 --topic test

4、kafka服务启动

bin/kafka-server-start.sh config/server.properties

5、Kafka服务停用

bin/kafka-server-stop.sh

三、Kafka Java API

见总结5：KafkaAPI

四、Flume & Kafka 完成监测日志

实时检测1：flume监测，Kafka消费者输出

private static final String topic = "itcast";
private static final Integer threads = 2;
 public static void main(String[] args) {
   
   Properties props = new Properties();
   props.put("zookeeper.connect", "server:2181,server02:2181,server03:2181");
   props.put("group.id", "vvvvv");
   props.put("auto.offset.reset", "smallest");
   
   //创建消费者连接器
   ConsumerConfig config = new ConsumerConfig(props);
   ConsumerConnector consumer =Consumer.createJavaConsumerConnector(config);
   
   Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
   topicCountMap.put(topic, threads);
   //Map下是字符串和一个List，List下是Kafka字节流
   Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
   //获取某Topic下的消费者流
   List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topic);
   
   //遍历，读取
   for(final KafkaStream<byte[], byte[]> kafkaStream : streams){
      new Thread(new Runnable() {
         @Override
         public void run() {
            for(MessageAndMetadata<byte[], byte[]> mm : kafkaStream){
               String msg = new String(mm.message());
               System.out.println(msg);
            }
         }
      }).start();
   }
}

五、Kafka Producer-->>--KafkaSpout-->>--Bolt-->>--Redis

①Kafka Producer：适用于其他任何形式的生产者

public static void main(String[] args) {
    String TOPIC = "ccc";
    Properties props = new Properties();
    props.put("serializer.class", "kafka.serializer.StringEncoder");
    props.put("metadata.broker.list", "server:9092,server02:9092,server03:9092");
    props.put("request.required.acks", "1");
    props.put("partitioner.class", "kafka.producer.DefaultPartitioner");
    Producer<String, String> producer = new Producer<String, String>(new ProducerConfig(props));
    //每隔0.1秒发送一条订单信息
    for (int messageNo = 1; messageNo < 10000; messageNo++) {
        producer.send(new KeyedMessage<String, String>(TOPIC, messageNo + " ",new OrderInfo().random() ));
        try {
            Thread.sleep(100);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}

②Kafka2StormTopologyMain

public static void main(String[] args) throws Exception{
    TopologyBuilder topologyBuilder = new TopologyBuilder();
    //设定Spout为KafkaSpout
    topologyBuilder.setSpout("kafkaSpout",new KafkaSpout(new SpoutConfig(new ZkHosts("server:2181,server02:2181,server03:2181"),
              "ccc","/myKafka","kafkaSpout")),1);
    //设定Bolt，该Bolt完成到redis的数据存储
    topologyBuilder.setBolt("mybolt1",new ParserOrderMqBolt(),1).shuffleGrouping("kafkaSpout");
    Config config = new Config();
    config.setNumWorkers(1);
   //3、提交任务 -----两种模式 本地模式和集群模式
    if (args.length>0) {
    StormSubmitter.submitTopology(args[0], config, topologyBuilder.createTopology());
    }else {
    LocalCluster localCluster = new LocalCluster();
    localCluster.submitTopology("storm2kafka", config, topologyBuilder.createTopology());
    }
}

③Bolt：缓存到Redis

        JedisPoolConfig config = new JedisPoolConfig();
        config.setMaxIdle(5);
        config.setMaxTotal(1000 * 100);
        config.setMaxWaitMillis(30);
        config.setTestOnBorrow(true);
        config.setTestOnReturn(true);
        /**
         *如果你遇到 java.net.SocketTimeoutException: Read timed out exception的异常信息
         *请尝试在构造JedisPool的时候设置自己的超时值. JedisPool默认的超时时间是2秒(单位毫秒)
         */
        pool = new JedisPool(config, "127.0.0.1", 6379);  //设置JedisPool，获得JedisPool对象
  public void execute(Tuple input) {
      
        //获取发送过来的数据，是一个json
         String string = new String((byte[]) input.getValue(0));
         //解析json
         OrderInfo orderInfo = (OrderInfo) new Gson().fromJson(string, OrderInfo.class);
        
         //获得jedis实例
         Jedis jedis = pool.getResource();
      
         String bid = getBubyProductId(orderInfo.getProductId(), "c");//获取产品ID，
         jedis.incrBy(bid + "total Amount", orderInfo.getProductPrice());//将本商品ID的销售额累加！在原来的value基础上增加新订单的销售额
         String bid1 = getBubyProductId(orderInfo.getProductId(), "b");
         jedis.incrBy(bid1 + "total Amount", orderInfo.getProductPrice());
         String bid2 = getBubyProductId(orderInfo.getProductId(), "s");
         jedis.incrBy(bid2 + "total Amount", orderInfo.getProductPrice());
         String bid3 = getBubyProductId(orderInfo.getProductId(), "p");
         jedis.incrBy(bid3 + "_total Amount", orderInfo.getProductPrice());
         jedis.close();
  }

④

在本地执行redis-server，然后启动Kafka生产者，启动Topology将信息加载到本地的Redis中。

然后打开redis-cli ，执行 get id+total Amount 获得该商品的销售额。

阅读全文

0 0