从零到日志采集索引可视化、监控报警、rpc trace跟踪-日志索引

github开源  欢迎一起维护~~

之前说到日志事件的设计、如何埋点以及基于jvm的程序如何对接我们的系统，接下去我们说下日志如何进行索引。通过前三篇博客可以知道数据通过LOGGER.info等打印日志的函数就可以存入kafka，所以我们对日志建立索引只需要实时读kafka写入es，为了提高实时索引的速率，我们会部署3个实例实时消费kafka的9个partition，并且使用es的bulk load api，这样测试下来大概3台pc上能够实时每秒索引2w+的数据，实时处理kafka数据写文件大概每秒50w+的处理速度，完全能够满足我们公司现有的日志实时采集索引需求。

代码比较简单，核心代码如下：

BulkRequestBuilder bulkRequest = transportClient.prepareBulk();
int count = 0;
try {
    while (true) {
        ConsumerRecords<byte[], String> records = this.kafkaConsumerApp.poll(this.kafkaProperties.getPollTimeout());
        if (!records.isEmpty()) {
            for (ConsumerRecord<byte[], String> record : records) {
                String value = record.value();
                XContentBuilder source = this.buildXContentBuilder(value);
                if (source != null) {
                    bulkRequest.add(transportClient.prepareIndex(this.esProperties.getIndex(), this.esProperties.getDoc())
                            .setSource(source));
                } else {
                    LOGGER.info("record transform error, {}", value);
                }
                currentOffsets.put(new TopicPartition(record.topic(), record.partition()), new OffsetAndMetadata(record.offset() + 1));

                count++;
                if (count >= 1000) {
                    // 当达到了1000触发向kafka提交offset
                    kafkaConsumerApp.commitAsync(currentOffsets, new KafkaOffsetCommitCallback());
                    count = 0;
                }
            }
            int size = bulkRequest.numberOfActions();
            if (size != 0) {
                bulkRequest.execute().actionGet();
            }
            LOGGER.info("total record: {}, indexed {} records to es", records.count(), size);
            bulkRequest = transportClient.prepareBulk();
            kafkaConsumerApp.commitAsync(currentOffsets, new KafkaOffsetCommitCallback());
        }
    }
} catch (WakeupException e) {
    // do not process, this is shutdown
    LOGGER.error("wakeup, start to shutdown, {}", e);
} catch (Exception e) {
    LOGGER.error("process records error, {}", e);
} finally {
    kafkaConsumerApp.commitSync(currentOffsets);
    LOGGER.info("finally commit the offset");
    // 不需要主动调kafkaConsumer.close(), spring bean容器会调用
}

该kafka group为es-indexer-consume-group

/**
 * 根据log字符串构造XContentBuilder
 * @param line
 * @return
 */
private XContentBuilder buildXContentBuilder(String line) {
    try {
        LogDto logDto = new LogDto(line);
        return jsonBuilder()
                .startObject()
                .field(Constants.DAY, logDto.getDay())
                .field(Constants.TIME, logDto.getTime())
                .field(Constants.NANOTIME, logDto.getNanoTime())
                .field(Constants.CREATED, logDto.getCreated())
                .field(Constants.APP, logDto.getApp())
                .field(Constants.HOST, logDto.getHost())
                .field(Constants.THREAD, logDto.getThread())
                .field(Constants.LEVEL, logDto.getLevel())
                .field(Constants.EVENT_TYPE, logDto.getEventType())
                .field(Constants.PACK, logDto.getPack())
                .field(Constants.CLAZZ, logDto.getClazz())
                .field(Constants.LINE, logDto.getLine())
                .field(Constants.MESSAGE_SMART, logDto.getMessageSmart())
                .field(Constants.MESSAGE_MAX, logDto.getMessageMax())
                .endObject();
    } catch (Exception e) {
        return null;
    }
}

由于是进行日志消费，可以允许有一定的丢失和重复消费，但是应该尽量避免。

代码其实很简单，主要说明下：

• kafka消费的时候尽量自己控制offset，以防kafka出现异常的时候导致大量的重复消费和丢失当kafka consumer进行rebalance的时候需要将当前的消费者的offset进行提交同步提交offset commitSync(xxx)会等待提交完成异步提交offset commitAsync(xxx, callback)进行异步提交，无需等待
• 针对以上情况，同步提交我们可以放在rebalance的时候，异步提交应该放在正常消费的时候，并且提交出错需要打印异常进行排查错误

以上的代码是每1000条进行一个commit，如果以此poll的数据不足1000条也会进行commit，这就既保证了向es提交bulk的效率，同时也能保证正常的offset提交，该方法有一定的重复消费和丢失的情况，因为会出现向es进行了bulk 提交，但是向kafka提交offset的时候程序挂掉，也可能提交了offset之后程序挂掉，但是还没有向es进行bulk提交，但是这种情况比较少见。回头再介绍一篇如果完全确保日志有且仅消费以此的代码，需要用到rollback机制，将offset存入第三方缓存数据。

加入hook的目的是程序被kill的时候可以确保consumer的线程运行完成再退出。