Flume采集数据发送到elasticsearch 2.2上

来源：互联网发布：淘宝子账号怎么登陆编辑：程序博客网时间：2024/06/16 06:26

升级elasticsearch到2.2，kibana升级到4.4.1，各种报错，各种有问题。

下面是整理的文档：

elasticsearch 2.2安装

[root@laiym ~]# tar zxvf elasticsearch-2.2.0.tar.gz

[root@laiym ~]# mv elasticsearch-2.2.0/usr/local/elasticsearch

[root@laiym ~]# vim/usr/local/elasticsearch/config/elasticsearch.yml

#修改17行：cluster.name: es

#修改54行：network.host: 192.168.1.159

[root@laiym ~]# useradd es

[root@laiym ~]# chown -R es:es/usr/local/elasticsearch/

elasticsearch 2.2启动 2.2版本不能用root启动elasticsearch程序

[root@laiym ~]# su - es

[es@laiym ~]$ cd /usr/local/elasticsearch/bin/

[es@laiym ~]$ ./elasticsearch

安装kibana 4.4.1

[root@laiym ~]# tarzxvf kibana-4.4.1-linux-x64.tar.gz

[root@laiym ~]# mvkibana-4.4.1-linux-x64 /usr/local/kibana

启动kibana前，保证elasticsearch是正常运行的，否则报错。

[root@laiym ~]# cd /usr/local/kibana/bin/

[root@laiym bin]# ./kibana

jar包链接: http://pan.baidu.com/s/1eRidpNs 密码: t7cy

将elasticsearch-sink2-1.0.jar和elasticsearch-sink2-assembly-1.0.jar导入服务器中。

[root@laiym ~]# cd /usr/local/flume/lib/

[root@laiym lib]# rm -rf guava-*.jarjackson-core-*.jar

[root@laiym lib]# mv /root/elasticsearch-sink2* .

编辑配置文件

[root@laiym lib]# cd ../conf/

[root@laiym lib]# vim flume-es.conf

#其他的source和channel的配置不在重复说明了

#配置sink的详情

agent.sinks.elasticsearch.type=com.frontier45.flume.sink.elasticsearch2.ElasticSearchSink

agent.sinks.elasticsearch.batchSize=100

agent.sinks.elasticsearch.hostNames=192.168.1.159:9300

agent.sinks.elasticsearch.indexName=linux_secure

agent.sinks.elasticsearch.indexType=message

agent.sinks.elasticsearch.clusterName=es

agent.sinks.elasticsearch.serializer=com.frontier45.flume.sink.elasticsearch2.ElasticSearchDynamicSerializer

agent.sinks.elasticsearch.indexNameBuilder=com.frontier45.flume.sink.elasticsearch2.TimeBasedIndexNameBuilder

启动flume

[root@laiym ~]# cd /usr/local/flume/

[root@laiym flume]# ./bin/flume-ng agent -c ./conf/ -f./conf/flume-es.conf -n agent -Dflume.root.logger=INFO,console

验证

此时数据已经导入到elasticsearch中，但是因为更新到2.2版本后，elasticsearch的数据结构发生了改变，没有捕获到timestamp，无法在kibana中显示，正在解决，如果有好的建议，请留言。

0 0