Flume采集数据发送到elasticsearch 2.2上

来源:互联网 发布:淘宝子账号怎么登陆 编辑:程序博客网 时间:2024/06/16 01:03

升级elasticsearch到2.2,kibana升级到4.4.1,各种报错,各种有问题。

下面是整理的文档:

elasticsearch 2.2安装

[root@laiym ~]# tar zxvf elasticsearch-2.2.0.tar.gz

[root@laiym ~]# mv elasticsearch-2.2.0/usr/local/elasticsearch

[root@laiym ~]# vim/usr/local/elasticsearch/config/elasticsearch.yml

#修改17行:cluster.name: es

#修改54行:network.host: 192.168.1.159

[root@laiym ~]# useradd es

[root@laiym ~]# chown -R es:es/usr/local/elasticsearch/

elasticsearch 2.2启动 2.2版本不能用root启动elasticsearch程序

[root@laiym ~]# su - es

[es@laiym ~]$ cd /usr/local/elasticsearch/bin/

[es@laiym ~]$ ./elasticsearch


安装kibana 4.4.1

[root@laiym ~]# tarzxvf kibana-4.4.1-linux-x64.tar.gz

[root@laiym ~]# mvkibana-4.4.1-linux-x64 /usr/local/kibana

启动kibana前,保证elasticsearch是正常运行的,否则报错。

[root@laiym ~]# cd /usr/local/kibana/bin/

[root@laiym bin]# ./kibana

jar包链接: http://pan.baidu.com/s/1eRidpNs 密码: t7cy

将elasticsearch-sink2-1.0.jar和elasticsearch-sink2-assembly-1.0.jar导入服务器中。

[root@laiym ~]# cd /usr/local/flume/lib/

[root@laiym lib]# rm -rf guava-*.jarjackson-core-*.jar

[root@laiym lib]# mv /root/elasticsearch-sink2* .

编辑配置文件

[root@laiym lib]# cd ../conf/

[root@laiym lib]# vim flume-es.conf

 #其他的source和channel的配置不在重复说明了

#配置sink的详情

agent.sinks.elasticsearch.type=com.frontier45.flume.sink.elasticsearch2.ElasticSearchSink

agent.sinks.elasticsearch.batchSize=100

agent.sinks.elasticsearch.hostNames=192.168.1.159:9300

agent.sinks.elasticsearch.indexName=linux_secure

agent.sinks.elasticsearch.indexType=message

agent.sinks.elasticsearch.clusterName=es

agent.sinks.elasticsearch.serializer=com.frontier45.flume.sink.elasticsearch2.ElasticSearchDynamicSerializer

agent.sinks.elasticsearch.indexNameBuilder=com.frontier45.flume.sink.elasticsearch2.TimeBasedIndexNameBuilder

启动flume

[root@laiym ~]# cd /usr/local/flume/

[root@laiym flume]# ./bin/flume-ng agent -c ./conf/ -f./conf/flume-es.conf -n agent -Dflume.root.logger=INFO,console

验证


此时数据已经导入到elasticsearch中,但是因为更新到2.2版本后,elasticsearch的数据结构发生了改变,没有捕获到timestamp,无法在kibana中显示,正在解决,如果有好的建议,请留言。

0 0
原创粉丝点击