Fluentd（td-agent）安装

来源：互联网发布：熊族看刀路软件下载编辑：程序博客网时间：2024/05/19 12:39

一：安装

（1）下载td-agent-2.2.1-0.el6.x86_64.rpm,下载地址:https://td-agent-package-browser.herokuapp.com/2/redhat/6/x86_64

下载安装包到到 /export/installer/文件夹下，安装.

安装后的目录为/etc/td-agent.

（2）touch /dev/shm/record.log 用于log_generator 输出日志信息的文件

（3）编辑td-agent.conf

<source>     type   kafka     host   192.168.179.18     port   9092     topics test     format json     interval 10     # socket_timeout_ms 30000         # add_prefix <tag prefix (Optional)>     # add_suffix <tag suffix (Optional)>     # max_bytes           (integer)    :default => nil (Use default of Poseidon)     # max_wait_ms         (integer)    :default => nil (Use default of Poseidon)     # min_bytes           (integer)    :default => nil (Use default of Poseidon)     # socket_timeout_ms   (integer)    :default => nil (Use default of Poseidon)    </source><match test>        type copy   <store>        type elasticsearch        index_name fluentd        type_name fluentd-type        logstash_format true        logstash_prefix fluentd-grabbed        host 192.168.179.18        port 9200        flush_interval 1s    </store>      # For debug      <store>          type file          path /tmp/copy.log         append true          buffer_type memory         flush_interval 1s      </store></match>

（4）连接ES

首先要安装 fluent-plugin-elasticsearch 插件,是 ruby gem 形式,安装机器不能连外网，可以参考我的另一篇文件关于离线安装fluent-plugin-kafka插件.

下载fluent-plugin-elasticsearch 插件所需的依赖到同一个目录下。

插件列表如下：：

elasticsearch-1.0.12.gem
elasticsearch-api-1.0.12.gem
elasticsearch-transport-1.0.12.gem
excon-0.45.4.gem
faraday-0.9.1.gem
fluent-plugin-elasticsearch-1.0.0.gem
multi_json-1.11.2.gem
multipart-post-2.0.0.gem

然后gem install 命令如下

/opt/td-agent/embedded/bin/gem install fluent-plugin-elasticsearch-1.0.0.gem

(5)安装fluent-plugin-kafka插件.

下载fluent-plugin-kafka所需依赖插件，见我的另一篇文件关于离线安装fluent-plugin-kafka插件。

下载后的插件列表如下：

cool.io-1.3.1.gem

fluentd-0.12.15.gem

fluent-plugin-kafka-0.0.15.gem

http_parser.rb-0.6.0.gem

json-1.8.3.gem

ltsv-0.1.0.gem

msgpack-0.5.12.gem

poseidon-0.0.5.gem

sigdump-0.2.3.gem

string-scrub-0.0.5.gem

thread_safe-0.3.5.gem

tzinfo-1.2.2.gem

tzinfo-data-1.2015.6.gem

yajl-ruby-1.2.1.gem

zookeeper-1.4.10.gem

然后gem install命令如下：

/opt/td-agent/embedded/bin/gem install fluent-plugin-kafka-0.0.15.gem

（5）启动td-agent

service td-agent start

0 0