Flume——安装与配置
来源:互联网 发布:十宗罪网络剧百度云 编辑:程序博客网 时间:2024/05/16 05:23
1)Flume简介
这样,就完成了在一条机器上flume的安装,键入flume可以看到flume所有命令项参数:
将配置好的flume整个目录通过scp -r copy到集群中其它节点上。这样在命令行中运行flume master启动主节点,键入flume node 启动其它节点。然而,在实际环境中,需要用户进行适当调整,这可以参考 http://archive.cloudera.com/cdh/3/flume/UserGuide/。
Flume是Cloudera提供的一个海量日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume还提供了对数据进行的简单处理,并写到各种数据接收方(可定制)的能力。Flume说白了就是一个融入Hadoop当中的分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
2)Flume安装
Flume提供了两种安装方式,第一种和普通的unix环境安装软件一样,使用apt-get install flume的形式实现;另外一种是下载tar包安装方式。因为对于Flume需要安装到多台机器上,一般不建议使用第一种安装,所以接下来就对tar安装方式进行说明:
首先,从https://github.com/cloudera/flume/downloads下载所需的tar包,这里将以flume-0.0.3.tar.gz 部署到hadoop集群中为例,将其解压到$FLUME_HOME目录下(自定义),最好是和hadoop集群安装目录一致,这样方便管理。
然后,需要将 $FLUME_CONF_DIR添加到环境变量中,也就是通过vim /etc/profile:
点击(此处)折叠或打开
- $FLUME_CONF_DIR = $FLUME_HOME/conf
最后,为了运行的便利,将flume安装路径以及zookeeper安装路径添加到环境变量中,之所以需要有zookeeper,是因为flume对其有所依赖。
点击(此处)折叠或打开
- export FLUME_HOME=/usr/local/hadoop/flume-0.9.3
- export PATH=$FLUME_HOME/bin:$PATH
- export ZOOKEEPER=/usr/local/hadoop/zookeeper-3.3.4-cdh3u3
- export PATH=$ZOOKEEPER/bin:$PATH
点击(此处)折叠或打开
- usage: flume command [args...]
- commands include:
- dump Takes a specified source and dumps to console
- node Start a Flume node/agent (with watchdog)
- master Start a Flume Master server (with watchdog)
- version Dump flume build version information
- node_nowatch Start a flume node/agent (no watchdog)
- master_nowatch Start a Flume Master server (no watchdog)
- class <class> Run specified fully qualified class using Flume environment (no watchdog)
- ex: flume com.cloudera.flume.agent.FlumeNode
- classpath Dump the classpath used by the java executables
- shell Start the flume shell
- killmaster Kill a running master
- dumplog Takes a specified WAL/DFO log file and dumps to console
3)Flume配置
进入$FLUME_HOME/conf目录,其中有3个文件,flume-conf.xml、flume-site.xml、log4j.properties ,第一个是flume默认配置文件,第二个是用户配置文件。有的版本没有flume-site.xml,这时候会有个模板文件,把它cat或是mv进flume-site.xml就okay了。下面是简要配置:
点击(此处)折叠或打开
- <configuration>
- <property>
- <name>flume.master.servers</name>
- <value>hadoop-01</value> // 可以设置多个服务主节点,根据集群大小设置
- <description>This is the address for the config servers status
- server (http)
- </description>
- </property>
- <property>
- <name>flume.collector.event.host</name> // 也可以多个
- <value>hadoop-02</value>
- <description>
- This is the host name for default "remote" collector.
- </description>
- </property>
- <property>
- <name>flume.collector.port</name>
- <value>35853</value>
- <description>
- This is default tcp port that the collector listens to in order to receive events it is collecting.
- </description>
- </property>
- </configuration>
- Flume——安装与配置
- Flume 安装与配置
- flume安装与配置
- Flume单机安装与配置
- Flume的安装与配置
- flume简介与安装配置
- 【配置】flume安装配置
- flume安装及配置
- flume安装及配置
- flume安装配置
- flume安装及配置
- Flume安装和配置
- flume安装配置
- flume安装配置手册
- 安装配置flume
- Flume安装配置
- flume简单安装配置
- Flume安装配置实践
- flume 伪分布式配置设置方法
- c #问题1
- Android平台上如何让应用程序获得系统权限以及如何使用platform密钥给apk签名
- 前端的几种特殊样式
- iOS tabbarviewControll的简单使用设置
- Flume——安装与配置
- Android不让弹出键盘挡住View
- TSEvent消息系统.c++版小样
- 不靠谱
- 题目1384:二维数组中的查找(剑指offer-面试题3)
- android 线程池
- C语言中##和#的用法
- ExecutorService常用方法和newFixedThreadPool创建固定大小的线程池
- ubuntu下使用qemu-system-arm模拟arm环境