flume学习(一)——安装和一个简单的netcat程序
来源:互联网 发布:java防止重复提交 编辑:程序博客网 时间:2024/04/30 08:10
flume学习(一)——安装和一个简单的netcat程序
本文主要参考:
http://flume.apache.org/FlumeUserGuide.html#configuring-individual-components
首先介绍一下flume的主要作用
apache flume 是一个分布式,可靠的,可用的系统,主要用于高效的数据收集,从不同源中移动大量日志数据到中央存储仓库中。
apache flume不是严格的只能收集日志数据。但是数据源是自定义的,flume能够用于传递大量的事件数据,包括但不限于网络传输的数据,社交媒体产生的数据,email信息和更多可能的数据源。
总结说来,flume(斜槽)的作用就是把数据高效稳定的传输到中央存储仓库中(例如:hdfs)。
flume的组成
flume的事件由两部分组成,分别是含有byte的数据流——payload和可选的(可以有也可以没有的)字符串属性集合组成。flume代理是一个jvm进程。它通过决定事件从外部的源到哪一个目的地来管理组件(它来管理数据的流向,从哪里到哪里)。
flume的agent由三部分组成:source、channel、sink
需要介绍的概念是fan-in和fan-out。
fan-in和fan-out可以理解为散入和散出。都是针对source和channel来说的。其中fan-in(散入)是指从多个source进入一个channel中,fan-out(散出)是指从一个source进入多个channel中。
下面下载并安装flume
1、到官网上下载最新的flume。
2、tar开到执行的目录 tar -zxvf flume-x.x.x.x
3、添加环境变量,修改/etc/profile 中的内容,添加/home/flume/bin到path中
4、复制flume-env.sh.template 和flume-conf.properties.template文件
cp flume-env.sh.template flume-env.sh
cp flume-conf.properties.template flume-conf.properties
这样flume的安装就可以了,现在尝试运行一个netcat的例子
5、修改flume-conf.properties文件
# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c16、启动名字为a1的agent。
flume-ng agent -n a1 -c conf -f /home/flume/conf/flume-conf.properties -Dflume.root.logger=INFO,console
7、测试能否正常监听:
nc localhost 444444
然后输入内容,查看flume中a1的情况。
现在,基本的flume代理就已经能够正常的运行了。
0 0
- flume学习(一)——安装和一个简单的netcat程序
- Flume学习笔记(一)安装与简单使用
- 3.Flume简单应用-netcat
- Flume的安装及简单的使用(一)
- 使用flume问题总结3——一个使用flume拦截器和选择器的简单实例
- flume的安装和简单使用
- flume netcat source 监听 44444 -记flume官方文档的简单例子
- Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理
- Servlet学习日记一——一个简单的HelloWorldServlet程序
- flume学习(一)
- 一个简单的C++程序(一)
- (一)一个简单的Struts程序
- Flume学习(一)Flume初始
- Flume的安装和简单的入门实例
- Fume安装配置 在flume的conf下新建netcat-logger.conf
- Flume架构的简单学习
- netcat的安装
- linux学习(2):一个非常好用的linux传输工具Netcat
- 数据结构用递归和非递归方法实现二分查找法
- 计算一个数组中相同元素对的数目
- MQTT初体验mosquitto的安装和使用
- sun.misc.BASE64Encoder找不到jar包的解决方法
- POJ 1837 Balance DP 二维背包
- flume学习(一)——安装和一个简单的netcat程序
- 一次生产事故的优化经历
- 查看linux的ftp服务是否安装
- 波动数列 解题报告
- SAP成本会计分录大全
- Swift 获得字符串String长度
- 微服务与持续交付
- python 数独游戏
- Redis 持久化方式