Hive采集数据框架flume

在hadoop的工作流程中,前期的数据采集是很重要的一步,flume在数据采集中的作用显然也是相当重要的.

数据来源:

日志来源于apache/Nginx 应用服务器的日志   -->  HDFS Flume+kafka    --->  Storm /Spark  Streaming

框架配置:

Agent   -->  每台应用服务器日志的机器 运行一个agent
source/channel/sink


source  应用服务器的日志目录或文件，数据源
channel   source主动将数据pash到管道中，内存和磁盘安全性，可靠性，借助管道写到本地磁盘


sink： 写到HDFS


Event是数据传输的基本单元
Flume以事件的形式将数据从源头传送到最终目的地
Event由可选的header和载有数据的一个byte array构成
载有的数据flume是不透明的
Header是容纳了key-value字符串对的无序集合，key在集合内是唯一的。
Header可以在上下文路由中使用扩展

企业中应用时，日志按日期生成，可以将服务器的时间放到头里，数据真正放到byte array中

flume框架特点:

复杂流动性
   Flume允许用户进行多级流动到最终目的地，也允许扇出流（一到多）、扇入流(多到一)的、故障转移和失败处理。fan-in   fan-out
可靠性
    事务性的数据传递，保证了数据的可靠性。
    可恢复性
      通道可以以内存或文件的方式实现，内存更快，但是不可恢复，而文件虽然比较慢但提供了可恢复性。   

Flume的安装和部署
1).首先在官网下载解压安装
$ tar -zxf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/


2).配置${FLUME_HOME}/conf/
$ cp  flume-env.sh.template flume-env.sh
修改flume-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67


3).拷贝HDFS依赖及配置的jar包到${FLUME_HOME}/lib(保证flume能够稳定的运行)


${HADOOP_HOME}/
$ cp share/hadoop/common/hadoop-common-2.5.0-cdh5.3.6.jar share/hadoop/common/lib/commons-configuration-1.6.jar share/hadoop/common/lib/hadoop-auth-2.5.0-cdh5.3.6.jar share/hadoop/hdfs/hadoop-hdfs-2.5.0-cdh5.3.6.jar /opt/modules/cdh/flume-1.5.0-cdh5.3.6/lib/


4).拷贝HDFS相关的配置文件到flume的conf
${HADOOP_HOME}/etc/hadoop    -->  ${FLUME_HOME}/conf
$ cp  etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml    /opt/modules/cdh/flume-1.5.0-cdh5.3.6/conf/

[测试案例]：需求：telnet(通过telnet交互显示信息) 
1.生成agent模板
$ cp flume-conf.properties.template flume-conf.properties
$ cp flume-conf.properties a1.conf


2.编辑agent配置文件（source  channel sink）



//配置a1.Agent的  sources /sinks /channels 名称
//a1指的是Agent的name，需要与启动agent的--name相对应
a1.sources = r1      #当前agent的sources名称
a1.sinks = k1        #当前agent的sinks名称
a1.channels = c1     #当前agent的channels名称


// 配置sources的来源
a1.sources.r1.type = netcat     #sources的类型
a1.sources.r1.bind = bigdata.ibeifeng.com   #绑定的主机
a1.sources.r1.port = 44444      #监听的端口


//配置sink的输出格式
a1.sinks.k1.type = logger       #输出到日志 

//配置channels的属性
# Use a channel which buffers events in memory
a1.channels.c1.type = memory        #缓冲到内存中
a1.channels.c1.capacity = 1000    #存储到channels中的events的最大数据
a1.channels.c1.transactionCapacity = 100    数量##每次event在chnnel传输的最大的

//将对应的source和sink绑定到channel
# Bind the source and sink to the channel  
a1.sources.r1.channels = c1       
a1.sinks.k1.channel = c1 

3.yum 安装 telnet
# yum  -y install telnet


4.启动agent  ${FLUME_HOME}/
$ bin/flume-ng agent --conf conf --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console


--conf 指定配置文件所在目录
        --name 指定agent的名称,与a1.conf文件指定的一致
        --conf-file 指定agent配置文件名称
        -Dflume.root.logger=INFO,console 日志输出到console


Event: { headers:{} body: 48 65 6C 6C 6F 20 77 6F 72 6C 64 21 0D          Hello world!. }

5.启动telnet
$ telnet {hostname} 44444


【退出telnet】
Ctrl+]
telnet>quit 
Connection closed.


6.停止agent
${FLUME_HOME}
Ctrl+c 退出flume agent同时也就退出了telnet