让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
来源:互联网 发布:咖啡厅可行性报告数据 编辑:程序博客网 时间:2024/05/16 01:12
问题导读:
1.什么是flume?
2.如何安装flume?
3.flume的配置文件与其它软件有什么不同?
一、认识flume
1.flume是什么?
这里简单介绍一下,它是Cloudera的一个产品
2.flume是干什么的?
收集日志的
3.flume如何搜集日志?
我们把flume比作情报人员
(1)搜集信息
(2)获取记忆信息
(3)传递报告间谍信息
flume是怎么完成上面三件事情的,三个组件:
source: 搜集信息
channel:传递信息
sink:存储信息
上面有点简练,详细可以参考Flume内置channel,source,sink三组件介绍
上面我们认识了,flume。
下面我们来安装flume1.5
二、安装flume1.5
1.下载安装包
(1)官网下载
apache-flume-1.5.0-bin.tar.gz
apache-flume-1.5.0-src.tar.gz
(2)百度网盘下载
链接: http://pan.baidu.com/s/1dDip8RZ 密码: 268r
2.分别解压:
下载之后,我们看到下面两个包:
(1)上传Linux
上面两个包,可以下载window,然后通过WinSCP,如果不会 新手指导:使用 WinSCP(下载) 上文件到 Linux图文教程
(2)解压包
解压apache-flume-1.5.0-bin.tar.gz,解压到usr文件夹下面
解压apache-flume-1.5.0-src.tar.gz,解压到usr文件夹下面
(3) src里面文件内容,覆盖解压后bin文件里面的内容
(4)重命名
3.配置环境变量:
配置环境变量生效
3.建立配置文件
这里面的配置文件还是比较特别的,不同于以往我们安装的软件,我们这里可以自己建立配置文件。
首先我们建立一个 example文件
,然后把下面内容,粘帖到里面就可以了,注意不要有乱码,有乱码的话,可以直接创建一个文件,然后上传。方法也有很多,能解决就好。
对于下面红字部分,记得创建文件夹,并且注意他们的权限一致,这个比较简单的,就不在书写了。对于下面的配置项,可以参考flume参考文档,这里面的参数很详细。
4.启动flume
上面注意红字部分,是我们自己建立的文件,而对于绿色部分,则是输出调试信息,也可以在配置文件中配置。
5.我们启动flume之后
会看到下面信息,并且信息不停的重复。这个其实是在空文件的时候,监控的信息输出。
一旦有文件输入,我们会看到下面信息。
比如我们在监控文件夹下,创建一个test1文件,内容如下
这时候flume监控shell,会有相应的如下下面变化
上传成功之后,我们去hdfs上,查看上传文件:
这样我们做到了flume上传到hadoop2.2。
1.什么是flume?
2.如何安装flume?
3.flume的配置文件与其它软件有什么不同?
一、认识flume
1.flume是什么?
这里简单介绍一下,它是Cloudera的一个产品
2.flume是干什么的?
收集日志的
3.flume如何搜集日志?
我们把flume比作情报人员
(1)搜集信息
(2)获取记忆信息
(3)传递报告间谍信息
flume是怎么完成上面三件事情的,三个组件:
source: 搜集信息
channel:传递信息
sink:存储信息
上面有点简练,详细可以参考Flume内置channel,source,sink三组件介绍
上面我们认识了,flume。
下面我们来安装flume1.5
二、安装flume1.5
1.下载安装包
(1)官网下载
apache-flume-1.5.0-bin.tar.gz
apache-flume-1.5.0-src.tar.gz
(2)百度网盘下载
链接: http://pan.baidu.com/s/1dDip8RZ 密码: 268r
2.分别解压:
下载之后,我们看到下面两个包:
(1)上传Linux
上面两个包,可以下载window,然后通过WinSCP,如果不会 新手指导:使用 WinSCP(下载) 上文件到 Linux图文教程
(2)解压包
解压apache-flume-1.5.0-bin.tar.gz,解压到usr文件夹下面
解压apache-flume-1.5.0-src.tar.gz,解压到usr文件夹下面
(3) src里面文件内容,覆盖解压后bin文件里面的内容
(4)重命名
3.配置环境变量:
配置环境变量生效
3.建立配置文件
这里面的配置文件还是比较特别的,不同于以往我们安装的软件,我们这里可以自己建立配置文件。
首先我们建立一个 example文件
,然后把下面内容,粘帖到里面就可以了,注意不要有乱码,有乱码的话,可以直接创建一个文件,然后上传。方法也有很多,能解决就好。
对于下面红字部分,记得创建文件夹,并且注意他们的权限一致,这个比较简单的,就不在书写了。对于下面的配置项,可以参考flume参考文档,这里面的参数很详细。
4.启动flume
上面注意红字部分,是我们自己建立的文件,而对于绿色部分,则是输出调试信息,也可以在配置文件中配置。
5.我们启动flume之后
会看到下面信息,并且信息不停的重复。这个其实是在空文件的时候,监控的信息输出。
一旦有文件输入,我们会看到下面信息。
比如我们在监控文件夹下,创建一个test1文件,内容如下
这时候flume监控shell,会有相应的如下下面变化
上传成功之后,我们去hdfs上,查看上传文件:
这样我们做到了flume上传到hadoop2.2。
完毕
地址:http://www.aboutyun.com/thread-7949-1-1.html
0 0
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2 文档 安装问题
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- flume安装和使用flume1.5传输数据(日志)到hadoop2.2
- 安装和使用flume1.5传输数据(日志)到hadoop2.2
- Flume学习11_Flume1.5.0的安装使用及传输数据到Hadoop2.2
- 使用flume1.6.0直接向hadoop2.5收集数据
- CentOS7安装Flume-ng(Hadoop2.6,Flume1.6)
- 分布式数据日志收集之Flume的安装和使用
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- flume1.4.0安装及简单使用
- 日志采集框架Flume的安装及使用
- Flume安装及使用
- Flume 日志收集、使用Flume收集日志到HDFS
- spring 远程调用
- [bzoj4299]Codechef FRBSUM
- centos强制删除非空文件夹
- Android 无需root实现apk的静默安装
- JavaScript Cookies
- 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
- Android APK反编译
- MySQL执行外部sql脚本文件的命令
- Fragment使用的基本流程
- HQL && SQL
- 老段Hadoop2.x 集群搭建笔记
- 图论——nkoj1636变化的桥(多维spfa)
- Android WebView的简单使用
- js快速求数组之和