flume1.6.0的安装
来源:互联网 发布:淘宝买家手机号提取 编辑:程序博客网 时间:2024/04/28 15:10
下载flume的src包和bin包,解压
tar -zxvf flume-1.6.0-bin.tar.gz
tar -zxvf flume-1.6.0-src.tar.gz
将src的所有文件移动到bin下进行覆盖,重命名文件夹
cp -R apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/
mv apache-flume-1.6.0-bin/ flume
配置环境变量,查看是否生效
export FLUME_HOME=/home/wyz/flume
export JAVA_HOME=/home/wyz/jdk1.8.0_65
export HADOOP_HOME=/home/wyz/hadoop-2.6.2
export PATH=$PATH:$FLUME_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile(这个是我自己配的全局变量,正常情况下是配在自己用户下的~/.bash_profile或者~/.bashrc)
cd flume/bin
./flume-ng version
编辑example配置文件
cd ../flume/conf
vim example
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
#配置source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/home/wyz/flume/aboutyunlog
agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
#配置sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=hdfs://master01:9000/aboutyunlog
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=4
agent1.sinks.sink1.channel=channel1
#配置channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/home/wyz/flume/aboutyun_tmp123
agent1.channels.channel1.dataDirs=/home/wyz/flume/aboutyun_tmp
建立example里标红的四个文件夹
chmod +x example
启动flume(启动flume之前需要启动hdfs)
cd ../bin
./flume-ng agent -n agent1 -c conf -f /home/wyz/flume/conf/example -Dflume.root.logger=DEBUG,console
启动另一个shell窗口
cd /home/wyz/flume/aboutyunlog
vim test(随便输入点东西,wq保存,之前的那个shell命令行会开始运行,自动将更改后的aboutyunlog中的东西上传到hdfs,然后可以进行查看)
hadoop fs -text /aboutyunlog/*
(文件上传成功后,在/home/wyz/flume/aboutyunlog文件夹下,会有相应的文件名.COMPLETED字样,在flume运行时,会多一个Application的进程,可以用jps查看)
这样就模仿成了一个flume收集日志的过程
- flume1.6.0的安装
- flume1.6.0安装配置
- flume1.6.0安装
- flume1.6.0安装
- flume1.6.0安装及测试
- Linux 下Flume1.4.0的安装
- Flume1.5.0的安装、部署、简单应用
- Apache Flume1.6.0安装与部署
- flume1.6.0 linux 安装与监控
- 安装flume1.5
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- Flume1.5.0入门:安装、部署、及flume的案例
- centos(vm)下单机安装flume1.6.0(x86)
- flume1.6.0源码编译
- flume1.5.0单点安装全过程
- flume1.5部署安装deploy
- locate命令
- Android多语言实现
- LeetCode 138. Copy List with Random Pointer
- centos6u3安装stringi时遇到的问题及解决
- String类的构造
- flume1.6.0的安装
- Eclipse实现安卓客户端的版本更新
- @interface使用
- 【网络优化】超轻量级网络SqueezeNet算法详解
- iOS开发-----响应链
- Unity学习日常问题记录一
- hdu1234开门人和关门人(水题)
- 使用广播 更新Fragment
- JVM调优总结(3):垃圾回收面临的问题