linux安装flume和集成kafka测试
来源:互联网 发布:淘宝技术这十年 编辑:程序博客网 时间:2024/06/07 01:36
一.前期准备
1.1 kafka+zookeeper集群环境以安装
1.2 下载flume
本文使用flume1.7
下载地址:http://flume.apache.org/download.html
二.配置flume
2.1 上传flume
#上传下载包至/opt/softwarecd /opt/softwarerz apache-flume-1.7.0-bin.tar.gz#解压tar -zxvf apache-flume-1.7.0-bin.tar.gz#复制apache-flume-1.7.0-bin至/usr/localcp -r apache-flume-1.7.0-bin flume
2.2 配置环境变量
vi /etc/profileexport FLUME_HOME=/usr/local/flumeexport path=$PATH:$FLUME_HOME/bin保存退出重新编译profilesource /etc/profile
2.3 配置flume-env
#添加jdk路径cd /usr/local/flume/confcp -r flume-env.sh.template flume-env.shvi flume-env.shexport JAVA_HOME=/usr/local/jdk
三.测试flume+kafka
kafka接受flume监控数据
3.1 配置flume-conf
cp -r flume-conf.properties.template flume-conf.properties
vi flume-conf.properties
#配置文件信息agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=execagent.sources.s1.command=tail -F /opt/software/abc.logagent.sources.s1.channels=c1agent.channels.c1.type=memoryagent.channels.c1.capacity=10000agent.channels.c1.transactionCapacity=100#设置Kafka接收器agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink#设置Kafka的broker地址和端口号agent.sinks.k1.brokerList=192.168.32.128:9092,192.168.32.131:9092,192.168.32.132:9092#设置Kafka的Topicagent.sinks.k1.topic=flumeTest#设置序列化方式agent.sinks.k1.serializer.class=kafka.serializer.StringEncoderagent.sinks.k1.channel=c1
3.2 编写简单Shell脚本abc.sh,并修改权限为可执行权限
#定位cd /opt/software#新建abc.shvi abc.sh for((i=0;i<=50000;i++));do echo "test-"+$i>>abc.log;done
chmod 755 abc.sh
3.3 启动zookeeper和kafka
详情见:http://blog.csdn.net/a123demi/article/details/70279296
3.4 kafka消费者监听flumeTest主题
bin/kafka-console-consumer.sh --zookeeper 192.168.32.128:2181,192.168.32.131:2181,192.168.32.132:2181 --topic flumeTest --from-beginning
3.5 启动flume
./bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties -Dflume.root.logger=INFO,console
注意:-n agent中要与flume-conf配置文件中agent对应
3.6 运行abc.sh
./abc.sh
3.7 输出结果
kafka消费者接受数据
阅读全文
0 0
- linux安装flume和集成kafka测试
- 集成kafka和flume
- Flume和Kafka整合安装
- flume-ng和kafka集成的配置
- flume-ng+kafka单机安装测试
- Flume与Kafka集成
- Storm和Kafka的集成安装和测试
- 【Kafka】Kafka在Linux下安装和测试
- 【Kafka】Kafka在Linux下安装和测试
- linux集成 kafka数据通过flume发送到hadoop
- Kafka 安装和测试
- kafka安装和测试
- Kafka 安装和测试
- Kafka 安装和测试
- kafka 安装和测试
- Kafka 安装和测试
- Kafka 安装和测试
- Kafka 安装和测试
- [实例] x509 命令(读取一个证书的信息)
- json格式解析
- Android添加全局变量宏开关的三种方式
- SparseArray ArrayMap替代HashMap
- 01 sklearn Plotting Cross-Validated Predictions
- linux安装flume和集成kafka测试
- 【Database-cluster】Haproxy.cfg 使用及释义
- Mysql百万级数据库查询优化技巧
- 基于java配置的springMvc
- 我的项目
- Drawable Resource 之旅(一):BitmapDrawable 详解
- Java配置maven+jenkins+git(svn)+tomcat自动编译和部署(持续集成)
- STM32F7时钟
- AndroidUI系列--在DecorView层解决RecyclerView和ScrollView的滑动冲突