Docker内flume http source & hdfs sink
来源:互联网 发布:手机音量放大器软件 编辑:程序博客网 时间:2024/06/14 18:58
场景:
使用flume的http source 获取数据,hdfs sink将数据输入到hdfs ,下面是进行的配置和说明
Sink-hdfs
查看用户文档
http://flume.apache.org/FlumeUserGuide.html#netcat-source
修改配置文件
1. 官方文档的例子 2. 修改配置 root@master:/usr/local/flume/conf# cp flume-conf.properties hdfs-s.conf root@master:/usr/local/flume/conf# vim hdfs-s.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = http a1.sources.r1.port = 8888 # Describe the sink a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = /home/flume-log/%y-%m-%d/%H%M/%S a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute a1.sinks.k1.hdfs.useLocalTimeStamp=true # Use a channel which buffers events in memory a1.channels.c1.type = memory #a1.channels.c1.capacity = 1000 #a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 3. 注意需要改时间戳,否则会出现错误 4. 运行 root@master:/usr/local/flume/conf# flume-ng agent --conf . --conf-file hdfs-s.conf --name a1 -Dflume.root.logger=INFO,console 5. 运行结果 6. 测试发送json数据 7. 启动hadoop完全分布式集群 root@master:/usr/local/hadoop/sbin# /usr/local/hadoop/sbin/start-all.sh 8. 启动spark集群 root@master:/usr/local/hadoop/sbin# /usr/local/spark/sbin/start-all.sh 9. 会出现错误 ,flume只是放到了一个文件里,暂时和spark集群没什么关系
图片
0 0
- Docker内flume http source & hdfs sink
- flume sink hdfs异常
- flume自定义sink source
- Flume中的HDFS Sink配置
- Flume<HDFS Sink参数配置>
- Flume HDFS sink 配置手册
- Flume中的HDFS Sink配置
- flume source、sink、Channels测试
- flume之source,channel,sink
- Flume NG flume-hdfs-sink 源代码分析
- 理解flume hdfs sink round 和roll
- Flume HDFS Sink使用及源码分析
- Flume HDFS Sink使用及源码分析
- flume hdfs sink gzip 压缩的问题
- Flume中的HDFS Sink配置参数说明
- Flume-ng HDFS sink原理解析
- Flume-ng HDFS Sink “丢数据”
- 理解flume hdfs sink round 和roll
- python-strip lstrip rstrip
- 华为OJ训练之0042-170115-整形数组排序
- java迭代器解析
- C++第六次上机实验-矩阵求和
- el表达式
- Docker内flume http source & hdfs sink
- SublimeText菜单栏显示
- 0基础编程心得
- 华为OJ训练之0043-170220-蛇形矩阵
- 文件(进程间通信)
- freemarker生成word,excel工作总结
- 华为OJ训练之0044-170220- 矩阵乘法
- caffe的matlab和python接口数据的处理
- 关于java的ArraryList中赋值——不是复制,需要new新的对象,才能加入