Flume+Kafka环境构建和实战
来源:互联网 发布:网络事件 2017 编辑:程序博客网 时间:2024/06/05 04:55
1. 准备工作
apache上下载 apache-flume-1.7.0, apache-kafka_2.12-0.11, apache-zookeeper-3.4.9
下载后分别解压至/home/hadoop/bigdata并重命名目录为flume, kafka, zk, (便于在.bashrc中export各个HOME变量及后续升级)
2. 配置并启动zookeeper
zk配置主要有两个方面
2.1 conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes. // 下面这两个目录要提前手工建好
dataDir=/home/hadoop/bigdata/zk/zkdata
dataLogDir=/home/hadoop/bigdata/zk/zkdatalog
server.1=master:2888:3888
server.2=ndh-slave01:2888:3888
server.3=slave02:2888:3888
# the port at which the clients will connect
clientPort=2181
2.2 zkdata/myid
这里面主要保存与conf/zoo.cfg中server.N对应的数字N,如master主机上是server.1, myid中即写1,其它两台机器同理。
2.3 启动并验证zk
把zookeeper目录及刚修改的配置文件一并拷贝到另两台slave机器上,并分别执行下面两个命令,以确保正常启动。
./zkServer.sh start
./zkServer.sh status
如遇到./zkServer.sh status报错问题,通常都是配置和操作的问题,请参考先前文章:http://blog.csdn.net/wqhlmark64/article/details/73250662。
3. flume配置和启动
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
简要来说,其设计目标和优势如下:
当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Best effort(数据发送到接收方后,不会进行确认)。
(2) 可扩展性
Flume采用了三层架构,分别为agent,collector和storage,每一层均可以水平扩展。其中,所有agent和collector由master统一管理,这使得系统容易监控和维护,且master允许有多个(使用ZooKeeper进行管理和负载均衡),这就避免了单点故障问题。
(3) 可管理性
所有agent和colletor由master统一管理,这使得系统便于维护。多master情况,Flume利用ZooKeeper和gossip,保证动态配置数据的一致性。用户可以在master上查看各个数据源或者数据流执行情况,且可以对各个数据源配置和动态加载。Flume提供了web 和shell script command两种形式对数据流进行管理。
(4) 功能可扩展性
用户可以根据需要添加自己的agent,collector或者storage。此外,Flume自带了很多组件,包括各种agent(file, syslog等),collector和storage(file,HDFS等)。
很明显,使用flume,主要就是确定好数据源和目标接收地,以及flume agent相关的source, channel, sink.
agent.sinks=k1
agent.channels=c1
// 定义各source,sink,channel的属性
agent.sources.s1.type=exec
agent.sources.s1.command = tail -f -n+1 /home/hadoop/bigdata/spark/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-master.out // 这里取了spark的任务日志文件作为监控源,指定任何有流式输入的文件均可
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100
agent.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink // lib/flume-ng-kafka-sink-1.7.0.jar, lib/flume-ng-core-1.7.0.jar中有,注意最后的KafkaSink首字母大写,执行过程中曾因把开关的K小写了,导致启动报错找不到类
agent.sinks.k1.brokerList=master:9092
agent.sinks.k1.topic=test0 // 与第4节中Kafka定义的topic相一致
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1
3.1.2 特定目录下新增文件
./bin/kafka-topics.sh --create --zookeeper master:2181 --partitions 1 --replication-factor 3 --topic test0 //创建名字为test0的topic, 1个分区,3份副本
./bin/kafka-topics.sh --list --zookeeper master:2181 // 查看创建的topic
test
test-replica-3
test0
test1
./bin/kafka-topics.sh --describe --zookeeper master:2181 --topic test0 // 查看topic test0的状态信息
Topic:test0PartitionCount:1ReplicationFactor:3Configs:Topic: test0Partition: 0Leader: 0 Replicas: 0,2,1Isr: 0,2,1
- leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
- replicas:列出了所有的副本节点,不管节点是否在服务中.
- isr:是正在服务中的节点.
./bin/kafka-console-producer.sh --broker-list master:9092 --topic test0 // 命令行中通过生产者向test0的topic中写数据,即除了flume中向test0写外,命令行中也在写
> iko nknxlr mwqoi
./bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test0 --from-beginning //消费test0的topic中的数据
17/09/14 19:15:55 INFO master.Master: Registered app Spark Pi with ID app-20170914191555-0025
17/09/14 19:15:55 INFO master.Master: Launching executor app-20170914191555-0025/0 on worker worker-20170825172933-10.76.9.198-40179
17/09/14 19:37:33 INFO master.Master: Received unregister request from application app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: Removing app app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:50653 got disassociated, removing it.
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:59059 got disassociated, removing it.
17/09/14 19:37:34 WARN master.Master: Got status update for unknown executor app-20170914191555-0025/0
iko nknxlr mwqoi
如3.1.1中所说,没有大写kafkaSink中的首字母,导致类找不到。
./bin/flume-ng agent --name agent --conf conf --conf-file conf/flume-conf.properties -Dflume.root.logger=INFO,console &
17/09/14 19:15:55 INFO master.Master: Registered app Spark Pi with ID app-20170914191555-0025
17/09/14 19:15:55 INFO master.Master: Launching executor app-20170914191555-0025/0 on worker worker-20170825172933-10.76.9.198-40179
17/09/14 19:37:33 INFO master.Master: Received unregister request from application app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: Removing app app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:50653 got disassociated, removing it.
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:59059 got disassociated, removing it.
17/09/14 19:37:34 WARN master.Master: Got status update for unknown executor app-20170914191555-0025/0
iko nknxlr mwqoi
17/09/14 19:15:55 INFO master.Master: Registered app Spark Pi with ID app-20170914191555-0025
17/09/14 19:15:55 INFO master.Master: Launching executor app-20170914191555-0025/0 on worker worker-20170825172933-10.76.9.198-40179
17/09/14 19:37:33 INFO master.Master: Received unregister request from application app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: Removing app app-20170914191555-0025
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:50653 got disassociated, removing it.
17/09/14 19:37:33 INFO master.Master: 10.76.9.230:59059 got disassociated, removing it.
17/09/14 19:37:34 WARN master.Master: Got status update for unknown executor app-20170914191555-0025/0
iko nknxlr mwqoi
- Flume+Kafka环境构建和实战
- Kafka实战-Flume到Kafka
- kafka和flume整合
- flume和kafka区别
- Flume和Kafka整合
- flume和kafka对接
- 集成kafka和flume
- Storm环境构建和实战
- kafka和flume的对比
- flume整合kafka和hdfs
- Flume和Kafka整合安装
- flume kafka测试环境配置 windows
- zookeeper+kafka+storm+flume 环境搭建
- 均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka
- flume+kafka
- flume+kafka
- flume kafka
- flume + kafka + sparkStreaming + HDFS 构建实时日志分析系统
- 2017 ACM-ICPC乌鲁木齐网络赛 B. Out-out-control cars【计算几何||判断射线与线段是否相交】
- 薪水涨幅查询
- 数据库视频总结
- N
- UE4 连接自定义服务器
- Flume+Kafka环境构建和实战
- 关于AFUrlSessionManager下载文件报The file couldn’t be opened because the specified URL type isn’t support问题
- Android 性能优化:使用 Lint 优化代码、去除多余资源
- 实训第八天
- maven 阿里下载源 setting.xml
- CSS——important和盒模型
- JavaScript基础之浏览器对象
- 获取url里面的参数,并转化为json
- 解释型语言与编译型语言有什么不同