kafka_2.9.2-0.8.1.1安装
来源:互联网 发布:linux切换登录用户命令 编辑:程序博客网 时间:2024/05/16 23:01
上传kafka包,解压,赋权限
unzip kafka
修改配置文件config/server.properties
broker.id=0
host.name=IP
zookeeper.connect=IP:2181
给kafka整个目录下赋权限
chmod +x sbin/*
修改log4j.properties文件
log4j.appender.D.File = /home/wyz/kafka_2.9.2-0.8.1.1/logs/debug.log
log4j.appender.E.File =/home/wyz/kafka_2.9.2-0.8.1.1/logs/error.log
jps -l
netstat -ant |grep 9092
创建topic主题
bin/kafka-topics.sh --create --zookeeper 192.168.218.160:2181 --replication-factor 1 --partitions 1 --topic topic-test-wyz
查看topic是否创建成功
bin/kafka-topics.sh --list --zookeeper 192.168.218.160:2181
启动productor
bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz
另启一个窗口,启动consumer
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz
将log注释掉,插入以下命令
log="INSERT INTO test (user,content) VALUES('wu yuezhen','hello everybody');"
启动运行
nohup sh shelllogger.sh >> shelllogger.log 2>&1 &
查看实时输出
tail -f access.log
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz
开启另一个端口,在kafka目录中执行
nohup tail -f /home/wyz/kafka_2.9.2-0.8.1.1/logger/access.log | /home/wyz/kafka_2.9.2-0.8.1.1/bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz >/home/wyz/kafka_2.9.2-0.8.1.1/logs/producer.log 2>&1 &
unzip kafka
修改配置文件config/server.properties
broker.id=0
host.name=IP
zookeeper.connect=IP:2181
给kafka整个目录下赋权限
chmod +x sbin/*
修改log4j.properties文件
log4j.appender.D.File = /home/wyz/kafka_2.9.2-0.8.1.1/logs/debug.log
log4j.appender.E.File =/home/wyz/kafka_2.9.2-0.8.1.1/logs/error.log
启动kafka服务
方法1:
在/home/wyz/kafka_2.9.2-0.8.1.1目录下执行
sbin/start-kafka.sh
/home/wyz/kafka_2.9.2-0.8.1.1/sbin下start-kafka.sh的内容为
bin/kafka-server-start.sh -daemon config/server.properties &
方法2:
在/home/wyz/kafka_2.9.2-0.8.1.1/bin目录下执行
./kafka-server-start.sh -daemon ../config/server.properties
jps -l
netstat -ant |grep 9092
创建topic主题
bin/kafka-topics.sh --create --zookeeper 192.168.218.160:2181 --replication-factor 1 --partitions 1 --topic topic-test-wyz
查看topic是否创建成功
bin/kafka-topics.sh --list --zookeeper 192.168.218.160:2181
启动productor
bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz
另启一个窗口,启动consumer
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz
在productor端口输入,看consumer端的输出
将log注释掉,插入以下命令
log="INSERT INTO test (user,content) VALUES('wu yuezhen','hello everybody');"
启动运行
nohup sh shelllogger.sh >> shelllogger.log 2>&1 &
查看实时输出
tail -f access.log
将日志实时传送到kafka指定主题中
bin/kafka-console-consumer.sh --zookeeper 192.168.218.160:2181 --topic topic-test-wyz
开启另一个端口,在kafka目录中执行
nohup tail -f /home/wyz/kafka_2.9.2-0.8.1.1/logger/access.log | /home/wyz/kafka_2.9.2-0.8.1.1/bin/kafka-console-producer.sh --broker-list 192.168.218.160:9092 --topic topic-test-wyz >/home/wyz/kafka_2.9.2-0.8.1.1/logs/producer.log 2>&1 &
0 0
- kafka_2.9.2-0.8.1.1安装
- Kafka安装配置(kafka_2.9.2-0.8.1.1)
- kafka_2.9.2-0.8.1.1安装、测试、集群
- kafka_2.9.2-0.8.1.1伪分布式集群安装
- kafka_2.9.1-0.8.1.1 集群的安装
- kafka_2.9.2-0.8.1.1 deploy部署
- 基于zookeeper-3.4.5-cdh5.7.1的kafka_2.9.2-0.8.1.1的安装
- kafka_2.11-0.10.1.1集群搭建安装配置
- _00022 Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合
- Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境整合
- Flume-1.5.0+Kafka_2.9.2-0.8.1.1+Storm-0.9.2 分布式环境
- Kafka_2.10-0.10.0.0安装与测试
- Kafka_2.10-0.10.0.0安装配置文档
- kafka_2.11-1.0.0单机安装
- Kafka_2.10-0.10.0.0集群安装与配置
- 安装 kafka_2.11-0.10.0.1 遇到的问题
- kafka_2.12-0.10.2.1集群搭建安装配置
- 8--安装kafka_2.10-0.10.2.0集群(三个节点)
- 数据库引擎
- 开源JAVA爬虫crawler4j源码分析
- 读写锁
- 性能测试分析
- iOS开发- 根据表格点击tableviewCell获取在当前屏幕中的坐标值
- kafka_2.9.2-0.8.1.1安装
- Navicat for Oracle的表触发器有哪些属性
- xcode配置包路径
- 手机web——自适应网页设计(html/css控制)
- linux下基于jrtplib库的实时传送实现
- bitmap溢出oom问题的原因以及解决
- 127. Word Ladder
- 树状数组
- 用C语言完成简单的计算器功能(1)