storm单机伪分布详细
来源:互联网 发布:js设置radio选中 编辑:程序博客网 时间:2024/04/25 07:47
Zookeeper
安装zookeeper3.4.6
1. 安装配置jdk2. 修改配置文件vim conf/zoo.cfg
修改配置文件中的dataDir、dataLogDir、server.1
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/shaka/dep/zookeeper-3.3.6/data (改成自己的目录)
# the port at which the clients will connect
clientPort=2181
# set logs
dataLogDir=/home/shaka/dep/zookeeper-3.3.6/logs (改成自己的目录)
# set server
server.1=hostname:4887:5887 (改成自己的hostname或IP)
#server.2=10.162.219.52:4887:5887
#server.3=10.163.15.119:4887:5887
# add by shaka
# set max client connects
maxClientCnxns=300
版本不同修改完成后可能秒退,高版本不识别红字部分
3. 启动zookeeper
bin/zkServer.sh start
4. 启动后查看状态
bin/zkServer.sh status
5. 启动zookeeper的客户端
bin/zkCli.sh -server hostname:2181
zk客户端命令
命令行工具的一些简单操作如下:1. 显示根目录下、文件: ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
2. 创建文件,并设置初始内容: create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串
3. 获取文件内容: get /zk 确认 znode 是否包含我们所创建的字符串
4. 修改文件内容: set /zk "zkbak" 对 zk 所关联的字符串进行设置
5. 删除文件: delete /zk 将刚才创建的 znode 删除
6. 退出客户端: quit
7. 帮助命令: help
安装maven
tar zxvf apache-maven-3.3.1-bin.tar.gzvi /etc/profile
export MAVEN_HOME=/app/apache-maven-3.3.1
export PATH=$PATH:$MAVEN_HOME/bin
执行mvn –v
安装zkui
1、进入zkui目录mvn clean install
2、建立连接
ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
3、修改配置文件
vim config.cfg
zkServer=cluster-node-01:2181
4、启动及验证
启动:nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
查看:http://主机名:9090 或者 jps -l
登录账号
"username":"admin" , "password":"manager"
日志:zkui-out.log nohup.out
创建一个node: 以自己名字命名
Kafka
Kafka安装2.9.2-0.8.1.1
1、拷贝软件包2、解压
tar -xvf kafka_2.9.2-0.8.1.1.tgz 或者用 unzip kafka_2.9.2-0.8.1.1.zip
3、修改配置文件conf/server.properties:
broker.id=0;
host.name=xxx.xxx.xxx.xxx
zookeeper.connect= xxx.xxx.xxx.xxx可逗号分隔配置多个
4、修改配置文件vim log4j.properties(最新版则不需要修改)
① log4j.appender.D.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/debug.log
② log4j.appender.E.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/error.log
5、启动kafka服务
bin/kafka-server-start.sh -daemon ./config/server.properties
6、查看是否启动: jsp -l
7、创建topic主题
bin/kafka-topics.sh --create --zookeeper mystorm:2181 --replication-factor 1 --partitions 2 --topic topic-003-name
8、启动consumer
bin/kafka-console-consumer.sh --zookeeper mystorm:2181 --topic topic-003-name
9、启动productor
bin/kafka-console-producer.sh --broker-list mystorm:9092 --topic topic-003-name
在productor端输入,看consumer端的输出
实验:生成日志
log="INSERT INTO test(user,content) VALUES('你的名字','你的内容');"tail -f access.log
将日志实时传送到kafka指定主题中
nohup tail -f /home/storm/app/kafka_2.10-0.9.0.1/access.log | bin/kafka-console-producer.sh --broker-list mystorm:9092 --topic topic-003-name >logs/producer.log 2>&1 &
4 0
- storm单机伪分布详细
- Hadoop2.7.4单机模式/伪分布模式详细配置(Ubuntu)
- hadoop单机部署 伪分布
- 单机搭建伪分布SolrCloud
- hadoop安装,单机,伪分布
- hadoop 单机/伪分布配置
- hbase 单机、伪分布、完全分布部署
- hbase 单机、伪分布、完全分布部署
- Hadoop单机伪分布的搭建
- Hadoop2环境搭建(单机伪分布)
- Hadoop单机伪分布模式搭建
- Hadoop2.7.3搭建单机、伪分布环境
- hive2.0单机、伪分布搭建
- hbase1.1.12伪分布、单机搭建
- Storm 32位(伪分布)
- 在windows单机上搭建storm伪集群
- redhat 5.4部署单机伪分布Hadoop集群
- Hadoop安装教程——单机(伪分布)模式
- storm 网上中文资料搜集大全
- 新版谷歌浏览器ajax跨域访问
- 利用Target来管理项目不同环境的配置
- 使用ping钥匙临时开启SSH:22端口,实现远程安全SSH登录管理就这么简单
- jquery js 重置表单 reset()具体实现代码
- storm单机伪分布详细
- 【堆栈】堆和栈的区别
- **前端技术小讲**
- 【poj 3667】Hotel 题意&&题解&&代码(C++)
- [poj 3367] Hotel 线段树应用
- Apache无法启动,终极解决方法,适用于“应用程序无法正常启动 0xc000007b”错误
- 每天laravel-20160629|RedisTaggedCache
- Permission denied: win7下面eclipse上传本地文件到DFS && 运行M/R程序时出现的同样的错误解决方法
- java环境变量设置