storm相关软件安装流程

1)zookeeper的安装
第一步:添加一个storm用户：
1.1useradd storm
1.2passwd storm
第二步：
2.1使用rz工具上传zookeeper压缩包


2.1使用tar命令解压zookeeper:tar -xvf zookeeper-3.4.6.storm.tar.gz


2.3进入到zookeeper-3.4.6目录下面：cd zookeeper-3.4.6
如下图所示
2.4进入到conf目录下：cd conf
2.5 使用Vim编辑器修改如下配置文件：vi conf/zoo.cfg
1）将dataDir修改为自己zookeeper的data的文件路径
2）将set logs的存放目录dataLogDir修改为自己的存放路径
3）将set server中的server1修改为自己的IP地址或者主机名（最好是IP地址）server1=192.168.108.129：4887:5887，同时将server2、server3前面加上#号注释掉，因为我们现在只是单节点：
#server.2=cluster-node-02:4887:5887
#server.3=cluster-node-03:4887:5887
2.6将权限修改为root用户下：su。并修改权限：chmod +x *
2.7 启动zookeeper：bin/zkServer.sh start
2.8 可以查看zookeeper启动状态：bin/zkServer.sh status。当出现Mode:standalone时也就意味着你已经启动成功了。
当然最后如果你想查看zookeeper的客户端的话，你可以选择启动客户端命令：bin/zkCli.sh -server 
止于此，zookeeper已经安装完毕，下面我们可以简单介绍一下在zookeeper客户端的一些常用命令：如ls /用来查看当前zookeeper所包含的内容等
易错点：在启动zookeeper之前切记一定要修改权限：chmod +x *，否则会报错
2）编译工具maven的安装（这在我安装的时候小费了一点周折）
首先，我们应该先选择准备上传的maven压缩包；一般压缩包有两种格式：一个是.zip结尾的。另一个是.tar.gz结尾。（我个人选用的是后者）
第一步：使用rz工具上传maven的tar包


第二步;使用tar命令解压maven:tar -xvf apache-maven-3.3.9.tar.gz或者如果选择用.zip格式的压缩包可以用：unzip apache-maven-3.3.9 .zip
第三步：环境变量的配置：在apache-maven-3.3.9目录下使用如下命令：vi ~/.bash_profile
修改如下：export MVN_HOME=/home/storm/apache-maven-3.3.9 （选择自己的maven安装路径）
          export PATH=$PATH:$MVN_HOME/bin（一定要把$HOME修改为$MVN_HOME）
第四步:进入zkui目录下开始安装maven：maven install即可安装完成(记得一定是在有网的状态下才可以下载安装)
第五步：创建一个软链接：
ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar  zkui-2.0-SNAPSHOT-jar-wi
th-dependencies.jar
切记：一定要修改权限：chmod +x *
3)安装zkui工具
第一步：进入zkui目录下：cd zkui
第二步：进入vi config.cfg进行环境变量配置。将zkServer修改为：zkServer=192.168.108.129:2181。保存并退出
第三步：启动zkui：onhup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
第四步：查看是否启动成功：jps -l.如果启动成功，则会出现以下内容（具体的节点号根据自己运行情况而定）：
5129 org.apache.zookeeper.server.quorum.QuorumPeerMain
25723 sun.tools.jps.Jps
7843 kafka.Kafka
3758 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
8006 kafka.producer.ConsoleProducer
第五步：登录账号："username":admin;"passwd":manager
4）安装kafka
第一步：使用rz工具上传kafka安装包：rz
第二步：解压安装包：unzip  kafka_2.9.2-0.8.1.1.storm.zip
第三步：切换到 kafka_2.9.2-0.8.1.1下的config目录下：cd  kafka_2.9.2-0.8.1.1/config
第四步:修改配置文件：vi log4j.properties.需要修改两处：
log4j.appender.D.File = /home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/debug.
log4j.appender.E.File = /home/storm/kafka/kafka_2.9.2-0.8.1.1/logs/error.
vi server.properties 需要修改三处
broker.id=0；
host.name=master；（根据自己的主机名修改，不过也可以写主机IP地址）
zookeeper.connect=192.168.108.129:2181（根据自己主机的IP地址填写，后面的：2181不需要修改）
第五步：修改权限：chmod +x sbin/*(切记)
第六步：启动kafka服务：sbin/start-kafka.sh。启动后查看启动情况：jps -l
如果启动成功：5129 org.apache.zookeeper.server.quorum.QuorumPeerMain
29071 sun.tools.jps.Jps
7843 kafka.Kafka
3758 zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
8006 kafka.producer.ConsoleProducer
5）从producer到consumer
第一步：创建一个topic，我的命名为test-zhangbin1
bin/kafka-topics.sh --create --zookeeper 192.168.108.129:2181 --replication-factor 1 --partitions 1 --topic test-zhangbin1
第二步：查看创建的topic
bin/kafka-topics.sh --list --zookeeper 192.168.108.129:2181
第三步：开启producer服务
bin/kafka-console-producer.sh --broker-list 192.168.108.129:9092 --topic test-zhangbin1
第四步：另开窗口开启consumer服务
bin/kafka-console-consumer.sh --zookeeper 192.168.108.129:2181 --topic test-zhangbin1
此时：你需要在producer端输入，然后在consumer端查看是否输出
第五步：再开窗口，开启logger服务
打开logger文件（需要提前上传），这一目录与kafka_2.9.2-0.8.1.1同级
vi shelllogger.sh 进行如下修改：
  #log="{ \"time_local\": \"01/Nov/2015:00:01:01 +0800\", \"remote_addr\": \"182.92.77.57\", \"remote_user\": \"-\", \"body_bytes_sent\": \"5760\", \"request_time\": \"0.005\", \"status\": \"200\", \"request\": \"GET /jiayouserver/www/index.php\", \"request_method\": \"GET\", \"http_referrer\": \"-\", \"body_bytes_sent\":\"5760\", \"http_x_forwarded_for\": \"-\", \"http_user_agent\": \"Wget/1.12 (linux-gnu)\" }"
        log="INSERT INTO test (user,content) VALUES('zhou chuan','hello world');"
        let "int++"
第六步:在logger端启动
nohup sh shelllogger.sh >> shelllogger.log2 >&1&
第七步：
tail -f access.log
第八步：（）
nohup tail -f /home/storm/kafka/logger/access.log |bin/kafka-console-produce
r.sh --broker-list 192.168.108.129:9092 --topic test-zhangbin1 >logs/producer.log 2>&1&
至此完工，欢迎批评指正交流！