zookeeper,zuki,mavn和kafka的简单部署

准本工作：1. 安装java并配置配置java环境变量

                    2. 建zookeeper文件夹和kafka文件夹

                    3.下载zookeeper，kafka，zkui，mavn的压缩包，去apache官网下载即可

                    4.将下载好的zookeeper，zkui，mavn压缩上传到zookeeper文件夹下，kafka压缩包放到kafka文件夹下

安装zookeeper

 1. 进入zookeeper文件夹下解压zookeeper文件，生成一个zookeeper-x.x.x.的文件夹

 

   2.进入该文件夹的conf文件中修改zoo.zfg

   dataDir=自己的data目录的绝对路径

   dataLogDir=自己的logs目录的绝对路径

server.1=自己的主机名（或者IP）:4887:5887 ，如果没有需求。可以对server2~4注释

 

 

 3. 启动zookeeper

     可能会出现bin下执行权限丢失的情况，所以先修改bin下的文件权限，添加执行权限

    chmod +x *

   

 

     然后bin/zkServer.sh start

  

   查看一下jps

  

     查看启动后的状态bin/zkServer.sh status

 

停止ZK服务:        [shaka@iZ25fnur5jkZzookeeper]$ bin/zkServer.sh stop

 

重启ZK服务:        [shaka@iZ25fnur5jkZzookeeper]$ bin/zkServer.sh restart

 

zk的初始化目录为：get/zookeeper/quota

 4. 启动zookeeper的客户端

bin/zkCli.sh -server自己的IP:2181

    然后zk客户端命令

     1. 显示根目录下、文件： ls / 使用 ls 命令来查看当前           ZooKeeper 中所包含的内容

     2. 创建文件，并设置初始内容： create /zk "test" 创建一个新的            znode节点“ zk ”以及与它关联的字符串

     3. 获取文件内容： get /zk 确认 znode 是否包含我们所创建的字符串

     4. 修改文件内容： set /zk "zkbak" 对 zk 所关联的字符串进行设置

     5. 删除文件： delete /zk 将刚才创建的 znode 删除

     6. 退出客户端： quit

     7. 帮助命令： help

安装zkui

  1.进入zookeeper目录下解压zkui，会生成一个zkui目录

安装mvn

  1. 进入zookeeper文件夹解压mvn文件，会生成一个apache-maven-x.x.x文件

     进入该文件下给bin下的文件添加权限

    chmod +x *

 

  2. 然后修改配置文件

    vim ~/.bash_profile

          export  MVN_HOME=自己的路径

     export PATH=$PATH:$MVN_HOME/bin

     修改完成后source~/.bash_profile 使其生效

  

  3. 进入zkui目录

     mvn clean install(需要联网)

  4. 建好软连接

      ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar

  5. 修改配置文件vimconfig.cfg

     zkServer=主机名(或者IP)：2181

  

   启动：nohup java-jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

    查看：http://自己的IP:9090  或者    jps -l

     登录账号

    "username":"admin" ,"password":"manager"

  

   

     日志：zkui-out.log   nohup.out

     创建一个node： 以自己名字命名

(注:如果没有在zookeeper客户端输入数据。这儿网页可能会报500错误，也就是空指针异常)

 

kafka部署(mkdir 一个kafka 文件)

   1.进入kafka目录下解压kafka,会生成一个kafka_x.x.x-x.x.x.x.的文件

   2.进入该文件中修改配置文件

     vim conf/server.properties

        broker.id=0

       host.name=自己的ip

       zookeeper.connect=自己的IP:2181可逗号分隔配置多个

          

 

 

 

   3.确保bin目录和sbin目录下文件有执行权限

     chmod +x sbin/*

     chomod +x bin/*

   4.修改配置文件 vim log4j.properties

     log4j.appender.D.File = 自己的路径/logs/debug.log

     log4j.appender.E.File = 自己的路径/logs/error.log

    

 

   5.启动kafka服务

    sbin/start-kafka.sh

      查看是否启动： jsp –l

   

 

   6.创建topic主题：

    bin/kafka-topics.sh --create --zookeeper 自己的IP:2181--replication-factor 1 --partitions 1--topic 自己改的名字 （IP不能是localhost）

    

   7.启动consumer

     bin/kafka-console-consumer.sh --zookeeper 自己的主机名或IP:2181  --topic 自己改名字  

     （IP不能localhost）

  

   8.另开一个窗口启动productor

     bin/kafka-console-producer.sh --broker-list 自己的主机名:9092 --topic自己改名字

在productor端输入，看consumer端的输出。

 

 生成日志

1用脚本shelllogger.sh测试

 

      修改脚本

     将log一行加#注释

     然后添加

     log="INSERT INTO test(user,content) VALUES('你的名字'，'你的内容')"

   2. 启动

    nohup sh shellcrawler.sh  >>shellcrawler.log 2>&1 &

 将日志实时传送到kafka指定主题中

     在kafka目录下执行

     nohup tail - f 自己的路径/logger/access.log | bin/kafka-console-producer.sh --broker-list 自己的主机名:9092--topic 自己改的名字 >logs/producer.log 2>&1 &