HBASE环境搭建

来源:互联网 发布:java源码阅读 编辑:程序博客网 时间:2024/06/08 00:26

HBase三种模式:

    本地模式

    伪分布模式

    集群模式

HBase伪分布环境搭建:

    Linux环境搭建(VMware)

        1、关闭防火墙和SELinux(centos7以下,其他版本请查阅资料)

        service iptables stop

        chkconfig iptables off

        vim /etc/sysconfig/selinux

            找i到 SELINUX=enforcing,修改值为 disabled,保存并退出

        2、配置IP、DNS

        设置静态ip,netmask为255.255.255.0,gateway:192.168.1.1,DNS:8.8.8.8

        重启网卡:service network restart

        3、配置主机名

        请查阅资料,配置ip映射关系

       4、 设置SSH免密码登陆

        ssh-keygen -t rsa 输入四个回车

        ssh-copy-id 192.168.1.11 对应静态IP

        测试:ssh 192.168.1.11 然后重启linux  ,工具:SecureCRT

       5、安装jdk

        请查阅资料

    Hadoop环境搭建:

        官网:hadoop.apache.org

        下载并解压,跟随官网配置。

        ①配置hadoop-env.sh 中jdk目录

        ②配置core-site.xml,修改value为ip,端口改为8020,hadoop2.x版本规定?

        ③配置hdfs-site.xml,拷贝。

        ④配置缓存目录。hadoop.tmp.dir,默认在linux的/tmp目录下,linux会定期清理这个目录,所以要修改。修改为自定义目录

        ⑤配置mapred-site.xml,拷贝官网

        ⑥配置yarn-site.xml,拷贝官网

        第一次启动hadoop需要格式化,使用命令:

        切换至hadoop目录, bin/hdfs 获取操作提示,然后使用 bin/hdfs namenode -format

        启动hadoop:

            sbin/start-dfs.sh

            sbin/start-yarn.sh

            jps

            bin/hadoop fs -mkdir -p /user/root/mr/wc/in

            bin/hadoop fs -put /etc/profile /user/root/mr/wc/in

            bin/hadoop jar share/

            bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/mr/wc/in/profile /user/root/mr/wc/out

            bin/hadoop fs -ls /user/root/mr/wc/out

    HBase环境搭建

        去官网下载对应版本的HBase,然后解压安装。

        切换至HBase目录。修改conf下面的hbase-env.sh,配置jdk目录

        配置hbase-site.xml ,查阅官网文档。HBase的目录配置为 hdfs。dataDir修改为自定义目录。伪分布是模式必须配置hbase.cluster.distributed 为true

        配置regionserver,修改为静态ip地址。至此搭建完成。

        启动:

            bin/hbase-daemon.sh start zookeeper

           bin/hbase-daemon.sh start master

           bin/hbase/daemon.sh start regionserver

           jps

           hbase端口为60010,1.x以下版本,1.X以上版本为16010