Hbase伪分布式环境搭建

这几天在看hbase的东西，学习新的技术之前，首先应该搭建起一个该技术可以运用的环境。
Hbase的环境一共分为三种：
1、单机环境
2、伪分布式环境
3、分布式环境
这里由于条件限制，我搭建的是伪分布式的环境。搭建之前需要准备的软件如下：
1、VMware-workstation-full-12.5.7-5813279.exe
2、CentOS-7-x86_64-DVD-1708.iso
3、hadoop-2.8.2-bin.tar.gz
4、hbase-1.2.6-bin.tar.gz
5、SecureCRT（远程连接工具）
6、Notepad++（远程修改配置文件）

首先在vmware上安装centos7的影像，这个在网上有很多教程，就不多描述了。
步骤如下：
1、关闭防火墙和SELinux
关闭firewall：
打开一个新的终端，输入
systemctl disable firewalld.service #禁止firewall开机启动
然后输入
firewall-cmd –state #查看默认防火墙状态（关闭后显示not running，
开启后显示running）

然后输入
vim /etc/sysconfig/selinux
改SELINUX值为disabled

2、配置IP、DNS
网卡配置路径：
cd /etc/sysconfig/network-scripts/

找到自己网卡对应的名字，我的是ifcfg-ens33。
然后vim ifcfg-ens33
文件修改为如下内容：
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=c1a3f59f-0ac9-451e-9c46-45e9d04f2481
DEVICE=ens33
ONBOOT=yes
DNS1=8.8.8.8
HWADDR=00:0c:29:d8:d6:d7
MACADDR=00:0c:29:d8:d6:d7
IPADDR=192.168.1.11
NETNASK=255.255.255.0
GATEWAY=192.168.1.1
上面的HWADDR和MACADDR的值根据自己虚拟机的值设置，怎么看这个值呢？
终端输入ifconfig

我虚拟机的值就是ens33下面ether的值。

然后就是重启网卡，输入
systemctl restart network
然后查看网卡状态，输入
systemctl status network

出现上面截图中Active：active即表示设置成功。

3、配置主机名
修改主机名，终端输入
hostnamectl set-hostname hbase.jy.com
或者用 vim /etc/hostname

4、配置ip映射关系
vim /etc/hosts
新起一行添加 192.168.1.11 hbase.jy.com

5、设置SSH免密码登录
首先生成rsa密钥，终端输入
ssh-kegen -t rsa
然后复制rsa到本机
ssh-copy-id 192.168.1.11
然后输入 ssh 192.168.1.11测试。

6、安装JDK

用安装linux系统时创建的root用户，使用SecureCRT这个软件远程连接。
然后创建几个放tar包的文件夹，终端输入cd /usr/local
创建一个文件夹，输入mkdir bigdata
进入bigdata文件夹，创建另外两个文件夹，输入
mkdir tools
mkdir softwares
然后输入cd tools，进入tools目录，安装上传工具，输入
yum install lrzsz
centos7应该是自带的lrzsz。

由于centos7自带openjdk，需要卸载，安装sun的jdk。
先查看openjdk信息，输入 rpm -qa | grep java
显示如下信息：

java-1.4.2-gcj-compat-1.4.2.0-40jpp.115java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

输入下面的命令卸载：

rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

然后输入rz，上传jdk tar包，解压tar包放入softwares文件夹，输入
tar -zxf jdk-8u11-linux-x64.tar.gz -C ../softwares/

然后进入softwares目录，cd ../softwares/，进入java目录：cd jdk1.8.0_11，输入pwd获取当前路径，复制路径到配置文件的java_home，输入 vim/etc/profile,编辑配置文件，文件末尾添加

保存后输入source /etc/profile刷新profile。

7、配置hadoop环境信息：
接下来进入tools文件夹，利用rz上传hadoop的tar包，同样解压到softwares目录下。
tar -zxf hadoop-2.8.2-bin.tar.gz -C ../softwares/
利用Notepad++修改配置文件。
点击下图中的图标，

出现下图，按图中配置连接信息。

连接成功后，选择路径：
usr/local/bigdata/softwares/hadoop-2.8.2e/etc/hadoop
修改hadoop-env.sh文件

export JAVA_HOME=/usr/local/bigdata/softwares/jdk1.8.0_11

然后配置core-site.xml

<property>        <name>fs.defaultFS</name>        <value>hdfs://192.168.1.11:8020</value></property>

然后配置hdfs-site.xml目录

<property>        <name>dfs.replication</name>        <value>1</value></property>

然后配置缓存数据的目录，创建新文件夹data

<property>        <name>hadoop.tmp.dir</name>        <value>/usr/local/bigdata/softwares/hadoop-2.8.2/data/tmp</value></property>

接下来配置yarn
修改配置文件mapred-site.xml，没有这个文件，首先修改mapred-site.template.xml为mapred-site.xml

然后添加配置

<property>        <name>mapreduce.framework.name</name>        <value>yarn</value></property>

然后修改yarn-site.xml

<property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value></property>

第一次启动hdfs需要格式化，输入bin/hdfs namenode -format。
进入hadoop目录，接下来启动hdfs，输入sbin/start-dfs.sh，连着输入3个yes。
接着启动yarn，输入sbin/start-yarn.sh，输入jps查看当前进程。
然后我们跑一个mapreduce任务，统计配置文件的单词个数，创建多个文件夹，输入
bin/hadoop fs -mkdir -p /user/root/mr/wc/in
接着把配置文件放入刚才创建的文件夹中，
bin/hadoop fs -put /etc/profile /user/root/mr/wc/in
接着输入
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar wordcount /user/root/mr/wc/in/profile /user/root/mr/wc/out

然后查看运行的结果：
bin/hadoop fs -ls /user/root/mr/wc/out

8、安装hbase
利用rz上传habse tar包到tools目录，然后解压到softwares目录下。
tar -zxf hbase-1.2.6-bin.tar.gz -C ../softwares

接下来修改hbase的配置文件,同样利用Notepad++进入hbase的目录。
/usr/local/bigdata/softwares/hbase-1.2.6/conf

修改hbase-env.sh文件
export JAVA_HOME=/usr/local/bigdata/softwares/jdk1.8.0_11

修改hbase-site.xml

<property>    <name>hbase.rootdir</name>    <value>hdfs://192.168.1.11:8020/hbase</value></property><property>    <name>hbase.zookeeper.property.dataDir</name>    <value>/usr/local/bigdata/softwares/hbase-1.2.6/data/zkData</value></property><property>    <name>hbase.cluster.distributed</name>    <value>true</value></property>

regionservers文件，修改内容为
192.168.1.11

接着回到hbase目录下
启动zookeeper
bin/hbase-daemon.sh start zookeeper
启动master
bin/hbase-daemon.sh start master
启动regionserver
bin/hbase-daemon.sh start regionserver

以上就是整个配置的全部过程。环境搭好了之后可以开始学习hbase的相关内容。