hadoop - hbase 笔记

1. 伪分布式安装

修改/etc/profile文件。#vi/etc/profile增加exportHBASE_HOME=/home/hbase修改exportPATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin保存退出#source/etc/profile修改$HBASE_HOME/conf/hbase-env.sh文件 export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true保存后退出修改$HBASE_HOME/conf/hbase-site.xml<property>  <name>hbase.rootdir</name> <value>hdfs://hadoop0:9000/hbase</value></property><property> <name>hbase.cluster.distributed</name>  <value>true</value></property><property> <name>hbase.zookeeper.quorum</name>  <value>hadoop0</value></property><property>  <name>dfs.replication</name>  <value>1</value></property>注意：$HBASE_HOME/conf/hbase-site.xml的hbase.rootdir的主机和端口号与$HADOOP_HOME/conf/core-site.xml的fs.default.name的主机和端口号一致在$HBASE_HOME/conf/regionservers文件增加localhost保存退出

2. 分布式安装

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES_ZK=falsevim hbase-site.xml<configuration><!-- 指定hbase在HDFS上存储的路径 -->        <property>                <name>hbase.rootdir</name>                <value>hdfs://ns1/hbase</value>        </property><!-- 指定hbase是分布式的 -->        <property>                <name>hbase.cluster.distributed</name>                <value>true</value>        </property><!-- 指定zk的地址，多个用“,”分割 -->        <property>                <name>hbase.zookeeper.quorum</name>                <value>weekend05:2181,weekend06:2181,weekend07:2181</value>        </property></configuration>vim regionservers  这里要和主机名保持一致， 主机名又要在hosts文件中有ip映射weekend03weekend04weekend05weekend063.2拷贝hbase到其他节点scp -r /weekend/hbase-0.96.2-hadoop2/ weekend02:/weekend/scp -r /weekend/hbase-0.96.2-hadoop2/ weekend03:/weekend/scp -r /weekend/hbase-0.96.2-hadoop2/ weekend04:/weekend/scp -r /weekend/hbase-0.96.2-hadoop2/ weekend05:/weekend/scp -r /weekend/hbase-0.96.2-hadoop2/ weekend06:/weekend/4.将配置好的HBase拷贝到每一个节点并同步时间。5.启动所有的hbase分别启动zk./zkServer.sh start启动hdfs集群start-dfs.sh启动hbase，在主节点上运行：start-hbase.sh6.通过浏览器访问hbase管理页面192.168.1.201:600107.为保证集群的可靠性，要启动多个HMasterhbase-daemon.sh start master

部署后可能出现的问题： 

org.apache.hadoop.hbase.regionserver.HRegionServer: Unable to connect to master

在master主机上，通过hostname设置为regionserver端链接时指定的hostname即可

1、临时修改主机名：$ sudo hostname 主机名修改只能临时有效，机器重启后会自动还原。2、永久修改主机名：修改hostname文件（路径：/etc/hostname）：$ sudo nano /etc/hostname把hostname文件里面所有原来的名称改成你想改成的名称。主机名同时也保存在/etc/hosts文件中，需要把当前IP地址对应的主机名修改为hostname文件中的名称。$ sudo nano /etc/hosts最后重启机器：$ reboot

3. 示意图

表结构示意图

查询寻址示意图

4. hbase shell

进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsanput 'user', 'rk0001', 'info:name', 'zhangsan'向user表中插入信息，row key为rk0001，列族info中添加gender列标示符，值为femaleput 'user', 'rk0001', 'info:gender', 'female'向user表中插入信息，row key为rk0001，列族info中添加age列标示符，值为20put 'user', 'rk0001', 'info:age', 20向user表中插入信息，row key为rk0001，列族data中添加pic列标示符，值为pictureput 'user', 'rk0001', 'data:pic', 'picture'获取user表中row key为rk0001的所有信息get 'user', 'rk0001'获取user表中row key为rk0001，info列族的所有信息get 'user', 'rk0001', 'info'获取user表中row key为rk0001，info列族的name、age列标示符的信息get 'user', 'rk0001', 'info:name', 'info:age'获取user表中row key为rk0001，info、data列族的信息get 'user', 'rk0001', 'info', 'data'get 'user', 'rk0001', {COLUMN => ['info', 'data']}get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}获取user表中row key为rk0001，列族为info，版本号最新5个的信息get 'user', 'rk0001', {COLUMN => 'info', VERSIONS => 2}get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5}get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}获取user表中row key为rk0001，cell的值为zhangsan的信息get 'people', 'rk0001', {FILTER => "ValueFilter(=, 'binary:图片')"}获取user表中row key为rk0001，列标示符中含有a的信息get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}put 'user', 'rk0002', 'info:name', 'fanbingbing'put 'user', 'rk0002', 'info:gender', 'female'put 'user', 'rk0002', 'info:nationality', '中国'get 'user', 'rk0002', {FILTER => "ValueFilter(=, 'binary:中国')"}查询user表中的所有信息scan 'user'查询user表中列族为info的信息scan 'user', {COLUMNS => 'info'}scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}scan 'persion', {COLUMNS => 'info', RAW => true, VERSIONS => 3}查询user表中列族为info和data的信息scan 'user', {COLUMNS => ['info', 'data']}scan 'user', {COLUMNS => ['info:name', 'data:pic']}查询user表中列族为info、列标示符为name的信息scan 'user', {COLUMNS => 'info:name'}查询user表中列族为info、列标示符为name的信息,并且版本最新的5个scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}查询user表中列族为info和data且列标示符中含有a字符的信息scan 'user', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}查询user表中列族为info，rk范围是[rk0001, rk0003)的数据scan 'people', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}查询user表中row key以rk字符开头的scan 'user',{FILTER=>"PrefixFilter('rk')"}查询user表中指定范围的数据scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}删除数据删除user表row key为rk0001，列标示符为info:name的数据delete 'people', 'rk0001', 'info:name'删除user表row key为rk0001，列标示符为info:name，timestamp为1392383705316的数据delete 'user', 'rk0001', 'info:name', 1392383705316清空user表中的数据truncate 'people'修改表结构首先停用user表（新版本不用）disable 'user'添加两个列族f1和f2alter 'people', NAME => 'f1'alter 'user', NAME => 'f2'启用表enable 'user'###disable 'user'(新版本不用)删除一个列族：alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'添加列族f1同时删除列族f2alter 'user', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}将user表的f1列族版本号改为5alter 'people', NAME => 'info', VERSIONS => 5启用表enable 'user'删除表disable 'user'drop 'user'get 'person', 'rk0001', {FILTER => "ValueFilter(=, 'binary:中国')"}get 'person', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}scan 'person', {COLUMNS => 'info:name'}scan 'person', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}scan 'person', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}scan 'person', {COLUMNS => 'info', STARTROW => '20140201', ENDROW => '20140301'}scan 'person', {COLUMNS => 'info:name', TIMERANGE => [1395978233636, 1395987769587]}delete 'person', 'rk0001', 'info:name'alter 'person', NAME => 'ffff'alter 'person', NAME => 'info', VERSIONS => 10get 'user', 'rk0002', {COLUMN => ['info:name', 'data:pic']}