Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装
来源:互联网 发布:淘宝账户名怎么修改 编辑:程序博客网 时间:2024/05/23 13:20
环境说明
系统 CentOS 7.2
用户 root
用户 hadoop
服务器3台
IP:10.1.5.51(master),10.1.5.52(slave1),10.1.5.53(slave2)
JAVA 1.7.X
Zookeeper版本:3.4.9
Hadoop版本:2.7.3
Sqoop版本:1.99.7
Spark版本:2.0.2
HBase版本 :1.2.4
风.fox
其他设置
防火墙
systemctl stop firewalld.service # 关闭firewallsystemctl disable firewalld.service # 禁止firewall开机启动
用户设置
每台服务都要设置一样
注意:如果不设置用户,那么hadoop将会以root用户启动,并且每次启动都要输入root的密码
useradd -m hadoop -s /bin/bash # 创建hadoop用户passwd hadoop # 修改密码,这个时候会让你输入密码2次
注意:这里设置hadoop密码为hadoop,当然你可以设置其他密码
设置hadoop用户组为root用户组,即管理员权限
usermod -G root hadoop # 增加管理员权限
设置管理员或用户组权限
执行命令
visudo
方法一
找到以下 一行 去除 前缀#号
%wheel ALL=(ALL) ALL
方法二
在root 那行增加 hadoop一行,如下所示
root ALL=(ALL) ALLhadoop ALL=(ALL) ALL
用户应用设置
退出当前用户root,改用hadoop登录
用命令su –
,即可获得root权限进行操作
后续操作都是用hadoop
用户操作
用户设置无密码登录
切换用户
su hadoop
进入当前用户目录 hadoop
cd ~pwd
pwd 命令会显示如下目录
/home/hadoop
生成秘钥
mkdir -p /home/hadoop/.sshcd ~/.ssh/ssh-keygen -t rsa #如有提示,直接按回车cat id_rsa.pub >> authorized_keys # 加入授权
以上部分要把 master 下的复制到 slave1,slave2上
slave1,slave2 服务器要建立.ssh文件
mkdir -p /home/hadoop/.ssh
传输文件
scp /home/hadoop/.ssh/authorized_keys slave1:/home/hadoop/.ssh/authorized_keys #传输到 slave1上scp /home/hadoop/.ssh/authorized_keys slave2:/home/hadoop/.ssh/authorized_keys #传输到 slave2上
JAVA JDK安装和配置
安装 JAVA 1.7.X 版本
http://blog.csdn.net/fenglailea/article/details/26006647
设置JAVA环境变量
统一把环境变量设置到 /etc/profile 最后
设置全局变量(记得切换 用户,改完了在切换回来)
vim /etc/profile
http://blog.csdn.net/fenglailea/article/details/52457731
生效
. /etc/profile
Zookeeper 安装和配置
介绍请看
http://blog.csdn.net/fenglailea/article/details/53284263
Zookeeper安装
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gztar -zxvf zookeeper-3.4.9.tar.gzmv zookeeper-3.4.9 /home/hadoop/zookeeper
设置全局变量(记得切换 用户,改完了在切换回来)
vim /etc/profile
最后一行加入
export ZOOKEEPER_HOME=/home/hadoop/zookeeperexport PATH=$ZOOKEEPER_HOME/bin:$PATH
使之生效
. /etc/profile
Zookeeper 配置
集群中任意一台机器上的zoo.cfg文件的内容都是一致的
zoo.cfg
vim /home/hadoop/zookeeper/conf/zoo.cfg
增加
tickTime=2000dataDir=/home/hadoop/zookeeper/dataclientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2888:3888server.3=zoo3:2888:3888
机器配置:server.id=host:port:port(每行写一个)
server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口.
我们需要在数据目录(数据目录就是dataDir参数指定的那个目录)下创建一个myid文件,myid中就是这个X数字
X的范围是1~255tickTime: Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。毫秒值.
InitLimit : 允许 follower (相对于 leader 而言的“客户端”)连接并同步到 leader 的初始化连接时间,它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间,则连接失败。
syncLimit:该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
dataDir: Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。
dataLogDir : Zookeeper 保存日志的目录。
clientPort:客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
创建目录
mkdir -p /home/hadoop/zookeeper/data
设置 myid
echo "1" > /home/hadoop/zookeeper/data/myid
其他两台请自行设置
Zookeeper启动关闭
每台服务器都要启动
启动
/home/hadoop/zookeeper/bin/zkServer.sh start
返回以下信息启动成功
ZooKeeper JMX enabled by defaultUsing config: /home/hadoop/zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTED
其他操作
/home/hadoop/zookeeper/bin/zkServer.sh stop 停止/home/hadoop/zookeeper/bin/zkServer.sh restart 重启/home/hadoop/zookeeper/bin/zkServer.sh status 状态/home/hadoop/zookeeper/bin/zkServer.sh upgrade/home/hadoop/zookeeper/bin/zkServer.sh print-cmd
客户端
/home/hadoop/zookeeper/bin/zkCli.sh -server localhost:2181
Zookeeper 3台服务器设置如下
10.1.5.51 master myid设置为 110.1.5.52 client1 myid设置为 210.1.5.53 client2 myid设置为 3
Hadoop 安装和配置
集群hosts设置
设置hosts(记得切换 用户,改完了在切换回来)
vim /etc/hosts
master
服务器增加
10.1.5.52 slave110.1.5.53 slave2
slave1
服务器增加
10.1.5.51 master10.1.5.53 slave2
slave2
服务器增加
10.1.5.51 master10.1.5.52 slave1
检测(例如master服务器中检测其他2个是否连接通)
ping slave1 -c 3 # 只ping 3次,否则要按 Ctrl+c 中断ping slave2 -c 3
Hadoop安装
http://archive.apache.org/dist/hadoop/common/
当前最新版 2.7.3
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gztar zxvf hadoop-2.7.3.tar.gz
安装Hadoop
mv hadoop-2.7.3 /home/hadoop/hadoop #目录位置chmod -R +x /home/hadoop/hadoop/bin # 修改文件权限chmod -R +x /home/hadoop/hadoop/sbin # 修改文件权限mkdir -p /home/hadoop/hadoop/tmp #临时文件目录
Hadoop 环境变量设置
设置全局变量(记得切换 用户,改完了在切换回来)
vim /etc/profile
最后一行加入
export HADOOP_HOME=/home/hadoop/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_MAPRED_HOME=$HADOOP_HOME/share/hadoop/mapreduceexport HADOOP_COMMON_HOME=$HADOOP_HOME/share/hadoop/commonexport HADOOP_HDFS_HOME=$HADOOP_HOME/share/hadoop/hdfsexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport YARN_HOME=$HADOOP_HOME/share/hadoop/yarnexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
这些变量在启动 Hadoop 进程时需要用到,不设置的话可能会报错(这些变量也可以通过修改 /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh 实现)。
使之生效
. /etc/profile
Hadoop配置集群/分布式环境
集群/分布式模式需要修改 /home/hadoop/hadoop/etc/hadoop 中的5个配置文件,更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
1, 文件 slaves,将作为 DataNode 的主机名写入该文件,每行一个,默认为 localhost,可以保留 localhost,也可以删掉,让 master 节点仅作为 NameNode 使用。
这里让 master
节点即作为 NameNode
使用,又作为节点使用,因此文件中原来的 localhost 保留,后面添加2行内容:slave1,slave2
vim /home/hadoop/hadoop/etc/hadoop/slaves
修改为:
localhostslave1slave2
2, 文件 core-site.xml
vim /home/hadoop/hadoop/etc/hadoop/core-site.xml
改为下面的配置:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property></configuration>
3, 文件 hdfs-site.xml
dfs.replication 一般设为 3,但我们有3个 Slave 节点(master中那个也作为一个节点),
所以 dfs.replication 的值还是设为 3:
vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
修改为
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/data</value> </property></configuration>
4, 文件 mapred-site.xml
cp -rf /home/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop/etc/hadoop/mapred-site.xmlvim /home/hadoop/hadoop/etc/hadoop/mapred-site.xml
然后配置修改如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property></configuration>
5, 文件 yarn-site.xml:
vim /home/hadoop/hadoop/etc/hadoop/yarn-site.xml
然后配置修改如下:
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
Hadoop集群 slave节点配置
配置好后,将 master 上的 /home/hadoop/hadoop 文件夹复制到各个节点上。
如果之前有运行过分布式模式,建议在切换到集群模式前先删除之前的临时文件。
Hadoop执行
master 节点执行
rm -r /home/hadoop/hadoop/tmp # 删除 Hadoop 临时文件rm -r /home/hadoop/hadoop/logs/* # 删除日志文件cd /home/hadooptar -zcvf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制cd ~scp ./hadoop.master.tar.gz slave1:/home/hadoop #传输到 slave1上scp ./hadoop.master.tar.gz slave2:/home/hadoop #传输到 slave2上
slave 节点执行
rm -r /home/hadoop/hadoop # 删掉旧的(如果存在)tar -zxf ~/hadoop.master.tar.gz -C /home/hadoop
同样,如果有其他 Slave 节点,也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。
首次启动 master 节点
需要先在 master
节点执行 NameNode 的格式化:
hdfs namenode -format # 首次运行需要执行初始化,之后不需要
最后出现下面表示格式化初始成功
......16/11/28 17:36:30 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 016/11/28 17:36:30 INFO util.ExitUtil: Exiting with status 016/11/28 17:36:30 INFO namenode.NameNode: SHUTDOWN_MSG:/************************************************************SHUTDOWN_MSG: Shutting down NameNode at slave1/10.1.5.52************************************************************/
Hadoop集群启动
启动需要在 master
节点上进行:
start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver
通过命令 jps
可以查看各个节点所启动的进程。正确的话,在 master
节点上可以看到 NameNode
、ResourceManager
、SecondrryNameNode
、JobHistoryServer
、DataNode
进程,如下所示:
2576 NodeManager2276 ResourceManager1959 DataNode2711 JobHistoryServer2125 SecondaryNameNode30414 QuorumPeerMain1823 NameNode2751 Jps
在 Slave 节点可以看到 DataNode 和 NodeManager 进程,如下所示:
2640 NodeManager2754 Jps2499 DataNode
缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令
hdfs dfsadmin -report
查看 DataNode 是否正常启动,如果 Live datanodes 不为 0 ,则说明集群启动成功。例如我这边一共有 1 个 Datanodes:
Live datanodes (1):Name: 10.1.5.52:50010 (slave1)Hostname: slave1Decommission Status : NormalConfigured Capacity: 40207929344 (37.45 GB)DFS Used: 4096 (4 KB)Non DFS Used: 2779082752 (2.59 GB)DFS Remaining: 37428842496 (34.86 GB)DFS Used%: 0.00%DFS Remaining%: 93.09%Configured Cache Capacity: 0 (0 B)Cache Used: 0 (0 B)Cache Remaining: 0 (0 B)Cache Used%: 100.00%Cache Remaining%: 0.00%Xceivers: 1Last contact: Mon Nov 28 18:23:20 CST 2016
也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态:
http://master:50070/或http://10.1.5.51:50070/
如果不成功,可以通过启动日志排查原因。
测试的时候使用1个节点,现在使用的为3个节点,所以下图 节点 是不对的,图就不重新传了
Hadoop集群关闭
关闭 Hadoop 集群也是在 Master 节点上执行的:
stop-yarn.shstop-dfs.shmr-jobhistory-daemon.sh stop historyserver
此外,同伪分布式一样,也可以不启动 YARN,但要记得改掉 mapred-site.xml 的文件名。
执行分布式实例
执行分布式实例过程与伪分布式模式一样,首先创建 HDFS 上的用户目录:
hdfs dfs -mkdir -p /user/hadoop
将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中:
hdfs dfs -mkdir inputhdfs dfs -put /home/hadoop/hadoop/etc/hadoop/*.xml input
过查看 DataNode 的状态(占用大小有改变),输入文件确实复制到了 DataNode 中,如下图所示:
接着就可以运行 MapReduce 作业了:
hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
运行时的输出信息与伪分布式类似,会显示 Job 的进度。
可能会有点慢,但如果迟迟没有进度,比如 5 分钟都没看到进度,那不妨重启 Hadoop 再试试。若重启还不行,则很有可能是内存不足引起,建议增大虚拟机的内存,或者通过更改 YARN 的内存配置解决。
同样可以通过 Web 界面查看任务进度
http://master:8088/cluster或http://10.1.5.52:8088/cluster
,在 Web 界面点击 “Tracking UI” 这一列的 History 连接,可以看到任务的运行信息,如下图所示:
执行完毕后的输出结果:
hdfs dfs -cat output/*
Mahout安装配置
Mahout下载地址
http://archive.apache.org/dist/mahout/
http://archive.apache.org/dist/mahout/0.12.2/
wget http://archive.apache.org/dist/mahout/0.12.2/apache-mahout-distribution-0.12.2.tar.gztar -zxvf apache-mahout-distribution-0.12.2.tar.gzmv apache-mahout-distribution-0.12.2 /home/hadoop/mahout
Mahout环境变量设置
统一把环境变量设置到 /etc/profile 最后
设置全局变量(记得切换 用户,改完了在切换回来)
vim /etc/profile
最后加入
export MAHOUT_HOME=/home/hadoop/mahoutexport MAHOUT_CONF_DIR=$MAHOUT_HOME/confexport PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH
应用环境变量
. /etc/profile
查询是否安装成功,
mahout
若出现一下,表示安装成功
...... trainnb: : Train the Vector-based Bayes classifier transpose: : Take the transpose of a matrix validateAdaptiveLogistic: : Validate an AdaptivelogisticRegression model against hold-out data set vecdist: : Compute the distances between a set of Vectors (or Cluster or Canopy, they must fit in memory) and a list of Vectors vectordump: : Dump vectors from a sequence file to text viterbi: : Viterbi decoding of hidden states from given output states sequence
Mahout 和Hadoop 集成测试
下载测试数据
http://archive.ics.uci.edu/ml/databases/synthetic_control/
wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data
hadoop 上传测试数据
hadoop fs -mkdir -p ./testdatahadoop fs -put synthetic_control.data ./testdata
查看目录及文件
hadoop fs -lshadoop fs -ls ./testdata
使用Mahout中的kmeans聚类算法进行测试
mahout -core org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
XX执行完成,最后几行如下
1.0 : [distance=55.039831561905785]: [33.67,38.675,39.742,41.989,37.291,43.975,31.909,25.878,31.08,15.858,13.95,23.097,19.983,21.692,31.579,38.57,33.376,38.843,41.936,33.534,39.195,32.897,25.343,18.523,15.089,17.771,22.614,25.313,23.687,29.01,41.995,35.712,40.872,41.669,32.156,25.162,24.98,23.705,18.413,20.975,14.906,26.171,30.165,27.818,35.083,39.514,37.851,33.967,32.338,34.977,26.589,28.079,19.597,24.669,23.098,25.685,28.215,34.94,36.91,39.749]16/11/24 16:47:52 INFO ClusterDumper: Wrote 6 clusters16/11/24 16:47:52 INFO MahoutDriver: Program took 22175 ms (Minutes: 0.3695833333333333)
查看输出
hadoop fs -ls ./output
Found 15 items-rw-r--r-- 1 hadoop supergroup 194 2016-11-24 16:47 output/_policydrwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusteredPointsdrwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-0drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-1drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-10-finaldrwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-2drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-3drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-4drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-5drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-6drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-7drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-8drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/clusters-9drwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/datadrwxr-xr-x - hadoop supergroup 0 2016-11-24 16:47 output/random-seeds
查看数据
mahout vectordump -i ./output/data/part-m-00000
Sqoop 安装配置
Sqoop 安装
http://archive.apache.org/dist/sqoop/
wget http://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gztar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gzmv sqoop-1.99.7-bin-hadoop200 ~/sqoop
Sqoop环境变量设置
记得要切换用户
vim /etc/profile
增加
export SQOOP_HOME=/home/hadoop/sqoopexport PATH=$SQOOP_HOME/bin:$PATHexport CATALINA_BASE=$SQOOP_HOME/server export LOGDIR=$SQOOP_HOME/logs/
应用环境变量
. /etc/profile
Sqoop与Hadoop整合配置
修改Sqoop 配置文件中的 Hadoop 配置文件路径
vim /home/hadoop/sqoop/conf/sqoop.properties
修改为
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop/etc/hadoop/
Sqoop启动
/home/hadoop/sqoop/bin/sqoop.sh server start
Sqoop关闭
/home/hadoop/sqoop/bin/sqoop.sh server stop
Sqoop客户端
/home/hadoop/sqoop/bin/sqoop.sh client
HBase安装配置
http://www.apache.org/dyn/closer.cgi/hbase/
http://archive.apache.org/dist/hbase/stable/
http://apache.fayea.com/hbase/
wget http://mirrors.cnnic.cn/apache/hbase/1.2.4/hbase-1.2.4-bin.tar.gztar zxvf hbase-1.2.4-bin.tar.gzmv hbase-1.2.4 ~/hbasechown -R hadoop:hadoop hbase
HBase配置
配置hbase-env.sh
vim /home/hadoop/hbase/conf/hbase-env.sh
修改
export HBASE_CLASSPATH=/home/hadoop/hadoop/etc/hadoop #通过hadoop的配置文件找到hadoop集群export HBASE_MANAGES_ZK=false #使用HBASE自带的zookeeper管理集群
配置 hbase-site.xml
vim /home/hadoop/hbase/conf/hbase-site.xml
修改为
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>hbase.master</name> <value>localhost:6000</value> </property> <property> <name>hbase.master.maxclockskew</name> <value>180000</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> <description>hbase的存储根路径</description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <description>是否采用集群方式部署</description> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master,slave1,slave2</value> <description>zookeeper的server地址,多台机器用逗号隔开</description> </property> <property> <name>zookeeper.session.timeout</name> <value>60000</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper/data</value> <description>zookeeper的数据存储目录</description> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.support.append</name> <value>true</value> <description>确保再使用HDFS存储时,不出现数据遗失</description> </property></configuration>
hbase.master是指定运行HMaster的服务器及端口号;
hbase.master.maxclockskew是用来防止HBase节点之间时间不一致造成regionserver启动失败,默认值是30000;
hbase.rootdir指定HBase的存储目录;
hbase.cluster.distributed设置集群处于分布式模式;
hbase.zookeeper.quorum设置Zookeeper节点的主机名,它的值个数必须是奇数;
hbase.zookeeper.property.dataDir 指zookeeper集群data目录
dfs.replication设置数据备份数,集群节点小于3时需要修改,本次试验是一个节点,所以修改为1。
HBase配置regionservers
vim /home/hadoop/hbase/conf/regionservers
修改为
masterslave1slave2
设置所运行HBase的机器,此文件配置和hadoop中的slaves类似,一行指定一台机器
软连接
hadoop 的hdfs-site.xml 链接到 conf目录下
ln -s /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml /home/hadoop/hbase/conf/hdfs-site.xml
ZooKeeper 的 zoo.cfg 链接到 conf目录下
ln -s /home/hadoop/zookeeper/conf/zoo.cfg /home/hadoop/hbase/conf/zoo.cfg
HBase配置环境变量
设置全局变量(记得切换 用户,改完了在切换回来)
vim /etc/profile
最后加入
export HBASE_HOME=/home/hadoop/hbaseexport PATH=$PATH:$HBASE_HOME/bin
应用环境变量
. /etc/profile
HBase启动
/home/hadoop/hbase/bin/start-hbase.sh
HBase关闭
/home/hadoop/hbase/bin/stop-hbase.sh
FAQ
如果报 JAVA_HOME 没有配置
把 /etc/profile 中添加的环境变量加入到下面中,然后应用环境变量即可
vim /etc/bashrc
http://www.powerxing.com/install-hadoop-cluster/
http://blog.sina.com.cn/s/blog_9f48885501011yfw.html
http://blog.csdn.net/javaman_chen/article/details/7191669
- Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装
- hadoop+zookeeper+hbase+hive+mahout整合配置
- Hadoop+hbase+zookeeper+spark+sqoop
- hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装
- Hadoop+hbase+zookeeper整合
- Hadoop+Hbase+Zookeeper安装
- hadoop,zookeeper.hbase安装
- hadoop+zookeeper+hbase安装
- hadoop+HBase+Zookeeper 安装
- 安装hadoop-2.6.5,zookeeper-3.4.9,hbase-1.2.4,sqoop-1.99.7,snappy压缩配置
- hadoop生态系统搭建(hadoop hive hbase zookeeper oozie sqoop)
- 基于Hadoop+Hive+Sqoop+HBase+Zookeeper+MySql日志统计分析项目
- Hadoop权威指南笔记③(HBase、ZooKeeper、Sqoop)
- Hadoop-HBase-Zookeeper安装记录
- hadoop,hbase,zookeeper安装配置
- Hadoop,Zookeeper和Hbase安装
- hadoop+hbase+zookeeper+phoenix安装
- hadoop、zookeeper、hbase集群安装
- PHP读取文件内容的五种方式
- 防护基于ICMP协议漏洞的BlackNurse DDOS 攻击-Defensics
- 常用加密算法的Java实现(一)
- ROS Navigation-----move_base简介
- 10Spring的AOP
- Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装
- 关于VC2010工程中的ipch文件夹和sdf文件
- VB6 异常捕捉 Try catch
- numpy.newaxis
- 11Spring的事务处理
- hdu2049 不容易系列之(4)——考新郎
- tensorflow从0开始(6)——保存加载模型
- Medium 5题 Longest Palindromic Substring
- 12Spring的事务处理二