Hadoop Hbase分布式部署基础配置

来源：互联网发布：ubuntu安装图形界面编辑：程序博客网时间：2024/04/29 16:14

Hadoop、Hbase分布式部署

一基础配置

在这里我们默认使用一台机器作为namenode结点,另外两台机器作为datanode结点,进行分布式部署hadoop及hbase,namenode结点为master,两个datanode结点为slave1和slave2.

1 创建Hadoop用户

分别在三台机器中创建名为hadoop的用户,专门用于对hadoop的配置和运行.

//创建用户1 sudo useradd -m hadoop -s /bin/bash//设置密码2 sudo passwd hadoop//添加权限3 sudo adduser hadoop sudo

2 安装SSH

安装SSH并实现从master结点到两个slave结点的ssh无密码登录，其中Ubuntu已经默认安装了SSH client。

sudo apt-get install openssh-serverssh localhost

在以上步骤后，将会建立~/.ssh文件。
master结点：

cd ~/.sshssh-keygen -t rsa //三次回车cat id_rsa.pub >> authorized_keys

　　
slave结点,将秘钥用ssh传至master结点的hadoop账户主目录中 :

cd ~/.sshssh-keygen -t rsa //三次回车scp id_rsa.pub master@10.xxx.xxx.xxx:/home/hadoop/.ssh/id_rsa.pub.s1

master结点:

cat id_rsa.pub.s1 >> authorized_keysscp authorized_keys slavex@10.xxx.xxx.176:/home/hadoop/.ssh/

即进行以上步骤后即可实现无密码登陆.

3 安装Java

下载并解压JDK到/home/hadoop/java

vim ~/.bashrc

添加

export JAVA_HOME=/home/hadoop/javaexport JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH

保存:

source ~/.bashrc

运行查看是否配置成功:

hadoop@hadoop-master:~/hbase$ java -versionjava version "1.8.0_111"Java(TM) SE Runtime Environment (build 1.8.0_111-b14)Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

4 配置/etc/hosts

在etc/hosts中加入三台配置机器的地址.

10.xxx.114.xxx hadoop-master10.xxx.113.xxx hadoop-slave110.xxx.119.xxx  hadoop-slave2

二 Hadoop 安装

下载Hadoop到/home/hadoop/hadoop
添加环境变量

vim ~/.bashrc

添加以下内容

export HADOOP_HOME=/home/hadoop/hadoopexport PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin

保存

source ~/.bashrc

配置etc/hadoop/core-site.xml

<property>    <name>fs.defaultFS</name>    <value>hdfs://hadoop-master:9000</value></property><property>    <name>hadoop.tmp.dir</name>    <value>/usr/local/data/hadoop/tmp</value></property>

配置etc/hadoop/hdfs-site.xml

<property>    <name>dfs.replication</name>    <value>1</value></property><property>     <name>dfs.namenode.name.dir</name>     <value>/usr/local/data/hadoop/namenode</value>  </property>  <property>     <name>dfs.datanode.data.dir</name>     <value>/usr/local/data/hadoop/datanode</value>  </property>

配置etc/hadoop/mapred-site.xml

<property>    <name>mapreduce.framework.name</name>    <value>yarn</value></property>

配置etc/hadoop/yarn-site.xml

<property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value></property><property>        <name>yarn.log-aggregation-enable</name>        <value>true</value>    </property> <property>    <name>yarn.resourcemanager.hostname</name>    <value>hadoop-master</value></property>

配置slaves文件,加入以下内容

hadoop-masterhadoop-slave1hadoop-slave2

进行master节点的namenode的format,运行以下命令

HADOOP_HOME/bin/hdfs namenode -format

然后启动hadoop

start-all.sh

运行jps命令,master显示

19410 DataNode19748 ResourceManager19865 NodeManager19278 NameNode19582 SecondaryNameNode

slave显示

15507 DataNode16073 NodeManager

三 HBase配置

下载HBase到/home/hadoop/hbase
添加环境变量

export HBASE_HOME=/home/hadoop/hbaseexport PATH=$PATH:$HBASE_HOME/binexport PATH=$PATH:$HBASE_HOME/sbin

配置conf/hbase-site.xml

<property>    <name>hbase.cluster.distributed</name>    <value>true</value></property><property>    <name>dfs.replication</name>    <value>1</value></property><property>   <name>hbase.master</name>    <value>hdfs://hadoop-master:60000</value></property><property>    <name>hbase.rootdir</name>    <value>hdfs://hadoop-master:9000/hbase</value></property><property>    <name>hbase.zookeeper.quorum</name>    <value>hadoop-master,proxy2,ubuntu</value></property>

配置regionservers

hadoop-masterproxy2ubuntu

启动HBase

start-hbase.sh7

运行jps命令,master节点显示

19410 DataNode22707 HMaster19748 ResourceManager19865 NodeManager22843 HRegionServer19278 NameNode19582 SecondaryNameNode22591 HQuorumPeer

slave节点:

15507 DataNode31204 HQuorumPeer31385 HRegionServer16073 NodeManager

0 0