Centos 7 伪分布式安装Hadoop2.6和Hbase0.94

一、安装Jdk

       首先需要卸载系统自带的openjava，查看系统的Java：   rpm -qa|grep java
       卸载：   yum -y remove java javaxxxxx(系统自带的Java版本)

       安装jdk，将jdk.tar.gz文件复制到/usr/java中,终端进入/mnt/share ,cp jdk.tar.gz /usr/ava，进入/usr/java解压：tar xzvf jdk.targz

       配置环境变量：vi /etc/profile       输入i编辑
       在尾部添加：export JAVA_HOME=/usr/java/jdkxxxx
                             export PATH=$JAVA_HOME/bin:$PATH
                             export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


       保存并退出： wq
      使修改生效：  source /etc/profile
      查看Java版本：java -version


二、Hadoop伪分布式安装

 1、ssh无密码登陆

     终端：ssh-keygen -t rsa   (获得rsa公钥私钥,id_rsa和id_rsa.pub)
                 cd .ssh
                 cp id_rsa.pub authorized_keys (将公钥复制给authorized_keys)   <分布式则要将所有节点id_rsa.pub相互复制>

 2、 /mnt/share    cp hadoop2.x /usr.hadoop

         解压tar xzvf hadoop 2.x

 3、修改core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml 、yarn-site.xml(hadoop2.x版本的配置文件在/hadoop2.x/etc/hadoop下)


 ①core-site.xml：

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property></configuration>

② hadoop-env.sh：
export JAVA_HOME=/usr/java/jdkxxx   (jdk路径)


③ hdfs-site.xml：  先创建好数据节点和名称节点的存放路径

<configuration><property><name>dfs.datanode.data.dir</name><value>/user/hadoop/hadoop-2.5.1/data</value></property><property><name>dfs.namenode.name.dir</name><value>/user/hadoop/hadoop-2.5.1/name</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>

④mapred-site.xml:  (注意：这个文件是将/hadoop2.x/etc/hadoop下的mapred-site.xml.template复制并重命名 )

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

⑤yarn-site.xml：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

4、namenode格式化（一定要完成）

       终端：cd /usr/hadoop/hadoop-2.5.1/bin

                ./hdfs namenode -format          (输入./hadoop namenode -format也行)


5、运行hadoop


 终端： cd /usr/hadoop/hadoop-2.5.1/sbin   (2.x版本后启动/停止在sbin目录下)   
                    ./start-hdfs.sh
                    ./start-yarn.sh
                 (也可以只输入./start-all.sh)

    输入jps查看启动项，当启动了NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager即ok。

    可进入Firefox中，输入端口号：  localhost:50070      进入hadoop可视化页面。

三、Hbase0.94安装

1、/mnt/share    cp hbase1.0.1 /usr.hbase

         解压tar xzvf hbase1.0.1

2、修改hbase配置文件hbase-env.sh、hbase-site.xml

     hbase-env.sh:   

export JAVA_HOME=/usr/java/jdkxxxx (java路径)
                        export HBASE_MANAGES_ZK=true      (都得去掉前面#)


    hbase-site.xml：

<configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>localhost</value></property><property><name>hbase.tmp.dir</name><value>file:/usr/hbase/tmp</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>file:/usr/hbase/zookeeperdata</value></property></configuration>

3、运行hbase

    运行前需先启动hadoop，再进入hbase的bin目录下输入指令 ./start-hbase.sh
    输入jps查看启动项，如有HMaster、HRegionServer、HQuormPeer,则说明hbase启动成功。
    输入./hbase Shell      (进入shell指令，可通过shell指令建表)

bin/hbase-daemon.sh start zookeeper
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver