CDH版 Hadoop Hive Sqoop 安装

快速搭建CDH版Hadoop
1、先关闭已经启动的所有服务
2、规划目录结构
3、解压Hadoop到指定目录
4、修改三个*-env.sh配置文件，Java路径
  echo $JAVA_HOME 获取 Java路径     三个文件为： hadoop-env.sh yarn-env.sh mapred-env.sh 
5、修改core-stie.xml
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-01.yushu.com:8020</value>
    </property>

        <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/cdh5/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
    </property>


        <property>
        <name>hadoop.http.staticuser.user</name>
        <value>ds</value>
    </property>
6、修改hdfs-site.xml
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>


        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata-01.yushu.com:50090</value>
    </property>


        <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
7、修改slaves 添加主机名
8、修改yarn-site.xml
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>


        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-01.yushu.com</value>
    </property>


        <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>


        <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>
9、修改mapred-site.xml
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>


        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>bigdata-01.yushu.com:10020</value>
        </property>


        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>bigdata-01.yushu.com:19888</value>
        </property>
10、格式化namenode
$ bin/hdfs namenode -format
11、启动HDFS和yarn所有进程

12、最后可以替换一下native本地库，注意使用CDH版本的，把lib下的native替换过来

快速搭建CDH版本hive
1、在HDFS上新建hive的仓库地址
$ bin/hdfs dfs -mkdir -p /user/hive/warehouse
$ bin/hdfs dfs -chmod g+w /tmp
$ bin/hdfs dfs -chmod g+w /user/hive/warehouse
2、解压hive tar -zxf /源地址  /解压地址
3、新建hive-site
在conf下 使用命令 cp hive-default.xml.template hive-site.xml
4、修改hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/cdh5/hive-0.13.1-cdh5.3.6/conf
5、修改hive log4j
hive.log.dir=/opt/cdh5/hive-0.13.1-cdh5.3.6/logs
6、修改hive-site
<property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://bigdata-01.yushu.com:3306/cdhmetastore?createDatabaseIfNotExist=true</value>          
        </property>


        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
        </property>


        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
        </property>


        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
        </property>


        <property>
          <name>hive.cli.print.header</name>
          <value>true</value>
        </property>


        <property>
          <name>hive.cli.print.current.db</name>
          <value>true</value>
        </property>
7、mysql链接驱动
$ cp /opt/software/mysql-connector-java-5.1.27-bin.jar lib/
8、mysql原先配置过就不用再配置了
   mysql -uroot -p123456  登陆mysql
9、启动hive
   bin/hive
10、建库
create database if not exists db_emp;

sqoop的部署和使用
1、早期就是一些MR程序组成的，进行打包jar，最后形成了sqoop单独的框架
2、sqoop的底层就是MR
3、利用MapReduce加快数据传输速度，批处理方式进行数据传输
-》充分利用了MR的并行计算的特点
4、sqoop无论是导入还是导出是没有reduce的，只有map
5、解压sqoop
6、修改/opt/cdh5/sqoop-1.4.5-cdh5.3.6/conf sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


export HADOOP_MAPRED_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


export HIVE_HOME=/opt/cdh5/hive-0.13.1-cdh5.3.6
7、将mysql驱动包放到sqoop的lib目录下
8、测试连接数据库

$ bin/sqoop list-databases -connect jdbc:mysql://bigdata-01.yushu.com:3306 -username root -password 123456

bin/sqoop \
list-tables \
--connect jdbc:mysql://bigdata-01.yushu.com:3306/metastore \
--username root \
--password 123456