Hive 安装配置

安装mysql

检查是否安装mysql：

rpm -qa |grep mysql

删除已经安装的mysql：

rpm -e mysql-libs-5.1.71-1.el6.x86_64

报错：因为mysql有相关依赖，并不能直接删除

 

rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

成功：使用--nodeps 也就是说不检查依赖。这样的话，那些使用该软件包的软件在此之后可能就不能正常工作了（注意，nodeps前是双横杠）

 

添加依赖包安装：

yum search libaio

yum install libaio

 

安装mysql：

添加mysql用户组：
groupadd mysql

useradd -r -g mysql -s /bin/false mysql  (-s /bin/false表示mysql用户不能当作系统登录用户）

 

进入希望安装mysql的路径下，上传mysql安装包并解压

创建一个快捷方式mysql：

ln -s mysql-5.7.14-linux-glibc2.5-x86_64 mysql

进入mysql目录：

cd mysql

创建一个新文件夹：

mkdir mysql-files

修改可执行属性：

chmod 750 mysql-files

下面的全给改成mysql

chown -R mysql .

chgrp -R mysql .

生成随机密码：

bin/mysqld --initialize --user=mysql

安装ssl安全认证

bin/mysql_ssl_rsa_setup

给改成root

chown -R root .

把mysql-files全改成mysql

chown -R mysql data mysql-files

启动mysql服务：

bin/mysqld_safe --user=mysql &

加入服务

cp support-files/mysql.server /etc/init.d/mysql.server

添加环境变量：

vi /etc/profile

export MYSQL_HOME=/usr/local/mysql

export PATH=$PATH:$MYSQL_HOME/bin

保存并使其生效

source  /etc/profile

登录mysql

mysql -u root –p

输入随机密码

 

修改初始密码

SET PASSWORD = PASSWORD('sa');

 

进入mysql开启远程访问

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'sa' WITH GRANT OPTION;

flush privileges;

 

退出mysql

exit

将mysql加入开机启动服务

chkconfig --add mysql.server

chkconfig mysql.server on

 

如果默认密码输入不正确，则需要设置无密码登录

首先，在/etc下创建my.cnf，可以从/usr/local/mysql/support-files下找到my-default.cnf

复制并重命名为my.cnf，并转移到/etc/目录下：

cp my-default.cnf /etc/my.cnf

在my.cnf中加入

skip-grant-tables 

重启mysql服务
进入mysql，设置密码：

SET PASSWORD = PASSWORD('sa');

将无密码登录修改回来，重启mysql服务

安装hive

安装在hadoop的namenode上，拷贝安装文件到linux中/usr/tools/下

解压：

tar -zxvf apache-hive-2.1.0-bin.tar.gz

添加到环境变量

vi /etc/profile

编辑

#hive

export HIVE_HOME=/usr/tools/apache-hive-2.1.0-bin

export PATH=$PATH:$HIVE_HOME/bin

保存后使其生效：

source /etc/profile

配置hive

在hdfs中新建目录/user/hive/warehouse

首先启动hadoop任务

hdfs dfs -mkdir /tmp

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/hive

hdfs dfs -mkdir /user/hive/warehouse

 

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

将mysql的驱动jar包mysql-connector-java-5.1.39-bin.jar拷入hive的lib目录下面

进入hive的conf目录下面复制一下hive-default.xml.template名子命名为：hive-site.xml

cp hive-default.xml.template hive-site.xml

修改下列属性值（通过/指令寻找，如果第一个定位不正确，n寻找下一个）

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>

    <description>JDBC connect string for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

    <description>Username to use against metastore database</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>sa</value>

    <description>password to use against metastore database</description>

  </property>

  

  <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>

    <description>Local scratch space for Hive jobs</description>

  </property>

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/usr/tools/apache-hive-2.1.0-bin/tmp/resources</value>

    <description>Temporary local directory for added resources in the remote file system.</description>

  </property>

  <property>

    <name>hive.querylog.location</name>

    <value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>

    <description>Location of Hive run time structured log file</description>

  </property>

  <property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/usr/tools/apache-hive-2.1.0-bin/tmp/operation_logs</value>

    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>

  </property>

使用schematool 初始化metastore的schema：

schematool -initSchema -dbType mysql

 

运行hive

hive