HIVE+MYSQL+HADOOP环境配置(用于学习)

注意：一切的操作，都要在root用户下，不然会由于权限问题产生很多问题

Step_1:安装并配置ssh

通过命令： apt-get install openssh-server 安装SSH 。安装成功后，通过命令：ssh-keygen -t rsa生成秘钥，进入到.ssh目录下执行命令：cp id_rsa.pub authorized_keys  ，操作成功之后执行ssh localhost命令。页面显示如下，说明安装成功。

   

Step_2：安装并设置mysql

在安装mysql前，首先执行命令：apt-get update,命令执行成功后，执行命令：apt-get install mysql-server mysql-client,执行命令之后，安装过程弹出对话框，输入用户密码。安装成功之后，加入密码为：root，执行命令：mysql -u

root -p，会弹出如此啊对话框，输入用户密码：root，进入到mysql页面。

（为了hive创建元数据进行提前设置）创建用户hadoop，设置用户密码:hadoop，赋予用户权限，执行刷新，执行命令如下：

mysql>CREATE USER 'hadoop' IDENTIFIED BY 'hadoop';mysql>GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;mysql>flush privileges;

命令执行成功之后，退出，使用用户hadoop进行登录。执行步骤如下：

Step_3：安装并配置JDK环境

打开http://pan.baidu.com/s/1qXYnReG 下载JDK，下载成功，到下载路径下进行解压，解压命令：tar -zxvf jdk-7u79-linux-x64 (1).tar.gz，解压成功后，执行命令：mv jdk-7u79-linux-x64 \(1\)  /usr/local，命令执行成功设置JDK环境，执行gedit ~/.bashrc，打开.bashrc文件，加入命令：

export JAVA_HOME=/usr/local/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH

编辑成功，并保存，执行命令：source ~/.bashrc

配置java认证，执行命令如下：

#update-alternatives --install /usr/bin/java java usr/local/jdk1.7.0_79/bin/java 2# update-alternatives --install /usr/bin/javac javac usr/local/jdk1.7.0_79/bin/javac 2#update-alternatives --install /usr/bin/jar jar usr/local/jdk1.7.0_79/bin/jar 2# update-alternatives --set java usr/local/jdk1.7.0_79/bin/java# update-alternatives --set javac usr/local/jdk1.7.0_79/bin/javac# update-alternatives --set jar usr/local/jdk1.7.0_79/bin/jar

执行命令之后，在终端输入：java -version，检验是否安装配置成功：

Step_4:安装并配置hadoop

打开http://pan.baidu.com/s/1qXYnReG下载hadoop，由于我是通过共享文件设置，所以在window上解压之后，才到liunx执行移动操作，不过如果下载的是tar.gz的文件，解压步骤如step_3中一致，进入到解压问价下：执行命令：mv hadoop-2.7.3 /usr/local/hadoop，执行成功后，设置hadoop的环境变量，执行命令：gedit ~/.bashrc，打开.bashrc文件，在文件中添加，如下命令：

export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存成功后，执行source ~/.bashrc

hadoop-env.sh配置如下：

core-site.xml配置如下：

hdfs-site.xml配置设置：

yarn-site.xml配置设置：

mapred-site.xml配置设置

执行完上述配置后，执行命令：

Step_5：安装并配置HIVE

打开http://pan.baidu.com/s/1qXYnReG下载hive，解压文件，执行命令：mv apache-hive-1.2.1-bin /usr/local/hive,设置hive环境，打开.bashrc文件在其中添加如下命令：

export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HIVE_HOME/binexport CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

设置完成，执行命令：export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

保存成功，执行命令:source ~/.bashrc

hive-env.sh配置信息：

hive-site.xml配置如下：

Step_6:验证HIVE安装

执行名如下：

$ $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp $ $HADOOP_HOME/bin/hadoop fs -mkdir  -p /user/hive/warehouse $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp $ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse