树莓派下安装Hadoop和Hive
来源:互联网 发布:全能抽奖软件注册码 编辑:程序博客网 时间:2024/06/06 02:36
推了两次都没推出去,树莓派是不想以作业作为新年第一篇吗w
0、运行环境
操作系统:Linux raspberrypi 4.1.7+
数据库:mysql
在mysql创建的Hive数据库名:hive
Hive用户名:hive
Hadoop、Hive安装位置:/mnt/study
1、安装JDK7
sudo apt-get install oracle-java7-jdk
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
#set java environment
JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool$
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
2、安装Hadoop-1.0.4
cd /mnt
sudo wget -c http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz
sudo tar vxzf hadoop-1.0.4.tar.gz -C /mnt/study
cd study
sudo mv hadoop-1.0.4/ hadoop
增加hadoop用户和组
sudo addgroup hadoop
sudo adduser --ingroup hadoop hduser
pi@raspberrypi ~ $ su – hduserhduser
hduser@raspberrypi ~ $ sudo chown -R hduser:hadoop hadoop
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
export HADOOP_INSTALL=/mnt/study/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
3、安装Hive-0.11.0
配置mysql,添加hive账户和数据库,并授权
创建hive用户,数据库等
insert into mysql.user(Host,User,Password) values("localhost","hive",password("hive密码"));
create database hive;
grant all on hive.* to hive@'%' identified by 'hive密码';
grant all on hive.* to hive@'localhost' identified by 'hive密码';
flush privileges;
下载Hive-0.11.0
sudo wget -c http://archive.apache.org/dist/hive/hive-0.11.0/hive-0.11.0.tar.gz
sudo tar -zxvf hive-0.11.0.tar.gz
sudo mv hive-0.11.0 hive
配置系统变量
sudo nano /etc/profile
在文件后添加如下内容
export HIVE_HOME=/mnt/study/hive
export PATH=$PATH:$HIVE_HOME/bin
下载mysql-connector-java-5.1.22-bin.jar,并放到Hive的lib文件夹
修改Hive配置文件
cd /mnt/study/hive/conf
sudo cp hive-default.xml.template hive-site.xml
sudo nano hive-site.xml
修改以下部分
<property>
<name>hive.metastore.warehouse.dir</name>
<value> /mnt/study/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value> jdbc:mysql:;databaseName=hive;create=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.mysql.jdbc.EmbeddedDriver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>自己的名字</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>自己的密码</value>
<description>password to use against metastore database</description>
</property>
四、实验结果
1、JDK7安装结果
hduser@raspberrypi ~ $ java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) Client VM (build 24.0-b56, mixed mode)
2、Hadoop安装结果
hduser@raspberrypi /home $ hadoop version
Hadoop 1.0.4
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290
Compiled by hortonfo on Wed Oct 3 05:13:58 UTC 2012
From source with checksum fe2baea87c4c81a2c505767f3f9b71f4
3、Hive安装结果
pi@raspberrypi /mnt/study/hive/conf $ hive
Logging initialized using configuration in jar:file:/mnt/study/hive/lib/hive-common-0.11.0.jar!/hive-log4j.properties
Hive history file=/tmp/pi/hive_job_log_pi_3686@raspberrypi_201601011119_2025059336.txt
hive>
五、总结反思
Hive的安装配置方面的资料较残缺,比如配置mysql,安装jar包,对Hive配置文件的设置等说的都不太清楚,要自己去理解。另外对Hive和SQL间的关系有了一些比较清晰的认识。
参考文献:
Hive安装与配置
debian安装配置HBase,Hive,Chukwa,Pig,Zookeeper
hadoop入门第七步---hive部署安装(apache-hive-1.1.0)
伪分布式hadoop2.2.0+hive0.12.0安装
debian 安装hadoop1.2.1集群
树莓派安装Hadoop
树莓派搭建 hadoop 集群
基于MySQL元数据的Hive的安装和简单测试
查看原文:http://dsouth.all123.net:9527/wordpress/archives/190.html
- 树莓派下安装Hadoop和Hive
- mac安装Hadoop和hive
- ubuntu安装配置hadoop和hive
- hadoop hive和mysql安装实践
- Hadoop+hive安装
- Hadoop&hive安装配置
- hadoop hive的安装
- hadoop-hive安装配置
- Hive&hadoop 安装配置
- 【hadoop】15、hive安装
- hadoop安装之-hive
- <Hadoop>Hive (derby) 安装
- <Hadoop>Hive(Mysql) 安装
- hadoop hive安装
- hadoop集群安装hive
- Hadoop--Hive安装指南
- Hadoop工具安装--Hive
- Hadoop+Hive安装配置
- linux常用指令集
- 在Yarn上运行spark-shell和spark-sql命令行
- java 范型
- 【DirectX 9.0学习之路(第二话)】——Direct3D初始化(下)
- 初识CSS--常用元素总结(一)-元素选择器-颜色-尺寸
- 树莓派下安装Hadoop和Hive
- Spark On Yarn:提交Spark应用程序到Yarn
- Unix内核源码剖析 摘记
- jQuery 学习—宏观总结(2)
- 通过URL传递参数到JSF
- SQL Server中字段char、varchar、text和nchar、nvarchar、ntext的主要区别
- POJ 3009 Curling 2.0 (DFS)
- 单例模式...(MRC方式)
- hadoop 自定义