Hive扩展功能(一)--Parquet
来源:互联网 发布:傲剑洞箫升级数据大全 编辑:程序博客网 时间:2024/06/05 05:01
软件环境:
linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8
主机配置:
一共m1, m2, m3这五部机, 每部主机的用户名都为centos
192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Master, Workerm2: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Workerm3: Zookeeper, DataNode, NodeManager, Worker
资料:
官方资料: https://cwiki.apache.org/confluence/display/Hive/Parquet
注意:
Hive扩展Parquet有以下两种方案:(hive自0.13版本以后已自带paruqet功能, 不必再扩展parquet功能)
1.方案一:
(1) 下载Parquet扩展包
通过yum下载parquet资源包 (此方案大多数情况下无法找到parquet, 原因是没有配置YUM源, 如何配置YUM源请自行查找资料)
sudo yum -y install parquet
(2)将下载好的扩展包拷贝到指定位置
将下载到/usr/lib/parquet
目录下的jar
(除javadoc.jar
和sources.jar
外)拷贝到$HIVE_HOME/lib目录下
cp /usr/lib/parquet/* $HIVE_HOME/lib
2.方案二:
(1)打开$HIVE_HOME/lib
目录
cd /home/centos/soft/hive/lib
(2)下载Parquet资源包
执行以下指令, 下载parquet资源包(注意:parquet1.2.5
版本对应Hive 0.12
版本,每个版本的Hive对应的Parquet版本不同, 具体Hive所对应的版本请自行下载源码查看)
for f in parquet-avro parquet-cascading parquet-column parquet-common parquet-encoding parquet-generator parquet-hadoop parquet-hive parquet-pig parquet-pig-bundle parquet-scrooge parquet-test-hadoop2 parquet-thriftdo curl -O https://oss.sonatype.org/service/local/repositories/releases/content/com/twitter/${f}/1.2.5/${f}-1.2.5.jar curl -O https://oss.sonatype.org/service/local/repositories/releases/content/com/twitter/parquet-format/1.2.5/parquet-format-1.2.5.jardone
0 0
- Hive扩展功能(一)--Parquet
- Hive Parquet配置
- Hive ORC和Parquet
- spark 读取hive parquet
- Hive Parquet配置
- Hive扩展功能(七)--Hive On Spark
- hive使用orcfile parquet sequencefile
- Hive扩展功能(二)--HWI接口
- Hive扩展功能(四)--HiveServer2服务
- Hive扩展功能(八)--表的索引
- hive parquet table 配置使用压缩
- Hive parquet 表查询报错
- Parquet
- Parquet
- Parquet
- Hive扩展功能(五)--HiveServer2服务高可用
- Hive扩展功能(六)--HPL/SQL(可使用存储过程)
- Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
- VC中动态加载DLL的方法
- 武汉云控系统,马云,王健林都惊艳了
- Android异步消息处理机制完全解析,带你从源码的角度彻底理解
- iOS 判断输入框内容是否是数字,并可以时时判断输入内容是否符合金额形势
- 虚拟机中使用host-only方式连接外网
- Hive扩展功能(一)--Parquet
- UITextView 设置行间距
- 使用 Pandas 分析网站访问日志
- 13个人围成一圈,链表,谭浩强那个答案有点问题,仔细看我的
- sudo指令
- cloudbase-init 自动扩盘的副作用
- 自动适配Label高度
- 2017-AspNet-MVC4-技术教学-备课总目录
- 《阿里巴巴Java开发手册(正式版)》--异常日志