Hive 表
来源:互联网 发布:淘宝青少年男装 编辑:程序博客网 时间:2024/05/22 00:16
内表和外表
内表(Managed Table)
也称为“管理表”,其数据文件、元数据及统计信息全部由Hive进程自身管理.内表的数据存储在由hive.metastore.warehouse.dir指定的路径下,类似于/user/hive/warehouse/dbname.db/tablename/。删除内表时,其数据文件、元数据信息都会统一删除,一般在生产环境下不会使用内表,需要创建临时表或者声明周期完全有Hive管理的表时,推荐使用内表
外表(External Table)
通过原信息或者Schema描述外部文件的结构。外表的文件可以被Hive之外的进程访问和管理,例如HDFS。当删除外表时,删除的为hive算管理的元数据信息,由外部文件系统所管理的数据是不会被删除的
区分内外表
在hive中执行desc fromatted 表名
来查看表是属于内表还是外表
文件存储格式
在hive的建表过程中,通过STORED AS来指定表的存储格式
- STORED AS TEXTFIEL hive表的默认存储格式
- STORED AS SEQUENCEFILE 已压缩的序列化文件
- STORED AS ORC 存储为ORC格式的文件
- STORED AS PARQUET 存储Parquet文件 列式格式文件
- STORED AS AVRO 存储AVRO格式的文件
- STORED AS RCFILE 存储RC(Record Columnar)格式文件
- STORED BY 由非内置id表格式存储,例如用HBase存储数据
通常使用列式存储的方式进行数据的存储,如ORC、PARQUET、AVRO等
序列化和反序列化
序列化是将数据对象转化为字节序列的一个过程.
反序列化是序列化的逆过程,是将字节序列转化为数据对象的过程
序列化的用途
- 对象的持久化
- 对象数据的网络传输
0 0
- Hive表
- Hive 表
- hive学习 hive中的表
- hive表数据导入到hive表
- Hive 插入数据 显示hive表详细信息
- 理解Hive表(Hive Table)
- Hive-JSON 原始数据映射 Hive 表结构
- hive建表规范
- hive修改表模式
- HIVE函数表
- 生成hive外部表
- hive表分区
- Hive 表操作
- hive表乱码问题
- hive建表手记
- 查看hive表详细
- hive 建表大全
- Hive表分区
- hibernate懒加载中的一些猫腻
- BZOJ1391: [Ceoi2008]order
- iOS 控制器多次present后返回根控制器 —— HERO博客
- HTML5综述
- C语言再学习 -- 值传递,址传递,引用传递
- Hive 表
- 书籍是进步的阶梯
- 数据预处理的一些知识
- 云平台安全组及网络ACL对比
- @Resource和@Autowired两者区别
- sqlite详解
- Spring Boot 依赖注入
- Retrofit的使用
- 如何在window下运行Discriminatively Trained Deformable Part Models代码 (转)