Hive定义、Hive与HBase关系、Hive与RDBMS的关系、数据库与数据仓库的区别

来源:互联网 发布:java bigdecimal加 号 编辑:程序博客网 时间:2024/05/17 08:20

1、Hive定义

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

    Hive是一个构建在Hadoop上的数据仓库平台,其设计目标是使Hadoop上的数据操作与传统SQL结合,让
    熟悉SQL编程的开发人员能够轻松向Hadoop平台转移

Hadoop1.x的项目结构除了核心内容MapReduce和HDFS,还包括Common、Avro、
    Chukwa、Hive、HBase等子项目,它们之间相互提供服务,或在核心层上为更高提供服务


免费的日志分析工具有:Awstats  Webalizer 页面中嵌入js代码
    日志分析的方式有:Linux Shell脚本、SQL查询、基于Hadoop的日志分析

2、Hive与HBase关系


Hive是基于Hadoop的一个数据仓库工具,是为简化编写MapReduce程序而生的,Hive十分适合数据仓库的统计分析
 
HBase是一个分布式的、面向列的开源数据库,它是一个适合于非结构化数据存储的数据库,列式数据库

3、Hive与RDBMS的关系

Hive除了用了和数据库相似的查询语言,再无别的相同点



4、数据库与数据仓库的区别

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

所谓的(1) 面向主题:指数据仓库中的数据是按照一定的主题域进行组织。

(2)集成:指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。

(3)相对稳定:指一旦某个数据进入数据仓库以后只需要定期的加载、刷新。

(4)反映历史变化:指通过这些信息,对企业的发展历程和未来趋势做出定量分析预测。

数据仓库建设是一个工程,是一个过程,而不是一种可以购买的产品。企业数据处理方式是以联机事务处理形式信息,并利用信息进行决策;在信息应用过程中管理信息。

数据仓库的出现,并不是要取代数据库。目前,大部分数据仓库还是用关系数据库管

理系统来管理的。数据仓库与数据库的主要区别在于:

(1)数据库是面向事务的设计,数据仓库是面向主题设计的。

(2)数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。

(3)数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。

(4)数据库是为捕获数据而设计,数据仓库是为分析数据而设计。


0 0
原创粉丝点击