Hadoop系列--Hadoop介绍(Hadoop是什么)

来源:互联网 发布:淘宝卖家怎么评价买家 编辑:程序博客网 时间:2024/06/04 19:58

1 Hadoop概述

Hadoop项目的目标是建立一个可扩展开源软件框架,能够对大数据进行可靠的分布式处理。Hadoop框架最核心的设计就是:**HDFS**和**MapReduce**。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。HDFS是一个分布式文件系统,具有低成本、高可靠性性、高吞吐量的特点。MapReduce是一个编程模型和软件框架。简单理解,Hadoop是一个开源的大数据分析软件,或者说编程模式。它是通过分布式的方式处理大数据的,因为开元的原因现在很多的企业或多或少的在运用hadoop的技术来解决一些大数据的问题,在数据仓库方面hadoop是非常强大的。但在数据集市以及实时的分析展现层面,hadoop也有着明显的不足,现在一个比较好的解决方案是架设hadoop的数据仓库而数据集市以及实时分析展现层面使用永洪科技的大数据产品,能够很好地解决hadoop 的分时间长以及其他的问题。

2 Hadoop体系结构

下面以一张图的形式大体描述一下Hadoop的体系结构。

知识框架

3 Hadoop与分布式开发

参照下图了解Hadoop与分布式开发的基本流程,详细步骤会在后续学习中讲解。

介绍

原创粉丝点击