Hadoop, mapreduce, spark

实现了一个分布式文件系统， hadoop  distributed file system，简称HDFS。hadoop框架最核心的是HDFS(用来存储海量数据)和Mapreduce（用来计算海量数据）

Mapreduce：最简单的mapreduce函数包括一个map函数，一个reduce函数和一个main函数。其中main函数将作业控制和文件输入输出结合起来。

map函数接受一组数据并将其转换为一个键值对列表。reduce函数接受map函数生成的列表，然后根据键缩小键值对列表。

并行功能，在任意数量的系统上同时使用，速度更快。

在客户机上在单个主系统上启动的mapreduce程序成为JobTracker，类似于NameNode， 它是Hadoop集群中唯一负责控制mapreduce应用程序的系统。在应用程序提交之后，将提供包含在HDFS中的输入和输出目录。jobtracker使用文件块信息确定如何创建其他tasktracker从属任务。mapreduce

程序被复制到每个出现输入文件块的节点。将为特定节点上的每个文件块创建一个唯一的从属任务。每个tasktracker将状态和完成信息报告给jobtracker。

hadoop没有将存储移动到某个位置进行处理，而是将处理移动到存储。根据集群中的节点数调节处理，支持高效的数据处理。

Spark是伯克利开源的类hadoop mapreduce框架。拥有hadoop mapreduce的优点，但是job中间输出结果可以存在于内存之中，因此不再需要读写HDFS,因此能更好地适用于数据挖掘和机器学习等需要迭代的mapreduce算法。

速度更快，内存计算下，快100倍

提供了大量的库，支持多种资源管理器

Hadoop 和 Mapreduce的区别：

解决问题的层面不一样

首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

两者可合可分

Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。

相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。

以下是从网上摘录的对MapReduce的最简洁明了的解析:

  我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。

现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

Spark数据处理速度秒杀MapReduce

Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。

反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。

但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。

大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。

灾难恢复

两者的灾难恢复方式迥异，但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。

Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。“这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完成的灾难恢复功能，”Borne指出。