Hadoop概述
来源:互联网 发布:剑网三男捏脸数据 编辑:程序博客网 时间:2024/04/27 02:38
原文地址:http://blog.csdn.net/kkdelta/article/details/7696025
hadoop是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用
java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算.
Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,
MapReduce提供了对数据的计算.
数据在hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果.
大文件被分成默认64M一块的数据块分布存储在集群机器中.
如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中.
结果以key--value的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,
Reduce Task的输出为整个job的输出,保存在HDFS上.
如下图所示:
NameNode同时保存了文件系统运行的状态信息.
DataNode中存储的是被拆分的blocks.
Secondary NameNode帮助NameNode收集文件系统运行的状态信息.
JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker.
TaskTracker负责某一个map或者reduce任务.
0 0
- Hadoop概述
- Hadoop概述
- Hadoop概述
- hadoop概述
- hadoop概述
- Hadoop概述
- Hadoop概述
- Hadoop概述
- hadoop概述
- Hadoop概述
- hadoop---概述
- Hadoop概述
- Hadoop概述
- Hadoop概述
- Hadoop概述
- Hadoop小结连载:Hadoop概述
- Hadoop实战之一~Hadoop概述
- Hadoop实战之一~Hadoop概述
- ROS下安装xtion pro live
- 初始AOP
- 回溯
- 计算中缺少MSCVR110.dll文件的解决方案
- Android源码mm模块编译 & mm编译apk
- Hadoop概述
- 鱼眼拼接之SIFT提取特征点
- mac下恢复eclipse的默认代码风格
- 中文分词技术(中文分词原理)
- SSI框架整合报错:Unable to load configuration
- 深入Java注解
- JAVA泛型详解
- 在Activity中使用Thread导致的内存泄漏
- 10分钟搭建 NDK 的 Android 开发环境