/**一:初识Hadoop*/
来源:互联网 发布:python实例100例 编辑:程序博客网 时间:2024/06/07 00:05
1.1 Hadoop核心价值
- HDFS(HadoopDistributeFileSystem):Hadoop的文件系统。实现了数据存储
- MapReduce:提出了一个模型,该模型抽象出硬盘读写问题并将其转化为对一个数据集(由键值对组成)的计算。实现数据的分析和处理。
1.2 与关系型数据库管理系统的比较
计算机硬盘的发展趋势:寻址时间的提升远远不敌传输速率的提升。
关系型数据库处理结构化的,规范的数据;
MapReduce处理半结构化、非结构化的非规范的数据更为有效;
关系型数据库与MapReduce比较
1.3 术语
Namenode:
1.1)HDFS采用master/salve架构;
1.2) 一个HDFS集群是由一个Namenode和一定数目的Datanodes组成;
1.3)Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问;
1.4)Namenode执行文件系统的名字空间操作,如打开、关闭、重命名文件或目录;
1.5)负责确定数据块到具体Datenode节点的映射;Datanode
2.1)一般一个节点一个Datanode,负责管理他所在节点上的存储;
2.2) 一个文件其实被分成一个或多个数据块,存储在一组Datanode上;
2.3) Datanode负责处理文件系统客户端读写请求;
2.4) 在Namenode的统一调度下进行数据块的创建、删除和复制;Secondnamenode:
3.1)一般一个节点一个Datanode,负责管理他所在节点上的存储;
3.2) 一个文件其实被分成一个或多个数据块,存储在一组Datanode上;
3.3) Datanode负责处理文件系统客户端读写请求;
3.4) 在Namenode的统一调度下进行数据块的创建、删除和复制;Jobtracker和Tasktracher:
4.1)所有的job的执行都由Jobtracker来调度;
4.2) Hadoop系统中只配置一个JobTracker应用;
4.3)TaskTracker都需要运行在HDFS的DataNode上;
- hadoop(一)初识hadoop
- 【学习hadoop】初识(一)
- 一、初识Hadoop
- /**一:初识Hadoop*/
- 初识hadoop笔记(一)
- Hadoop学习(一) — 初识Hadoop
- Hadoop学习笔记(一)初识Hadoop
- 初识Hadoop
- hadoop 初识
- hadoop初识
- 初识Hadoop
- 初识hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识Hadoop
- 初识hadoop
- Qt之界面实现技巧
- LCS 问题
- Html5+Lufylegend.js游戏开发(一)引擎介绍及原理
- php多余的输出(返回值有回车键和空格)
- Spring+ActiveMQ配置
- /**一:初识Hadoop*/
- 基于级联形状回归框架的人脸特征点对齐方法总结
- MS SQLServer表数据生成Insert语句
- windows下配置redis
- arp欺骗进行流量截获-1
- glut 双缓冲动画 ---不用glutTimerFunc函数
- linux上的mysql插入中文报错问题解决
- arp欺骗进行流量截获-2
- 大学没有教过我