hadoop介绍
来源:互联网 发布:淘宝网冬装女装外套 编辑:程序博客网 时间:2024/05/19 19:13
1.hadoop的核心分为
(1)HDFS:Hadoop Distributed File System分布式文件系统
(2)MapReduce:并行计算框架。
2.HDFS的架构
主从结构:
主节点,只有一个:namenode
从节点,有很多个:datanodes
namenode负责:
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系,block与datanode之间关系
datanode负责:
存储文件
文件被分成block存储在磁盘上
为保证数据安全,文件会有多个副本
3.MapReduce的架构
主从结构:
主节点,只有一个:JobTracker
从节点,有很多个:TaskTrackers
JobTracker负责:
接收客户提交的计算任务
把计算任务分给TaskTrackers执行
监控TaskTracker的执行情况
TaskTrackers负责:
执行JobTracker分配的计算任务
0 0
- hadoop 介绍
- hadoop 介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- Hadoop 介绍
- Hadoop介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- hadoop介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- HADOOP介绍
- Hadoop 介绍
- Hadoop介绍
- hadoop介绍
- 10g 统计信息自动收集
- mysql索引的创建、删除、查看
- 最终一致性
- ORACLE数据库学习之SQL性能优化详解
- Android菜单详解(二)——创建并响应选项菜单
- hadoop介绍
- 黑马程序员JS---JavaScript基础
- 获取联通、电信、任意ISP ip段
- 主集天线和分集天线——4G天线技术
- hdu1011
- Spring事务配置的五种方式 巨全!不看后悔,一看必懂!
- 如何查看当前Apache的连接数
- apache与tomcat的关系与区别
- Ubuntu下配置Apache HTTPS