hadoop中各组件的作用
来源:互联网 发布:ubuntu 丢失windows 编辑:程序博客网 时间:2024/05/16 07:24
Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…
1.HDFS:分布式文件系统,隐藏集群细节,可以看做一块儿超大硬盘
主:namenode,secondarynamenode
从:datanode
2.Yarn:分布式资源管理系统,用于同一管理集群中的资源(内存等)
主:ResourceManager
从:NodeManager
3.MapReduce:Hadoop的编程框架,用map和reduce方式实现分布式程序设计,类似于Spring。
4.Pig:基于hadoop的一门数据处理语言,类似于python等编程语言
5.Zookeeper:分布式协调服务,用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等
主:QuorumPeerMain
从:QuorumPeerMain
6.Hbase:Hadoop下的分布式数据库,类似于NoSQL
主:HRegionserver,HMaster,HPeerMain(在使用zookeeper作为协调时没有此进程)
7.Hive:分布式数据仓库,让开发人员可以像使用SQL一样使用MR。
8.Scoop:用于将传统数据库中数据导入到hbase中一个导入工具
9.Spark:基于内存的分布式处理框架
主:Mater
从:worker
1 0
- hadoop中各组件的作用
- HBase架构中各组件的功能作用
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- 远程调试hadoop各组件
- Hadoop生态圈各组件的启动及关闭脚本
- Hadoop生态圈各组件的启动及关闭
- Hadoop生态圈各组件的启动及关闭脚本
- Tomcat中各组件介绍
- Spring-各组件注释以及作用
- flex 各组件对应的样式属性 中
- flex 各组件对应的样式属性 中
- flex 各组件对应的样式属性 中
- Java 窗口中各组件的分布问题
- hive rownumber内置函数使用例子
- Java中只有值传递,没有引用传递
- mongodb的CURD操作简单整理
- 虚拟机的安装
- 常用oracle sql语句
- hadoop中各组件的作用
- 不用加减乘除做加法
- 文件-加密码
- boost 多线程 超时
- C++ 窄字符转换为宽字符
- shell 脚本入门系统教程
- linux移植中Makefile和Kconfig
- 关于数论以及部分其他学习内容总和
- 导入Excel方式汇总--第一种