总结:大数据几个重要框架的结构框图
来源:互联网 发布:安装linux u盘坏了 编辑:程序博客网 时间:2024/05/17 07:20
一、Hadoop 三、Hive 模式
二、HA集群模式
主机名 IP 安装的软件 运行的进程
host 192.168.33.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
mini1 192.168.33.130 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
mini2 192.168.33.131 jdk、hadoop ResourceManager
mini3 192.168.33.132 jdk、hadoop ResourceManager
mini4 192.168.33.133 jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
mini5 192.168.33.134 jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
mini6 192.168.33.135 jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
备注:所以hive的运行离不开Hadoop。
四、Flume框架图解
备注:在linux上启动agent,来获取数据。根据配置文件确定数据的来源与目的
五、Azkaban不介绍,sqoop的运行机制如下
六、Hbase图解 一个HMaster多个HRegionServer
HBase采用Master/Slave架构搭建集群。
由以下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群。
而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等。
七、Storm图解
Storm类似与Hadoop:
NameNode ---> DataNode1、DataNode2、DataNode3……
nimbus --->supervisor1、supervisor2、supervisor3……
八、Kafka
每个集群叫做broker,分配brokerID
九、Spark
一个Master管理多个worker构成集群
阅读全文
0 0
- 总结:大数据几个重要框架的结构框图
- 大数据_Kafka_Kafka的重要配置总结
- 几个重要的云计算/大数据网址
- 几个驱动重要的结构
- 网络中几个重要的结构体
- 几个重要的网络结构体
- HAProxy几个重要的结构体
- 数据的“大”重要还是大的“数据”重要
- 几个重要结构
- AVR单片机的几个重要总结
- ListView几个重要的属性总结
- JAVA的几个重要概念小总结
- C++中几个重要的关键字总结
- Kafka 几个重要的配置总结
- MySQL 几个比较重要的用法总结
- Kafka 几个重要的配置总结
- B2C邮件营销的几个重要数据
- 几个大数据的问题
- hdu 1147 pick up sticks 几何问题线段相交
- 【JavaWeb笔记】HTML入门
- 说文解字-JAVA工程师技能分布系列一(JavaSe:面向对象)
- Unity中查找子组件GameObject或Component的操作汇总
- junit单元测试报java.lang.NoSuchMethodError: org.junit.runner.Description.createSuiteDescription
- 总结:大数据几个重要框架的结构框图
- Spring Security 注解备忘
- Android GreenDao 3.0下给数据表的字段设置默认值
- JavaScript 通过Ajax 动态加载CheckBox复选框
- filename extension
- WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
- 中文篇:Yii 路由引导与创建
- redis集群实现(八)redis+twemproxy集群
- Log4j的错误提示