第六课记录 Hadoop的起源——Google的基本思想之二
来源:互联网 发布:游戏美工设计师 编辑:程序博客网 时间:2024/05/29 18:51
主题:Hadoop高可用性(HA)的原理和实现
1、什么是HA?: 防止主节点死掉了,造成整个集群无法访问
2、ZooKeeper简介
3、Hadoop高可用性的实现原理
4、Demo演示:Hadoop的HA
HA两方面:HDFS和Yarn ----> Hadoop平台
HBase
二、Google的基本思想之二:MapReduce计算模型 来源就是:PageRank ----> 数据的计算
1、什么是PageRank问题?----> 搜索排名
2、PageRank:网页1亿个-----> MapReduce计算模型
3、更简单一点的例子:MapReduce计算模型
4、思考问题:MapReduce最大的问题是什么? ----> Spark计算模型
三、Google的基本思想之三:BigTable(大表) -----> NoSQL数据库:HBase
1、大表是违背关系型数据库范式的要求
2、关系型数据库:设计表结构
(1)遵从ER模型 ---> 范式 ---> 外键 : 好处:减少数据冗余 坏处:影响性能(多表查询)
(2)为了提高性能:创建一些冗余表(提高性能)
3、BigTable(大表):类似冗余表。通过牺牲空间,换取性能
1、什么是HA?: 防止主节点死掉了,造成整个集群无法访问
2、ZooKeeper简介
3、Hadoop高可用性的实现原理
4、Demo演示:Hadoop的HA
HA两方面:HDFS和Yarn ----> Hadoop平台
HBase
Storm
二、Google的基本思想之二:MapReduce计算模型 来源就是:PageRank ----> 数据的计算
1、什么是PageRank问题?----> 搜索排名
2、PageRank:网页1亿个-----> MapReduce计算模型
3、更简单一点的例子:MapReduce计算模型
4、思考问题:MapReduce最大的问题是什么? ----> Spark计算模型
三、Google的基本思想之三:BigTable(大表) -----> NoSQL数据库:HBase
1、大表是违背关系型数据库范式的要求
2、关系型数据库:设计表结构
(1)遵从ER模型 ---> 范式 ---> 外键 : 好处:减少数据冗余 坏处:影响性能(多表查询)
(2)为了提高性能:创建一些冗余表(提高性能)
3、BigTable(大表):类似冗余表。通过牺牲空间,换取性能
阅读全文
0 0
- 第六课记录 Hadoop的起源——Google的基本思想之二
- 第六课记录 Hadoop的起源——Google的基本思想之二
- 第五课记录 Hadoop的起源——Google的基本思想之一
- Hadoop的思想起源--Google
- 漫谈Hadoop的思想之源:Google
- 漫谈Hadoop的思想之源:Google
- Google的起源故事
- “Ceph浅析”系列之(二)—Ceph的设计思想
- Hadoop的起源和体系介绍
- hadoop思想起源和基础认识
- 契约——协议的基本思想
- hadoop学习笔记(二)——hadoop思想简介
- 权威黑客知识讲座(二):漏洞的起源
- 贝叶斯分类器----分类器思想的起源(spring)
- hadoop的基础思想
- Hadoop的核心思想
- hadoop的核心思想
- Hadoop的核心思想
- 用insert 插入一个带&的字符串时总是让输入值
- [PAT]1012. The Best Rank (25)@Java
- [HDU](3746)Cyclic Nacklace ---KMP(串)
- 细聊分布式ID生成方法
- 注解之注解的基本概念
- 第六课记录 Hadoop的起源——Google的基本思想之二
- VS 没有生成lib库
- Google深度学习目标检测API模型比较
- 图解HTTP读书笔记-(四 返回结果的HTTP状态码)
- ibatis 实现分页查询 简单粗暴
- 入行AI最需要的五大技能
- textarea自适应内容高度
- Java学习笔记-注释
- 如何使用nmon监控Linux系统性能