第六课记录 Hadoop的起源——Google的基本思想之二

来源:互联网 发布:游戏美工设计师 编辑:程序博客网 时间:2024/05/29 18:51
主题:Hadoop高可用性(HA)的原理和实现
1、什么是HA?: 防止主节点死掉了,造成整个集群无法访问
2、ZooKeeper简介
3、Hadoop高可用性的实现原理
4、Demo演示:Hadoop的HA




HA两方面:HDFS和Yarn  ----> Hadoop平台
        HBase

                Storm


一、上次公开课内容回顾




二、Google的基本思想之二:MapReduce计算模型   来源就是:PageRank   ----> 数据的计算
        1、什么是PageRank问题?----> 搜索排名
        2、PageRank:网页1亿个-----> MapReduce计算模型
        3、更简单一点的例子:MapReduce计算模型
        4、思考问题:MapReduce最大的问题是什么?  ----> Spark计算模型


三、Google的基本思想之三:BigTable(大表)  -----> NoSQL数据库:HBase
        1、大表是违背关系型数据库范式的要求
        2、关系型数据库:设计表结构
                (1)遵从ER模型 ---> 范式 ---> 外键 : 好处:减少数据冗余   坏处:影响性能(多表查询)
                (2)为了提高性能:创建一些冗余表(提高性能)

        3、BigTable(大表):类似冗余表。通过牺牲空间,换取性能























原创粉丝点击