<hadoop学习历程>--笔记心得1-hadoop基本思想与概念

一：基本概念
思考：假设有1000副扑克牌混在一起，里面只少了一张，你如何找出缺少这一张是什么呢？
1，我们可以一个人把1000副牌，一张一张的分类放置，所有的黑桃A,红心A,方块A。。。都进行分类放置，最后统计数数哪一种不够，这样就知道了少了那张牌。
2.上面的方法明显很慢，我们可以
(1)把1000副牌当做一个任务（job）
(2)将这1000副牌分成10份，每份100副牌，大约100x54=5400张牌，分别交给10个人去分类，分完类后
(3)每个人向第11个人汇报每张牌的个数，比如说
第一个人说我统计黑桃A有10张,红心A有4张,方块A有2张。。。
第二个人说我统计黑桃A有2张,红心A有3张,方块A有1张。。。
第三个人说我统计黑桃A有1张,红心A有2张,方块A有5张。。。
。。。。
这样的话第11个人就能很快的统计所有的牌，很快就知道了少了哪张牌。。
这个第二种方法的核心思想就是hadoop的核心思想 map-reduce思想,经过两步，先把一个大型问题分解为小问题，然后再分别解决，最后再汇总。

二：基本概念
(1)HDFS是一个分布式文件管理系统，理解为一个能同时运行再多台电脑上的操作系统就行啦
(2)MapReduce是一个框架，这个框架能分解任务，执行任务，分析任务
(3)block(块)就是理解为硬盘上一个个方框，这个方框能存储数据，块是虚拟的概念，HDFS最小存储单位就是块，一个块64M或者128M，块是文件处理的逻辑单元
(4)NameNode和SecondaryNameNode

上图中NameNode相当于一个管家，他管理所有的文件
（1.存放文件与数据块的映射表
2.数据块与数据节点的映射表
），
SecondaryNameNode就相当于副管家。他俩的关系就相当于总统与副总统的关系，总统挂了，那么副总统就会被任职为总统

本次写《hadoop学习历程》是打算写成章节的形式，由浅入深，根据学习历程书写，读者可以点击下方的下一篇继续阅读。。。