hadoop的零基础理解

来源:互联网 发布:小型企业网络组建设备 编辑:程序博客网 时间:2024/05/14 19:50

    红框是hadoop架构的四大要素,hadoop可以类比成一个图书馆。
1、HDFS是图书馆的那栋楼,里面可以装各种文件,采用分布式的存储方式;
2、HBase相当于书架,没有书架只有楼也能装文件,但是要找起来就很慢,有了HBase,按照各个书架的编号,就很好找了;但是不是所有楼都有书架,某些不常用的文件就直接放在空房间里;
3、MapReduce相当于负责找书的员工,如果我现在要找包含了“毛泽东”三个字的所有书,MapReduce就会把这个任务分发,让A队去找一楼,B队去找二楼,然后再把AB两队的结果汇总输出;
4、hive是高级编程语言,相当于图书馆的前台,把客户的需求翻译成MapReduce语言,然后MapReduce再去执行;如果没有hive,客户和MapReduce沟通起来会非常费力,因为MapReduce的编程语言很晦涩难学。


个人理解,不对的地方请多多指正~~