[学习笔记]初始Hadoop
来源:互联网 发布:房产经纪人网络端口 编辑:程序博客网 时间:2024/06/06 02:19
Hadoop的两个核心组成:
1、HDFS:分布式文件系统,存储海量的数据。
2、MapReduce:并行处理框架,实现任务分解和调度。
HIVE:通过SQL实现Hadoop任务,降低使用Hadoop使用的门槛
HBASE:存储结构化数据的分布式数据库;
和传统数据库区别,它放弃了事务特性,追求更高的扩展;
和HDFS区别,它提供数据的随机读写和实时访问,实现对表数据的读写功能
zookeeper:像一个动物管理员一样。监控(Hadoop集群里面每个节点的状态),管理整个集群的配置,维护节点之间数据的一致性等。
Hadoop的版本
第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,变成了稳定版, 而0.21.x和0.22.x则NameNode HA等新的重大特性。
第二代Hadoop包含两个版本,分别是0.23.x和2.x,它们完全不同于Hadoop 1.0,是一套全新的架构,均包含HDFS Federation和YARN两个系统,相比于0.23.x,2.x增加了NameNode HA和Wire-compatibility两个重大特性。
对于初学者ver1.X版本更容易上手和理解。
阅读全文
0 0
- [学习笔记]初始Hadoop
- Hadoop学习笔记之初始HBase
- [学习笔记]Hadoop核心之初始HDFS
- [学习笔记]Hadoop核心之初始MapReduce
- QtGui学习笔记初始
- 初始mtd学习笔记
- Rxjava初始,学习笔记
- Jfinal初始学习笔记一
- DataGrid初始学习-笔记一
- Java学习笔记-初始Java
- 初始Hadoop
- hadoop--初始hadoop
- java学习笔记1--初始java
- jQuery 学习笔记1_初始 jQuery
- 多线程学习笔记之初始_beginthreadex()
- java【学习笔记(一)】初始类
- 《java web 学习笔记一》:初始Tomcat
- CTF菜鸟学习笔记之初始CTF
- Android 科大讯飞语音集成,文字转语音
- 大数据:Unity3D职位统计(20170531)
- android Okhttp3的基本使用
- HTML学习---------1.5认识head标签
- MySQL事务隔离级别及不同锁类型导致的问题
- [学习笔记]初始Hadoop
- Linux中fork()函数详解
- centos6.5安装mysql 开放远程连接
- Linux--报文详解
- Java Project生成exe文件
- C Primer Plus 第六章部分习题
- HDU 1430 魔板 康托展开或字典树 + BFS
- java简介
- C#word模板添加多个表格,添加图片程序案例