hadoop权威指南读书总结
来源:互联网 发布:大数据安全管理办法 编辑:程序博客网 时间:2024/04/26 15:18
最近在看hadoop权威指南,巩固一下hadoop的基础知识。
首先,hadoop是什么呢?
Hadoop起源于Nutch, 源起于实现对海量数据的处理方式,中文也称之为‘云计算’。Hadoop就是云计算中的一个开源项目,它克隆了Google运行系统的主要框架,包括文件系统HDFS,计算架构MapReduce及对于结构化数据处理的HBAse等。而基于Hadoop,又出现了许多的开源项目,比如Pig, Zookeeper, Hive等。
而简化理解hadoop,则是一个通过并发驱动大量的服务器,对海量数据做运算的一个分布式集群。它旗下还有很多子项目,如下图,下面分别对这些子项目做概述:
Core: 一系列分布式文件系统和通用I/O的组件和接口
Avro:一种提供高效, 跨语言RPC的数据序列系统,持久化数据存储
MapReduce: 分布式数据处理模式和执行环境,运行于大型商用机集群
HDFS: 分布式文件系统,运行于大型商用机集群
Pig: 一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
Hbase:一个分布式的,列存储数据库。Hbase使用HDFS作为底层存储,同事支持MapReduce的批量式计算和点查询(随机读取
ZooKeeper:一个分布式的,高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Hive: 分布式数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业,beeline引擎)用于查询数据
Chukwa:分布式数据收集和分析系统。Chukwa运行HDFs中存储数据的收集器,它使用MapReduce来生产报告。
- hadoop权威指南读书总结
- PHP开发实战权威指南-读书总结
- hadoop权威指南第五章问题总结
- 《HTTP权威指南》读书记录
- 《hadoop 权威指南》 读书笔记
- 《hadoop 权威指南》 读书笔记
- Hadoop权威指南-1
- Hadoop权威指南-2
- Hadoop权威指南-读书笔记
- Hadoop权威指南读书笔记
- Hadoop权威指南
- Hadoop权威指南笔记
- 读《Hadoop 权威指南》
- Hadoop 权威指南
- hadoop 权威指南 HBase
- hadoop 权威指南 HIVE
- Hadoop权威指南-Datanode
- Hadoop权威指南-DFSClient
- Java Socket重要参数讲解
- 根据IP定位所在城市(HTML,js,新浪IP地址库)
- DIB位图alpha通道问题
- 并发与并行
- 在天涯、猫眼关于读经和汉服的论战
- hadoop权威指南读书总结
- hihocoder 1238 实时查询树的所有节点对距离和
- 太监式爱国 —— 忠君爱国主义(转载)
- 机器学习算法之六:5分钟上手Logistic Regression
- 爬虫的基础邹形
- 学习笔记之——自定义Dialog仿ios弹出底部菜单
- 单击AutoCompleteTextView后自动提示,无需输入字符,提示信息通过SQLite查询获得
- 多尔衮是清初开国头号美男
- java.lang.IllegalStateException: Fragment already active,Fragment.setArguments()问题