Hadoop 深入浅出学习记录1
来源:互联网 发布:最难防范的网络攻击 编辑:程序博客网 时间:2024/05/18 09:19
目前活跃的项目有:
- Common
- Avro
- MapReduce
- HDFS
- Pig
- Hive
- Hbase
- ZooKeeper
- Sqoop
- Oozie
HDFS设计目标
very large files
单个文件的大小可以很大,可以达到几百G,文件总的大小可以到T和P级别。streaming 数据获取
一次写,多次读,可以向文件结尾添加新的内容,不允许在中间修改内容commodity hardware
不需要非常昂贵的硬件,hadoop也可以运行在廉价的系统上(普通的硬件设备)。
不适合的场景
- 低延迟的数据获取,因为Hadoop设计目标是支持大文件,如果需要读取一个文件当中很小的一部分,并且得到很快的响应,则并不适合。
- lots of small files
- 多次写入,对文件内容任意的修改
HDFS架构
在Hadoop中一个文件被分为大小固定的多个文件快,分别存储在集群中的节点中。块大小的默认值为64M。
- 一台主机支持的容量有限,多台主机使得可以存储的容量曾江。
- 文件分块存储,读取速度可以提高。
- 硬件出错的情况是很正常的,所以同一个文件块会在不同的节点上进行冗余的存储。
- 我们将文件分块存储到不同节点后,也需要知道文件的分块信息
一个文件多少个块,一个块有多少个副本,每个人副本存储的位置。
这些信息是保存在namenode中(namenode 中保存整个文件系统的目录信息,文件信息以及文件相应的分块信息)。
所以就涉及到namenode的备份问题,对namenode的备份最开始的备份措施是冷备份,就是关键信息存储到磁盘中,或者同步到冗余节点中,需要手动去恢复,在最新的版本Hadoop2.x中,facebook做了一个布丁,会有两个namenode,一个为active,一个为standby的,active的namenode失败后,standby会自动切换为activenode。(HDFS的HA策略)
1 0
- Hadoop 深入浅出学习记录1
- Hadoop学习记录-1
- 深入浅出nodejs学习记录
- hadoop学习问题记录
- Hadoop学习知识点记录
- Hadoop学习记录-2
- Hadoop学习记录-3
- Hadoop学习记录-Hive
- Hadoop实战学习记录
- Hadoop学习-错误记录
- 【hadoop学习记录】
- hadoop学习记录
- Hadoop学习问题记录
- 初识Hadoop学习记录
- hadoop 学习记录
- Hadoop学习全程记录(1)-hadoop入门
- Hadoop学习笔记之深入浅出MR
- Hadoop深入浅出
- 数据检索---基于Solr索引
- iOS面试题3-有答案
- mysql行列转换示例
- ios9兼容系列之解决iPad提交报错“iPad Multitasking support requires launch story board in bundle '”
- 聊天室v1.0按类接收每个人的信息,向所有人发信息
- Hadoop 深入浅出学习记录1
- JavaScript的 &&和||
- 从Java代码到字节码
- 第十五章 单点登录——《跟我学Shiro》
- Package Control:There are no packages available for installation
- MySQLdb安装
- WPF学习日志1
- 三分算法--Codeforces Round #320 (Div. 2) E. Weakness and Poorness
- 明德扬视频分享--点拨FPGA课程 100多个案例免费学