Hadoop与MapReduce 分布式文件系统
来源:互联网 发布:西安淘宝运营人才兼职 编辑:程序博客网 时间:2024/06/06 12:46
最终一致性键值存储
• Cassandra
内存键值存储
• Memcached
持久化键值存储
• BigTable
Key/value 硬盘存储
• BigTable
Key/value RAM存储
• Memcached
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。
MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性;每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔,主节点(类同Google档案系统中的主服务器)记录下这个节点状态为死亡,并把分配给这个节点的数据发到别的节点。每个操作使用命名文件的不可分割操作以确保不会发生并行线程间的冲突;当文件被改名的时候,系统可能会把他们复制到任务名以外的另一个名字上去。(避免副作用)。
化简操作工作方式很类似,但是由于化简操作在并行能力较差,主节点会尽量把化简操作调度在一个节点上,或者离需要操作的数据尽可能近的节点上了;这个特性可以满足Google的需求,因为他们有足够的带宽,他们的内部网络没有那么多的机器。
BigTable是一种压缩的、高性能的、高可扩展性的,基于Google文件系统(Google File System,GFS)的数据存储系统,用于存储大规模结构化数据,适用于云计算。
BigTable发展于2004年[1],现今已成为Google的应用程序。像是MapReduce就常通过BigTable来存储或更改数据,[2]其他还有Google Reader[3]、Google Maps[4]、Google Book Search、”My Search History”、 Google Earth、Blogger.com、Google Code hosting、Orkut[4]、YouTube[5]以及Gmail[6]等。Google自行发展出特别的巨型数据库的原因,自然是性能的问题。
Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。
Hadoop在Yahoo!的应用
2008年2月19日,Yahoo!使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程式。
• Cassandra
内存键值存储
• Memcached
持久化键值存储
• BigTable
Key/value 硬盘存储
• BigTable
Key/value RAM存储
• Memcached
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。
MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性;每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔,主节点(类同Google档案系统中的主服务器)记录下这个节点状态为死亡,并把分配给这个节点的数据发到别的节点。每个操作使用命名文件的不可分割操作以确保不会发生并行线程间的冲突;当文件被改名的时候,系统可能会把他们复制到任务名以外的另一个名字上去。(避免副作用)。
化简操作工作方式很类似,但是由于化简操作在并行能力较差,主节点会尽量把化简操作调度在一个节点上,或者离需要操作的数据尽可能近的节点上了;这个特性可以满足Google的需求,因为他们有足够的带宽,他们的内部网络没有那么多的机器。
BigTable是一种压缩的、高性能的、高可扩展性的,基于Google文件系统(Google File System,GFS)的数据存储系统,用于存储大规模结构化数据,适用于云计算。
BigTable发展于2004年[1],现今已成为Google的应用程序。像是MapReduce就常通过BigTable来存储或更改数据,[2]其他还有Google Reader[3]、Google Maps[4]、Google Book Search、”My Search History”、 Google Earth、Blogger.com、Google Code hosting、Orkut[4]、YouTube[5]以及Gmail[6]等。Google自行发展出特别的巨型数据库的原因,自然是性能的问题。
Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。
Hadoop在Yahoo!的应用
2008年2月19日,Yahoo!使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程式。
0 0
- Hadoop与MapReduce 分布式文件系统
- Hadoop与MapReduce 分布式文件系统
- Hadoop分布式文件系统:结构与设计
- hadoop分布式文件系统架构与设计
- Hadoop分布式文件系统:结构与设计
- hadoop分布式文件系统的安装与配置
- Hadoop编程、分布式文件系统结构与设计
- HDFS-hadoop分布式文件系统
- Hadoop分布式文件系统使用指南
- Hadoop分布式文件系统使用指南
- Hadoop分布式文件系统
- Hadoop分布式文件系统
- Hadoop HDFS分布式文件系统
- Hadoop分布式文件系统
- 分布式文件系统hadoop
- hadoop 分布式文件系统安装
- hadoop分布式文件系统
- Hadoop分布式文件系统
- iOS 关于16进制RGB颜色设置问题
- LeetCode 498. Diagonal Traverse
- Java 应用性能调优实践
- oj2280——找字符串个数
- 移动端跨平台框架
- Hadoop与MapReduce 分布式文件系统
- mysql coalesce函数
- Android Studio之gradle的配置与介绍
- 详解JS位置、宽高属性之一:offset系列
- free -m命令输出详解
- Neutron Networking QoS
- HBase Block Cache的重要实现细节和In-Memory Cache的特点
- jquery 获取当前浏览器
- 初探Lambda表达式-Java多核编程【0】从外部迭代到内部迭代