Hadoop 历史
来源:互联网 发布:杜兰特对位科比数据 编辑:程序博客网 时间:2024/05/17 22:50
谈到Hadoop,不得不提Hadoop之父Doug Cutting,Doug Cutting,是软件基金会的主席, 在他的主导下,成功创建了Apache Lucene,Nouth,以及Hadoop等多个优秀的开源项目。在最开始的时候,Hadoop只是Lucene的子项目Nouth的一部分,Apache Lucene是全球第一个开源的全文检索引擎工具包,它具备完成的查询引擎和索引引擎功能,同时具备部分文本分析引擎,软件开发人员可以在此基础上建立起完成的全文检索引擎。Nutch是开源的基于Lucene的网页搜索引擎,在Lucene的基础上加入了网页抓取,网页解析等功能。目标是要创建一个完整的WEB搜索引擎。按照Doug Cutting当时的设想,作为开源项目的Nouth,它的功能类似于Google等商业搜索引擎。按照这个设计目标,Nouth就必须部署在大规模分布式集群上,能够在短时间内处理数十亿个网页。这种情况下分布式任务处理,故障恢复和负载均衡等问题都是必须要解决的难题。Doug Cutting打算在Nouth单独创建一个组件来完成这些功能。就在他设计解决方案的时候,2004年Google发表了两篇重要论文,给他带来了巨大的启发。第一篇论文介绍了Google File System(谷歌分布式文件存储系统),第二篇论文介绍的事MapReduce架构,解决了分布式任务处理的难题。谷歌公司声称,借助这两种技术,使搜索引擎的性能得到了极大的提升。Doug Cutting立即意识到,这些技术同样适用于Nouth.并带领他的团队成功移植了这俩种技术。将其作为一个开源项目,命名为Hadoop。最终Hadoop成为Apache基金会的顶级项目。Hadoop官网:http://hadoop.apache.org/,在官网主页上,Hadoop会及时发表Hadoop的最新动态,并且已经发布了大量的开发文档,那些文档都是最权威的Hadoop教程,是初学者的天堂!
阅读全文
0 0
- Hadoop 历史
- Hadoop历史
- Hadoop历史版本安装
- Hadoop历史服务器详解
- Hadoop历史和简介
- Hadoop的发展历史
- hadoop历史服务器
- 学习hadoop的历史
- Hadoop历史服务器详解
- Hadoop的历史和创建
- hadoop 日志及历史服务器
- hadoop 几个版本的历史发展
- 大数据初探——Hadoop历史
- Hadoop 历史服务器与日志详解
- Hadoop 历史服务器与日志详解
- Hadoop 历史服务器获取作业运行信息
- Hadoop YARN学习之Hadoop框架演进历史简述
- 使用Hadoop har归档历史文件(小文件)
- 循环链表的插入删除实现
- python爬虫入门-发送请求
- ZOJ1029-Moving Tables
- Python--Lambda
- 【树状数组-区间更新】hdu1556 Color the ball
- Hadoop 历史
- 《OpenCL异构并行计算:原理、机制与优化实践》笔记(二):进入OpenCL的世界(矢量加法)
- 希尔排序(+冒泡排序)
- VMware中Ubuntu连不上网的解决方案
- object recognition(ZFNet)
- Makefile模版及一些小技巧
- 优雅的代码:将处理用户界面和处理业务逻辑的代码分开
- Android——AIDL基础实现demo以及原理探究
- Thrift安装教程