Hadoop简介

来源:互联网 发布:大学生网络借贷 编辑:程序博客网 时间:2024/06/05 07:51

Hadoop的定义是:


一个用java语言编写的便于大型数据集合的分布式储存和计算的软件框架。简单来说,这是计算机领域的一个开源软件,任何程序开发者都可以看到它的源代码,并且进行编译。它的出现让大数据的储存和处理一下子变的快了很多,也便宜了很多。


Hadoop是怎么做到将大数据储存和处理变得又快又便宜的?

例:

现在需要数一个图书馆有多少本书,一个人数肯定很慢,需要很多个人数,

而且最好每一个区域的书都有2-3个人数一遍,这样统计的数量才比较准确。

所以就需要有一个机制将书籍分好区,

规定每一个人负责数哪几个区的书,这样即使有人生病了也不会影响到总体统计工作的完成。

这里的人就是Hadoop所操控的一台台个人计算机,机制就是Hadoop的核心MapReduce方法。

在我看来,Hadoop的分布式计算功能就像一个精明的资本家设计的工作分配制度,既保证工作的完成不会特别依赖某一个人,又保证了如果工作量上升了只需要再雇一个劳工就能解决问题。


什么是Hadoop技术峰会(Hadoop Summit 2015)?

要解释这个问题就要先解释一下Hadoop对于企业的重要性。ForresterResearch(一家著名的咨询公司)的首席分析师Mike Gualtieri在峰会中预测,100%的大企业已经或将在未来2-3年内开始使用Hadoop。

不管你是能源,通信,医疗,娱乐,生产制造,互联网行业的企业,你的数据总是会越来越多,而如果需要从这些海量数据中挖掘出价值,提高企业的整体竞争力,你就需要一个强大的储存和处理数据的能力,Hadoop及其泛生态圈就能帮你实现!(真的不是在打广告。。)Hadoop技术峰会就是Hadoop的开发者和使用者交流的地方。峰会为期三天,期间有160多场讲座,有来自Aetna, Facebook,谷歌,微软,迪士尼,Airbnb等公司的各路技术大拿分享他们关于开发使用Hadoop的故事。通过讲座,自由讨论,聚餐,party等形式参会者会与来自39个国家的4000+的参会者进行沟通。某种意义上来说,Hadoop Summit就像是个宗教活动,虔诚的数据爱好者相聚在一起,看看你在做什么我在做什么,共同讨论关于数据的信仰。

0 0
原创粉丝点击