欢迎来到 Apache Hadoop®!
来源:互联网 发布:js动态创建节点 编辑:程序博客网 时间:2024/06/13 23:09
官网地址:http://hadoop.apache.org/
- 一 Hadoop是什么呢
- 二 开始
- 三 下载 Hadoop
- 四 谁使用Hadoop
一. Hadoop是什么呢?
Apache™ Hadoop®的项目开发开源软件可靠,可扩展,分布式计算。
Apache Hadoop 软件库是一个允许跨集群用简单的模型对于大数据的分布式处理的框架。它的目的是扩大从单一服务器到成千上万的机器,提供每个本地计算和存储。而不是依靠硬件来实现高可用性,库本身的是检测和处理在应用程序层的故障,所以提供高可用性服务除了计算机集群,每一种都可能导致故障。
该项目包括这些模块:
- Hadoop Common:基础功能类库支持其他Hadoop模块
- Hadoop Distributed File System: 一个分布式文件系统,它提供了高通量访问应用程序数据
- Hadoop YARN:一个集群作业调度和资源管理的框架
- Hadoop MapReduce:YARN-based系统并行处理大型数据集。(版本升级以YARN做资源管理器的Hadoop)
其他在Apache Hadoop相关项目包括:
- Ambari™:一个基于web的工具配置,管理和监视Apache Hadoop集群,包括支持Hadoop的Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop。Ambari还提供了一个仪表板查看集群健康,如热图和能够有效看到MapReduce,Pig和Hive应用的特性来诊断性能特征以用户友好的方式。
- Avro™: 数据序列化系统。
- Cassandra™:一个没有单点故障可伸缩的多主机数据库。
- Chukwa™: 一个管理大型分布式系统的数据采集系统。
- HBase™: 一个可扩展的分布式数据库,支持大型表的结构化数据存储。
- Hive™: 一个数据仓库基础设施,提供了数据总结和特别查询。
- Mahout™: 一个可扩展的机器学习和数据挖掘库。
- Pig™: 一个高级数据流语言和并行计算的执行框架。
- Spark™: Hadoop数据的快速、通用的计算引擎。Spark提供了一个简单的和丰富的编程模型,支持广泛的应用程序,包括ETL、机器学习、流处理和图计算。
- Tez™: 一个广义数据流编程框架,基于Hadoop的YARN,,它提供了一个功能强大且灵活的引擎来执行任意DAG(有向无环图)的任务来处理批处理和交互用例的数据。 Tez 正在被Hive™, Pig™ 和其他框架Hadoop生态系统,以及其他商业软件(例如ETL工具),以取代Hadoop MapReduce™作为底层执行引擎。
- ZooKeeper™: 一个高性能的分布式应用程序的协调服务。
二. 开始
- 了解 Hadoop 通过阅读文档。
- 从发布页面下载 Hadoop。
- 在邮件列表讨论 Hadoop。
三. 下载 Hadoop
Hadoop 请头版本下载页面下载 Apache Hadoop。
四. 谁使用Hadoop?
各种各样的公司和组织为了研究和生产使用 Hadoop。鼓励用户自己添加到 Hadoop Powered By wiki页面。
0 0
- 欢迎来到 Apache Hadoop®!
- 欢迎来到wxWindows
- 欢迎来到六神博客
- 欢迎来到我工作室
- 欢迎来到鄙人博客
- 欢迎大家来到这里
- 欢迎大家来到这里
- 欢迎来到Apriso
- 欢迎来到CSDN俱乐部
- 欢迎来到Ubuntu部落
- 欢迎来到java世界
- 欢迎自己来到博客
- 欢迎来到SWIG中文
- 欢迎来到Swift
- 欢迎来到dsad200055博客
- 欢迎来到OpenID Connect
- 欢迎大家来到的
- 欢迎来到数据时代
- UVa 10024 - Curling up the cube
- 二叉树的迭代前中后遍历以及不用栈的遍历C语言
- win7安装 “安装程序无法创建新的系统分区”问题
- Js-Html 前端系列--点击非Div区域隐藏Div
- JPA hibernate spring repository pgsql java 工程(一)环境配置和工程部署
- 欢迎来到 Apache Hadoop®!
- 跨浏览器解决事件处理程序兼容问题
- Trapping Rain Water
- ios8第1天答案2
- 《深入理解计算机系统》Tiny Web服务器实验
- 关于Java泛型的小知识点
- VS内存断点
- AsyncTask的简单用法和实例
- Java:十进制转十六进制