hadoop介绍
来源:互联网 发布:明星开的淘宝店铺名字 编辑:程序博客网 时间:2024/05/14 03:17
说起hadoop,有两层意思:hadoop生态系统和hadoop计算框架。一般之前者。
hadoop计算框架:hadoop common,hadoop distributed system(HDFS)[分布式文件管理系统],hadoop yarn(yet another resource negotiator)[资源管理系统],hadoop mapreduce[计算框架]。
hadoop生态系统:hadoop,hbase,hive,pig,sqoop,flume等。
当然,也不是说分布式文件系统只有HDFS,比如google公司的GFS。同样,计算框架还有storm等。
hbase是一个针对nosql的非关系数据库。
hive是一个基于hadoop的数据管理仓库,可以将结构化的资源文件映射为一张数据库表,可以通过简单的sql语句对文件进行查询(只能 查询)。最后将sql语句转换为mapreduce任务运行。简化版 的mapreduce操作。
pig是一种操作hadoop的轻量级脚本语言。实现的功能和hive差不多。是有雅虎公司提出的,但是已经不再对其提供维护了。
sqoop是一种开源的工具。可以将HDFS中的数据转移到关系型数据库中,也可以将关系型数据库中的数据转移到HDFS中。
flume是cloudera提供的强大的海量日志采集,集合和传输系统。可以处理任何形式的日志。
目前使用的hadoop一般2.0版本。目前的发布版有 apache hadoop和CDH(cloudera distributed hadoop)
1 0
- hadoop 介绍
- hadoop 介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- Hadoop 介绍
- Hadoop介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- hadoop介绍
- Hadoop介绍
- Hadoop介绍
- hadoop介绍
- HADOOP介绍
- Hadoop 介绍
- Hadoop介绍
- hadoop介绍
- IP地址类
- web前端开发的一些常用的响应函数
- Oracle中count()函数 注意点
- mysql删除数据库文件ibdata1后引发的故障
- 动画队列,第一个动画的字体变大和第二个动画的元素高度增加同时进行,两个动画完成之后,才触发第3个动画
- hadoop介绍
- 例程5. ADC -- 慕司板IAP15
- 3932: [CQOI2015]任务查询系统
- 对于APIC的一些资料
- [Guava]——HashMultiSet统计单词次数
- 硬件设计检查要点
- Android设计模式之浅谈MVP
- Android学习之RecylerView完美实现瀑布流效果
- KMP算法