Hadoop 相关概念

来源:互联网 发布:剑三长歌脸型数据 编辑:程序博客网 时间:2024/06/08 16:03

Google 大数据技术 (不开源)
MapReduce 、BigTable、 GFS
Hadoop 模仿了Google大数据技术(开源)

Hadoop的 两个核心概念

  1. HDFS :分布式文件系统 , 存储海量的数据
  2. MapReduce:并行处理框架,实现任务分解和调度

Hadoop 能做什么?
搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务
具体如 :搜索引擎、日志分析、商业智能、数据挖掘

Hadoop 优势

  1. 可扩展
  2. 低成本
  3. 成熟的生态圈

HIve,
HBASE:存储结构化数据的分布式数据库
HBase和传统的关系型数据库区别 :Hbase 放弃事务特性 追求更高的扩展
Hbase 和HDFS 区别 : 提供数据的随机读写和实时访问,实现对表数据的读写功能

zookeeper