hadoop日志分析系统一 Hadoop的认识

Hadoop是一个分布式的大数据处理平台

核心组成：   

HDFS分布式文件系统：高度容错的分布式文件存储系统

MapReduce并行计算模型：一种计算的模型

Common组件：hadoop的核心组件

其它组件：   

HBase：高可靠性、高性能、面向列、可伸缩的分布式存储系统

Hive：数据仓库

Sqoop：结构化数据与hadoop管理的数据进行转换

ZooKerper：负责整个hadoop系统的协调，如统一命名、状体同步服务

 

核心思想：人多力量大，通过把大任务拆分成小任务进行执行，最后分析汇总

设计思路：数据的存放和处理在同一台机器上，使用数据流的方式处理数据

框架特点：方便、弹性、健壮、简单

使用领域：半结构化或者非结构化的数据的分析处理