大数据核心技术
来源:互联网 发布:淘宝店铺怎么上传宝贝 编辑:程序博客网 时间:2024/06/16 15:47
Common:在2.2.0以前的大多数版本中,包含HDFS、MapReduce和其他项目公共内容,从2.2.0开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common。
Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,2.2.0版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS:Hadoop分布式文件系统(Hadoop Distributed FileSystem)。
Pig:大数据分析平台,为用户提供多种接口。
Hive:数据仓库工具,由Facebook贡献。
Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
Oozie:负责MapReduce作业调度。
Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。
MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,2.2.0版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS:Hadoop分布式文件系统(Hadoop Distributed FileSystem)。
Pig:大数据分析平台,为用户提供多种接口。
Hive:数据仓库工具,由Facebook贡献。
Hbase:类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。
Sqoop:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。
Oozie:负责MapReduce作业调度。
1 0
- 大数据核心技术
- 大数据核心技术
- 大数据核心技术ETL简介
- 大数据方面的核心技术
- 构建大数据生态需要哪些核心技术?
- 大数据核心技术源码分析之-Avro篇
- 大数据核心技术源码分析之-Avro篇-2
- 大数据核心技术源码分析之-Avro篇-3
- 大数据分析你不能不懂的6个核心技术
- 大数据WEB阶段(十五)JavaEE三大核心技术之过滤器
- 大数据WEB阶段(十六)JavaEE三大 核心技术之监听器Listener
- 大数据核心技术与应用论坛:业务应用及技术生态圈探索
- 玩可视化大数据分析软件要掌握的6个核心技术(上)
- 玩可视化大数据分析软件要掌握的6个核心技术(下)
- 【每周一本书】之《大数据核心技术与实用算法》
- Google的十大核心技术
- 【JAVA核心技术】 大数值 BigDecimal
- Google的十大核心技术
- Android 修改Bitmap 图片像素的信息 R G B 颜色值 详解
- java连接Redis报错
- 以下哪种排序算法用到了分治思想
- Java中字符串(String)的存储和赋值原理
- zookeeper 安装、配置、使用
- 大数据核心技术
- javascript事件机制学习(一)——个人实现
- 514. Freedom Trail
- Java基础篇之----排序(快速排序、冒泡排序、堆排序、简单选择排序、 希尔排序、直接插入排序)
- init 及 dealloc 方法访问成员变量应通过 直接访问
- ssh整合--注册登录
- CollectionView 基础(一)创建系统collectionview
- 算法设计与应用基础: 第五周(1)
- RxJava 第二篇