1.sqoop概念,功能,架构,版本
来源:互联网 发布:阿里云代码管理系统 编辑:程序博客网 时间:2024/06/13 13:16
1.sqoop概念
sqoop(SQL TO HADOOP),是hadoop的协作框架之一
2.功能
对于hadoop进行大数据处理的数据来源主要有两部分
(1)关系数据库,RDBMS(Oracle,MySQL,DB2…)
(2)文件(apache,nginx日志数据)
hadoop 对于大数据的处理,是将数据存储在HDFS上,sqoop的功能就是将RDBMS中的数据导入HDFS,或者将HDFS中的数据导出到RDBMS。对于文件系统中的数据导入HDFS,可以使用Flume(实时抽取)。
sqoop以Hadoop 为主体,RDBMS为客体,使用sqoop的主要功能
sqoop import
将RDBMS数据放入hadoop 中,就是导入,import
sqoop export
将hadoo中的数据放入到RDBMs中,就是导出,export
3.架构
sqoop架构非常简单,其底层就是map-reduce,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。
* 底层的数据传输的实现是MapReduce / YARN
可以参考:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html
4.版本
sqoop 的版本依赖于hadoop版本
所以我们需要依据hadoop 版本进行编译sqoop。为了方便可以使用hadoop的cloudera发行版本CDH。
可以参考:http://archive.cloudera.com/cdh5/
CDH 5.3.x 版本,比较稳定,各个版本之间的依赖和兼容不错。
* hadoop-2.5.0-cdh5.3.6.tar.gz
* hive-0.13.1-cdh5.3.6.tar.gz
* zookeeper-3.4.5-cdh5.3.6.tar.gz
* sqoop-1.4.5-cdh5.3.6.tar.gz
下载地址
http://archive.cloudera.com/cdh5/cdh/5/
- 1.sqoop概念,功能,架构,版本
- 1.Flume概念,功能,架构
- Apache Sqoop: Sqoop 2功能亮点一瞥
- Apache Sqoop: Sqoop 2功能亮点一瞥
- sqoop概念和安装部署
- Sqoop架构以及应用介绍
- Sqoop架构以及应用介绍
- Sqoop架构以及应用介绍
- sqoop简介以及架构介绍
- 架构概念
- Sqoop: 环境搭建、实例及概念
- 概念架构的概念
- 详解Sqoop的架构和安装部署
- Hadoop之Sqoop架构以及应用介绍
- Sqoop架构介绍及搭建流程简介
- sqoop数据导入导出常用功能
- FAQ13620]L版本AAL功能(2)——L版本AAL新架构
- 1.sqoop-1.99.6
- 496. Next Greater Element I
- jMeter的安装
- 线程通信——生产者和消费者问题解决
- 从尾到头打印单链表
- windows下安装lxml成功
- 1.sqoop概念,功能,架构,版本
- html 引用文件编码为utf-8 的 js文件乱码问题
- Java简化正则表达式的使用(抽取工具类)
- 复化梯形公式
- excel文件的多个sheet表合并成一个csv文件并导入数据库
- Ubuntu 下安装 spotify for linux
- listview多条目显示
- Linux打卡Day8
- 二维数组的查找