大数据(八) - Sqoop
来源:互联网 发布:python list 迭代器 编辑:程序博客网 时间:2024/04/28 12:45
Sqoop是什么
Sqoop:SQL-to-Hadoop
连接 传统关系型数据库 和 Hadoop 的桥梁
把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中;
把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
利用MapReduce加快数据传输速度 :将数据同步问题转化为MR作业
批处理方式进行数据传输:实时性不够好
高效、可控地利用资源
任务并行度,超时时间等
数据类型映射与转换
可自动进行,用户也可自定义
支持多种数据库
MySQL
Oracle
PostgreSQL
将数据从关系型数据库导入Hadoop中
步骤1:Sqoop与数据库Server通信,获取数据库表的元数据信息;
步骤2:Sqoop启动一个Map-Only的MR作业,利用元数据信息并行将数据写入Hadoop。
特点:可以指定hdfs路径,指定关系数据库的表,字段,连接数(不压垮数据库),可以导入多个表,支持增量导入(手动指定起始id、事件,或自动记录上次结束位置,自动完成增量导入)
将数据从Hadoop导入关系型数据库导中
步骤1:Sqoop与数据库Server通信,获取数据库表的元数据信息;
步骤2:并行导入数据:
将Hadoop上文件划分成若干个split;
每个split由一个Map Task进行数据导入。
Sqoop可以与Oozie、Hive、Hbase等系统结合;
0 0
- 大数据(八) - Sqoop
- 大数据--sqoop/hive搭建
- Sqoop数据导入大数据平台实例
- (大数据之sqoop)sqoop的安装及常用操作
- 大数据技术之Sqoop配置示例
- 大数据学习笔记(十四)-Sqoop
- 大数据-八
- Sqoop导入数据到HDFS中(大数据存储系统)
- hadoop大数据平台手动搭建(五)-sqoop
- 大数据学习——Sqoop入门使用
- 【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程
- 【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程
- 大数据企业学习篇04-----Sqoop浅析
- sqoop并行导入数据
- Sqoop数据转移学习
- 数据迁移sqoop学习心得
- Sqoop导出MySQL数据
- Sqoop导出数据
- eclipse快捷键
- Linux养成计划:sed详解
- 大数据(七) - Flume
- @property @synzhesize 的使用细节
- 站在2064年回顾神经科学100年
- 大数据(八) - Sqoop
- 用计算来连接神经回路与行为
- Linux下的Java环境变量搭建(不是OpenJava)
- 2318: Spoj4060 game with probability Problem|概率与期望
- 2229: [Zjoi2011]最小割 最小割
- nefu495最长k可重区间集问题【最大权不相交路径】网络流24题
- 指针的自加自减运算(++,--)
- 2134: 单选错位|概率与期望
- Java 集合:Map 系列(HashMap,HashTable)