Sqoop源码编译与分析(V1.4.6)
来源:互联网 发布:java木马 编辑:程序博客网 时间:2024/05/13 05:06
Apache Sqoop 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 ( 如 HBase 和 Hive) 中;同时也可以把数据从Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。
Sqoop 支持的数据库
理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等。在使用 Sqoop连接关系型数据库前,首先需要把相关的 JDBC 驱动拷贝到 $SQOOP_HOME/lib文件夹下,然后在“connect”参数后指定好数据库连接的 url,如“--connectjdbc:db2://localhost:50000/SAMPLE”。 对于 DB2 数据库来说,Sqoop 目前支持 DB2的绝大多数数据类型,而且 Sqoop 的大多数工具也能在 DB2 上较好地运行。
Sqoop 支持的文件类型
Sqoop 能够将 DB2 数据库的数据导入到 HDFS 上,并保存为多种文件类型。常见的有定界文本类型,Avro 二进制类型以及SequenceFiles 类型。在本文里,统一用定界文本类型。
经过编译,终于将sqoop源码编译通了,并在ubuntu环境下进行了测试。
采用编译环境:Eclipse +Win7
欢迎交流学习,邮箱号:sparkexpert@sina.com
经过分析,发现sqoop的源码非常清晰,所有的命令参数的解析都是以工具插件ToolPlugin的方式来执行,所以可以方便地在其上面进行扩展,同时里面的代码非常清晰,是一个不错的编程框架,可惜就是没有界面UI。
- Sqoop源码编译与分析(V1.4.6)
- sqoop源码编译
- Sqoop User Guide (v1.4.6)
- Sqoop源码分析(一) Eclipse调试Sqoop各种异常解决
- freemodbus-v1.5.0 源码分析
- Sqoop-1.4.6 Merge源码分析与改造使其支持多个merge-key
- nutch v1.9源码分析(2)——nutch bin和src目录解析及编译
- 编译sqoop
- ARM64从源码编译docker(v1.9.1)
- Sqoop Developer’s Guide v1.4.6 (Sqoop开发者指南,中文版)
- sqoop 抽取源码流程分析( 三 ) 代码生成工具分析
- 【Tomcat9源码分析】源码下载、编译与调试
- Sqoop源码分析(四) Sqoop中通过hadoop mapreduce从关系型数据库import数据分析
- Kubernetes GC in V1.3 源码分析
- docker v1.11 源码重构分析
- boost v1.34.0与stlport编译
- JSP 编译和运行过程与JSP源码简单分析
- nutch v1.9源码分析(1)——分析目标
- FusionCharts的使用方法
- PowerDesigner的Table视图同时显示Code和Name的方法
- oracle索引简介2
- SparkV1.5源码编译版通过
- Tachyon 0.7.1源码的编译
- Sqoop源码编译与分析(V1.4.6)
- 搜狗引擎查询日志的数据入库(Mysql…
- Kafka源码的编译(0.8.2.1)
- Hive V1.2.1源码的解译
- 矩阵重排序(基于d3.js)
- ubuntu环境下R统计环境的安装与igr…
- 矩阵重排序及其应用
- Ubuntu R中安装devtools的步骤
- Spark R安装成功的步骤