Sqoop2Intermediate representation

在Sqoop2的connector中提供了自己的map处理，map用于导入数据到HDFS。因为这段代码将完全被connector维护，所以，我们需要找到一个适用所有connector和所有情况的中间格式（map output）。本文的目标是比较不同的中间数据格式（intermediate representation），以使我们为Sqoop2选择一个合适的。

Current solutions

我们已经找到的一些方法。不是重新发明轮子，本文包括已经存在的数据表示的方法的概要。

MySQL's mysqldump format 

值的逗号分隔的列表出现在一行文本中。不同的数据类型像下面这样编码：

Data type

Serialized as

DATETIME 

String with format YYYY-MM-DD HH:MM:DD (2012-01-01 09:09:09) 

TIMESTAMP 

String with format YYYY-MM-DD HH:MM:DD (2012-01-01 09:09:09) 

DATE 

String with format YYYY-MM-DD (2012-01-01) 

TIME 

String with format HH:MM:DD (09:09:09) 

ENUM

String with enumerated value 

SET 

String with comma separated enumerated values 

BIT 

String (array of bites rounded up to 1 byte, 20 bits are rounded to 24 bits/3 bytes)

CHAR(varchar, text, blob) 

String 

FLOAT (double, ...) 

Direct value, might be in scientific notation (666.6, 5.5e-39). MySQL is not supporting NaN and +/- Inf.

INT(small, big, ...) 

Direct value (666) 

DECIMAL(fixed, ...) 

Direct value (66.6) 

BOOL 

Direct number (1 or 0)

 

DATE和DATETIME类型返回相同的内容（没有时区的转换），但是TIMESTAMP总是以UTC方式保存，自动转换为相关的时区。明确的时区描述似乎不是输出的一部分。

丢失的值用NULL常量代替（NULL不是一个字符串常量，因此不能被引用）。字符串有非常简单的编码方式，除了下面的byte，大多数字符直接打印：

Byte 

Written as 

0x00 

\0 

0x0A 

\n 

0x0D 

\r 

0x1A 

\Z 

0x22 

\" 

0x27 

\'

0x5C 

\ \ (no space) 

例如：

0,'Hello world','Jarcec\'s notes',NULL,66.6,'2012-06-06 06:06:06'

PostgreSQL's pg_dump format

与MySql dump格式的情况类似，数据被一行文本实例代表，多个列将被逗号分隔。字符串用单引号（例如‘String’）。所有的字符直接打印，除了单引号翻倍的时候，例如两个单引号代表，一个单引号在字符串内，并且字符串没有结束（例如:’Jarcec’’s notes’）。一个单引号需要用4个单引号表示，’’’’只代表一个’。Null（0x00）不允许在字符串常量内部。二进制常量也可在单引号被引用，但是会被转换为16就进制，带有\x前缀，例如’\x4d7953514c’代表字符串’MySQL’（被保存在二进制列）。

Data type 

Serialized as 

INT (and all variants) 

Direct value (666) 

NUMERIC 

Direct value (66.60) 

REAL(and all variants) 

Direct value (66.5999985, 55e55) or string constant for special cases  ('Infinity', '-Infinity', 'NaN') 

VARCHAR(text, ...) 

String 

CHAR 

String, unused positions at the end are filled with spaces 

TIMESTAMP(date, time, ...) 

String in format YYYY-MM-DD HH:MM:SS.ZZZZZZ (Date and hour part) 

TIMESTAMP with time zone (and others) 

String in format YYY-MM-DD HH:MM:SS.ZZZZZZ[+-]XX ('2012-07-03 14:07:11.876239+02')  

BOOLEAN 

Constants true and false (not quoted as a String) 

ENUM 

String 

ARRAY 

String that contains special structure - '{ITEM1, ITEM2, ITEM3}', ITEMX itself might be in separate quotes if needed. 

编码示例（一行数据）：

666, 66.60, 'jarcec', 'Jarcec''snotes', '2012-07-0314:07:11.876239', true, '{1,2,

3}', NULL, '\x4d7953514c'

Microsoft SQL Server‘s bcp utility

SQL Server bcp utility 默认产生二进制输出，这将使输出非常难理解。幸运的是，它可以被强制产生字符输出用命令行切换”-c“。在这种情况下，bcp工具将产生CSV文件，行分隔符可以用命令行’-t‘参数指定（默认是tab），类似地，可以使用”-r”指定行分隔符（默认是new line）。

下面是不同数据类型的概述：

Data type

Serialized as

VARCHAR(nvarchar, char,... )

Directly as it without any encoding, empty string is represented as zero byte

TIME

Constant in format HH:MM:DD.ZZZZZZ (01:01:01.0000000)

NUMERIC (decimal, ...)

Direct value (666.66)

NULL

Empty or missing value (for example when using comma as separator - ,,)

INT (and it's variants)

Direct value (666)

FLOAT(real, ...)

Direct value(33.299999999999997)

DATETIME

Constant in format YYYY-MM-DD HH:MM:DD.ZZZ (2012-06-06 01:01:01.000)

DATE

Constant in format YYYY-MM-DD (2012-01-01)

注意：字符串的列不允许包含行和列分隔符，这其实相当复杂的。

编码示例（这是一行数据）：

35,15.20,33.299999999999997,2012-06-06,2012-06-06 01:01:01.000,01:01:01.0000000,jarcec'scomment with, comma

AVRO

我们也可以使用AVRO作为中间数据的格式。Avro只支持有限的数据类型，所以我们必须自己编码一些类型（例如，我们可能用上边提到的类似的格式将Date类型编码成String类型）。Avro支持的格式可在下面的网址中查到：http://avro.apache.org/docs/current/spec.html#schema_primitive。Connector中mapper代码的示例将会是：

GenericRecordBuilderbuilder = new GenericRecordBuilder(getSchemaSomehow());

builder.set("column1",value1);

builder.set("columnX",valueX);

context.write(new AvroKey(builder.build()), NullWritable.get());

Netezza

我没有发现任何特别的数据导出工具。推荐使用nzsqp，保存输出到一个文件，也就是生成一个类似于mysql client标准输出的表格。

示例输出：

  ID| TXT

 ----+------

   2 | cau

   1 | ahoj

(2 rows)

Teradata

Fast export utility compatibility

我们也研究了不同类型的快速导出工具的兼容性。

mysqldump –compatible

mysqldump工具包含一个参数 –compatible，接受参数”postgresql“。但是这个参数看起来不是有效的，因为使用此参数跟不使用时输出几乎一样。

1.      二进制常量很可能失败

2.      带时区信息的DataTime列将会获取服务器的默认时区