HaDoop_Pig_Store格式

来源:互联网 发布:利润率高的行业 知乎 编辑:程序博客网 时间:2024/06/06 01:25
PigStorage默认情况对应使用制定分隔符分割的文本格式,默认为 tabBinStorage map/reduce job 的存储方式,用户也可以使用(可以 load 也可以 store),builtin;JsonLoader/JsonStorage 前者需要指定 schema,builtinTextLoader 用来读入文本,每行一个 chararray,builtinAvroStorageorg.apache.pig.piggybank.storage.avro 用来读取和存储 avro 格式的文件,读取也需要 schema,或者指定或者有个 schema 文件CVSLoaderorg.apache.pig.piggybank.storage用来载入 CVS 文件DBStorageorg.apache.pig.piggybank.storage用于写入 DB,需要指定数据库驱动和使用的 SQL 语句HadoopJobHistoryLoader (同上),IndexedStorage (同上),支持 per-record seek 的存储MultiStorage (同上),产生多个 output directory,根据用户指定的规则进行拆分RegExLoader/MyRegExLoader (同上),根据 RE 对 log 进行分析SequenceFileLoader (同上),用来读取 sequence fileXMLLoader (同上),用来 load XML 文件的内容,需要提供 schema。HBaseStorageorg.apache.pig.backend.hadoop.hbase用来从 HBase 里面读入和写入数据HDataStorageorg.apache.pig.backend.hadoop.datastorage TableLoader/TableStorerorg.apache.hadoop.zebra.pig用来处理 zebra 格式的数据
原创粉丝点击