HaDoop_Pig_Store格式
来源:互联网 发布:利润率高的行业 知乎 编辑:程序博客网 时间:2024/06/06 01:25
PigStorage默认情况对应使用制定分隔符分割的文本格式,默认为 tabBinStorage map/reduce job 的存储方式,用户也可以使用(可以 load 也可以 store),builtin;JsonLoader/JsonStorage 前者需要指定 schema,builtinTextLoader 用来读入文本,每行一个 chararray,builtinAvroStorageorg.apache.pig.piggybank.storage.avro 用来读取和存储 avro 格式的文件,读取也需要 schema,或者指定或者有个 schema 文件CVSLoaderorg.apache.pig.piggybank.storage用来载入 CVS 文件DBStorageorg.apache.pig.piggybank.storage用于写入 DB,需要指定数据库驱动和使用的 SQL 语句HadoopJobHistoryLoader (同上),IndexedStorage (同上),支持 per-record seek 的存储MultiStorage (同上),产生多个 output directory,根据用户指定的规则进行拆分RegExLoader/MyRegExLoader (同上),根据 RE 对 log 进行分析SequenceFileLoader (同上),用来读取 sequence fileXMLLoader (同上),用来 load XML 文件的内容,需要提供 schema。HBaseStorageorg.apache.pig.backend.hadoop.hbase用来从 HBase 里面读入和写入数据HDataStorageorg.apache.pig.backend.hadoop.datastorage TableLoader/TableStorerorg.apache.hadoop.zebra.pig用来处理 zebra 格式的数据
阅读全文
0 0
- HaDoop_Pig_Store格式
- 格式
- 格式
- 格式
- 格式
- 格式
- 格式
- 格式
- 格式
- 格式
- FreeMarker格式文档格式
- Epub格式电子书格式
- YUV422格式信号格式
- TLV格式是什么格式
- PDU格式
- BMP格式
- 格式转换
- QQwry格式
- Mac安装mysql
- JVM之OutOfMemoryError
- 逆向入门--代码段的介绍
- hdu 1253 bfs
- HDU6068 Classic Quotation (KMP)
- HaDoop_Pig_Store格式
- Android中如何自己制作su
- 2017-9-7-Linux Mint TFTP服务安装开启
- android studio快捷键
- 优先级队列的应用-----迪杰斯特拉算法
- JavaScript事件---3
- PAT 乙级 1002 写出这个数
- 多种滤波方法介绍及其代码实现
- 移动端1px