使用sqlload批量导入数据
来源:互联网 发布:网络机柜布线画图软件 编辑:程序博客网 时间:2024/05/21 22:37
简述
使用pl分析统计apache每天产生的访问日志,每小时可分析大小几个G的文件,并生成过滤后的符合入库格式的有价值明细记录文件和统计记录文件。
入库工作采用sqlload导入,每分钟可导入几十万条数据,sqlload号称可以每小时导入100G的数据文件。
从开始分析到完成入库我用了25分钟,1.1G的明细文件,370万的数据。主要分析时间用了差不多20多分钟,入库不超过3分钟。
用法
实践
LOAD DATA
INFILE 'result/stat-20100821-detail.txt'
replace
into table LOGDETAILS_20100821 --
FIELDS TERMINATED BY ' |+-s| ' --字段分割符号
TRAILING NULLCOLS --允许匹配不到的字段
(
)
整理问题
value used for ROWS parameter changed from 64 to 58
Record 49305: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.
ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE"(actual: 71, maximum: 50)
Record 49561: Rejected - Error on table LOGDETAILS_20100822, column SERVERSOURCE.--字段长度
ORA-12899: value too large for column "LOGANALYSER"."LOGDETAILS_20100822"."SERVERSOURCE" (actual: 71, maximum: 50)
ORA-01653: unable to extend table LOGANALYSER.LOGDETAILS_20100822 by 128 in tablespaceTBS_LOGANALYSER --表空间配额不足
SQL*Loader-605: Non-data dependent ORACLE error occurred -- load discontinued.
特殊说明
使用SQLLOAD导入数据时四种装入方式导入数据
使用SQLLOAD导入数据时 不导入从文件头开始的指定行数据:sqlldr
使用SQL*LOAD一次导入多个文件到同一个表:
使用when条件指定SQL*LOAD将一个文件导入不同的表: INTO TABLE tablename WHEN filed = '条件'
使用SQL*LOAD有选择性的导入数据到一个或多个表中:
使用SQL*LOAD导入数据时,通过在字段上使用关键字过滤数据文件中的指定列: field2 FILLER
使用SQL*LOAD导入数据时,通过使用关键字表示把多行记录合并成一行:CONCATENATE 3
使用SQL*LOAD导入LOB等大对象:
- 使用sqlload批量导入数据
- SqlLoad从Excel中导入数据
- sqlload导入大量数据 步骤详解
- ORACLE-SQLLOAD导入外部数据详解
- ORACLE-SQLLOAD导入外部数据详解
- oracle使用sqlLoad实现超大数据量导入
- 使用事务批量导入数据
- SqlLoad 使用
- 使用ORACLE自带工具sqlload导入文本文件
- sqlload导入txt文件
- 使用sql批量导入文本数据
- Neo4j 批量数据导入源码使用
- Cassandra使用pycassa批量导入数据
- Hbase 批量数据BulkLoad 导入使用
- Java开发使用Excel批量导入数据
- 使用CATT作批量数据导入
- Npgsql使用入门(三)【批量导入数据】
- java 使用POI批量导入excel数据
- 命令模式
- VolleyError解析
- px dp sp区别
- php + mysql 分布式事务
- 携程Android App插件化和动态加载实践
- 使用sqlload批量导入数据
- maven核心,pom.xml详解
- 工作常用命令汇总
- 访问内部类的静态变量和非静态变量的方法
- 上课记录笔记 数据类型的转换
- kafka 源码运行环境搭建
- java.lang.NoClassDefFoundError: com/sun/mail/util/MailLogger javax/mail/MessagingException
- Android系统logcat实现分析
- Leetcode(204) Count Primes