文本文件导入到数据库中的几种方法
来源:互联网 发布:云计算零基础教程 编辑:程序博客网 时间:2024/05/23 16:49
大型的开发中常常遇到数据源是平面文件(如文本文件)的情况,对于这样的数据源,无法使用数据库对其数据进行有效的管理,另外也无法使用SQL语句对其进行查询和操作,所以当务 之急就是将这些平面文件导入到数据库中,然后就可以对其进行高效的操作了。
下面介绍几种常见的数据导入的方法,希望能够给大家启迪。另外,本文所涉及到的数据库均为ORACLE数据库,其实对于其他数据库而言,方法类似。
一、Sql*:Loader
该方法是Oracle数据库下数据导入的最重要的方法之一,该工具由Oracle客户端提供,
其基本工作原理是:首先要针对数据源文件制作一个控制文件,控制文件是用来解释如何对源文件进行解析,其中需要包含源文件的数据格式、目标数据库的字段等信息,一个典型的控制文件为如下形式:
LOAD DATA
INFILE '/ora9i/fengjie/agent/data/ipaagentdetail200410.txt'
TRUNCATE
INTO TABLE fj_ipa_agentdetail
fields terminated ","
trailing nullcols
( AGENT_NO char,
AGENT_NAME char,
AGENT_ADDRESS char,
AGENT_LINKNUM char,
AGENT_LINKMAN char
)
数据库
除了控制以外,sql*loader的还需要数据文件,即源文件。根据格式的不同,源文件可以分为固定字段长度和有分隔符这两大类,这里将分别说明这两种情况:
固定字段长度的文本文件
就是每个字段拥有固定的字段长度,比如:
602530005922 1012
602538023138 1012
602536920355 1012
602531777166 1012
602533626494 1012
602535700601 1012
有分隔符的文本文件
就是每个字段都有相同的分隔符分隔,比如:
1001,上海长途电信综合开发公司,南京东路34号140室
1002,上海桦奇通讯科技有限公司,武宁路19号1902室
1003,上海邦正科技发展有限公司,南京东路61号903室
对于上述两种文件格式sql*loader均可以做处理,下面就前面那个固定长度的文本来举例说明:
由于该文本只有两个字段,一个为设备号,一个是区局编号,两者的长度分别为20和5,那么可以编制控制文件如下:
LOAD DATA
INFILE '/ora9i/fengjie/agent/data/ipaagent200410.txt'
TRUNCATE
INTO TABLE fj_ipa_agent
( DEVNO POSITION(1:20) CHAR,
BRANCH_NO POSITION(21:25) CHAR
)
其中,'/ora9i/fengjie/agent/data/ipaagent200410.txt'为该文件的完全路径,POSITION(M:N)表示该字段是从位置M到位置N。
对于有分隔符的数据文件,前面已经有一个例子,这里就不再赘述了。总之,使用Sql*Loader能够轻松将数据文件导入到数据库中,这种方法也是最常用的方法.
二、 使用专业的数据抽取工具
目前在数据仓库领域中,数据抽取与装载(ETL)是一重要的技术,这一技术对于一些大的数据文件或者文件数量较多尤其适合。这里简单介绍目前一款主流的数据抽取工具
该工具主要采用图形界面进行编程,其主要工作流程是:首先将源数据文件的结构(格式)导入为Informatica里,然后根据业务规则对该结构进行一定的转换(transformation),最终导入到目标表中。
以上过程仅仅只是做了一个从源到目标的映射,数据的实际抽取与装载需要在工作流(workflow)里进行。
使用专业的数据抽取工具,可以结合业务逻辑对多个源数据进行join,union,insect等操作,适合于大型和数据仓库。数据库
三、 使用Access工具导入
可以直接在Access里选择‘打开‘文本文件,这样按照向导来导入一个文本文件到Access中,然后使用编程的方法 将其导入到最终的目标数据库中。
这种方法虽然烦琐,但是其对系统的软件配置要求相对较低,所以也是有一定的使用范围。数据库
四、 小结
总之,平面文件转化为数据库格式有利于数据的处理,显然,数据库强大的数据处理能力比直接进行文件I/O效率高出很多,希望本文能够对该领域做一个抛砖引玉的作用。
- 文本文件导入到数据库中的几种方法
- 文本文件中的数据导入到Oracle数据库表
- 把文本文件中的内容导入到数据库中
- 把不同类型的文件导入数据库中的几种方法
- Excel 导入到数据库中的两种方法(.net)
- 从文本文件导入数据到数据库表
- odb64luo导入txt文本文件到trafodion数据库
- wordpress 导入数据库的几种方法
- 利用php脚本将文本文件中的数据导入到mysql数据库中
- sql 2008的SSIS应用方法: 将多个一定格式的文本文件批量导入到数据库
- 把数据从txt文本文件导入到数据库的实现方法
- 将本地数据根据规则导入到数据库表的几种方法
- Javascript实现把网页中table的内容导入到excel中的几种方法
- 导入数据到Oracle中的几种方法(转http://jkflyfox.bokee.com/2334307.html)
- 转:Javascript实现把网页中table的内容导入到excel中的几种方法
- Javascript实现把网页中table的内容导入到excel中的几种方法
- csv文件中的数据导入到oracle数据库中的方法
- 导入文本文件到ORACLE
- float ad
- A new day has comeradio remix
- 我的新休闲手游>
- select语句
- aspx页面中乱码问题
- 文本文件导入到数据库中的几种方法
- 如何在搜索结果出来之前,让页面显示“等待中。。。”
- VC使用MFC进行COM编程
- 发一张设计稿件.
- 美国计算机科学家:Web3.0时代,机器要思考了
- 中文与韩、日文混排出现在Gb2312编码的Aspx的处理方法
- 一种简单的方法在程序中实现透明效果(JAVA)
- HtmlAnchor控件
- 经常逛CSDN的女程序就是牛啊