DataTable中使用 SqlBulkCopy进行大批量数据插入
来源:互联网 发布:qq空间装修成淘宝店铺 编辑:程序博客网 时间:2024/05/22 18:52
在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:
DateTime startTime; protected void Button1_Click(object sender, EventArgs e) { startTime = DateTime.Now; string SrcConString; string DesConString; SqlConnection SrcCon = new SqlConnection(); SqlConnection DesCon = new SqlConnection(); SqlCommand SrcCom = new SqlCommand(); SqlDataAdapter SrcAdapter = new SqlDataAdapter(); DataTable dt = new DataTable(); SrcConString = ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString; DesConString = ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString; SrcCon.ConnectionString = SrcConString; SrcCom.Connection = SrcCon; SrcCom.CommandText = " SELECT * From [SrcTable]"; SrcCom.CommandType = CommandType.Text; SrcCom.Connection.Open(); SrcAdapter.SelectCommand = SrcCom; SrcAdapter.Fill(dt); SqlBulkCopy DesBulkOp; DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction); DesBulkOp.BulkCopyTimeout = 500000000; DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied); DesBulkOp.NotifyAfter = dt.Rows.Count; try { DesBulkOp.DestinationTableName = "SrcTable"; DesBulkOp.WriteToServer(dt); } catch (Exception ex) { lblResult.Text = ex.Message; } finally { SrcCon.Close(); DesCon.Close(); } } private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args) { lblCounter.Text += args.RowsCopied.ToString() + " rows are copied"; TimeSpan copyTime = DateTime.Now - startTime; lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds"; }
接着具体分析这几行代码:
SqlBulkCopy DesBulkOp;DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。DesBulkOp.BulkCopyTimeout = 500000000;
指定操作完成的Timeout时间
DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied); DesBulkOp.NotifyAfter = dt.Rows.Count; try { DesBulkOp.DestinationTableName = "SrcTable"; DesBulkOp.WriteToServer(dt); }
NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,
我们还可以自己定义一个Transaction,例如:
SqlTransaction Transaction;Transaction =SrcCom.Connection.BeginTransaction();SqlBulkCopy DesBulkOp;DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),SqlBulkCopyOptions.Default,Transaction);try{ //..}catch{} finally{Transaction.Commit();}
另外还有一个SqlBulkCopyColumnMapping类,可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时,可以用这个类进行映射:
SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");
DesBulkOp.ColumnMappings.Add(ColMap);
或者可以直接添加映射:
DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");
性能问题:
我使用上面的例子测试,迁移了2万条左右的记录,花的时间不到一秒,应改说性能还是不错的。另外,使用SQL Profile监视迁移事件,可以看见请求记录非常少,只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。
http://justicfu.cnblogs.com/archive/2006/06/23/433887.html
- DataTable中使用 SqlBulkCopy进行大批量数据插入
- .net2.0中使用SqlBulkCopy进行大批量数据迁移
- .net2.0中使用SqlBulkCopy进行大批量数据迁移
- net2.0中使用SqlBulkCopy进行大批量数据迁移
- .net2.0中使用SqlBulkCopy进行大批量数据迁移
- .net2.0中使用SqlBulkCopy进行大批量数据迁移(1)
- net2.0中使用SqlBulkCopy进行大批量数据迁移
- 使用 SqlBulkCopy大批量插入数据到数据库
- 使用SqlBulkCopy进行大批量数据迁移
- 使用SqlBulkCopy进行数据大批量的迁移
- 使用SqlBulkCopy进行大批量数据迁移
- 使用SqlBulkCopy将DataTable中的数据批量插入数据库中
- 使用SqlBulkCopy将DataTable中的数据批量插入数据库中
- 使用SqlBulkCopy将DataTable中的数据批量插入数据库中
- 使用SqlBulkCopy大批量导入数据
- 使用SqlBulkCopy把DataTable里的数据插入数据表
- 使用事务和SqlBulkCopy导入大批量数据
- 使用事务和SqlBulkCopy导入大批量数据
- java中io各种流的关闭顺序
- 内核配置解释
- mysql 控制台输出乱码显示
- Android 4.0 external下功能库说明
- OGRE
- DataTable中使用 SqlBulkCopy进行大批量数据插入
- Win32 SEH 详解(十分强大)
- Android主流屏幕分辨率介绍
- 生成随机数
- HBase集群搭建
- Diskgenius修复硬盘0柱面坏道
- ROCKFORD LHOTKA的CSLA.NET,你用了吗? .
- Linux 文件管理常用命令
- 指令STMFD和LDMFD分析