高效能,大数据量存储方案SqlBulkCopy
来源:互联网 发布:苹果笔记本清理软件 编辑:程序博客网 时间:2024/06/15 18:28
原文:高效能,大数据量存储方案SqlBulkCopy
前些日子,公司要求做一个数据导入程序,要求将Excel数据,大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储。于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效,就像这个方法的名字一样,可以将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据。初次实验,百万级别的数据表,也只需几秒时间内就可以完全的存入数据库中,其速度,比传统的Insert方法不止快很多倍。下面,我将用代码,介绍其用法。
/// <summary>
/// LaborReport Data Import To Database
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
publicvoid LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn= new SqlConnection(this.Connection))
{
if (conn.State!= ConnectionState.Open)
conn.Open();
using (SqlBulkCopy sqlBCLaborReport= new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout =60;
sqlBCLaborReport.DestinationTableName ="LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
using (SqlBulkCopy sqlBCLaborReportDetails= new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout =60;
sqlBCLaborReportDetails.DestinationTableName ="LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State!= ConnectionState.Closed)
conn.Close();
}
}
/// LaborReport Data Import To Database
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
publicvoid LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn= new SqlConnection(this.Connection))
{
if (conn.State!= ConnectionState.Open)
conn.Open();
using (SqlBulkCopy sqlBCLaborReport= new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout =60;
sqlBCLaborReport.DestinationTableName ="LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
using (SqlBulkCopy sqlBCLaborReportDetails= new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout =60;
sqlBCLaborReportDetails.DestinationTableName ="LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State!= ConnectionState.Closed)
conn.Close();
}
}
上边的示例代码,将内存中的两个DataTable 数据一次性的存入数据库中,只要内存中的数据表格的结构跟数据库中的表格结构一样,就可以了,如果数据库中包含自增列字段,我们可以不需要在内存表中定义,当数据保存到数据库中的时候,自增列会自动生成数据的。
- 高效能,大数据量存储方案SqlBulkCopy
- 高效能,大数据量存储方案SqlBulkCopy
- SqlBulkCopy 高效、大数据量复制数据
- 大数据量并发处理方案
- 大数据量分页 存储过程
- 大数据量的存储建议方案(不断更新,希望大家给建议)
- Hibernate 处理大数据量的方案
- 大数据量导出Excel的方案
- 大数据量导出Excel的方案
- mysql大数据量分页慢问题解决方案
- 大数据量导出Excel的方案
- MySQL大数据量查询优化最佳方案
- 大数据量服务器及web优化方案
- c# 大数据量比较时-方案
- 大数据量导出Excel的方案
- 大数据量导出Excel的方案
- 大数据量中的模糊查询优化方案
- 大数据量报表系统的改进方案
- JfreeChar学习笔记
- CSS学习篇之——基础知识
- 黑马程序员——关于static关键字
- JMP SHORT $+2
- iphone程序设置icon图标
- 高效能,大数据量存储方案SqlBulkCopy
- ios局域网联机——苹果官方源码之WiTap剖析(二)
- Maven创建项目笔记
- 关于eclipse快捷键control+h按出字符串搜索搜索不出文件
- DateUtils 工具类
- C/C++中变量的生存期
- log4j配置
- OCP-1Z0-053-V13.02-645题
- linux_dev_学习笔记_内存映射nopage()