批量写入数据库
来源:互联网 发布:spark大数据 编辑:程序博客网 时间:2024/06/06 20:51
原文链接:http://apps.hi.baidu.com/share/detail/16973788
最近在将excel中的文件导入到数据库中,用程序进行编写,由于数据量较大所以速度很慢,后来采用了SqlBulkCopy类,解决了速度的问题,我就insert语句,sqldataadapter.update(dataset,tablename);sqlbulkcopy.WriteToServer(datatable);三个方法的性能进行比较:
1、生成测试的datatable表,表结构如下:
UniqueID(主键,自动增长) | CompanyName | CompanyCode | Address | Owner | Memo
共6个字段。
SqlConnection sqlconnection = new SqlConnection(connectionString);
SqlDataAdapter sqldataadapter = new SqlDataAdapter("select * from Table_1 where 1=2", sqlconnection);
DataSet dataset = new DataSet();
sqldataadapter.Fill(dataset, "Table_1");
DataTable datatable = dataset.Tables[0];
//生成20000条记录
for (int i = 0; i < 20000; i++)
{
DataRow datarow = datatable.NewRow();
datarow["CompanyName"] = "companyname"+string.Format("{0:0000}",i);
datarow["CompanyCode"] = "companycode" + string.Format("{0:0000}", i);
datarow["Address"] = "address" + string.Format("{0:0000}", i);
datarow["Owner"] = "owner" + string.Format("{0:0000}", i);
datarow["Memo"] = "memo" + string.Format("{0:0000}", i);
datatable.Rows.Add(datarow);
}
2、使用sqlcommand.executenonquery()方法插入
foreach (DataRow datarow in datatable.Rows)
{
string sql = "INSERT INTO [Table_1]
([CompanyName],[CompanyCode],[Address],[Owner],[Memo])" +
"VALUES('" + datarow["CompanyName"].ToString() + "'" +
",'" + datarow["CompanyCode"].ToString() + "'" +
",'" + datarow["Address"].ToString() + "'" +
",'" + datarow["Owner"].ToString() + "'" +
",'" + datarow["Memo"].ToString() + "')";
using (SqlConnection sqlconn = new SqlConnection(connectionString))
{
sqlconn.Open();
SqlCommand sqlcommand = new SqlCommand(sql, sqlconn);
sqlcommand.ExecuteNonQuery();
sqlconn.Close();
}
}
插入20000条记录时间:00:00:29.7336000
3、使用sqldataadapter.update(dataset,tablename);
SqlCommand insertcommand = new SqlCommand("INSERT INTO [Table_1]([CompanyName],[CompanyCode],[Address],[Owner],[Memo])" +
"VALUES(@CompanyName, @CompanyCode,@Address,@Owner,@Memo)",new SqlConnection(connectionString));
insertcommand.Parameters.Add("@CompanyName", SqlDbType.NChar, 50, "CompanyName");
insertcommand.Parameters.Add("@CompanyCode", SqlDbType.NChar, 25, "CompanyCode");
insertcommand.Parameters.Add("@Address", SqlDbType.NChar, 255, "Address");
insertcommand.Parameters.Add("@Owner", SqlDbType.NChar, 25, "Owner");
insertcommand.Parameters.Add("@Memo", SqlDbType.NChar, 255, "Memo");
sqldataadapter.InsertCommand = insertcommand;
sqldataadapter.Update(dataset, "Table_1");
插入20000条记录时间:00:00:22.8938000
4、使用sqlbulkcopy.writetoserver(datatable)
SqlBulkCopy sqlbulkcopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.UseInternalTransaction);
sqlbulkcopy.DestinationTableName = "Table_1";//数据库中的表名
sqlbulkcopy.WriteToServer(dataset.Tables[0]);
插入20000条记录时间:00:00:00.3276000
所以说速度是sqlbulkcopy最快,sqldataadapter.update()次之,sqlcommand.ExecuteNonQuery()最慢。
补充:听说在sql2008中还有一种批量写入的方法,具体情况不太清楚。
- 批量写入数据库
- DataTable的数据批量写入数据库
- DataTable的数据批量写入数据库
- DataTable的数据批量写入数据库
- DataTable的数据批量写入数据库
- Sqlite3批量写入数据到数据库中
- 批量写数据---将XML数据批量写入数据库
- 批量写数据---将XML数据批量写入数据库
- 【原创】上传EXCEL并把内容批量写入指定数据库
- 把重要的业务日志异步批量写入数据库 LOG4J
- ADO.NET之数据库表之间批量写入数据
- 使用ADO.NET2.0提升数据交互性能 使用SqlBulkCopy批量写入数据库
- DataTable数据批量写入数据库三种方法比较 以及方法介绍
- DataTable的数据批量写入SQL SERVER数据库方法速度比较[转]
- [转]DataTable的数据批量写入数据库三种方法比较
- DataTable数据批量写入数据库三种方法比较 以及方法介绍
- java读取Excel数据,然后写入到txt文件,并批量保存到oracle数据库中
- yii2从excel文件中读取表格内容,并批量写入数据库
- ORA-01502& ORA-14086: a partitioned index may not be rebuilt as a whole
- pthread_cond同步
- centos(7) heartbeat 配置
- socket
- 关于cout执行顺序的问题
- 批量写入数据库
- atoi自实现
- datagridview清空数据
- hashtable 用法
- Android中的文件存储数据方式
- prolog语言
- CEGUI安装、编译、运行总结
- Android GridView 横向滚动 一行显示
- windows bugzilla server搭建