java mysql 高性能批量处理 设置rewriteBatchedStatements
来源:互联网 发布:淘宝女士太阳镜 编辑:程序博客网 时间:2024/06/01 09:22
昨天研究了一下mysql的批处理,最初发现很慢
10000条 每次1000 243秒
50000条 每次500条 1295秒
代码如下:
很明显,1万条数据,需要执行243秒。
这个代码的性能很低,首先排除该表的复杂性(该表只有两个字段,id为自增主键),二、排除逻辑复杂性(从代码可以看出,这段代码只是简单的把i值赋给id)
后来又调整了很多参数,但都没有找到根本原因,执行时间会有稍微提高或者没什么变化。
最后,添加参数rewriteBatchedStatements=true
即:
执行时间提高100倍以上
50000条 每次500条 7秒
后续修改批处理大小,得到执行时间不一样。
5000000条 每次500条 849秒
5000000条 每次5000条 179秒
5000000条 每次50000条 90秒
5000000条 每次100000条 211秒
可以看出来,批处理大小的设置,也是影响执行时间的一个重要原因,但并不是设置的越大越好,或者越小越好。
下面介绍一下rewriteBatchedStatements
MySql的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
MySQL Jdbc驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,直接造成较低的性能。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL (jdbc:mysql://ip:port/db?rewriteBatchedStatements=true)。
实验记录:未打开rewriteBatchedStatements时
未打开rewriteBatchedStatements时,根据wireshark嗅探出的mysql报文可以看出,
batchDelete(10条记录) => 发送10次delete 请求
batchUpdate(10条记录) => 发送10次update 请求
batchInsert(10条记录) => 发送10次insert 请求
也就是说,batchXXX()的确不起作用
实验记录:打开了rewriteBatchedStatements后
打开rewriteBatchedStatements后,根据wireshark嗅探出的mysql报文可以看出
batchDelete(10条记录) => 发送一次请求,内容为”delete from t where id = 1; delete from t where id = 2; delete from t where id = 3; ….”
batchUpdate(10条记录) => 发送一次请求,内容为”update t set … where id = 1; update t set … where id = 2; update t set … where id = 3 …”
batchInsert(10条记录) => 发送一次请求,内容为”insert into t (…) values (…) , (…), (…)”
对delete和update,驱动所做的事就是把多条sql语句累积起来再一次性发出去;而对于insert,驱动则会把多条sql语句重写成一条风格很酷的sql语句,然后再发出去。 官方文档说,这种insert写法可以提高性能(”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”)
一个注意事项
需要注意的是,即使rewriteBatchedStatements=true, batchDelete()和batchUpdate()也不一定会走批量: 当batchSize <= 3时,驱动会宁愿一条一条地执行SQL。所以,如果你想验证rewriteBatchedStatements在你的系统里是否已经生效,记得要使用较大的batch.
- java mysql 高性能批量处理 设置rewriteBatchedStatements
- java mysql 高性能批量处理 设置rewriteBatchedStatements
- mysql批量插入更新加参数rewriteBatchedStatements
- 使mysql executeBatch生效 设置rewriteBatchedStatements=true,用mysql-connector-java-5.1.34-bin.jar
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySql 的批量操作,要加rewriteBatchedStatements参数
- MySQL Jdbc驱动的rewriteBatchedStatements参数--批量修改开关
- java mysql 批量处理
- C# 写日志,高性能批量处理 -- Logger
- Oracle11高性能开发--(3)批量处理语句总结
- JDBC rewriteBatchedStatements对批量插入的影响
- Java - 批量设置目录下所有图片的宽和高
- HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较
- 高性能MySQL.读书笔记(一)优化服务器设置
- 洛谷【p1122】最大子树和
- Swing中Timer定时器的作用
- Kotlinで初め
- JQuery——Ajax之XMLHTTPRequest对象
- android 友盟QQ分享
- java mysql 高性能批量处理 设置rewriteBatchedStatements
- Java byte数组转16进制字符串
- elasticsearch的准实时(near real-time)查询
- mouseover mouseout mouseenter mouseleave解释
- 很抱歉 程序无法在非mbr引导的分区上激活
- JSP 界面sql语句执行
- iOS NSDictionary JSON 相互转换
- C#去读不同版本的excel文件
- Haar小波变换的推演说明