mysql 插入百万级数据 简单靠谱的方法

之前学习mysql的时候，想要试着插入百万、千万级别的测试数据，看了下网上的不少博客，基本都是复制copy，大多数都是用个存储过程就直接循环插入。。
比如：

drop table if exists test;create table test (c1 int(11) default NULL,c2 varchar(30) default NULL,c3 date default NULL);drop PROCEDURE if exists test_insert;delimiter //CREATE PROCEDURE test_insert()      begin          declare v int default 0;            while v < 800         do              insert into test               values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));              set v = v + 1;          end while;      end //

这里就先插800条试试水。。

结果800条就用了半分钟，简直不能忍啊

经过查阅不少信息，发现每次insert的时候mysql都会自动提交，然后会有其他的一些耗时的操作，所以。。。。。取消掉自动提交不就好了嘛。。。直接 SET AUTOCOMMIT=0;
代码如下：

drop table if exists test;create table test (c1 int(11) default NULL,c2 varchar(30) default NULL,c3 date default NULL);drop PROCEDURE if exists test_insert;delimiter //CREATE PROCEDURE test_insert(n int)      begin          declare v int default 0;        SET AUTOCOMMIT=0;               while v < n         do              insert into test               values (v,'testing partitions',adddate('1995-01-01',(rand(v)*36520) mod 3652));              set v = v + 1;          end while;        SET AUTOCOMMIT=1;           end //

试试800条





秒秒钟的事
继续加大量8千、8万、80万。。。1千万。。





1千万只用的3分钟（100万10多秒就差不多了）
验证哈插入的数据





数量正确，数据也没问题，大功告成！

———————————————————-分割线————————————————————————



然后又发现个更简单的方法。。直接用insert into … select … from …就行了
也就是不停地复制表里的数据，再插入

drop table if exists test2;create table test2 (c1 int(11) default NULL,c2 varchar(30) default NULL);insert into test2 values(1,'a'),(2,'b'),(3,'c');insert into test2 select * from test2;

看看效果

百万级也就是几十秒到一两分钟的事

当然，要在java里用jdbc写代码也行，尽量避免循环insert操作，最好先拼接好sql，一次执行，毕竟每次都io太耗时，也可以把自动提交给关了，调用conn.setAutoCommit(false)，再循环插。。



over