php向mysql数据库查询、插入、删除较多条数据

最近项目做了个数据库备份。需要用php对项目30天前数据做增量备份。记录一下其中处理较多数据查询、插入、删除的解决办法。

一、查询

由于项目三十天之前的数据实在是太多。查询时甚至出现了，内存不足的报错。。

解决方法：

利用分页原理。动态传入page参数。

class DatabaseBak extends Command{    protected $page_size;    function handle(){        $this->page_size = 1000000;        //开始备份        $this->lucky_code();    }    //lucky_code表    protected function lucky_code(){            $this->comment('开始查询更新数量...');            $page = 1;            do {                $lucky_code = DB::table('lucky_code')->where('create_at', '<', $this->time)->forPage($page, $this->page_size)->get();                $this->comment('开始备份数据，共计' . $lucky_code->count() . '条记录。');                                $page++;            } while ($lucky_code->count() && $lucky_code->count() <= $this->page_size);    }}

二、插入

解决方法：主要是利用mysql语句insert插入时 value可以传多个。array_chunk()函数将一个数组分割成多个数组。（注意array_chunk最多只能每个子数组给5000个元素）

$arr = array_chunk(json_decode(json_encode($lucky_code), true), 5000);foreach ($arr as $l) {    //备份数据    DB::connection('pgyg_bak')->table('lucky_code')->insert($l);}

三、删除

解决方法：主要是利用mysql语句中where id in (1, 2, 3, .., n) 条件查询。

DB::table('lucky_code')->whereIn('id', $id_list)->delete();

四、总结

这次做数据库备份时，发现有几点要注意的是：

1、当用分页查询的时候，插入和删除是和查询同步的。即：查出一页，备份一页然后主表删除一页。然后再下一页。。

2、为了确保数据不丢失，除了使用事务之外。查询、插入、删除的依据应该都是每条记录的id。