shell脚本删除线上MySQL大批量数据

【需求】
有时线上会有这种需求：
将A表中id字段等于B表id字段的记录删掉，A表和B表数据分布在不同实例的不同库里，且数据量很大。

【解决办法】
将B表的id字段从备库导出，select into outfile
在A表所在实例test库创建临时表tmp_id，导入数据，load data infile
根据关联字段删除即可，关联字段要有索引

【脚本实现】

为了减少对生产系统的IO冲击，我们采取每次批量删除前sleep一段时间，控制删除的频率。

下面使用shell脚本实现一个两表关联删除线上大批量数据的脚本，已经在线上使用，效果还不错。
#!/bin/bash
#需要修改下面几个参数
#min_id 
#max_id
#del_counts
#SQL

db_user="root"
db_name="BSS"
db_host="127.0.0.1"
db_port="3306"
mysql="/ROOT/server/mysql/bin/mysql"

min_id=1                        #起始id
max_id=10000000         #结束id
del_counts=1000           #分多少批进行删除,假如每次删除10000条数据,一共10000000条数据,那么这里修改为1000
id_avg=$[max_id-min_id]
id_avg=$[id_avg/del_counts]
total_affect_rows=0
now=`date "+%Y-%m-%d %H:%M:%S"`
echo "[$now] delete begin......"

for ((i=1;i<=$del_counts;i++))
do
    if [ $i -eq $del_counts ];then
        end_id=$max_id
    else
        end_id=$[id_avg+min_id]
    fi
    affect_rows=`$mysql -u $db_user -h $db_host -P $db_port $db_name -N -e "delete a from tb_user a,test.tmp_id b where a.id=b.id and a.id>=$min_id and a.id<=$end_id;select row_count();"`   #具体SQL根据实际进行修改
    now=`date "+%Y-%m-%d %H:%M:%S"`
    echo "[$now] delete $affect_rows rows [id>=$min_id and id<=$end_id]"
    min_id=$[end_id+1]
    echo "sleep 1"
    sleep 1
    total_affect_rows=$[total_affect_rows + affect_rows]
done
now=`date "+%Y-%m-%d %H:%M:%S"`
echo "[$now] delete end......"
echo "total affect rows is: $total_affect_rows"

参考文章
https://zhuanlan.zhihu.com/p/20209766

http://blog.itpub.net/22664653/viewspace-759736/