正则匹配删除redis中大量无用key
来源:互联网 发布:java工程师工作量 编辑:程序博客网 时间:2024/06/05 12:07
正则匹配删除redis中大量无用key
目前线上一个单实例Redis中无用的key太多,决定删除一部分。
1、删除指定用户的key,使用redis的pipeline
根据一定条件把需要删除的用户统计出来,放到一个表里面,表为 del_user(int user_id),rows大约在1千万。要删除的key为 "login:%s" %s匹配 user_id .写sql文如下:把sql文保存在一个文件里面,命名为 1.sql
SELECT CONCAT(
“*2\r\n”,
‘
redis_key, ‘\r’
)
FROM (
SELECT
CONCAT(‘login:’,user_id) AS redis_key
FROM del_user
) AS t;
然后执行命令:
MySQL –raw –skip-column-names –default-character-set utf8 -h2.6.3.101 -P1067 -uroot -p’123456’ test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a “password” -n 0 -p 6379 –pipe
实际执行速度非常快,每分钟大概删除300多万个key。
2、删除模式匹配下的key,使用lua脚本
比如有个需求,需要删除以”:login”结尾的所有key, 业务中key的设计是这样的 %s:login
第一种方式:
redis-cli -a “password” -n 0 -p 6379 keys “*:login” | xargs -i redis-cli -a “password” -n 0 -p 6379 del {}
这样一个坏处每次都要建立一个连接,量小的话还可以接受,量大的话,效率不行。
第二种方式:
redis-cli -a “password” -n 0 -p 6379 EVAL “return redis.call(‘del’, unpack(redis.call(‘keys’, ARGV[1])))” 0 *:login
这样的方式,通过内置的 Lua 解释器,可以使用 EVAL 命令对 Lua 脚本
但这种处理方式,量大的情况下,lua函数unpack会出现问题,会报错误
(error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): user_script:1: too many results to unpack
第三种方式:
实际上是第二种的改进方式,一次性unpack太多出问题,那就干脆一次5000吧,这样就不会有问题了
redis-cli -a “password” -n 0 -p 6379 EVAL “local keys = redis.call(‘keys’, ARGV[1]) for i=1,#keys,5000 do redis.call(‘del’, unpack(keys, i, math.min(i+4999, #keys))) end return #keys” 0 *:login
这段脚本的意思,首先定义一个数组 keys,里面存储了模式匹配的所有的以 *:login结尾的key,然后for循环,每次处理5000,也就是说每次del 5000个key。
目前测试下来,1000万个key,也就需要2分40多秒,速度非常快。
原文出处: 刘晓的博客
- 正则匹配删除redis中大量无用key
- 超大批量删除redis中无用key
- 超大批量删除redis中无用key
- Redis 删除匹配通配符的key
- Redis 删除匹配通配符的key
- redis按照正则批量删除key
- Linux中批量删除redis中的key
- redis删除hash中特定key
- 批量删除redis 数据库中redis key的方法
- redis 删除超时key
- Redis批量删除Key
- 批量删除 redis key
- redis批量删除key
- redis 批量删除key
- redis批量删除key
- redis 批量删除key
- 删除redis所有KEY
- redis批量删除key
- ElasticSearch检索时特殊字符处理
- maven多模块
- Android开源项目分类汇总
- Python中list和tuple
- Eclipse解决Ctrl+c很卡的方法
- 正则匹配删除redis中大量无用key
- ZOJ1221 Risk
- Nginx平滑升级
- Oracle的union,union all ,minus,intersect
- 美国服务器线路选择
- 剑指offer第五章
- Linux安装redis
- easyui datagrid datetimebox格式化
- Java 枚举类型enum 的使用