超大批量向redis导入数据
来源:互联网 发布:忘记windows登陆密码 编辑:程序博客网 时间:2024/06/06 12:22
日常中有时为了做实验需要向redis导入大量数据
下面提供一些思路:
1、循环导入
key的类型为string,下面是例子脚本
for((i=1;i<=1000000;i++))
do
redis-cli -a "password" -n 0 -p 6379 set "k"$i "v"$i
done
这样的坏处显而易见,每次都要建立连接,效率低下,不可取。
当然你导入几百几千个key倒是没什么问题。
2、pipeline方式导入
先把预先的命令导入到一个文本里面
for((i=1;i<=1000000;i++))
do
echo "set k$i v$i" >> /tmp/_t.txt
done
执行格式转换
unix2dos /tmp/_t.txt
pipeline导入
cat /tmp/_t.txt | redis-cli -a "password" -n 0 -p 6379 --pipe
以上测试下来,100万的数据,在几十秒中搞定,速度嗷嗷的
参考:http://redis.io/topics/mass-insert
还有一种情况,比如需要把MySQL中的数据批量导入redis
假如目前需要把用户元宝表导入到redis中,表 user_gold(user_id, amount) ,每个用户一个key,string类型。
我们可以这样操作:
-- 1.sql 保存sql到 1.sql中
SELECT CONCAT(
"*3\r\n",
'$3\r\n',
'SET\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(redis_value), '\r\n',
redis_value, '\r'
)
FROM (
SELECT
CONCAT('user:gold:',user_id) AS redis_key,
amount AS redis_value
FROM test.user_gold
) AS t;
执行导入操作:
mysql --raw --skip-column-names -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe
- 超大批量向redis导入数据
- Redis批量导入数据
- 向数据表批量导入数据
- 向ElasticSearch批量导入数据
- redis pipe 批量导入数据
- redis数据批量导入导出
- redis数据批量导入导出
- redis 批量数据导入|数据迁移工具
- 用QueryTable向excel批量导入数据
- 用ADO向Excel批量导入数据
- 用ADO向Excel批量导入数据
- 用ADO向Excel批量导入数据
- txt文档批量向MySQL导入数据
- Django向Mysql中批量导入数据
- 批量数据导入Redis(Mass Insertion)
- 批量数据导入Redis(Mass Insertion)
- mysql数据向Redis快速导入
- mysql数据向Redis快速导入
- Teradata中SQL语言基础
- Spring中的AOP
- ReactNative学习十四-再次弹性盒(Flexbox)
- icp 相关
- RHEL7系统修复rm -rf /boot /etc/fstab
- 超大批量向redis导入数据
- 以前技术老大在XP下玩过net send 给别人弹窗 现在换win7 命令换了
- 第七章 virtual模块解析
- 数字格式化 千位符 两位小数
- hdu1029(基础)
- MySQL命令行下执行.sql脚本
- Linux学习之CentOS--虚拟机下的CentOS如何上网
- GCJ 2009 Bribe the Prisoners
- Linux 下I/O多路复用总结