一步完成 MySQL 向 Redis 迁移
来源:互联网 发布:西南交大网络教育好吗 编辑:程序博客网 时间:2024/06/04 08:43
原文:http://www.oschina.net/translate/mysql-to-redis-in-one-step
从mysql搬一个大表到redis中,你会发现在提取、转换或是载入一行数据时,速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli,以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。
一个约八百万行数据的mysql表,原本导入到redis中需要90分钟,使用这个方法后,只需要两分钟。不管你信不信,反正我是信了。
Mysql到Redis的数据协议
redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!
我的统计表:
1
CREATE
TABLE
events_all_time (
2
id
int
(11) unsigned
NOT
NULL
AUTO_INCREMENT,
3
action
varchar
(255)
NOT
NULL
,
4
count
int
(11)
NOT
NULL
DEFAULT
0,
5
PRIMARY
KEY
(id),
6
UNIQUE
KEY
uniq_action (
action
)
7
);
准备在每行数据中执行的redis命令如下:
1
HSET events_all_time [action] [count]
按照以上redis命令规则,创建一个events_to_redis.sql文件,内容是用来生成redis数据协议格式的SQL:
01
-- events_to_redis.sql
02
03
SELECT
CONCAT(
04
"*4\r\n"
,
05
'$'
, LENGTH(redis_cmd),
'\r\n'
,
06
redis_cmd,
'\r\n'
,
07
'$'
, LENGTH(redis_key),
'\r\n'
,
08
redis_key,
'\r\n'
,
09
'$'
, LENGTH(hkey),
'\r\n'
,
10
hkey,
'\r\n'
,
11
'$'
, LENGTH(hval),
'\r\n'
,
12
hval,
'\r'
13
)
14
FROM
(
15
SELECT
16
'HSET'
as
redis_cmd,
17
'events_all_time'
AS
redis_key,
18
action
AS
hkey,
19
count
AS
hval
20
FROM
events_all_time
21
)
AS
t
ok, 用下面的命令执行:
1
mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe
很重要的mysql参数说明:
--raw: 使mysql不转换字段值中的换行符。
--skip-column-names: 使mysql输出的每行中不包含列名。
0 0
- 一步完成 MySQL 向 Redis 迁移
- 一步完成 MySQL 向 Redis 迁移
- 一步完成 MySQL 向 Redis 迁移
- 一步完成 MySQL 向 Redis 迁移
- MySQL 向 Redis 高效迁移
- mysql向Oracle迁移
- 浅谈 Redis 与 MySQL 的耦合性以及利用管道完成 MySQL 到 Redis 的高效迁移
- 浅谈 Redis 与 MySQL 的耦合性以及利用管道完成 MySQL 到 Redis 的高效迁移
- 浅谈 Redis 与 MySQL 的耦合性以及利用管道完成 MySQL 到 Redis 的高效迁移
- oracle 向mysql数据迁移
- oracle 向mysql数据迁移
- oracle 向mysql数据迁移
- mysql 数据 迁移到redis
- GCC4.8发布,完成向C++的迁移
- MYSQL数据库从Windows向Linux迁移
- MySQL向Hive/HBase的迁移工具
- MySQL向Hive/HBase的迁移工具
- MySQL向Hive/HBase的迁移工具
- error C2018: unknown character '****'
- UbuntuSkills
- YUV YCbCr YPbPr
- Linux头文件
- 男子含冤18年后真凶落网:不放过当年打我的警察
- 一步完成 MySQL 向 Redis 迁移
- python mssql insert 插入datetime类型
- 每天30分钟:成功有效的学习方法
- 死亡赛车再生中文版 中文汉化补丁v1.1最新版
- Git学习笔记与IntelliJ IDEA整合
- <转载>程序员学习能力提升三要素
- 请记得,我不是个好人。
- sublime text 3
- JavaScript、JQuery开发笔记