一步完成 MySQL 向 Redis 迁移

从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让
你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到
最佳速度。
一个约八百万行数据的mysql表，原本导入到redis中需要90分钟，使用这个方法后，只需要两分钟。不管你信不信，反正我是信了。
zzxworld
翻译于 1年前
13人顶顶 翻译的不错哦!其它翻译版本(1)
Mysql到Redis的数据协议
redis-cli命令行工具有一个批量插入模式，是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!
zzxworld
翻译于 1年前
5人顶顶 翻译的不错哦!我的统计表：
1CREATE TABLE events_all_time (
2 id int(11) unsigned NOT NULL AUTO_INCREMENT,
3 action varchar(255) NOT NULL,
4 count int(11) NOT NULL DEFAULT 0,
5 PRIMARY KEY (id),
6 UNIQUE KEY uniq_action (action)
7);
准备在每行数据中执行的redis命令如下：
1HSET events_all_time [action] [count]
按照以上redis命令规则，创建一个events_to_redis.sql文件，内容是用来生成redis数据协议格式的SQL：
01-- events_to_redis.sql
02
03SELECT CONCAT(
04 "*4\r\n",
05 '$', LENGTH(redis_cmd), '\r\n',
06 redis_cmd, '\r\n',
07 '$', LENGTH(redis_key), '\r\n',
08 redis_key, '\r\n',
09 '$', LENGTH(hkey), '\r\n',
10 hkey, '\r\n',
11 '$', LENGTH(hval), '\r\n',
12 hval, '\r'
13)
14FROM (
15 SELECT
16 'HSET' as redis_cmd,
17 'events_all_time' AS redis_key,
18 action AS hkey,
19 count AS hval
20 FROM events_all_time
21) AS t
ok, 用下面的命令执行：
1mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe
很重要的mysql参数说明：
--raw: 使mysql不转换字段值中的换行符。
--skip-column-names: 使mysql输出的每行中不包含列名。