转义字符导致sqlite迁移至mysql少了15w数据

Sqlite[/b]迁移至mysql[/b]
一、 [/b]准备工作[/b]
相关sqlite语句
进入sqlite数据库，如数据库名为mobi.db
[root@localhost ~]# sqlite3 mobi.db
SQLite version 3.6.23.1
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
1）查看数据库
sqlite> .database
seq name file
--- --------------- ----------------------------------------------------------
0 main /root/mobi.dbbak
2）查看库里的表
sqlite> .tables
account_alias devprop selffund userdevbind
accountmap misc selfstock yyblist
appupdate qs_qs sync_queue yyblist2
3）查看表结构
sqlite> .schema devprop
CREATE TABLE devprop(
devid varchar(48) primary key,
devprop text,
checksum varchar(16),
update_time varchar(16)
);

二、从[/b]sqlite dump[/b]出需要迁移的数据库。[/b]

把当前数据库导出文件名为mobi.sql
sqlite>.output mobi.sql
sqlite>.dump

三、[/b]遇到的第一个问题，mysql[/b]比sqlite[/b]的表结构新，多了字段[/b]
导入mysql数据库语句,并做相关修改
注意：如果你是把最新的mysql表创建语句导入后，请检查该数据库里的表与sqlite里相同的表的字段是否一致，如果不一致先删除掉多余的字段后导数据，删除字段语句：alter table devprop drop column flag;
导完数据后，再加上该字段即可

四、遇到的第二个问题，[/b]mysql[/b]导入里不允许表名以“”引住[/b]
[root@localhost ~]# vi mobi.sql
1）把里面的CREATE TABLE相关语句查找出来去掉
2）删除INTO与VALUES之间的引号
sed -i 's/INTO "/INTO /g' mobi.sql && sed -i 's/" VALUES/ VALUES/g' mobi.sql
五、遇到的第三个问题，由于之前的程序开发不严谨居然用户里有转义字符（[/b]\ [/b]）[/b]
INSERT INTO selfstock VALUES('身了Uk\','','1266411514',NULL);
在未处理这\特殊字符之前，mysql里count出来的selfstock数与sqlite对比少了15w行，由于用户量过大这种错误提示较为难找，我的对比方法是先count看下两数据量是不是一致
不一致时
a) mysql的日志开启出来（log_bin=mysql-bin开启日志）
b) 过滤相关selfstock 表数据
msyql过滤
mysqlbinlog /var/lib/mysql/mysql-bin.000001 ｜grep selfstock > selfstock.mysql 后面生成的日志追加至selfstock.mysql
sqlite过滤
grep selfstock mobi.sql > selfstock.sqlite
对比相关数据
diff selfstock.sqlite selfstock.mysql >diff.sql
1. 对比时使用到的shell正则：g/^$/d vi里去除空行，：1,$s/[0-9][0-9a-z]//g vi里去掉diff不必要的数据
mysql在shell情况下导入时\这个转义字符时，须先将其转义：
sed -i 's#\\#\\\\#g' mobi.sql
由于转义字符的原因对比少了15w数据，数据量过大检查并未发现明显错误，于是采用上面的对比方法找出，由于这个问题的出现，刚开始一直以为是乱码问题，搞得莫名其妙。
查看相关数据差异数据，重置mysql日志reset master,查看mysql日志名show binary logs
六、第四个问题[/b]mysql[/b]插入用户时大小写忽略[/b]
由于导出mysql在运行的表结构出来的时候不会保存控制表内容大小写
在建表时时候加以标识
CREATE TABLE devprop(
devid varchar(48) binary primary key,
devprop text,
checksum varchar(16),
update_time varchar(16)
);

由于大小写的原因少了70多条数据

七、第五个问题，末尾空格用户[/b]
上面的问题都解决了之后，发现用户还是少了四条，实在不解于是再次采用对比方法，发现有用户是重名，对于mysql来说，即前面的字符都一样但有个用户后面多了一个或多个空格如下：
INSERT INTO misc VALUES('18970171896 ','','1267243148',NULL);
INSERT INTO misc VALUES('18970171896','','1269091519',NULL);
由于此用户为不合法用户也就没有导入了。

补充知识及参考资料：
lower_case_table_names=1 mysql默认表名区分大小写，列名不区分，默认值为1
http://firefore.com/2008/01/lower-case-table-names.html
http://www.linuxpig.com/2010/08/mysqlchaxunbuqufendaxiaoxiewentifenxihejiejue/

注意事项：需要把使用sqlite数据库的相关程序停止掉
[root@hxmobi-dell mobiauth]#ps aux|grep mobia
root 6303 0.0 0.0 4572 1008 ? S Nov20 0:00 sh /root/mobile/mobiauth/mobia.sh
root 16361 0.5 1.4 127884 58060 ? Sl Nov22 5:31 obj/mobia -abc
root 19997 0.0 0.0 4004 688 pts/1 S+ 10:42 0:00 grep mobia
[root@hxmobi-dell mobiauth]#kill -9 6303 16361
[root@hxmobi-dell db]# cd /root/mobile/mobiauth/config/db
[root@hxmobi-dell db]# cp mobi.ab mobi.ab-2010-11-23
拷贝完后把原sqlite认证程序启动。让用户可以登录，如果认证程序不停掉操作sqlite数据库，会导致数据损坏问题