mongodb里的集合数据迁移到mysql库
2015-11-16 20:05
477 查看
1,在mongodb上导出数据,写个脚步expmongo.sh,shell脚本如下
#!/bin/sh datestr=`date '+%Y-%m-%d'` /usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,merchantorder,paymentType,paymentTime,authNo,expDate,cardNo,amount,batchNo,refNo,merchantName,voucher,acqNo --csv -o /tmp/im_$datestr.txt && sz /tmp/im_$datestr.txt
导出来的im数据,/tmp/im_$datestr.txt ,大概有6000多条记录。
原blog地址:http://blog.csdn.net/mchdba/article/details/49871041,未经过原作者同意,谢绝转载
类似这样的数据:
txnType,issNo,sn,merchantorder,paymentType,paymentTime,authNo,expDate,cardNo,amount,batchNo,refNo,merchantName,voucher,acqNo
“0”,”“,”WP14521000000342”,”“,”银行卡”,”1440050366667”,”“,”“,”6216615625”,”10”,”2”,”891094135928”,”厚味香味馆”,”000235”,””
“1”,,”WP14521000000342”,,,,,,,”10”,,,,,
“0”,”“,”WP14521000000422”,”“,”现金”,”1440050722137”,”“,”“,”“,”0.01”,”“,”“,”老裁缝家纺”,”“,”“
2,在mysql库里面,建一张存储mongodb的数据的表:
建表语句如下:CREATE TABLE
sap_im(
txnTypevarchar(8) DEFAULT NULL,
issNovarchar(128) DEFAULT NULL,
snvarchar(128) DEFAULT NULL,
merchantordervarchar(128) DEFAULT NULL,
paymentTypevarchar(128) DEFAULT NULL,
paymentTimevarchar(128) DEFAULT NULL,
authNovarchar(128) DEFAULT NULL,
expDatevarchar(128) DEFAULT NULL,
cardNovarchar(128) DEFAULT NULL,
amountvarchar(128) DEFAULT NULL,
batchNovarchar(128) DEFAULT NULL,
refNovarchar(128) DEFAULT NULL,
merchantNamevarchar(128) DEFAULT NULL,
vouchervarchar(128) DEFAULT NULL,
acqNovarchar(128) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
3,导入到mysql里面
上传im_$datestr.txt到mysql服务器,先然后把导出文件改成表名字mv /tmp/im_detail_2015-11-12.txt /tmp/sap_im.csv
开始导入:
mysql> LOAD DATA INFILE “/tmp/sap_im.csv” REPLACE INTO TABLE sap_im FIELDS TERMINATED BY ‘,’ OPTIONALLY ENCLOSED BY ‘”’ ESCAPED BY ‘”’ LINES TERMINATED BY ‘\r\n’;
Query OK, 1 row affected (0.02 sec)
Records: 1 Deleted: 0 Skipped: 0 Warnings: 0
mysql>
奇怪,这里只导入了第一行记录,估计是换行符的问题,去掉命令行的\r,将’\r\n’换成’\n’即可,如下所示:
mysql>
mysql>
mysql> LOAD DATA INFILE “/tmp/sap_im.csv” REPLACE INTO TABLE sap_im FIELDS TERMINATED BY ‘,’ OPTIONALLY ENCLOSED BY ‘”’ ESCAPED BY ‘”’ LINES TERMINATED BY ‘\n’;
Query OK, 6555 rows affected (1.81 sec)
Records: 6555 Deleted: 0 Skipped: 0 Warnings: 0
mysql>
最终正常导入了6000多条记录出来。
相关文章推荐
- Spider based on scrapy
- MongoDB小结09 - update【定位修改器】
- MongoDB小结07 - update【$pop】
- MongoDB小结08 - update【$pull】
- MongoDB小结06 - update【$push】
- MongoDB小结07 - update【$addToSet & $each】
- MongoDB与内存
- Mongodb GetLastError写入安全机制
- MongoDB——从基础来入门
- MongoDB的选举过程
- .net MongoDb驱动的封装
- numa 架构下的 mysql,mongodb数据库
- MongoDB3.0以上安装
- MongoDB mongodump 按时间区域导出数据
- Mongodb学习笔记速记(三)
- Mongodb学习笔记(三)
- MongoDB小结05 - update【$set & $unset】
- 阿里云服务器搭建php+apache+mongodb
- MongoDB小结04 - update【$inc】
- Mongodb学习笔记(二)