mysqltxt文件导入 load data infile 需要注意的地方
2017-02-22 17:59
851 查看
LOAD DATA INFILE 一直被认为是MySQL很强大的一个数据导入工具，因为他速度非常的快。
不过有几个问题一定要注意
1、编码。
2、灵活导入导出。
我来举两个例子说明一下。
一、关于编码
我们的示例文本文件：
“我爱你”,”20”,”相貌平常，经常耍流氓！哈哈”
“李奎”,”21”,”相貌平常，经常耍流氓！哈哈”
“王二米”,”20”,”相貌平常，经常耍流氓！哈哈”
“老三”,”24”,”很强”
“老四”,”34”,”XXXXX”
“老五”,”52”,”*%￥￥￥￥”
“小猫”,”45”,”中间省略。。。”
“小狗”,”12”,”就会叫”
“小妹”,”21”,”PP的很”
“小坏蛋”,”52”,”表里不一”
“上帝他爷”,”96”,”非常英俊”
“MM来了”,”10”,”。。。”
“歌颂党”,”20”,”社会主义好”
“人民好”,”20”,”的确是好”
“老高”,”10”,”学习很好”
“斜三”,”60”,”眼睛斜了”
“中华之子”,”100”,”威武的不行了”
“大米”,”63”,”我爱吃”
“苹果”,”15”,”好吃”
我们的示例表结构：
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| Table | Create Table |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| t0 | CREATE TABLE
PRIMARY KEY (
UNIQUE KEY
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
1 row in set (0.00 sec)
我们把这个文本文件从WINDOWS 下COPY到LINUX下看看
mysql> load data infile ‘/tmp/t0.txt’ ignore into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 1 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 2 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 3 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 4 | 老三 | 24 | 很强 |
| 5 | 老四 | 34 | XXXXX |
| 6 | 老五 | 52 | *%￥￥￥￥ |
| 7 | 小猫 | 45 | 中间省略。。。 |
| 8 | 小狗 | 12 | 就会叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小坏蛋 | 52 | 表里不一 |
| 11 | 上帝他爷 | 96 | 非常英俊 |
| 12 | MM来了 | 10 | 。。。 |
| 13 | 歌颂党 | 20 | 社会主义好 |
| 14 | 人民好 | 20 | 的确是好 |
| 15 | 老高 | 10 | 学习很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中华之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我爱吃 |
| 19 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)
我来说明一下相关的参数
关于我的导入语句，我现在直说两个，其他的参考手册。
character set gbk;
这个字符集一定要写，要不然就会乱码或者只导入一部分数据。
ignore into table
因为name 列加了唯一索引，加这个是为了避免重复数据插入报错。
加入我们再次运行这个导入语句就会发现
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
没有任何值导入，因为里面已经有了相同的值。
这里也可以用replace into table
MySQL会把相同的先干掉，再插入新的值。
mysql> load data infile ‘/tmp/t0.txt’ replace into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 21 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 22 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 23 | 老三 | 24 | 很强 |
| 24 | 老四 | 34 | XXXXX |
| 25 | 老五 | 52 | *%￥￥￥￥ |
| 26 | 小猫 | 45 | 中间省略。。。 |
| 27 | 小狗 | 12 | 就会叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小坏蛋 | 52 | 表里不一 |
| 30 | 上帝他爷 | 96 | 非常英俊 |
| 31 | MM来了 | 10 | 。。。 |
| 32 | 歌颂党 | 20 | 社会主义好 |
| 33 | 人民好 | 20 | 的确是好 |
| 34 | 老高 | 10 | 学习很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中华之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我爱吃 |
| 38 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)
(
这些也就是具体的表属性了，指明这个就可以导入想要的数据。
2、关于灵活性，其实也就是一个记录功能
如果想在导入的时候记录一下导入的具体时间怎么办？
我们来看看
先加一个时间属性记录导入时间。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
干掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> load data infile ‘/tmp/t0.txt’ into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 | XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | *%￥￥￥￥ | 0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中华之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
38 rows in set (0.00 sec)
新导入的19条记录时间被记录了下来。
只是之前的数据库没有记录，不过现在不需要这些重复数据了。
干掉他就可以了
mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0
mysql> alter ignore table t0 add unique index idx_name (
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0
mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 58 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很强 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 | XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | *%￥￥￥￥ | 2008-06-30 14:58:37 |
| 64 | 小猫 | 45 | 中间省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就会叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小坏蛋 | 52 | 表里不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌颂党 | 20 | 社会主义好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的确是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 学习很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中华之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
19 rows in set (0.00 sec)
现在是达到了目的了，为啥中途要干掉唯一索引呢？因为set 语法 再有IGNORE 的时候会忽略掉。
本文出自 “上帝，咱们不见不散！” 博客，请务必保留此出处
http://yueliangdao0608.blog.51cto.com/397025/84767
不过有几个问题一定要注意
1、编码。
2、灵活导入导出。
我来举两个例子说明一下。
一、关于编码
我们的示例文本文件：
“我爱你”,”20”,”相貌平常，经常耍流氓！哈哈”
“李奎”,”21”,”相貌平常，经常耍流氓！哈哈”
“王二米”,”20”,”相貌平常，经常耍流氓！哈哈”
“老三”,”24”,”很强”
“老四”,”34”,”XXXXX”
“老五”,”52”,”*%￥￥￥￥”
“小猫”,”45”,”中间省略。。。”
“小狗”,”12”,”就会叫”
“小妹”,”21”,”PP的很”
“小坏蛋”,”52”,”表里不一”
“上帝他爷”,”96”,”非常英俊”
“MM来了”,”10”,”。。。”
“歌颂党”,”20”,”社会主义好”
“人民好”,”20”,”的确是好”
“老高”,”10”,”学习很好”
“斜三”,”60”,”眼睛斜了”
“中华之子”,”100”,”威武的不行了”
“大米”,”63”,”我爱吃”
“苹果”,”15”,”好吃”
我们的示例表结构：
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| Table | Create Table |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
| t0 | CREATE TABLE
t0(
idbigint(20) unsigned NOT NULL auto_increment,
namechar(20) NOT NULL,
agetinyint(3) unsigned NOT NULL,
descriptiontext NOT NULL,
PRIMARY KEY (
id),
UNIQUE KEY
idx_name(
name)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+——-+———————————————————————————————————————————————————————————————————————————————————————–+
1 row in set (0.00 sec)
我们把这个文本文件从WINDOWS 下COPY到LINUX下看看
mysql> load data infile ‘/tmp/t0.txt’ ignore into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
name,
age,
description);
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 1 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 2 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 3 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 4 | 老三 | 24 | 很强 |
| 5 | 老四 | 34 | XXXXX |
| 6 | 老五 | 52 | *%￥￥￥￥ |
| 7 | 小猫 | 45 | 中间省略。。。 |
| 8 | 小狗 | 12 | 就会叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小坏蛋 | 52 | 表里不一 |
| 11 | 上帝他爷 | 96 | 非常英俊 |
| 12 | MM来了 | 10 | 。。。 |
| 13 | 歌颂党 | 20 | 社会主义好 |
| 14 | 人民好 | 20 | 的确是好 |
| 15 | 老高 | 10 | 学习很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中华之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我爱吃 |
| 19 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)
我来说明一下相关的参数
关于我的导入语句，我现在直说两个，其他的参考手册。
character set gbk;
这个字符集一定要写，要不然就会乱码或者只导入一部分数据。
ignore into table
因为name 列加了唯一索引，加这个是为了避免重复数据插入报错。
加入我们再次运行这个导入语句就会发现
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
没有任何值导入，因为里面已经有了相同的值。
这里也可以用replace into table
MySQL会把相同的先干掉，再插入新的值。
mysql> load data infile ‘/tmp/t0.txt’ replace into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
name,
age,
description);
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+
| id | name | age | description |
+—-+———-+—–+—————————-+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 21 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 |
| 22 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 |
| 23 | 老三 | 24 | 很强 |
| 24 | 老四 | 34 | XXXXX |
| 25 | 老五 | 52 | *%￥￥￥￥ |
| 26 | 小猫 | 45 | 中间省略。。。 |
| 27 | 小狗 | 12 | 就会叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小坏蛋 | 52 | 表里不一 |
| 30 | 上帝他爷 | 96 | 非常英俊 |
| 31 | MM来了 | 10 | 。。。 |
| 32 | 歌颂党 | 20 | 社会主义好 |
| 33 | 人民好 | 20 | 的确是好 |
| 34 | 老高 | 10 | 学习很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中华之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我爱吃 |
| 38 | 苹果 | 15 | 好吃 |
+—-+———-+—–+—————————-+
19 rows in set (0.00 sec)
(
name,
age,
description);
这些也就是具体的表属性了，指明这个就可以导入想要的数据。
2、关于灵活性，其实也就是一个记录功能
如果想在导入的时候记录一下导入的具体时间怎么办？
我们来看看
先加一个时间属性记录导入时间。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
干掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> load data infile ‘/tmp/t0.txt’ into table t0 character set gbk fields terminated by ‘,’ enclosed by ‘”’ lines terminated by ‘\n’ (
name,
age,
description) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 20 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 | XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | *%￥￥￥￥ | 0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中华之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
38 rows in set (0.00 sec)
新导入的19条记录时间被记录了下来。
只是之前的数据库没有记录，不过现在不需要这些重复数据了。
干掉他就可以了
mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0
mysql> alter ignore table t0 add unique index idx_name (
name);
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0
mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> select * from t0;
+—-+———-+—–+—————————-+———————+
| id | name | age | description | update_time |
+—-+———-+—–+—————————-+———————+
| 58 | 我爱你 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常，经常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很强 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 | XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | *%￥￥￥￥ | 2008-06-30 14:58:37 |
| 64 | 小猫 | 45 | 中间省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就会叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小坏蛋 | 52 | 表里不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爷 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM来了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌颂党 | 20 | 社会主义好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的确是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 学习很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中华之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我爱吃 | 2008-06-30 14:58:37 |
| 76 | 苹果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+—-+———-+—–+—————————-+———————+
19 rows in set (0.00 sec)
现在是达到了目的了，为啥中途要干掉唯一索引呢？因为set 语法 再有IGNORE 的时候会忽略掉。
本文出自 “上帝，咱们不见不散！” 博客，请务必保留此出处
http://yueliangdao0608.blog.51cto.com/397025/84767
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- mysql导入数据load data infile用法(将txt文件中的数据导入表中)
- mysql导入数据load data infile用法(将txt文件中的数据导入表中)
- mysql导入数据load data infile用法(将txt文件中的数据导入表中)
- LOAD DATA LOCAL INFILE，从txt文件导入数据到mysql表
- mysql 高效导入txt数据到表中（load data infile用法）
- 【转】【MySQL】用 Load data local infile 语句快速导入文件
- MySQL LOAD DATA导入TXT文件
- 我们来看看load data infile 需要注意的一些地方
- mysql文件导入到数据库load data infile into table 的使用例子
- 解决ubuntu server mysql load data infile 导入本地文件ERROR 1148 (42000)错误。
- mysql load data infile 指定文件中的字段导入
- MySQL远程导入数据LOAD DATA LOCAL INFILE ...
- Ubuntu+Mysql之从格式化文件导入数据库——Load Data 命令使用及local-infile=1用法
- MySQL _LOAD DATA 导入 csv 文件到数据库表操作日志
- load data infile上亿条的海量数据导入mysql的那些事
- mysql导入数据load data infile用法
- Mysql导入数据load data infile
- MySQL用Load Data local infile 导入部分数据后中文乱码
- mysql load data infile 解决大数据导入
- 如何把.csv文件导入到mysql中以及如何使用mysql 脚本中的load data快速导入