如何删除数据库中的重复行
2011-10-28 00:02
344 查看
如何删除数据库中的重复行
重复行就是有两条记录是一样的,如果该表有主键,那重复行就是除了主键之外其余列的值完全相同。
为啥表中会出现重复行?按照我的看法,应该是只有两个途径:1.程序逻辑错误,2.用户的操作问题。
程序逻辑错误,那没啥好说的,只要能发现修改其他也挺简单的;用户不知情的情况下添加了相同的数据,比如我的系统中有个把联系人从excel文件导入数据库的功能,导入会耗时,抑或是界面卡住,用户可能没耐心再次点击导入,数据就重复导入了。
当然我的问题很好解决,,因为是导入所以那些数据都是相邻的,况且我的每个表都有一个自增的id字段,所以,直接写个sql语句把那堆数据删掉(delete table where id >x and id < y)
当然解决问题的方式多种多样,我介绍另一种比较有技术含量一点的,因为不是每次数据库重复行都像是我这种情况,有时候重复行数目不定,在数据库中的位置是离散的,用下面的sql语句有点可行Delete table where Id not in (select max(ID) from User group by field)
我稍微解释一下上面这句的含义,1.以某个字段为分组依据,相同的数据就被分到一组,2.取得每个分组的最大id,也就是得到数据库行唯一的id集合,3.删除不在这个id集合的数据库行。。。。
等等,如果直接拿上面的sql语句去数据库中运行,那会有大麻烦,为啥呢?因为,我们不能确定某个字段值在表中是否是唯一的,比如名字,总有同名的人存在,,,额,你可能会说:id就不会重复了,但是对我们这个有啥意义,如果在数据库中id被设置成唯一的,那根本就不可能存在重复的id,你在插入重复的id时,数据库已经报错不允许你插入,也就不会出现重复了。。。。
所以说上面的sql有点小问题,正确的思路就是把上面的第1步改为:根据表中除唯一键之外的所有字段进行分组。就能完美的删除表中的重复行了,,,不过,这个性能嘛。。。。当我没说。。。。
重复行就是有两条记录是一样的,如果该表有主键,那重复行就是除了主键之外其余列的值完全相同。
为啥表中会出现重复行?按照我的看法,应该是只有两个途径:1.程序逻辑错误,2.用户的操作问题。
程序逻辑错误,那没啥好说的,只要能发现修改其他也挺简单的;用户不知情的情况下添加了相同的数据,比如我的系统中有个把联系人从excel文件导入数据库的功能,导入会耗时,抑或是界面卡住,用户可能没耐心再次点击导入,数据就重复导入了。
当然我的问题很好解决,,因为是导入所以那些数据都是相邻的,况且我的每个表都有一个自增的id字段,所以,直接写个sql语句把那堆数据删掉(delete table where id >x and id < y)
当然解决问题的方式多种多样,我介绍另一种比较有技术含量一点的,因为不是每次数据库重复行都像是我这种情况,有时候重复行数目不定,在数据库中的位置是离散的,用下面的sql语句有点可行Delete table where Id not in (select max(ID) from User group by field)
我稍微解释一下上面这句的含义,1.以某个字段为分组依据,相同的数据就被分到一组,2.取得每个分组的最大id,也就是得到数据库行唯一的id集合,3.删除不在这个id集合的数据库行。。。。
等等,如果直接拿上面的sql语句去数据库中运行,那会有大麻烦,为啥呢?因为,我们不能确定某个字段值在表中是否是唯一的,比如名字,总有同名的人存在,,,额,你可能会说:id就不会重复了,但是对我们这个有啥意义,如果在数据库中id被设置成唯一的,那根本就不可能存在重复的id,你在插入重复的id时,数据库已经报错不允许你插入,也就不会出现重复了。。。。
所以说上面的sql有点小问题,正确的思路就是把上面的第1步改为:根据表中除唯一键之外的所有字段进行分组。就能完美的删除表中的重复行了,,,不过,这个性能嘛。。。。当我没说。。。。
相关文章推荐
- 如何删除数据库中重复的记录
- 如何删除数据库一个表中某列是重复的数据?
- 一起做面试题--如何删除数据库表中的重复数据
- 如何删除数据表中的重复数据(各种数据库)
- 如何删除数据库中的重复记录(一)
- 如何删除数据库中的重复记录?
- 如何删除数据库中重复的记录
- 如何删除数据库中重复的记录
- 如何删除数据库中重复的记录
- 如何删除数据库中的重复记录
- 如何删除数据库中重复的数据
- 如何删除数据库表的重复数据
- 关于如何删除数据库中重复记录
- 数据库表中有重复记录,如何删除这些重复记录保留ID最大的一个信息
- 删除数据库中重复数据的几个方法
- 如何有条件的查询或删除表中的重复记录
- oracle中如何删除数据库的实例
- 如何删除表中的重复记录只保留其中一条?
- Code33 如何删除这些重复的行(不同时删除重复的记录)
- 使用sql语句删除数据库中重复的数据