python查找/删除重复记录
2017-12-09 10:37
363 查看
1:查找重复项
df.duplicated()返回的是一个布尔型Series(返回值是True或者False),表示各行是否是重复行,可以在()内添加列名来查找某一列是否有重复值,第一个出现的值为False,后边再出现相同的行为True
完全重复的项目 df.duplicated() / 某一列重复df.duplicated('列名')
aa = [[1,2,3],[4,5,6],[1,2,3],[1,2,1]]
index = [0,1,2,3]
columns=['a','b','c']
df = pd.DataFrame(data=aa, index=index, columns=columns)
df.duplicated()
df.duplicated('a')
查看重复的数量,返回结果为True都是前面出现过的
volume_summery[volume_summery.duplicated('order_item_id')==True].shape
2:删除重复项
df.drop_duplicates()删除完全重复的项,返回不重复的项目
df.drop_duplicates(['列名']) 以该列为标准,删除重复的项目,返回不重复的项目
df.duplicated()返回的是一个布尔型Series(返回值是True或者False),表示各行是否是重复行,可以在()内添加列名来查找某一列是否有重复值,第一个出现的值为False,后边再出现相同的行为True
完全重复的项目 df.duplicated() / 某一列重复df.duplicated('列名')
aa = [[1,2,3],[4,5,6],[1,2,3],[1,2,1]]
index = [0,1,2,3]
columns=['a','b','c']
df = pd.DataFrame(data=aa, index=index, columns=columns)
a | b | c | |
---|---|---|---|
0 | 1 | 2 | 3 |
1 | 4 | 5 | 6 |
2 | 1 | 2 | 3 |
3 | 1 | 2 | 1 |
0 False 1 False 2 True 3 False dtype: bool
df.duplicated('a')
0 False 1 False 2 True 3 True dtype: bool
查看重复的数量,返回结果为True都是前面出现过的
volume_summery[volume_summery.duplicated('order_item_id')==True].shape
2:删除重复项
df.drop_duplicates()删除完全重复的项,返回不重复的项目
a | b | c | |
---|---|---|---|
0 | 1 | 2 | 3 |
1 | 4 | 5 | 6 |
3 | 1 | 2 | 1 |
a | b | c | |
---|---|---|---|
0 | 1 | 2 | 3 |
1 | 4 | 5 | 6 |
相关文章推荐
- SQL删除、查找重复数据记录等操作
- 删除数据库中的重复数据记录、查找重复记录、查找不重复记录
- Oracle几种查找和删除重复记录的方法总结
- Oracle如何查找、删除表中重复的记录
- Oracle 查找并删除表中的重复记录
- Oracle 删除重复数据只留一条 查询及删除重复记录的SQL语句 1、查找表中多余的重复记录,重复记录是根据单个字段(Id)来判断 select * from 表 wher
- MySQL查找并删除重复记录
- 查找并删除重复记录 ORA-02292
- 如何查找、删除表中重复的记录
- 如何查找和删除重复记录
- python 删除/查找重复项
- SQL重复记录处理(查找,过滤,删除)
- 几种查找和删除重复记录的方法
- (小笔记)(sql)查找重复记录,并删除多余记录
- Oracle几种查找和删除重复记录的方法总结
- SQL重复记录处理(查找,过滤,删除)
- 查找和删除sqlserver数据库中的重复记录
- 查找删除mysql数据表中重复记录
- 在Oracle中如何利用Rowid查找和删除表中的重复记录
- 如何查找、删除表中重复的记录