大数据量删除算法
2010-11-20 11:02
183 查看
开门见山,直接进入主题,数据量在百万级已下,可以不看下边内容。
起因:
某客户今年上了U9不久,随着业务量的增加,每日业务达2000多单据。由于客户操作业务有误,把业务做到了2018年底,之后才发现输入有误。在U9系统中,为了报表或是查询数据方便,随着业务的增减会按期间自动产生一些统计数据(至少18*12个期间的数据)两千万条数据,经过分析,客户不存在提前做业务场景,这些数据在系统中也就成了冗余数据,这数据占正常业务数据的90%。而随着业务的发生,自动按期间往后去更新各期间数据,每次更新的时候,数据库会自动优化锁,由行锁升级成页锁,再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作,系统无法运行。这样就引出了,要删除这90%多的数据问题。
抽象:
删除数据本应该是一个再简单不过的操作,在SQL中,我们可以用如下脚本:
最后,把刚才迁移的数据迁移回来:
如果数据量小的话,那么直接用Delete 脚本就可以搞定。
以上,是一点点建议,是否还有更合理的算法。
起因:
某客户今年上了U9不久,随着业务量的增加,每日业务达2000多单据。由于客户操作业务有误,把业务做到了2018年底,之后才发现输入有误。在U9系统中,为了报表或是查询数据方便,随着业务的增减会按期间自动产生一些统计数据(至少18*12个期间的数据)两千万条数据,经过分析,客户不存在提前做业务场景,这些数据在系统中也就成了冗余数据,这数据占正常业务数据的90%。而随着业务的发生,自动按期间往后去更新各期间数据,每次更新的时候,数据库会自动优化锁,由行锁升级成页锁,再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作,系统无法运行。这样就引出了,要删除这90%多的数据问题。
抽象:
删除数据本应该是一个再简单不过的操作,在SQL中,我们可以用如下脚本:
代码If OBJECT_ID('InvTrans_AccountPeriodLine_Temp') is not null Drop Table InvTrans_AccountPeriodLine_Temp Select * into InvTrans_AccountPeriodLine_Temp From InvTrans_AccountPeriodLine Where AccountPeriod<=@AccountPeriod
然后,删除原表所有数据:
Truncate table InvTrans_AccountPeriodLine
最后,把刚才迁移的数据迁移回来:
Insert Into InvTrans_AccountPeriodLineBin Select * From InvTrans_AccountPeriodLineBin_Temp
如果数据量小的话,那么直接用Delete 脚本就可以搞定。
以上,是一点点建议,是否还有更合理的算法。
相关文章推荐
- Sqlserver 大数据量删除
- 一天一道算法题---6.12---链表结点的删除
- C语言——顺序表插入、删除、定位运算算法
- 大数据量删除无条件
- 顺序表应用1:多余元素删除之移位算法
- JavaScript数据结构之二叉树的删除算法示例
- 多余元素删除之移位算法
- 一种新的删除红黑树节点的算法
- 3324 顺序表应用1:多余元素删除之移位算法
- 顺序表应用1:多余元素删除之移位算法
- 06 - 从Algorithm 算法派生类中删除ExecuteInformation() 和ExecuteData() VTK 6.0 迁移
- STL算法---拷贝/删除/替换算法
- 数组集合删除算法
- 程序员面试题精选100题(36)-在字符串中删除特定的字符[算法]
- 大数据量的存储分表常见算法(转)
- 顺序表应用1:多余元素删除之移位算法
- 一步一步写算法(之图添加和删除)
- 【算法之链表(三)】单链表中,在仅允许使用一个指针的情况下,在指定的节点前面插入以及删除一个节点
- 顺序表应用1:多余元素删除之移位算法
- 堆排序,插入,删除,调整算法(大顶堆)