您的位置:首页 > 大数据

大数据量删除算法

2010-11-20 11:02 183 查看
开门见山,直接进入主题,数据量在百万级已下,可以不看下边内容。

起因:

  某客户今年上了U9不久,随着业务量的增加,每日业务达2000多单据。由于客户操作业务有误,把业务做到了2018年底,之后才发现输入有误。在U9系统中,为了报表或是查询数据方便,随着业务的增减会按期间自动产生一些统计数据(至少18*12个期间的数据)两千万条数据,经过分析,客户不存在提前做业务场景,这些数据在系统中也就成了冗余数据,这数据占正常业务数据的90%。而随着业务的发生,自动按期间往后去更新各期间数据,每次更新的时候,数据库会自动优化锁,由行锁升级成页锁,再升级为表锁。表锁后这样可能导致数据操作等待排队现象。多业务操作,系统无法运行。这样就引出了,要删除这90%多的数据问题。

抽象:

  删除数据本应该是一个再简单不过的操作,在SQL中,我们可以用如下脚本:

代码

If OBJECT_ID('InvTrans_AccountPeriodLine_Temp') is not null
Drop Table InvTrans_AccountPeriodLine_Temp
Select * into InvTrans_AccountPeriodLine_Temp  From InvTrans_AccountPeriodLine  Where AccountPeriod<=@AccountPeriod


然后,删除原表所有数据:

Truncate table InvTrans_AccountPeriodLine


最后,把刚才迁移的数据迁移回来:

Insert Into InvTrans_AccountPeriodLineBin Select * From InvTrans_AccountPeriodLineBin_Temp


如果数据量小的话,那么直接用Delete 脚本就可以搞定。

以上,是一点点建议,是否还有更合理的算法。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: