导数据问题汇总
2016-03-25 15:14
267 查看
1、导数据中,id增长导入-------比如充值,下单后还未充值成功,等通知回调后,状态改变,这个时候导过去的记录状态可能是有问题的
2、以时间增长导入----订单生成时间可能会相同(当然概率好小),也可能存在订单状态不同步的情况。
3、id增长,导1小时之前的记录------如果是负载均衡,多台应用服务器插入数据到一个数据库,如果这些服务器之间的时间不同步,会出现这个情况:
有些记录 id大,但是时间小,这样,如果以 id,时间 为条件 导数据库, 就会掉数据
解决办法-----》
a、通过id自动增长导数据
b、通过对每天的账单,对账发现异常数据,并自动通过源数据修正(新增或修改)
*、id一样,但是订单状态不一样的,可能是支付还未通知的时候,数据就已经同步过去了,需要更新
*、源数据中有的记录,目的数据中没有,需要重新插入一条
c、每月对账单对账一下,确保一个月的数据都没有问题
d、最好是每天凌晨对账前一天的数据,发现有问题的数据下发重传命令,定时服务不停的扫描是否有重传命令,如果有执行重传命令。
e、如果对账的时候也会出现网络问题导致对账失败,像这种复杂网络情况,可以通过一天对账多次,比如上午两次,
下午两次,晚上一次,对账前一天的数据
总条数,成功条数,失败条数,总金额,成功总金额,失败总金额。
2、以时间增长导入----订单生成时间可能会相同(当然概率好小),也可能存在订单状态不同步的情况。
3、id增长,导1小时之前的记录------如果是负载均衡,多台应用服务器插入数据到一个数据库,如果这些服务器之间的时间不同步,会出现这个情况:
有些记录 id大,但是时间小,这样,如果以 id,时间 为条件 导数据库, 就会掉数据
解决办法-----》
a、通过id自动增长导数据
b、通过对每天的账单,对账发现异常数据,并自动通过源数据修正(新增或修改)
*、id一样,但是订单状态不一样的,可能是支付还未通知的时候,数据就已经同步过去了,需要更新
*、源数据中有的记录,目的数据中没有,需要重新插入一条
c、每月对账单对账一下,确保一个月的数据都没有问题
d、最好是每天凌晨对账前一天的数据,发现有问题的数据下发重传命令,定时服务不停的扫描是否有重传命令,如果有执行重传命令。
e、如果对账的时候也会出现网络问题导致对账失败,像这种复杂网络情况,可以通过一天对账多次,比如上午两次,
下午两次,晚上一次,对账前一天的数据
总条数,成功条数,失败条数,总金额,成功总金额,失败总金额。
相关文章推荐
- 浅析通用爬虫软件—— 集搜客与八爪鱼采集器
- Step by Step - Exchange 2013 Email Message Size Restriction Detail
- 父类和子类 同名成员变量和静态成员变量
- Bzoj3589:动态树:树链剖分+容斥原理+树链的并
- 庆祝三周年:Docker 推出面向 Mac/Windows 平台的测试版
- Launcher3 翻页动画详解与修改
- 二叉树的深度优先遍历和广度优先遍历
- linux下top命令参数解释+free -m
- IDEA 错误: 找不到符号
- 关于sqlite数据库的优化
- JSF学习五Ajax
- 机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 常用模型汇总
- maven设置jdk版本
- easyui 使用
- 瘦身APK 加快项目编译(MAC & AS版)
- 只是记录而已
- apache服务安装
- Android:EventBus的使用 从此消息传递变得简单
- Android学习之自定义控件背景
- rsyslog配置报错解决