您的位置:首页 > 其它

34个ETL子系统-2:增量数据捕获系统

2018-01-10 23:15 204 查看
增量数据捕获系统,其目标是用来捕获源系统的变化。捕获数据变化的形式可以有很多种,典型的几种方式如下:

1、基于数据源的数据变化捕获

    1.1 时间戳   利用数据表的更新时间戳来实现,最好有两个时间戳。一个是数据生成时间(标记数据什么时间创建),一个更新时间戳(标记数据什么时间更新)

     1.2 自增序列。大多数数据库都有自增序列,如果数据表有这个序列,那就很容易识别出来新增的数据。

2、基于触发器的数据变化捕获

      当执行insert、update、delete时,可以激活相应的触发器,并执行动作。那就意味着可以利用触发器来捕获变化的数据,并将这些数据保存到临时表中。其他数据抽取程序从临时表获取记录。

3、基于快照的数据变化捕获

    当时间戳和触发器都不能使用时,那就可以用快照表了。首次使用时,将全量数据从源系统抽取过来,创建一个版本。第二次使用时,再从源系统抽取全部的数据,另放到一个临时表中,作为第二个版本。通过这两个版本的比较,找出增量变化。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: