34个ETL子系统-2:增量数据捕获系统
2018-01-10 23:15
204 查看
增量数据捕获系统,其目标是用来捕获源系统的变化。捕获数据变化的形式可以有很多种,典型的几种方式如下:
1、基于数据源的数据变化捕获
1.1 时间戳 利用数据表的更新时间戳来实现,最好有两个时间戳。一个是数据生成时间(标记数据什么时间创建),一个更新时间戳(标记数据什么时间更新)
1.2 自增序列。大多数数据库都有自增序列,如果数据表有这个序列,那就很容易识别出来新增的数据。
2、基于触发器的数据变化捕获
当执行insert、update、delete时,可以激活相应的触发器,并执行动作。那就意味着可以利用触发器来捕获变化的数据,并将这些数据保存到临时表中。其他数据抽取程序从临时表获取记录。
3、基于快照的数据变化捕获
当时间戳和触发器都不能使用时,那就可以用快照表了。首次使用时,将全量数据从源系统抽取过来,创建一个版本。第二次使用时,再从源系统抽取全部的数据,另放到一个临时表中,作为第二个版本。通过这两个版本的比较,找出增量变化。
1、基于数据源的数据变化捕获
1.1 时间戳 利用数据表的更新时间戳来实现,最好有两个时间戳。一个是数据生成时间(标记数据什么时间创建),一个更新时间戳(标记数据什么时间更新)
1.2 自增序列。大多数数据库都有自增序列,如果数据表有这个序列,那就很容易识别出来新增的数据。
2、基于触发器的数据变化捕获
当执行insert、update、delete时,可以激活相应的触发器,并执行动作。那就意味着可以利用触发器来捕获变化的数据,并将这些数据保存到临时表中。其他数据抽取程序从临时表获取记录。
3、基于快照的数据变化捕获
当时间戳和触发器都不能使用时,那就可以用快照表了。首次使用时,将全量数据从源系统抽取过来,创建一个版本。第二次使用时,再从源系统抽取全部的数据,另放到一个临时表中,作为第二个版本。通过这两个版本的比较,找出增量变化。
相关文章推荐
- 34个ETL子系统-4:数据清洗和数据质量处理系统
- 34个ETL子系统-1:数据剖析系统
- 34个ETL子系统-21:数据整合管理系统
- 34个ETL子系统-7:排除重复数据系统
- 34个ETL子系统-3:数据抽取系统
- 34个ETL子系统-12:特殊维度生成系统
- 34个ETL子系统-20: OLAP Cube构建系统
- 34个ETL子系统-23:备份系统
- 34个ETL子系统-10:代理键生成系统
- 34个ETL子系统-18:事实表管理系统
- 34个ETL子系统-15:多值维度桥接表生成系统
- 34个ETL子系统-17:维度管理系统
- [置顶] 基于iOS的网络音视频实时传输系统(二)- 捕获音视频数据
- 1小时学会:最简单的iOS直播推流(三)使用系统接口捕获音视频数据
- ETL 如何找增量数据 总结
- ETL工具kettle怎么实现增量数据抽取:二 时间戳
- 8.HBase In Action 第一章-HBase简介(1.2.2 捕获增量数据)
- Thinkpad安装系统后,在设备管理器中有一其他设备叹号为“PCI 数据捕获和信号处理控制器”
- ETL 如何找增量数据 总结
- 通过变更数据捕获改善增量加载