关于ETL引擎的一点补充
2007-03-26 23:53
441 查看
考虑到scailabilbity,原有ETL引擎由于Task任务直接负责了数据库的读写,导致抽取多个抽取结果无法聚合。也就导致了单个任务无法在多个ETL Server中并行运算,可扩展性较差。因此,有必要把任务的委派,结果集的合并工作独立开来,形成单独的模块。
首先,Task类不再直接操作数据库读写,而是把数据从一处抽取,发送到数据聚合处理模块,形成多个数据源的合并。Task类依然保持其最小操作单元,但多个Task的结果可以合并,多个Task可以合成一个组合Task。
其次,需要增加ETL Server管理模块,需要监控各个ETL Server的运行状态,任务队列状态,从而更好的调度,分配Task任务。同时,需要在ETL Server中加入心跳功能,以检测ETL Server是否运行正常。
第三,ETL Server管理器,ETL Server,ETL结果合并器等模块之间通过消息机制进行通信,以避免串行操作造成的阻塞。
第四,需要加入JTA事务处理模块,以防止结果集合并错误。
首先,Task类不再直接操作数据库读写,而是把数据从一处抽取,发送到数据聚合处理模块,形成多个数据源的合并。Task类依然保持其最小操作单元,但多个Task的结果可以合并,多个Task可以合成一个组合Task。
其次,需要增加ETL Server管理模块,需要监控各个ETL Server的运行状态,任务队列状态,从而更好的调度,分配Task任务。同时,需要在ETL Server中加入心跳功能,以检测ETL Server是否运行正常。
第三,ETL Server管理器,ETL Server,ETL结果合并器等模块之间通过消息机制进行通信,以避免串行操作造成的阻塞。
第四,需要加入JTA事务处理模块,以防止结果集合并错误。
相关文章推荐
- 关于ETL引擎设计的一点感想
- DEMO[C#]关于类构造函数的调用顺序的一点补充[针对书C#入门经典所举范例的不足]
- 关于博文“PGRouting初探”的一点补充
- 关于使用TestDriven.Net 2.0的一点补充
- 关于asp.net无刷新联动的一点补充说明
- 关于synchronized关键字的一点补充
- 关于INDEX SERVER+ASP建立查询引擎的一点心得
- 关于的ModalPopup一点补充--客户端来控制
- c::关于虚函数的一点补充
- WF:关于流程设计器的一点补充
- 关于Memcached Cache是集中式还是分布式的一点补充
- 关于lexical_cast,一点补充
- 关于lexical_cast,一点补充
- 关于线程的一点补充
- [导入]关于孟子E章《利用Repeater控件显示主-从关系数据表》的一点补充
- 关于使用查询分析器access数据库导入Sql server数据库的一点补充
- Cocos2d-x开发中关于资源的预加载的一点补充
- 关于caffe学习系列的一点补充——如何将float类型的特征数据存入lmdb
- 关于MIUI悬浮窗权限问题的解决方案的一点补充
- 关于流程设计器的一点补充