您的位置:首页 > 其它

数据交换平台的双内存设计

2016-03-22 21:05 337 查看

一、数据交换平台

数据交换平台的项目目的,就是为了解决异构数据库之间的数据交换问题。

这个平台的设计。參考了淘宝开源的DataX、大众点评的Wormhole。等,受到的启示非常大。

项目由小到大,逐步形成平台化发展,差点儿汇总了公司后台db之间的全部数据同步,任务个数有近500个。每天数据量达3亿。

眼下,平台执行稳定。推广部署到其它分公司。

趁这个机会。整理了一些文档,拿出来分享。也算是回馈感恩吧。

上一篇文档,说了一些需求和初步设计。

这一篇重点说下。两块共享内存的设计细节,直接上图。

二、任务实时数据:Shmrt



三、任务具体參数:Shmtd

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: