数据交换平台的双内存设计
2016-03-22 21:05
337 查看
一、数据交换平台
数据交换平台的项目目的,就是为了解决异构数据库之间的数据交换问题。这个平台的设计。參考了淘宝开源的DataX、大众点评的Wormhole。等,受到的启示非常大。
项目由小到大,逐步形成平台化发展,差点儿汇总了公司后台db之间的全部数据同步,任务个数有近500个。每天数据量达3亿。
眼下,平台执行稳定。推广部署到其它分公司。
趁这个机会。整理了一些文档,拿出来分享。也算是回馈感恩吧。
上一篇文档,说了一些需求和初步设计。
这一篇重点说下。两块共享内存的设计细节,直接上图。
二、任务实时数据:Shmrt
三、任务具体參数:Shmtd
相关文章推荐
- ACM历程
- C++中实现字符串函数split
- MySQL数据引擎及索引介绍
- iOS个人整理31-MD5,base64编码,KeyChain加密
- 简单也不简单
- iOS开发UI篇—UITabBarController简单介绍
- android日常2016-3-22 页面跳转、内容传递和返回
- 【深入浅出jQuery】源码浅析--整体架构(转)
- 三大家族轻松管理CentOS 7网络属性配置
- 三大家族轻松管理CentOS 7网络属性配置
- Codeforces 645E (构造 DP)
- Problem G: C语言习题 医生值班
- oc-15-self
- Git使用说明
- VC定义超大数组时,stack OverFlow的解决方法
- Android 中对称加密算法DES,DESede,AES的加密和解密 的工具类的使用
- O2O、C2C、B2B、B2C的区别
- 视图之UITabBarController结构详解(侧重于文档分析)
- Menu菜单
- C++ 学习之路(10):继承与派生