大数据的读写分离
2015-12-27 22:05
274 查看
学习背景
百度了一下“做为优秀程序员应该具备什么素质”,其中有一条,大数据!的确,我们将来做什么软件最牛,要做就做全球化的软件。今天旁边的同事问我最近研究什么呢?我吹牛说:研究如何把咱们的ITOO做到全球化。的确,我们面临的是大数据的时代,其中系统运维主要瓶颈在CPU、内存、和I\0等方面。CPU瓶颈
针对CPU瓶颈,大规模web开发的运维比较容易解决这个问题。现在大公司主要使用负载均衡来实现扩展性,充分利用CPU资源。其中值得注意的一点就是,每天服务器的CPU资源占用率不能超过70%,原因是如果有其他服务器宕机,剩余的服务器可以有资源缓冲增加的压力。IO瓶颈
正如大家知道的,内存和机械硬盘的速度整整能差1000万倍的速度。所以如果请求都去硬盘寻找数据,那么服务性能根本不能忍受。针对这个问题:一方面我们需要研究和学习操作系统的缓存,另一方面,编写程序需要使用精妙的算法。其中读写分离,不仅缓解了数据库的压力,而且实现了数据库的扩展性。整体思想如下:
学习感受
1、人丑就要读书2、技术实现不重要,思想最重要。
相关文章推荐
- Unix Domain Socket– IPC通信机制
- The Longest Straight(二分,离散化)
- 2015福建省赛 fzoj The Longest Straight 2216 (二分&转换)好题
- 什么是大数据?
- 主流开源云计算软件大盘点,快拿走适合你的那款!
- 从大数据的应用谈如何成为大数据大师的历程
- Contains Duplicate II 找出数组中是否有重复元素,长度小于k
- 大数据下的日志-flume(二)高并发下的优化
- 数值优化(Numerical Optimization)学习系列-非线性约束最优化(Nonlinear Constrained Optimization)
- 福建省赛--Problem E The Longest Straight(标记+二分)
- 福建省赛--Problem E The Longest Straight(标记+二分)
- 数值优化(Numerical Optimization)学习系列-带约束最优化(Constrained Optimization)
- 数值优化(Numerical Optimization)学习系列-大规模无约束最优化(Large-Scale Unconstrained Optimization)
- 大数据、Hadoop和云计算
- 浅析pthread_cond_wait
- pthread_cond_signal和pthread_cond_wait简介
- 参观Speedy Cloud云计算公司有感
- AIDL服务(跨进程访问)
- 使用webhdfs
- 大数据日知录笔记1--大数据存储