当数据达到200亿条的时候，很多事情都不一样了
2005-10-09 11:37
411 查看
最近在设计一个系统，有差不多两百亿条数据需要处理。在这样海量的数据面前，我们遇到了很多有趣的问题。存储、查询、性能，这些熟悉的话题都有了新的涵义。
要是有哪位仁兄也有这方面的经历，我想我们会有很多东西可以分享。
email: wsq003 at sina dot com
要是有哪位仁兄也有这方面的经历，我想我们会有很多东西可以分享。
email: wsq003 at sina dot com
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 当数据达到200亿条的时候，很多事情都不一样了
- 解决在mock数据的时候，不同的测试工具打开的url的端口不一样的问题
- 数据採集器服务——Socket(今天才发现AES加解密代码跟贴的时候不一样，貌似乱码，不知什么情况)
- 在项目中用到datatables比较多，但是当datatables加载超过1000多的时候就会出现有点缓慢的的样子，这个时候如果继续增加数据量让datatables去处理，那会是一个让人抓狂的事情，幸
- 把这41句话看懂了 你会想通很多事情（想不通的时候可以慢慢看)
- 很多事情就像是旅行一样，当你决定要出发的时候，最困难的那部分其实就已经完成了
- 表单很多数据项录入的时候，提交controller发生异常，数据回显。
- 把这40句话看懂了 你会想通很多事情（想不通的时候可以慢慢看。。。)
- 很多时候，是否好好看完一本好书，对一个人的提升往往能达到质的区别
- 建站或者网站搬家换空间的时候，企业站长最关心的一个问题是该如何选择网站空间，而这一问题对于一些擅长的站长来说非常小意思，但对于部分企业站长来说是一个比较头疼的问题。根据不完整数据显示，很多企业站长因为
- 51单片机和HC05蓝牙模块对接成功，但是数据收发时候发现数据很多时候对不上问题解决
- 情感是热血的，商业是冷血的，产品经理应该很多时候是一个凭热血去做冷血事情的角色
- 为什么很多时候我们在传输数据的时候都使用base64编码，因为这样我们可以减少数据量的传输。
- 戏说年末盘点后台数据的获取思路------很多时候， 思路比执行更重要！
- 很多时候，是否好好看完一本好书，对一个人的提升往往能达到质的区别
- 迁移数据的时候不知道用户的密码怎么做完事情后还原密码
- Mysql模糊查询like效率，以及更高效的写法 在使用msyql进行模糊查询的时候，很自然的会用到like语句，通常情况下，在数据量小的时候，不容易看出查询的效率，但在数据量达到百万级，千万级的时
- Curator是Netflix开源的一套ZooKeeper客户端框架. Netflix在使用ZooKeeper的过程中发现ZooKeeper自带的客户端太底层, 应用方在使用的时候需要自己处理很多事情
- wp7 独立存储空间在真机和虚拟机测试的时候数据不一样
- thinkphp使用view的时候无法利用phpexcel导出数据问题的解决