处理大规模数据的基础知识
2018-01-11 15:09
357 查看
处理大规模数据的三个重点--写程序的技巧
1.能在内存中完成多少?将磁盘寻道次数将到最低,磁盘寻道次数极大的影响可拓展性和性能。因此,应在最大限度减少磁盘寻道次数的意义上灵活运用内存。
可以实现分布式,有效利用局部性
2.能应对数据量增加的算法和数据结构
例如:线性搜索->二叉树搜索
O(n)->O(log n)
3.数据压缩,信息搜索技术
可以通过压缩等方法缩小数据,以减少寻道次数,吧磁盘读取次数降到最低,而且更容易缓存到内存中。太大的数据无法放到内存中,就算保存在磁盘上,读取也要花费时间,所以压缩十分重要。
相关文章推荐
- 音频数据处理基础知识
- Oracle基础知识笔记(7) 数据更新、事务处理、数据伪列
- 【C#基础知识扫盲点】如何处理10万条并发数据
- c++ 基础知识浅谈之二处理数据
- 大数据基础知识思维导图(Xmind)-MapReduce、Spark、Hive、Yarn等大数据处理工具
- 小白入门angular-cli的第一次旅程(学习目标 1.路由的基础知识 在路由时传递数据)
- 【JavaScript 2—基础知识点】:数据类型
- 大数据基础知识问答----hadoop篇
- Wireshark数据抓包教程之Wireshark的基础知识
- Java数字图像处理基础知识 - 必读
- [SQL]SQL Server数据表的基础知识与增查删改
- 数据处理的两个基本问题01 - 零基础入门学习汇编语言38
- 数据结构基础知识
- 计算机基础理论知识梳理篇(一):数据类型长度、内存页、IPC
- 基础知识点总结:数据结构
- 【C++】第3章 处理数据 知识总结
- matlab图像处理基础知识1(双线性插值matlab实现--等比例调整缩放倍数)
- Java基础知识强化之网络编程笔记06:TCP之TCP协议发送数据 和 接收数据
- 数据结构基础知识(2)
- Java基础知识回顾之一 ----- 基本数据类型