Bitmap在海量无重复整数排序时的应用
2017-11-23 22:44
197 查看
前言
bitmap
bitmap就是用一个bit位来标记某个元素对应的value的存在,而key即是这个元素。由于采用bit为单位来存储数据,因此在可以大大的节省空间开销这里的海量数据以整数为例,整数为4字节,也就是32bit,假设数据量N(N为最大值)=100000000,由于bitmap是用一个bit来标识元素的存在,那么我们只需⌈N/8⌉个字节就可以把数据表示出来也就是12500000字节,约为13MB,比原先的N*8的存储方式少到不知道哪里去了。
对于bitmap中存储的数据进行排序:其实在存储的过程中已经完成了排序
正文
(为了方便,下文将存储bitmap的整数成为bitmap整数)海量数据的存储
假设该数字为num,则它所对应的bit索引为:第 ⌊num/32⌋ 个bitmap整数中的第 num%32 位排序
通过每个数字的映射,我们可以得到所需要的bitmap整数个数,我们只需对每个bitmap整数的每一位遍历,当某位为1时,就证明该位所对应的整数存在与原始数据中(其实在存储的过程中,我们通过不断插入数字标识,已经完成了排序),当我们从最低位向最高位遍历时,通过整数与bit索引的逆过程就可以的到原整数,将其一个个输出,我们就能得到原始数据的从小到大排序后的结果,具体实现可以看伪代码//排序及还原伪代码 //max为bitmap整数个数 for(int i=0;i<max;i++){ for(int j=0;j<32;j++){ if(1&bitmap[i]>>j){ print i*32+j; } } }
注意
① 限于每位只有0,1两个状态,我们无法对有重复数字的海量整数如此排序② 此种方法适用于数字之间差值比较小的情况(无限趋近于连续数据),若数字之间差值比较大(举个极端的例子:每个bitmap整数中只有一个位为1,其余全为0的情况)时,博主暂时没有想到可行解法……
相关文章推荐
- bitmap对海量无重复的整数排序--转
- bitmap对海量无重复的整数排序
- bitmap sort(适用于不重复的整数间的排序)
- 面试题:如何在一千万个不重复整数(电话号码)中查找某个特定数 位运算 bitmap
- 编程珠玑_磁盘中无重复大量整数数据排序限制内存借助位图
- 数组与集合的应用之常用集合的使用(用TreeSet生成不重复自动排序随机数组)
- [海量数据处理]用2-Bitmap找出数组中不重复的整数
- 02_对N个长度最长可达到1000的数进行排序、对给定的一个字符串,找出有重复的字符,并给出其位置、输入一系列整数,将其中最大的数挑出,并将剩下的数进行排序
- bitmap 在排序中的应用
- STL应用之输入任意个整数,并按从大到小排序并输入
- 给10^7个有重复的整数排序(败者树)
- 编程珠玑:位图排序海量整数
- LintCode 463.整数排序 II [快速排序基础应用]
- 混合使用ForkJoin+Actor+Future实现一千万个不重复整数的排序(Scala示例)
- 运用bitmap解决一道海量数据处理面试题:在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。
- 运用bitmap解决一道海量数据处理面试题:在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。
- 2.5亿个整数中找出不重复的整数 bitmap
- 使用bitmap对一个大小在一定范围内的无重复数据排序(比如电话号码)|在一个大小在一定范围内的数据集中查找重复数据
- 算法 - 有一个连续整数序列,里面随机存放的是0到99这100个不重复的整数,要求对该序列排序。
- 2011-12-04 15:36 JAVA实现位向量给无重复元素的整数数组排序