大数据处理算法一:BitMap算法
2017-01-10 10:07
260 查看
腾讯面试题:给20亿个不重复的unsigned int的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少?
解析:bitmap算法就好办多了
所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。
例如,要判断一千万个人的状态,每个人只有两种状态:男人,女人,可以用0,1表示。那么就可以开一个int数组,一个int有32个位,就可以表示32个人。操作的时候可以使用位操作。
一,申请512M的内存
一个bit位代表一个unsigned int值
读入20亿个数,设置相应的bit位
读入要查询的数,查看相应bit位是否为1,为1表示存在,为0表示不存在
二、使用位图法判断整形数组是否存在重复
判断集合中存在重复是常见编程任务之一,当集合中数据量比较大时我们通常希望少进行几次扫描,这时双重循环法就不可取了。
位图法比较适合于这种情况,它的做法是按照集合中最大元素max创建一个长度为max+1的新数组,然后再次扫描原数组,遇到几就给新数组的第几位置上1,如遇到
5就给新数组的第六个元素置1,这样下次再遇到5想置位时发现新数组的第六个元素已经是1了,这说明这次的数据肯定和以前的数据存在着重复。这种给新数组初始化时置零其后置一的做法类似于位图的处理方法故称位图法。它的运算次数最坏的情况为2N。如果已知数组的最大值即能事先给新数组定长的话效率还能提高一倍。
[java] view
plain copy
![](https://oscdn.geek-share.com/Uploads/Images/Content/201611/a7c8e286f463007e2a900848b93dd72c.png)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201611/9e12f1d3e499fc949c886e7c9e0484f9)
java 代码实现
import java.util.BitSet;
/**
* 大数据处理算法一,bitmap算法
* @author JYC506
*
*/
public class BitMap {
byte[] tem;
public BitMap(int length) {
this.tem = new byte[length];
}
public void add(int num) {
if (num < tem.length) {
if (tem[num] != 1) {
tem[num] = 1;
}
}
}
public boolean contain(int num) {
if (num < tem.length) {
if (tem[num] == 1) {
return true;
}
}
return false;
}
public static void main(String[] args) {
/*运行前内存*/
long beforeMemory = Runtime.getRuntime().totalMemory();
long start1=System.currentTimeMillis();
BitSet set = new BitSet(2000000000);
for (int i = 0; i < 2000000000; i++) {
/*假设898989这个数不在20亿个数里面*/
if (i != 898989) {
set.set(i, true);
}
}
/*创建20亿个数后所占内存*/
long afterMemory = Runtime.getRuntime().totalMemory();
long end1=System.currentTimeMillis();
System.out.println("总共内存使用:" + (afterMemory - beforeMemory) / 1024 / 1024 + "MB");
System.out.println("存入内存耗时:"+(end1-start1)+"毫秒");
long start2 = System.currentTimeMillis();
boolean isExit1=set.get(898989);
boolean isExit2=set.get(900000);
long end2 = System.currentTimeMillis();
/*输出在20亿个数中判断898989是否包含在里面*/
System.out.println(isExit1);
System.out.println("20个亿中"+(isExit1?"包含":"不包含")+898989);
System.out.println("20个亿中"+(isExit2?"包含":"不包含")+900000);
System.out.println("查询用时:"+(end2 - start2)+"毫秒");
}
}
运行结果
![](https://oscdn.geek-share.com/Uploads/Images/Content/201701/10/57316a494ebaf9262a3df45e80e61504)
解析:bitmap算法就好办多了
所谓bitmap,就是用每一位来存放某种状态,适用于大规模数据,但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。
例如,要判断一千万个人的状态,每个人只有两种状态:男人,女人,可以用0,1表示。那么就可以开一个int数组,一个int有32个位,就可以表示32个人。操作的时候可以使用位操作。
一,申请512M的内存
一个bit位代表一个unsigned int值
读入20亿个数,设置相应的bit位
读入要查询的数,查看相应bit位是否为1,为1表示存在,为0表示不存在
二、使用位图法判断整形数组是否存在重复
判断集合中存在重复是常见编程任务之一,当集合中数据量比较大时我们通常希望少进行几次扫描,这时双重循环法就不可取了。
位图法比较适合于这种情况,它的做法是按照集合中最大元素max创建一个长度为max+1的新数组,然后再次扫描原数组,遇到几就给新数组的第几位置上1,如遇到
5就给新数组的第六个元素置1,这样下次再遇到5想置位时发现新数组的第六个元素已经是1了,这说明这次的数据肯定和以前的数据存在着重复。这种给新数组初始化时置零其后置一的做法类似于位图的处理方法故称位图法。它的运算次数最坏的情况为2N。如果已知数组的最大值即能事先给新数组定长的话效率还能提高一倍。
[java] view
plain copy
![](https://oscdn.geek-share.com/Uploads/Images/Content/201611/a7c8e286f463007e2a900848b93dd72c.png)
java 代码实现
import java.util.BitSet;
/**
* 大数据处理算法一,bitmap算法
* @author JYC506
*
*/
public class BitMap {
byte[] tem;
public BitMap(int length) {
this.tem = new byte[length];
}
public void add(int num) {
if (num < tem.length) {
if (tem[num] != 1) {
tem[num] = 1;
}
}
}
public boolean contain(int num) {
if (num < tem.length) {
if (tem[num] == 1) {
return true;
}
}
return false;
}
public static void main(String[] args) {
/*运行前内存*/
long beforeMemory = Runtime.getRuntime().totalMemory();
long start1=System.currentTimeMillis();
BitSet set = new BitSet(2000000000);
for (int i = 0; i < 2000000000; i++) {
/*假设898989这个数不在20亿个数里面*/
if (i != 898989) {
set.set(i, true);
}
}
/*创建20亿个数后所占内存*/
long afterMemory = Runtime.getRuntime().totalMemory();
long end1=System.currentTimeMillis();
System.out.println("总共内存使用:" + (afterMemory - beforeMemory) / 1024 / 1024 + "MB");
System.out.println("存入内存耗时:"+(end1-start1)+"毫秒");
long start2 = System.currentTimeMillis();
boolean isExit1=set.get(898989);
boolean isExit2=set.get(900000);
long end2 = System.currentTimeMillis();
/*输出在20亿个数中判断898989是否包含在里面*/
System.out.println(isExit1);
System.out.println("20个亿中"+(isExit1?"包含":"不包含")+898989);
System.out.println("20个亿中"+(isExit2?"包含":"不包含")+900000);
System.out.println("查询用时:"+(end2 - start2)+"毫秒");
}
}
运行结果
相关文章推荐
- 大数据处理算法一:Bitmap算法
- 大数据处理算法一:BitMap算法
- 大数据处理算法一:Bitmap算法(转)
- 大数据实时处理:百分点实时计算架构和算法
- php 大数据量及海量数据处理算法总结
- 【大数据处理】bitmap思想和2-Bitmap 实现
- ’快速排序‘ (quicksort)算法的探讨(1)--- 处理大量重复数据
- 大数据量及海量数据处理算法总结
- 《程序员的第一年》---------- 数据挖掘之数据处理(C#基于熵的离散化算法代码)
- 海量数据处理系列----C++中Bitmap算法的实现
- 数据算法基于FPGA的图像处理(七)--Verilog实现均值滤波Strut2教程-java教程
- 大数据处理算法(非分布式处理)
- 大数据量及海量数据处理算法总结
- 几个简单的数据点平滑处理算法
- 海量数据处理系列----C++中Bitmap算法的实现
- 大数据处理算法—Bloom Filter
- php 大数据量及海量数据处理算法总结
- php 大数据量及海量数据处理算法总结
- 海量数据处理系列----C++中Bitmap算法的实现
- 几个简单的数据点平滑处理算法