使用bitmap处理海量数据
2017-06-05 13:13
344 查看
bitmap是一个十分实用的结构。所谓的Bit-map就是用一个bit位来标记某个元素相应的Value, 而Key即是该元素。因为採用了Bit为单位来存储数据,因此在存储空间方面,能够大大节省。
适用范围:可进行数据的高速查找。判重。删除,一般来说数据范围是int的10倍下面
基本原理及要点:使用bit数组来表示某些元素是否存在,比方8位电话号码
扩展:bloom filter能够看做是对bit-map的扩展
问题实例:
1)已知某个文件内包括一些电话号码,每一个号码为8位数字。统计不同号码的个数。
8位最多99 999 999。大概须要99m个bit,大概10几m字节的内存就可以。
2)2.5亿个整数中找出不反复的整数的个数,内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下,用2bit表示一个数就可以,0表示未出现。1表示出现一次,2表示出现2次及以上。
或者我们不用2bit来进行表示,我们用两个bit-map就可以模拟实现这个2bit-map。
3)利用位图排序,时间复杂度为O(N),空间换时间!!
!
以下是一个简单的Bitmap的实现:
适用范围:可进行数据的高速查找。判重。删除,一般来说数据范围是int的10倍下面
基本原理及要点:使用bit数组来表示某些元素是否存在,比方8位电话号码
扩展:bloom filter能够看做是对bit-map的扩展
问题实例:
1)已知某个文件内包括一些电话号码,每一个号码为8位数字。统计不同号码的个数。
8位最多99 999 999。大概须要99m个bit,大概10几m字节的内存就可以。
2)2.5亿个整数中找出不反复的整数的个数,内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下,用2bit表示一个数就可以,0表示未出现。1表示出现一次,2表示出现2次及以上。
或者我们不用2bit来进行表示,我们用两个bit-map就可以模拟实现这个2bit-map。
3)利用位图排序,时间复杂度为O(N),空间换时间!!
!
以下是一个简单的Bitmap的实现:
#include "stdafx.h" #include <iostream> using namespace std; char *g_bitmap = NULL; int g_size = 0; int g_base = 0; //功能:初始化bitmap //參数: size:bitmap的大小。即bit位的个数 // start:起始值 //返回值:0表示失败。1表示成功 int bitmap_init(int size, int start) { g_size = size/8+1; g_base = start; g_bitmap = new char[g_size]; if(g_bitmap == NULL) { return 0; } memset(g_bitmap, 0x0, g_size); return 1; } //功能:将值index的相应位设为1 //index:要设的值 //返回值:0表示失败,1表示成功 int bitmap_set(int index) { int quo = (index-g_base)/8 ; //确定所在的字节 int remainder = (index-g_base)%8; //字节内的偏移 unsigned char x = (0x1<<remainder); if( quo > g_size) return 0; g_bitmap[quo] |= x; //所在字节内的特定位置为1 return 1; } //功能:取bitmap第i位的值 //i:待取位 //返回值:-1表示失败。否则返回相应位的值 int bitmap_get(int i) { int quo = (i)/8 ; int remainder = (i)%8; unsigned char x = (0x1<<remainder); unsigned char res; if( quo > g_size) return -1; res = g_bitmap[quo] & x; return res > 0 ? 1 : 0; } //功能:返回index位相应的值 int bitmap_data(int index) { return (index + g_base); } //释放内存 int bitmap_free() { delete [] g_bitmap; return 0; } int _tmain(int argc, _TCHAR* argv[]) { int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100}; int i; bitmap_init(100, 0); for(i=0; i<20; i++) { bitmap_set(a[i]); } for(i=0; i<=100; i++) { if(bitmap_get(i) > 0 ) cout << bitmap_data(i)<< " "; } cout << endl; bitmap_free(); return 0; }
相关文章推荐
- 使用bitmap处理海量数据
- bitmap 在海量数据处理中的使用
- 海量数据处理(1)Bitmap, Bloom Filter, Hash(转)
- 图形图像处理demo----drawable,bitmap,bitfactory的使用
- 运用bitmap解决一道海量数据处理面试题:在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。
- 海量数据处理--bit-map的使用
- WPF中使用BitmapImage处理图片文件
- 海量数据处理系列之(一)Java线程池使用
- 海量数据处理之bitmap实现
- 简单处理海量数据:STL的hasp_map使用+堆排序
- 海量数据处理系列----C++中Bitmap算法的实现
- bitmap处理海量数据及其实现
- 海量数据处理之Bitmap
- NDK(C)处理Bitmap后,使用getPixels获取的pixel值为0
- 运用bitmap解决一道海量数据处理面试题:在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。
- [海量数据处理]用2-Bitmap找出数组中不重复的整数
- JAVA海量数据处理之二(BitMap)
- 海量数据处理之Bitmap
- WPF中使用BitmapImage处理图片文件 .
- 图片处理框架BitmapFun的原理及使用