利用bitmap进行海量数据排序

每一个排序算法都有优劣性，主要在于数据的构成。比如，有些排序算法对某类数据的排序效率很高，对某类数据的排序效率很低，而有些算法对数据构成却无关紧要。

bitmap对不重复且都为正数的海量数据进行排序真是不二选择，效率大大的高，根据我的代码测算，1亿条数据大概也就30秒左右，占用内存12M左右。而在用快排测试时，用时比这长很多，等了好几分钟就停止执行了，也不知到底会化多长时间。不过，bitmap的确比快排快很多很多。

bitmap的原理如下：

0100 0000 0000 0000 0000 0000 0000 0000  //1

0110 0000 0000 0000 0000 0000 0000 0000  //1 2

0110 0010 0000 0000 0000 0000 0000 0000  //1 2 6

0110 1010 0000 0000 0000 0000 0000 0000  //1 2 4 6

0111 1010 0000 0000 0000 0000 0000 0000  //1 2 3 4 6

0111 1110 0000 0000 0000 0000 0000 0000  //1 2 3 4 5 6

0111 1110 0100 0000 0000 0000 0000 0000  //1 2 3 4 5 6 9

0111 1110 1100 0000 0000 0000 0000 0000  //1 2 3 4 5 6 8 9

1111 1110 1100 0000 0000 0000 0000 0000  //0 1 2 3 4 5 6 8 9

1111 1110 1110 0000 0000 0000 0000 0000  //0 1 2 3 4 5 6 8 9 10

1111 1111 1110 0000 0000 0000 0000 0000  //0 1 2 3 4 5 6 7 8 9 10

不知你看出规律了么？

这种思想便是位向量的思想，标示一个数据仅用二进制的一位。而我们熟知的C 、C++ 中没有对应一个二进制位的数据类型，因此，要实现位向量，需要借助于位操作。这里，我们采用整型数组模拟定义1000万个位的数组。问题的纠结处即是如何用整型数组模拟定义1000万个位的数组。其实上面的简化例子已将问题描述的相当清楚，如A[0]（32位中的每位）可表示0-31的整数，A[1]表示32-63……

好了，原理就是这样，上代码：

#include <stdio.h>
#include <time.h>
#define MAXNUM	  11000000
#define NUMCOUNT  MAXNUM

void setbit(unsigned int *num,unsigned int bit);
unsigned getbit(unsigned int num,unsigned int bit);

int main(void)
{
FILE *srcfp = NULL;
unsigned i = 0;
unsigned j = 0;
unsigned num = 0,tnum = 0;
unsigned int *arr = NULL;
unsigned iflag = 0,jflag = 0;
clock_t start,finish;
if (NULL == (srcfp = fopen("d:\\b.txt","rb+")))
{
printf("ERROR!\n");
getch();
exit(1);
}
arr = (unsigned int *)malloc(sizeof(unsigned)*(MAXNUM/32 + 1));
memset(arr,0,sizeof(unsigned)*(MAXNUM/32 + 1));
//读取每一个值
start = clock();
printf("开始执行……\n");
fseek(srcfp,0,SEEK_SET);
for (i = 0;i < NUMCOUNT;i ++)
{
fread(&num,sizeof(unsigned),1,srcfp);
iflag = num/32;
jflag = num%32;
setbit(arr + iflag,31 - jflag);
}

fseek(srcfp,0,SEEK_SET);
for (i = 0;i < MAXNUM/32 + 1;i ++)
{
tnum = *(arr + i);
for (j = 0;j < 32;j ++)
{
if (getbit(tnum,31 - j))
{
num = i*32 + j;
fwrite(&num,sizeof(unsigned),1,srcfp);
}
}
}
fclose(srcfp);
finish = clock();
printf("\n排序完成:%dms\n",finish - start);
free(arr);
getch();
return 0;
}

void setbit(unsigned int *num,unsigned int bit)
{
*num |= 0x1<<bit; //0 - 31
}

unsigned getbit(unsigned int num,unsigned int bit)
{
return (num>>bit)&0x1;//0 - 31
}

关于测试数据的生成，读者可以参考我上一篇博文：如何生成100万个无序不重复随机值，谢谢大家！本人菜鸟，不足之处，还请多多指教。