编程珠玑之第二章questionA: 40亿个随机排列整数问题

问题描述：

A. 给定一个最多包含40亿个随机排列的32位整数的顺序文件，找出一个不在文件中的32位整数(在文件中至少缺失这样一个数——为什么？)。在具有足够内存的情况下，如何解决该问题？如果有几个外部的“临时”文件可用，但是仅有几百字节的内存，又该如何解决该问题？

问题解析：

1、首先要明白整型代表的范围如下：



由此看出一个无符号长整型大约表示43亿个数，所以大约有3亿个数是在此文件中不存在的，这样问题就明确了。

2、怎样生成包含40亿个随机排列的32位整数的顺序文件(假设里面数不重复)呢？

在windows系统下，RAND_MAX = 32767(0x7FFF); 我的Linux下RAND_MAX = 2147483647(0x7FFFFFFF). 在Windows下经过对rand()修改，这个范围可以增大，但由于不知道其实现算法，所以任何改变的都有可能改变输出值的概率，所以效果不是很理想，下面我在范围输出随机数范围[0, 65534]，为什么不是65535？
因为我发现任何对rand()改变，其输出随机值的概率(如最大，最小值)都会有很多改变，所以没有找到理想的方法，下面在勉强接受的范围内对上面问题做一个映射。

下面利用位图技术和C++的bitset输出在[0. 65534]范围内不重复的随机数：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63

#include <iostream> #include <bitset> #include <cstdio> #include <cstdlib> // srand, rand #include <ctime> // time, clock_t #include <cassert> // assert #define MAX_16UINT 65535 // 最大的16无符号整型数(2^16-1) #define MAX_RANDNUM 65000 // 最大的随机数个数 #define error( str ) fatal_error( str ) #define fatal_error( str ) fprintf( stderr, "%s\n", str ), exit( 1 ) using namespace std; /************************************************************************/ // 函数名称：bigrand // 函数目的：生成范围在[0, 65534]之间的随机整数 // 使用条件：RAND_MAX = 32767(0x7FFF) /************************************************************************/ size_t bigrand() { assert(RAND_MAX == 0x7FFF); return rand() + rand(); } bitset<MAX_16UINT> mybits; int main() { mybits.set(); // 默认所有位都置为1 printf("程序开始........\n"); clock_t start_time = clock(); // 开始时间 FILE* iofile = fopen("unsortfile.txt", "w"); if (NULL == iofile){ fatal_error("不能打开unsortfile.txt文件！\n"); } size_t record = 0; while (record != mybits.size()){ size_t index = bigrand(); // 输出值并将指定位置为0 if (mybits[index]){ fprintf(iofile, "%d\t", index); mybits[index] = 0; record++; //printf("reords = %d", record); } // 测试生成最大和最小值概率 if ( index == 0 || index == 65534){ printf("index = %d\n", index); } } fclose(iofile); clock_t end_time = clock(); // 结束时间 float cost_time = (float)(end_time - start_time) / CLOCKS_PER_SEC; printf("bit位记录数：%d\n", mybits.size()); printf("全部it位重置为0耗时：%5.3f秒\n", cost_time); return 0; }

输出结果：



65535条数据都要这么长时间，跟别说40亿条数据了，所以需要大范围高效的随机数生成函数，C++11对随机数生成改进了不少，也比较复杂，也许可以在获得解答，可以查阅C++11 关于随机数的一些文档，以后有机会在研究！

解决方案：

1. 位图技术：

那么在有足够内存的情况下使用进行排序，查找缺失数就非常方便了！类似的解答可以参考第一章习题的解答：编程珠玑之第一章：开篇(习题)泛览 的习题2解答方案！

2. 二分搜索：

作者给出的方法是0/1探测法下的二分搜索，在不需要对所有数据的进行排序的情况下找出一个缺失的整数，我这里在小范围内做一个实现方案，当然在如此之大(40亿)的情况下还要具体修改。

如下：这里是使用0/1探测法找出所有小于20的缺失的整数：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83

#include <iostream> #include <bitset> #include <vector> #include <cstdio> #include <cstdlib> // srand, rand #include <ctime> // time, clock_t #include <cassert> // assert using namespace std; /************************************************************************/ // 函数名称：getbit // 函数返回：0或1 // 函数目的：找出value的pos比特位的值 // 使用条件：value范围是[0, 2^32-1] /************************************************************************/ bool getbit(int32_t value, int32_t pos) { assert(pos >= 0 && pos < 32); int32_t mask = 1; // 表示二进制掩码 int32_t value_32 = value; return ((value_32 >> pos & mask) == mask); } /************************************************************************/ // 函数名称：find_missing_integers // 函数返回：无 // 函数目的：找出小于max_counts(不包括)的所有缺失的整数 // 使用条件：vecints里面的数不重复, pos=0时，vetints里面最大值小于max_counts /************************************************************************/ bitset<32> bit_missing_integer; void find_missing_integers(const vector<int32_t>& vecints, const int32_t max_counts, int32_t pos=0) { // 计算相应bit位的0，1计数 int32_t counts_0 = 0, counts_1 = 0; counts_0 = ceil(1.0 * max_counts / 2 ); // ceil向上取整 counts_1 = max_counts - counts_0; vector<int32_t> vecints_0, vecints_1; for (size_t i = 0; i != vecints.size(); ++i) { if (!getbit(vecints[i], pos)) { vecints_0.push_back(vecints[i]); } else { vecints_1.push_back(vecints[i]); } } // 第pos位缺1的情况 if (counts_1 - vecints_1.size() > 0){ bit_missing_integer[pos] = 1; find_missing_integers(vecints_1, counts_1, pos + 1); } // 第pos位缺0的情况 if (counts_0 - vecints_0.size() > 0){ bit_missing_integer[pos] = 0; if (counts_0 == 1 && counts_1 == 0){ // 临界位 printf("%ld\t", bit_missing_integer.to_ulong()); return; } else { // 递归调用 find_missing_integers(vecints_0, counts_0, pos + 1); } } return; } void print_missing_integers() { int myints[5] = {1, 19, 4, 6, 18}; std::vector<int> myvecints(myints, myints + sizeof(myints) / sizeof(int) ); find_missing_integers(myvecints, 20); return; } int main() { print_missing_integers(); return 0; }

输出结果如下：