海量数据等概率选取问题

1、问题定义可以简化如下：在不知道文件总行数的情况下，如何从文件中随机的抽取一行，并且每行被抽中的概率相等？

首先想到的是我们做过类似的题目吗？当然，在知道文件行数的情况下，我们可以很容易的用C运行库的rand()函数随机的获得一个行数，从而随机的取出一行，但是，当前的情况是不知道行数，这样如何求呢？我们需要一个概念来帮助我们做出猜想，来使得对每一行取出的概率相等，也即随机。这个概念即蓄水池抽样（Reservoir Sampling）。

有了这个概念，我们便有了这样一个解决方案：定义取出的行号为choice，第一次直接以第一行作为取出choice ，而后第二次以二分之一概率决定是否用第二行替换 choice ，第三次以三分之一的概率决定是否以第三行替换 choice ……，以此类推，可用伪代码描述如下：

i = 0
while more input lines
with probability 1.0/++i
choice = this input line
print choice

这种方法的巧妙之处在于成功的构造出了一种方式使得最后可以证明对每一行的取出概率都为1/n（其中n为当前扫描到的文件行数），换句话说对每一行取出的概率均相等，也即完成了随机的选取。

具体操作可参考如下伪代码：

Element RandomPick(file):
Int count = 0;
while(count <= file.size)
If(random(0,count) == 0)
picked = file[count];
++ count;
Return picked

证明如下：



2、可以对其进行扩展，即如何从未知或者很大样本空间随机地取k个数？

类比下即可得到答案，即先把前k个数放入蓄水池，对于第 i>=k+1，我们以 k/i 概率决定是否要把它换入蓄水池，换入时随机的选取一个作为替换项，这样一直做下去，对于任意的样本空间n，对每个数的选取概率都为k/n。也就是说对每个数选取概率相等。

伪代码：

init a reservoir with the size k
add the first k elements into the reservoir
for i = k+1 to N
m = random(1,i);
if(m < k)
swap the m_th value and i_th value
end for

数学证明：



一些等概率选取相关的题目：

1.等概率随机排列数组（洗牌算法）

问题描述：假设有一个数组，包含n个元素。现在要重新排列这些元素，要求每个元素被放到任何一个位置的概率都相等（即1/n），并且直接在数组上重排（in place），不要生成新的数组。用 O(n) 时间、O(1) 辅助空间。

思路：先想想如果可以开辟另外一块长度为n的辅助空间时该怎么处理，显然只要对n个元素做n次（不放回的）随机抽取就可以了。先从n个元素中任选一个，放入新空间的第一个位置，然后再从剩下的n-1个元素中任选一个，放入第二个位置，依此类推。按照同样的方法，但这次不开辟新的存储空间。第一次被选中的元素就要放入这个数组的第一个位置，但这个位置原来已经有别的（也可能就是这个）元素了，这时候只要把原来的元素跟被选中的元素互换一下就可以了。很容易就避免了辅助空间。

详情：http://www.gocalf.com/blog/shuffle-algo.html

2.单次遍历，等概率随机选取问题

问题描述：假设我们有一堆数据（可能在一个链表里，也可能在文件里），数量未知。要求只遍历一次这些数据，随机选取其中的一个元素，任何一个元素被选到的概率相等。O(n)时间，O(1)辅助空间（n是数据总数，但事先不知道）。

详情：http://www.gocalf.com/blog/random-selection.html

3.单次遍历，带权随机选取问题

问题描述：有一组数量未知的数据，每个元素有非负权重。要求只遍历一次，随机选取其中的一个元素，任何一个元素被选到的概率与其权重成正比。

详情：http://www.gocalf.com/blog/weighted-random-selection.html

作者：阿凡卢
出处：http://www.cnblogs.com/luxiaoxun/