排序算法时间复杂度的下界

1. 问题归约

排序，涉及到被排序的序列和排序的方法。（比较）排序算法时间的下界对被排序的序列和排序方法做了以下限制

没有关于被排序序列的先验信息，譬如序列内数据的分布、范围等，即认为序列内元素在一个开区间内均匀分布。同时，序列内元素互异。（可以从两个方面理解元素互异的限制，其一是对于随机的序列而言，两元素相同的概率约为0；其二是比较排序中没有对相同元素的特殊处理）

排序方法中仅仅利用了比较运算来确定元素的顺序。不失一般性，假设每次比较仅取2个元素，比较其大小。

那么，对于输入序列为长度为

的序列

而言，比较的过程可以表示为从序列中选择

，判断

或是

。排序算法的输出是

。排序的过程是输入序列位置调整的过程，一旦给定输入序列和算法，那么这个调整的过程是确定的，也就是说，结合排序算法和输出的有序序列，可以知道输入序列的排列方式。

（比较）排序算法的算法时间复杂度等价为确定输入序列的排列方式需要多少次比较操作。

2 . 信息熵

香农对信息的定义是事物运动状态和存在方式的不确定性描述。事件

发生所含有的信息量（自信息量）可以表示为



对于随机变量

而言，定义其平均自信息量为信息熵，可表示为



对于排序问题，我们可以认为排序算法执行之前，对于待排列数据的没有获得任何信息。在排序过程中，获得了信息使得待排列数据排列方式的不确定度减小了。待排列数据的排列方式共有

种，因此其信息量为（单位：比特）



对于每次比较，可以获得

或是

，因此获得的信息量是（单位：比特）



因此最少需要

次比较才能够解决这一问题。对应（比较）排序算法时间的下界为

。由于

，因此

3. 另一个问题

关于信息、自信息、信息量、信息熵的一个经典的问题可以描述如下


由于不知道假币轻重，因此信息量为

，每次测量可以获得

的信息（轻-重、重-轻，一样重），因此需要称



我开始一直不觉得这个结果是对的，直到有人给出了各种数量硬币在不同情况下需要称的次数，我才接受了这个方法和结果。也就是说，选择合适的测量方式，称3次一定能够找出哪一枚是假币。