【算法导论】第五课 线性排序（基数排序 计数排序）

第五课主要引出了两个非常有趣的排序算法——它们的时间复杂度竟然是θ(n)，也就是说时间复杂度是线性的。

首先来看看之前提到过的几个排序算法：
quicksort ——θ(nlgn)
heapsort——θ(nlgn)
merge sort——θ(nlgn)
insert sort——n^2
所有这些排序算法，能否比nlgn更快？ 
不能，因为他们都采用了同样的一个模型，比较算法模型。也就是在排序的时候都会取两个数进行比较，这样的算法的局限性导致不可能超过nlgn的时间复杂度，我们可以用决策树的模型来证明：
例：决策树 a1 a2 a3
大于 1比2 小于
2比3 1比3
123 1比3 213 2比3
132 312 231 321
通过每一次的对比，决策树分出了两个分支，现在要对n个元素进行排序，ai，aj i，j在1~n的范围内
构造这样一个决策树，左边 ai≤aj，右边是ai>aj，每一个叶子节点都是一种排序的可能结果，一共有n！个结果
这个决策树的高度，也就是最长的路径，树的深度就是需要求的时间尺度。
证明：一共是有n！个叶子节点，假设这个树的高度是h，那么高度是h的数二分节点最多是2^h
n！≤2^h
lgn！≤h
利用斯特林公式，n！近似等于(n/e)^n
h≥nlg(n/e)=nlgn-nlge
所以h=Ω(nlgn)
得证！

还有一些排序算法不能用简单的决策树来表示，突破决策树方法的关键是我们意识到，我们其实在使用比较排序模型的时候假设了对于一个n数列来说，只有一棵树。这才导致了这个模型是有极限的。下面来介绍两个排序算法
1.计数排序
写出计数排序的伪代码：
A={1,2,.....k} A是待排序数列，A里的值取值范围在1~k的整数
B[i] 是A排序的结果数列
C[i] 是辅助序列 C的长度是k，用来记录A中各个整数出现的次数

for i<- 1 to k
do C[i]<-0 
for j<-1 to n
do C[A[j] <- C[A[j] +1 
初始化

for i<- 2 to k
do C[i]<-C[i]+C[i-1]
分配

for j<- n downto 1
do B[C[A[j]] <- A[j]
C[A[j]<- C[A[j]-1
结果
从伪代码来看，是不是晕了？？？
例子：排序A= 4，1，3，4，3
C=0000然后变成1022记录了每一个数字出现的次数，然后将C的每项都递归的加起来，得到C=1135
然后来得出结果
j=5时 B[3]=A[5]=3 然后 C[3]减1
j=4时 B[5]=A[4]=4 然后 C[4]减1
……
这样就通过辅助数列把A排列成了B
我们来计算一下这个算法的复杂度
T(n)=θ(n+k)
一个线性时间复杂度的算法就产生了。最终的时间其实还和k相关，k如果较大的话还不如快速排序

我们这里提到的算法都是稳定排序算法：稳定排序算法是指保证了相等元素的相对位置稳定不变

再来看第二个算法
2.基数排序算法
在排序的时候对末位开始排序，然后再对第二位开始排序
例子：
对329 457 657 839 436 720 355进行排序
先排末位得到：720 355 436 457 657 329 839
再排第二位得到：720 355 436 457 657 329 839
最后再排首位得到结果
那么在每一轮的排序中，我们都可以使用计数排序算法。

在计算机假设有n个整数在0~2^b-1范围内，也就是说每个数的的b位二进制数，我们对他们进行排序
可以把整数拆分成b/r个段，每个段长度都有r
b/r是一共要比较的轮数，k=2^r
T(n)=b/r * (n+k)=b/r * (n+2^r)
那么我们可以选取恰当的r来得到最好的T(n),r=lgn的时候得到最好的结果
T(n)=O(b*n/lgn)
若b=n^d
那么T(n)=θ(dn)这个算法也是线性尺度的排序算法。