比较排序算法

通过比较来确定输入序列<a₁,a₂,..,a_n>的元素间相对次序的排序算法称为比较排序算法。

在下面讨论的排序算法中，冒泡排序、选择排序和插入排序的比较次数为O(n²)，快速排序在平均情况下复杂性为O(nlogn)，堆排序和合并排序在最坏情况下复杂性为O(nlogn)。可见，合并排序和堆排序是比较排序算法中时间复杂度最优算法。

•  
  • 冒泡排序
  • 选择排序
  • 插入排序
  • 快速排序

冒泡排序 Bubble Sort

最简单的排序方法是冒泡排序方法。这种方法的基本思想是，将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮。在冒泡排序算法中我们要对这个“气泡”序列处理若干遍。所谓一遍处理，就是自底向上检查一遍这个序列，并时刻注意两个相邻的元素的顺序是否正确。如果发现两个相邻元素的顺序不对，即“轻”的元素在下面，就交换它们的位置。显然，处理一遍之后，“最轻”的元素就浮到了最高位置；处理二遍之后，“次轻”的元素就浮到了次高位置。在作第二遍处理时，由于最高位置上的元素已是“最轻”元素，所以不必检查。一般地，第i遍处理时，不必检查第i高位置以上的元素，因为经过前面i-1遍的处理，它们已正确地排好序。这个算法可实现如下。

procedure Bubble_Sort(var L:List);

var

i,j:position;

begin

1 for i:=First(L) to Last(L)-1 do

2  for j:=First(L) to Last(L)-i do

3     if L[j]>L[j+1] then

4           swap(L[j],L[j+1]);   //交换L[j]和L[j+1]

end;

上述算法将较大的元素看作较重的气泡，每次最大的元素沉到表尾。其中First(L)和Last(L)分别表示线性表L的第一个元素和最后一个元素的位置，swap(x,y)交换变量x,y的值。上述算法简单地将线性表的位置当作整数用for循环来处理，但实际上线性表可能用链表实现；而且上述算法将线性表元素的值当作其键值进行处理。不过这些并不影响表达该算法的基本思想。今后如果不加说明，所有的算法都用这种简化方式表达。

容易看出该算法总共进行了n(n-1)/2次比较。如果swap过程消耗的时间不多的话，主要时间消耗在比较上，因而时间复杂性为O(n²)。但是如果元素类型是一个很大的纪录，则Swap过程要消耗大量的时间，因此有必要分析swap执行的次数。

显然算法Bubble_Sort在最坏情况下调用n(n-1)/2次Swap过程。我们假设输入序列的分布是等可能的。考虑互逆的两个输入序列L₁=k₁,k₂,..,k_n和L₂=k_n,k_n-1,..,k₁。我们知道，如果k_i>k_j，且k_i在表中排在k_j前面，则在冒泡法排序时必定要将k_j换到k_i前面，即k_j向前浮的过程中一定要穿过一次k_i，这个过程要调用一次Swap。对于任意的两个元素k_i和k_j，不妨设k_i>k_j，或者在L₁中k_i排在k_j前面，或者L₂在中k_i排在k_j前面，两者必居其一。因此对于任意的两个元素k_i和k_j，在对L₁和L₂排序时，总共需要将这两个元素对调一次。n个元素中任取两个元素有C_n² 种取法，因此对于两个互逆序列进行排序，总共要调用C_n² =n(n-1)/2次Swap，平均每个序列要调用n(n-1)/4次Swap。那么算法Bubble_Sort调用Swap的平均次数为n(n-1)/4。

可以对冒泡算法作一些改进，如果算法第二行的某次内循环没有进行元素交换，则说明排序工作已经完成，可以退出外循环。可以用一个布尔变量来记录内循环是否进行了记录交换，如果没有则终止外循环。

冒泡法的另一个改进版本是双向扫描冒泡法（Bi-Directional Bubble Sort）。设被排序的表中各元素键值序列为：

483 67 888 50 255 406 134 592 657 745 683

对该序列进行3次扫描后会发现，第3此扫描中最后一次交换的一对纪录是L[4]和L[5]：

50 67 255 134 | 406 483 592 657 683 745 888

显然，第3次扫描(i=3)结束后L[5]以后的序列都已经排好序了，所以下一次扫描不必到达Last(L)-i=11-4=7，即第2行的for 循环j不必到达7，只要到达4-1=3就可以了。按照这种思路，可以来回地进行扫描，即先从头扫到尾，再从尾扫到头。这样就得到双向冒泡排序算法：

procedure Bi-Directional_Bubble_Sort(var L:List);

var

low,up,t,i:position;

begin

1  low:=First(L);up:=Last(L);

2  while up>low do

    begin

3     t:=low;

4     for i:=low to up-1 do

5       if L[i]>L[i+1] then

          begin

6           swap(L[i],L[i+1]);

7           t:=i;

          end;

8     up:=t;

9     for i:=up downto low+1 do

10      if L[i]< L[i-1] then

          begin

11          swap(L[i],L[i-1]);

12          t:=i;

          end;

13    low:=t;  

    end;

end;

算法利用两个变量low和up记录排序的区域L[low..up]，用变量t 记录最近一次交换纪录的位置，4-7行从前向后扫描，9-12行从后向前扫描，每次扫描以后利用t所记录的最后一次交换记录的位置，并不断地缩小需要排序的区间，直到该区间只剩下一个元素。

直观上来看，双向冒泡法先让重的气泡沉到底下，然后让轻的气泡浮上来，然后再让较大气泡沉下去，让较轻气泡浮上来，依次反复，直到排序结束。

 

冒泡排序法和双向冒泡排序法是原地置换排序法，也是稳定排序法，如果算法Bubble_Sort中第3行的比较条件L[j]>L[j+1]改为L[j]>= L[j+1]，则不再是稳定排序法.

选择排序 Selection Sort

选择排序的基本思想是对待排序的记录序列进行n-1遍的处理，第i遍处理是将L[i..n]中最小者与L[i]交换位置。这样，经过i遍处理之后，前i个记录的位置已经是正确的了。

选择排序算法可实现如下。

procedure Selection_Sort(var L:List);

var

i,j,s:position;

begin

1  for i:=First(L) to Last(L)-1 do

    begin

2         s:=i;

3         for j:=i+1 to Last(L) do

4           if L[j]< L[s] then

5                 s:=j;             //记录L[i..n]中最小元素的位置

6         swap(L[i],L[s]);       //交换L[i],L[s]

        end; 

end;

算法Selection_Sort中里面的一个for循环需要进行n-i次比较，所以整个算法需要

次比较。

 

插入排序的基本思想是，经过i-1遍处理后,L[1..i-1]己排好序。第i遍处理仅将L[i]插入L[1..i-1]的适当位置，使得L[1..i]又是排好序的序列。要达到这个目的，我们可以用顺序比较的方法。首先比较L[i]和L[i-1]，如果L[i-1]≤ L[i]，则L[1..i]已排好序，第i遍处理就结束了；否则交换L[i]与L[i-1]的位置，继续比较L[i-1]和L[i-2]，直到找到某一个位置j(1≤j≤i-1)，使得L[j] ≤L[j+1]时为止。图1演示了对4个元素进行插入排序的过程，共需要(a),(b),(c)三次插入。

图1 对4个元素进行插入排序

在下面的插入排序算法中，为了写程序方便我们可以引入一个哨兵元素L[0]，它小于L[1..n]中任一记录。所以，我们设元素的类型ElementType中有一个常量-∞，它比可能出现的任何记录都小。如果常量-∞不好事先确定，就必须在决定L[i]是否向前移动之前检查当前位置是否为1，若当前位置已经为1时就应结束第i遍的处理。另一个办法是在第i遍处理开始时，就将L[i]放入L[0]中，这样也可以保证在适当的时候结束第i遍处理。下面的算法中将对当前位置进行判断。

插入排序算法如下：

procedure Selection_Sort(var L:List);

var

i,j:position;

v:ElementType;

begin

1 for i:=First(L)+1 to Last(L) do

    begin

2     v:=L[i];

3     j:=i;

4     while (j<>First(L))and(L[j-1]< v) do  //循环找到插入点

        begin

5         L[j]:=L[j-1];  //移动元素

6         j:=j-1;

        end;

7     L[j]:=v; //插入元素

    end;

end;

下面考虑算法Insertion_Sort的复杂性。对于确定的i，内while循环的次数为O(i)，所以整个循环体内执行了∑O(i)=O(∑i)，其中i从2到n。即比较次数为O(n²)。如果输入序列是从大到小排列的，那么内while循环次数为i-1次，所以整个循环体执行了∑(i-1)=n(n-1)/2次。由此可知，最坏情况下，Insertion_Sort要比较Ω(n²)次。

如果元素类型是一个很大的纪录，则算法第5行要消耗大量的时间，因此有必要分析移动元素的次数。经过分析可知，平均情况下第5行要执行n(n-1)/4次，分析方法与冒泡排序的分析相同。

如果移动元素要消耗大量的时间，则可以用链表来实现线性表，这样Insertion_Sort可以改写如下(当然前一个算法同样也适用于链表，只不过没下面这个好，但是下面算法这个比较复杂)：

注意：在下面的算法中链表L增加了一个哨兵单元，其中的元素为-∞，即线性表L的第一个元素是L^.next^

procedure Selection_Sort_II(var L:PList);

var

i,j,tmp:Position;

begin

1  if L^.next=nil then exit; //如果链表L为空则直接退出

2  i:=L^.next;  //i指向L的第一个元素，注意，L有一个哨兵元素，因此L^.next^才是L的第一个元素

3  while i^.next<>nil do

     begin

4      tmp:=i^.next;  //tmp指向L[i]的下一个位置

5      j:=L;

6      while (j<>i)and(tmp^.data>=j^.next^.data) do //从前向后找到tmp的位置，tmp应该插在j后面

7      j:=j^.next;

8      if j<>i then  //j=i说明不需要改变tmp的位置

         begin                       

9          i^.next:=tmp^.next;  //将tmp从i后面摘除

10         tmp^.next:=j^.next;  //在j后面插入tmp

11         j^.next:=tmp;

         end

12     else i:=i^.next;  //否则i指向下一个元素

    end;

end;

上述改进算法主要是利用链表删除和插入元素方便的特性，对于数组则不适用。

插入排序法是一个原地置换排序法，也是一个稳定排序法。插入法虽然在最坏情况下复杂性为θ(n2)，但是对于小规模输入来说，插入排序法是一个快速的原地置换排序法。许多复杂的排序法，在规模较小的情况下，都使用插入排序法来进行排序，比如快速排序和桶排序。

排序问题的计算复杂性

对排序算法计算时间的分析可以遵循若干种不同的准则，通常以排序过程所需要的算法步数作为度量，有时也以排序过程中所作的键比较次数作为度量。特别是当作一次键比较需要较长时间，例如，当键是较长的字符串时，常以键比较次数作为排序算法计算时间复杂性的度量。当排序时需要移动记录，且记录都很大时，还应该考虑记录的移动次数。究竟采用哪种度量方法比较合适要根据具体情况而定。在下面的讨论中我们主要考虑用比较的次数作为复杂性的度量。

为了对有n个元素的线性表进行排序，至少必须扫描线性表一遍以获取这n个元素的信息，因此排序问题的计算复杂性下界为Ω(n)。

如果我们对输入的数据不做任何要求，我们所能获得的唯一信息就是各个元素的具体的值，我们仅能通过比较来确定输入序列<a₁,a₂,..,a_n>的元素间次序。即给定两个元素a_i和a_j，通过测试a_i<a_j，a_i≤a_j ,a_i=a_j ,a_i≥a_j ,a_i>a_j 中的哪一个成立来确定a_i和a_j间的相对次序。这样的排序算法称为比较排序算法。下面我们讨论一下比较排序算法在最坏情况下至少需要多少次比较，即比较排序算法的最坏情况复杂性下界。

我们假设每次比较只测试a_i≤a_j ，如果a_i≤a_j 成立则a_i排在a_j 前面，否则a_i排在a_j 后面。任何一个比较排序算法可以描述为一串比较序列:

 (a_i,a_j),(a_k,a_l),..,(a_m,a_n),...

表示我们首先比较(a_i,a_j)，然后比较(a_k,a_l)，...，比较(a_m,a_n)，...，直到我们获取了足够的信息可以确定所有元素的顺序。显而易见，如果我们对所有的元素两两进行一次比较的话(总共比较了C_n²次)，就一定可以确定所有元素的顺序。但是，如果我们运气足够好的话，我们可能不必对所有元素两两进行一次比较。比如说对于有三个元素a₁,a₂,a₃的线性表进行排序，如果我们先比较a₁和a₂，得到a₁≤a₂；然后比较a₂和a₃，得到a₂≤a₃；则不必比较a₁和a₃，因为根据偏序集的传递性，必有a₁≤a₃；但是如果a₂≥a₃，我们还必须比较a₁和a₃才能确定a₁和a₃的相对位置。如果我们适当的安排比较的次序的话，也可以减少比较的次数。这样我们可以用一棵二叉树表示比较的顺序，如下图所示：

该树的每一个非叶节点表示一次比较，每一根树枝表示一种比较结果，每一个叶节点表示一种排列顺序。这样的一棵二叉树叫做决策树，它用树枝表示了每次决策做出的选择。如此我们可以将任何一个比较排序算法用一棵决策树来表示。

请注意上图只表明了对三个元素的一种比较算法，这种比较算法依次比较(a₁,a₂)(a₂,a₃)(a₁,a₃)，一旦中间某步得到足够的信息就可以停止比较，但是当算法执行完后（三次比较后），一定可以确定三个元素间的次序。因此我们有理由将算法在最坏情况下的比较次数作为算法复杂性的度量，对于本例该算法在最坏情况下要进行C₃²=3次比较。

显然，一棵决策树中最高叶节点的高度就是该决策树对应的算法在最坏情况下所需的比较次数，而决策树中最低叶节点的高度就是该决策树对应的算法在最好情况下所需的比较次数。

我们的问题就变为：对于任意一棵决策树（任意一种比较排序算法），它的最高的树叶的高度是多少？这个高度就对应于比较排序算法所需的最多比较次数（在运气最坏的情况下）；换句话说，对于任何一个输入，该算法至少需要比较多少次就可以对元素进行排序。

我们发现，决策树的每个叶节点对应一个n个元素的排列，其中可能有重复的；但是由于决策树表明了所有可能遇到的情况，因而n个元素的所有排列都在决策树中出现过。n个元素共有n!种排列，即决策树的叶节点数目至少为n!。又因为一棵高度为h的二叉树（指二叉树的最高树叶高度为h）的叶节点数目最多为2^h个（这时正好是满二叉树，即每个非叶节点都有两个子节点），因此n!≤2^h，得到h≥log(n!)，其中log以2为底。根据Stirling公式有n!>(n/e)ⁿ，于是h>nlogn-nloge，即h=Ω(nlogn)。

这样我们就证明了对于任意一种利用比较来确定元素间相对位置的排序算法，其最坏情况下复杂性为Ω(nlogn)。

在下文中我们将讨论几种比较排序算法，其中快速排序在平均情况下复杂性为O(nlogn)，最坏情况下复杂性为O(n²)；堆排序和合并排序在最坏情况下复杂性为O(nlogn)，因此堆排序和合并排序是渐进最优的比较排序算法。

排序算法是否还能够改进呢？从前文我们知道，如果要改进排序算法的效率，就不能只利用比较来确定元素间相对位置。因此我们还需要知道元素的其他附加信息，光知道元素的大小信息是不够的。下文中我们介绍的计数排序，基数排序和桶排序是具有线性时间复杂性的排序算法，这些算法无一例外地对输入数据作了某些附加限制，从而增加已知的信息，因此可以不通过比较来确定元素间的相对位置。