动态编程深入理解（三）

转载地址：http://iprai.hust.edu.cn/icl2002/algorithm/algorithm/technique/dynamic_programming/chapter1.htm#indexfunc

动态编程算法的目录：http://iprai.hust.edu.cn/icl2002/algorithm/algorithm/technique/dynamic_programming/index.htm

动态规划的基本概念

动态规划的发展及研究内容

动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。

动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。

虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划(如线性规划、非线性规划)，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。

多阶段决策问题

多阶段决策过程，是指这样的一类特殊的活动过程，问题可以按时间顺序分解成若干相互联系的阶段，在每一个阶段都要做出决策，全部过程的决策是一个决策序列。要使整个活动的总体效果达到最优的问题，称为多阶段决策问题。

例1是一个多阶段决策问题的例子，下面是另一个多阶段决策问题的例子：

[例2] 生产计划问题

工厂生产某种产品，每单位(千件)的成本为1(千元)，每次开工的固定成本为3(千元)，工厂每季度的最大生产能力为6(千件)。经调查，市场对该产品的需求量第一、二、三、四季度分别为 2，3，2，4(千件)。如果工厂在第一、二季度将全年的需求都生产出来，自然可以降低成本(少付固定成本费)，但是对于第三、四季度才能上市的产品需付存储费，每季每千件的存储费为0.5(千元)。还规定年初和年末这种产品均无库存。试制订一个生产计划，即安排每个季度的产量，使一年的总费用(生产成本和存储费)最少。

决策过程的分类

根据过程的时间变量是离散的还是连续的，分为离散时间决策过程(discrete-time decision process)，即多阶段决策过程和连续时间决策过程(continuous-time decision process)；根据过程的演变是确定的还是随机的，分为确定性决策过程(deterministic decision process)和随机性决策过程(stochastic decision process)，其中应用最广的是确定性多阶段决策过程。

动态规划模型的基本要素

一个多阶段决策过程最优化问题的动态规划模型通常包含以下要素：

1.阶段

阶段(step)是对整个过程的自然划分。通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解优化问题。阶段变量一般用k=1,2,..,n表示。在例1中由A出发为k=1，由B_i(i=1,2)出发为k=2，依此下去从D_i(i=1,2,3)出发为k=4，共n=4个阶段。在例2中按照第一、二、三、四季度分为k=1,2,3,4，共4个阶段。

2.状态

状态(state)表示每个阶段开始时过程所处的自然状况。它应该能够描述过程的特征并且具有无后向性，即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关，即每个状态都是过去历史的一个完整总结。通常还要求状态是直接或间接可以观测的。

描述状态的变量称状态变量(state variable)。变量允许取值的范围称允许状态集合(set of admissible states)。用x_k表示第k阶段的状态变量，它可以是一个数或一个向量。用X_k表示第k阶段的允许状态集合。在例1中x₂可取B₁，B₂，X₂={B₁,B₂}。

n个阶段的决策过程有n+1个状态变量，x_n+1表示x_n演变的结果，在例1中x₅取E。

根据过程演变的具体情况，状态变量可以是离散的或连续的。为了计算的方便有时将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。

状态变量简称为状态。

3.决策

当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策(decision)，在最优控制问题中也称为控制(control)。

描述决策的变量称决策变量(decision variable)。变量允许取值的范围称允许决策集合(set of admissible decisions)。用u_k(x_k)表示第k阶段处于状态x_k时的决策变量，它是x_k的函数，用U_k(x_k)表示了x_k的允许决策集合。在例1中u₂(B₁)可取C₁,C₂,C₃。

决策变量简称决策。

4.策略

决策组成的序列称为策略(policy)。由初始状态x₁开始的全过程的策略记作p_1n(x₁)，即p_1n(x₁)={u₁(x₁),u₂(x₂),...，u_n(x_n)}。由第k阶段的状态x_k开始到终止状态的后部子过程的策略记作p_kn(x_k)，即p_kn(x_k)={u_k(x_k),u_k+1(x_k+1),...，u_n(x_n)}。类似地，由第k到第j阶段的子过程的策略记作p_kj(x_k)={u_k(x_k),u_k+1(x_k+1),...，u_j(x_j)}。对于每一个阶段k的某一给定的状态x_k，可供选择的策略p_kj(x_k)有一定的范围，称为允许策略集合(set of admissible policies)，用P_1n(x₁),P_kn(x_k),P_kj(x_k)表示。

5.状态转移方程

在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。用状态转移方程(equation of state)表示这种演变规律，写作

在例1中状态转移方程为：x_k+1=u_k(x_k)

6.指标函数和最优值函数

指标函数(objective function)是衡量过程优劣的数量指标，它是关于策略的数量函数，从阶段k到阶段n的指标函数用V_kn(x_k,p_kn(x_k))表示，k=1,2,...,n。

能够用动态规划解决的问题的指标函数应具有可分离性，即V_kn可表为x_k,u_k,V_{k+1 n} 的函数，记为：

其中函数是一个关于变量V_{k+1 n}单调递增的函数。这一性质保证了最优化原理(principle of optimality)的成立，是动态规划的适用前提。

过程在第j 阶段的阶段指标取决于状态x_j和决策u_j，用v_j(x_j,u_j)表示。阶段k到阶段n的指标由v_j(j=k,k+1,..n)组成，常见的形式有：

阶段指标之和，即

阶段指标之积，即

阶段指标之极大(或极小)，即

这些形式下第k到第j阶段子过程的指标函数为V_kj(x_k,u_k,x_k+1,...,x_j+1)。可以发现，上述(3)-(5)三个指标函数的形式都满足最优性原理。在例1中指标函数为(3)的形式，其中v_j(x_j,u_j)是边<x_j,u_j(x_j)>的权（边的长度）,u_j(x_j)表示从x_j出发根据决策u_j(x_j)下一步所到达的节点。

根据状态转移方程，指标函数V_kn还可以表示为状态x_k和策略p_kn的函数，即V_kn(x_k,p_kn)。在x_k给定时指标函数V_kn对p_kn的最优值称为最优值函数(optimal value function)，记作f_k(x_k)，即

其中opt可根据具体情况取max或min。上式的意义是，对于某个阶段k的某个状态x_k，从该阶段k到最终目标阶段n的最优指标函数值等于从x_k出发取遍所有能策略p_kn所得到的最优指标值中最优的一个。

7.最优策略和最优轨线

使指标函数V_kn达到最优值的策略是从k开始的后部子过程的最优策略，记作p_kn^*={u_k^*,..u_n^*},p_1n^*又是全过程的最优策略，简称最优策略(optimal policy)。从初始状态x₁(=x₁^*)出发，过程按照p_1n^*和状态转移方程演变所经历的状态序列{x₁^*,x₂^*,..,x_n+1^*}称最优轨线(optimal trajectory)。