漫步最优化八——梯度信息

不见你会想你，
想随时献殷勤，希望你像蜜桃般甜美；
想阅读更多书，期待你我能赌书泼茶。
我想我们已互相知道对方的心意，
即便相隔万里也能感受到远方心中的牵挂。
希望我们互相是对的人，
一直彼此宠爱。
——畅宝宝的傻逼哥哥

在许多优化方法中，需要目标函数的梯度信息，这个信息由f(x)对n个变量的一阶与二阶导组成的。

如果f(x)∈C1，即f(x)有连续的一阶偏导，f(x)的梯度定义为：

g(x)=[∂f∂x1 ∂f∂x2 ⋯ ∂f∂xn]T=∇f(x)

其中

∇=[∂∂x1 ∂∂x2 ⋯ ∂∂xn]T

如果f(x)∈C2，即f(x)有连续的二阶偏导，f(x)的海森矩阵定义为：

H(x)=∇gT=∇{∇Tf(x)}

因此海森矩阵可以写为：

H(x)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥

对函数f(x)∈C2

∂2f∂xi∂xj=∂2f∂xj∂xi

这是因为求导是线性运算，由此可得H(x)是n×n 对称方阵。

点x=xk处的梯度与海森矩阵用g(xk),H(xk)表示，或者用简化的符号gk,Hk表示。有时候在不至于混淆的前提下，g(x),H(x)简化成g,H。

梯度与海森矩阵简化了优化过程，但是在某些应用中求解他们非常耗时且代价比较大，或者f(x)无法求偏导，对于这种应用，最好用不需要求梯度的方法。

梯度方法，即基于梯度信息的方法可能只需要g(x)或者g(x),H(\textbf{x})都需要，对于后者，可能需要求解矩阵H(x) 的逆，这会带来数值精确性问题且很耗时，一般我们会避免这种方法。