03-二次准则函数及其求解（一般情况下的判别函数）

对于两类问题，设n+1维增广训练模式\(x_1 \,\, x_2 ... x_N\)已经符号规范化
如果训练模式是线性不可分，不等式组没解。目标：最少的训练模式被错分
N维余量矢量b>0
不等式方程组：\( Xw \leq b > 0\) 要使尽可能多的不等式被满足
其中\( X = \begin{bmatrix} x_1^T\\ x_2^T\\.\\.\\.\\x_N^T \end{bmatrix}\)

如果训练模式是线性可分的，则不等式\(w^T x_i > 0\) (x=1,2...N)

1. 分段二次准则函数及共轭梯度法

分段二次准则函数：\( J(w) = \left \|  (Xw-b) - \left |(Xw-b)\right | \,\,\right \| ^2 \)
使\( J(w^*) \)取最小值的最优解 \(w^*\)
(1)在线性模式可分的情况下，使\( J(w^*) = 0\), 表明\(w^*\)构造的判别函数对所有模式均能正确分类
(2)在线性模式不可分的情况下，使\( J(w^*) > 0\), 使\(w^*\)误分模式最小
采用共轭梯度法求解最优解

2. 最小方差准则及W-H算法

针对等式方程组：\( Xw= b \) 
方差准则函数：\( J(w) = (Xw-b)^T(Xw-b) = \sum_{i=1}^{N} (w^T x_i -b_i)  \to min\)
采用做优化技术搜索J(w)极小值点以求解不等式方程组
（1）如果方程有唯一解，极小值点即是该点，线性可分
（2）如果方程无解，极小值点是最小二乘解。
（1）伪逆法（广义逆、M-P逆）- 计算量大很少用
（2）梯度法（Widrow—Hoff算法）
\( \bigtriangledown J(w) = 2X^T(Xw-b)\)
\( w(k+1) = w(k) - \rho_k X^T(Xw(k)-b) \)
\( w(k+1) = w(k) - \rho_k (b_k - w^T(k) x_k ) x_k \)

3. H-K（Ho-Kakhyap）算法

平方误差准则函数：\( J(X,w,b) = \left \| Xw-b \right \| ^2 =  \sum_{i=1}^{N} (w^T x_i -b_i)  \to min\)
准则函数\( J(\cdot)\)视为w和b的函数
（1）若\( Xw(k) - b(k) <= 0, 则 \beta (k) = 0\)
（2）若\( Xw(k) - b(k) > 0, 则 \beta (k) = -\rho \bigtriangledown_b J(\cdot) = -2\rho [Xw(k)-b(k)] \)
b(k)的迭代公式为：\( b(k+1) = b(k) - \rho \bigtriangledown_b J(\cdot) = b(k) + \beta (k)\)，其中 \(\bigtriangledown_b J(\cdot) = -2(Xw-b), \,\, \rho>0 \)
记误差矢量：\( e(k) = Xw(k)-b(k) \)
由此\(\beta(k)\)可以统一写成：\(\beta(k) = \rho [ e(k) + \left | e(k) \right | ] \)
由于\(w= (X^T X)^{-1} X^T b = X^+b\)
从而w的迭代公式：\( w(k+1) = X^+b(k+1) = X^+ b(k) + X^+ \beta(k) = w(k) + X^+ \beta(k)\)