Machine Learning Foundations_PLA

第二课中论证了目标问题是线性可分的前提下，PLA更新策略是有效的：即寻优的更新次数是一个常数使寻得直线‘完美’。
Conclusion：Start from W0=0 , after T mistake corrections,then we get:

WTf∗WT||Wf||∗||WT||≥T‾‾√∗constant

接下来求该常数：tutorial中详细推出两个已知条件：

WTfWt+1≥WTfWt+minnynWTfxn.(1)

||Wt+1||2≤||Wt||2+maxn||ynxn||2.(2)

由(1)式得：

WTfWT≥T∗minnynWTfxn.(3)

由(2)式得：

||WT||2≤T∗maxn||ynxn||2.

即：

||WT||≤T‾‾√∗maxn||xn||.(4)

将(3)式左侧向量全部化为单位向量即：

WTf∗WT||Wf||∗||WT||≥T∗minnynWTfxn||Wf||∗||WT||.(5)

将(4)式带入(5)式得：

WTf∗WT||Wf||∗||WT||≥T∗minnynWTfxn||Wf||∗||WT||≥T‾‾√∗minnynWTfxnmaxn||xn||∗||Wf||.(6)

又因为

WTf∗WT||Wf||∗||WT||≤1

所以

T‾‾√∗minnynWTfxnmaxn||xn||∗||Wf||≤1

即：

constant=minnynWTfxnmaxn||xn||∗||Wf||.