机器学习基石 2.3 Guarantee of PLA

来源：互联网发布：mac管理安卓手机助手编辑：程序博客网时间：2024/06/08 00:01

1. Linear Separability

对于一个数据集，如果PLA能够停下来并且不犯错误，就称这样的为线性可分的。

这里写图片描述

数据集是线性可分的，等价于存在一个完美的 wf，使得

y n = s i g n (w T t w n)

这里写图片描述

即

\forall n \in [1, N], y n w T f x n > 0

则对于在第t轮使

wt犯错的那个

xn(t)，有

y n (t) w T f x n (t) ⩾ m i n (y n w T f x n) > 0

则

这里写图片描述

这就说明了wTfwt这个内积是随着t的增大而不断增大的。

这个算法还有一个重要的性质就是犯错了才修正。

这里写图片描述

则

这里写图片描述

由上面两个结论可以推出

这里写图片描述

证明：
令

R 2 = m a x (∥ x n ∥ 2), ρ = m i n (y n w T f ∥ w f ∥ x n)

当

T=1时，

w T f ∥ w f ∥ w 1 ∥ w 1 ∥ ⩾ w T f ( w 0 + m i n ( y n x n ) ) ∥ w f ∥ ∥ w 0 ∥ 2 ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt + m a x ( ∥ y n x n ∥ 2 ) = w T f m i n ( y n ( t ) x n ( t ) ) ∥ w f ∥ m a x ( ∥ y n x n ∥ 2 ) ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ ‾ \sqrt = ρ R = c o n s t a n t

假设当

T=t时结论成立，当

T=t+1时，

w T f ∥ w f ∥ w t + 1 ∥ w t + 1 ∥ ⩾ w T f ( w t + m i n ( y n x n ) ) ∥ w f ∥ ∥ w t ∥ 2 ‾ ‾ ‾ ‾ ‾ ‾ \sqrt + m a x ( ∥ y n x n ∥ 2 )

又因为

w T f ∥ w f ∥ w t ∥ w t ∥ ⩾ t \sqrt \cdot ρ R

设

w T f w t = k ρ

则

∥ w f ∥ ∥ w t ∥ ⩽ k t \sqrt R

带入易得

w T f ∥ w f ∥ w t + 1 ∥ w t + 1 ∥ ⩾ t + 1 ‾ ‾ ‾ ‾ ‾ \sqrt \cdot ρ R

得证。

这里写图片描述

阅读全文

0 0