机器学习基石-08-4-Weighted Classification

来源：互联网发布：公安网络监控电路板编辑：程序博客网时间：2024/06/08 04:57

第八节课的总结

成本矩阵cost/error/loss matrix

VC theory，也就是VC的理论依然可以直接使用，所以只需要证明Ein(h)很小就可以得到Eout(h)很小的结论。需要注意之前的Ein(g)没有权重的加权，这个是区别。

1.PLA不需要做任何的修正，因为满足完全线性可分那么Ein一定等于0，也是0，所以PLA不用考虑weighted权重。

2.weighted pocket算法哪些地方进行修正了呢？之前的pocket是用Ein(g)来判断找到的w(t+1)和之前的w哪个更优，现在是使用来比较哪一个更值得收进口袋里。

pocket算法基本的guarantee：noisy很小很小。

假设x2=-1上面犯了错，那么右边的equivalent problem的x2会付出1000倍的错误成本。但是上面的复制等于-1的1000次并不会真的去做，只是“virtual copying”想法上的清楚他要做复制操作。

PLA上面所说的复制1000次，其实实际操作中的含义是，会以1000倍的几率去检查y=-1的点，检查y=1会少很多很多。

FUN TIME

例题是：当某一个假设h(x)的预测结果总是“+1”的情况下，让你求是多少？N=10+999990=1000000

=1/1000000*(0+1000*10)=0.01

因为每一次的预测都是“+1”，所以当yn=+1时没有任何的错误，所以error=0

而当yn=-1的时候预测结果还是“+1”，有10个点预测错误了，所以当yn=-1时就等于1000（权重）*10（犯错的个数）

阅读全文

0 0