斯坦福公开课Machine Learning笔记(十三)–ICA

这系列笔记其实已经手写好, 现在一次性发上来, 主要是怕丢. 内容以Andrew Ng的讲义为主,主要以公式推导与理解为主,引入和介绍省略.对于最后的Reinforcement Learning部分, 由于没有讲义以及对其实在不熟悉, 就没有笔记了(主要还是因为没有讲义).
我对这部分的理解还是不够

PCA本质是旋转找到新的基(basis)，即坐标轴，并且新的基的维数大大降低
ICA也是找到新的基，但是目的是完全不一样的，而且ICA是不会降维的

ICA的最经典问题就是鸡尾酒会问题:在鸡尾酒会上有很多人说话,我们放若干个话筒进行声音采样,是否可以分离出每个人独立的声音.
x(i)为i时间,n个采样器得到的声音数据.
s(i)为时间i,n个人真正发出的声音.
∴x=As
我们有了x,想要求s,那么只要求出A即可.
设w=A−1

∴s=wx

s(i)j=wTjx(i)

但是这样会求得很多w,只是因为音量不同.高斯分布时旋转对称的,所以s一定要是非高斯分布.
假设s(i)是独立的.

P(s)=∏ni=1Ps(si)=∏ni=1Ps(wTix)⋅|w|

这里通过假设CDF来求P:

F(z0)=P(z≤z0)=∫z0−∞Pz(z)dz

∴Pz(z)=F′(z)

这里sigmoid函数比较合适

Ps(s)=g′(s)

∴l(w)=∑mi=1(∑nj=1logg′(wTjx(i))+log|w|)

使用随机梯度下降法:

w:=w+α∇wl(w)

∇wl(w)=⎡⎣⎢⎢1−2g(wT1x)⋮1−2g(wTnx)⎤⎦⎥⎥+(wT)−1