UFLDL学习笔记1（Sparse Autoencoder）

来源：互联网发布：从串口发送数据失败编辑：程序博客网时间：2024/05/12 13:44

最近在学习UFLDL Tutorial，这是一套关于无监督学习的教程。在此感觉Andrew Ng做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。

Sparse Autoencoder练习

说实话这一节我调了好几天才弄出来。期间一度想放弃从网上找代码，但最后还是坚持下来了。在此建议大家自己写代码，我的代码仅作为参考。如果自己写收获会非常多。

一共有三个.m文件要自己写，它们是sampleIMAGES.m, sparseAutoencoderCost.m, computeNumericalGradient.m。写的时候有如下tips：

（1）先写sampleIMAGES.m，这个最容易。

（2）再写computeNumericalGradient.m，这个是用来检查算法的。

（3）然后再写sparseAutoencoderCost.m，这个极容易写错。要时刻用computeNumericlaGradient.m来检查保证两个导数是相同的。

（4）调试时可以把输入层，隐层单元数弄少一点，方便调，也快。

sampleIMAGES.m代码：

[a,b] = size(IMAGES(:,:,1));    %获得图片高度宽度col = a / patchsize;row = b / patchsize;cnt = 1;for k = 1:10                    %一共10张图片    for j1 = 1:col        for i1 = 1:row            tmpM = IMAGES((j1-1)*patchsize+1:j1*patchsize, (i1-1)*patchsize+1:i1*patchsize, k); %用小块图片填充矩阵            patches(:,cnt) = reshape(tmpM,[],1);            cnt = cnt+1;        end    endendrand = randperm(cnt);           %生成不重复的随机数patches = patches(:,rand(1:numpatches));    %随机选择若干个小块

computeNumericalGradient.m代码：

L = length(theta);ep = 0.0001;EP = eye(L) * ep;for i1 = 1:L    numgrad(i1) = (J(theta+EP(:,i1)) - J(theta-EP(:,i1))) / (2*ep);end

最主要也是最难就是sparseAutoencoderCost.m代码了。这部分我用矩阵代替了所有的for，因此会比较晦涩难懂。

[dim,sampleN] = size(data);X = data;O2 = W1*X + b1*ones(1,sampleN);A2 = sigmoid(O2);O3 = W2*A2 + b2*ones(1,sampleN);A3 = sigmoid(O3);tmpM = (A3-X).*(A3-X);p = sum(A2,2) / sampleN;q = sparsityParam;kl = KL(q,p);E = 0.5 * sum(tmpM(:)) / sampleN + 0.5 * lambda * (sum(sum(W1.*W1)) + sum(sum(W2.*W2))) + beta * sum(kl);cost = E;dEdO3 = (A3-X).*A3.*(1-A3);dEdO2 = (W2'*dEdO3 + beta*(-q./p + (1-q)./(1-p)) * ones(1,sampleN)) .* A2 .* (1-A2);W2grad = dEdO3*A2' / sampleN + lambda*W2;b2grad = sum(dEdO3,2) / sampleN;W1grad = dEdO2*X' / sampleN + lambda*W1;b1grad = sum(dEdO2,2) / sampleN;

其中

function kl = KL(q, p)    kl = q * log(q./p) + (1-q) * log((1-q)./(1-p));end

一共有10幅训练图片，其中几幅如图：

运行大概需要几分钟，结果为

左图：不加正则项。

中图：加正则项，不加稀疏约束。

右图：加正则项，加稀疏约束。

由此可见，只有右图加了正则项和稀疏约束后才能获得正确的结果。

1 0