[机器学习]（九）cs229之独立分量分析

这篇博客记录了学习独立成分分析的过程，方便以后查询。

一、引言

参考文献《独立成分分析方法综述》（杨竹青等）《独立成分分析基本原理与发展》（卜涛）。独立成分分析最开始是解决盲信号处理的盲源分离问题，其中典型的例子是“鸡尾酒会”例子：假想一下, 在一个房间里的不同位置放着两个麦克风, 同时有两个人说话. 两个麦克风能同时记录下两个时间信号, 仅用这两个记录的信号来估计出原来的两个语音信号,称作鸡尾酒会问题。

二、模型的定义

一幅图可以很形象地说明上面的论述：

三、ICA算法的研究

第二部只是讲了ICA模型的框架，但是应该如何仅通过x来求解混系统呢？ICA算法的研究可分为基于信息论准则的

迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息

论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算

法, Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。

这部分内容涉及到比较多的数学理论，我只是大概浏览了一遍。

四、fastica算法

参考网上的文章《基于负熵最大化的FastICA算法》，里面涉及到算法的推导，我只是勉强可以看懂，然后下面贴出

算法的流程和matlab源代码：

相关的matlab程序如下：经测验可以运行

%下程序为ICA的调用函数，输入为观察的信号，输出为解混后的信号function Z=ICA(X)%-----------去均值---------[M,T] = size(X); %获取输入矩阵的行/列数，行数为观测数据的数目，列数为采样点数      average= mean(X')';  %均值for i=1:M    X(i,:)=X(i,:)-average(i)*ones(1,T); end%---------白化/球化------Cx = cov(X',1);    %计算协方差矩阵Cx[eigvector,eigvalue] = eig(Cx); %计算Cx的特征值和特征向量W=eigvalue^(-1/2)*eigvector';   %白化矩阵Z=W*X;   %正交矩阵 %----------迭代-------Maxcount=10000;        %最大迭代次数Critical=0.00001;   %判断是否收敛m=M;                %需要估计的分量的个数W=rand(m);for n=1:m    WP=W(:,n);  %初始权矢量（任意）%     Y=WP'*Z;%     G=Y.^3;%G为非线性函数，可取y^3等%     GG=3*Y.^2;  %G的导数    count=0;    LastWP=zeros(m,1);    W(:,n)=W(:,n)/norm(W(:,n));    while abs(WP-LastWP)&abs(WP+LastWP)>Critical        count=count+1;   %迭代次数        LastWP=WP;      %上次迭代的值       % WP=1/T*Z*((LastWP'*Z).^3)'-3*LastWP;        for i=1:m            WP(i)=mean(Z(i,:).*(tanh((LastWP)'*Z)))-(mean(1-(tanh((LastWP))'*Z).^2)).*LastWP(i);        end        WPP=zeros(m,1);        for j=1:n-1            WPP=WPP+(WP'*W(:,j))*W(:,j);        end        WP=WP-WPP;        WP=WP/(norm(WP));                if count==Maxcount            fprintf('未找到相应的信号');             return;         end    end    W(:,n)=WP;endZ=W'*Z;end

clc,clear;N=200;n=1:N;%N为采样点数s1=2*sin(0.02*pi*n);%正弦信号t=1:N;s2=2*square(100*t,50);%方波信号a=linspace(1,-1,25);s3=2*[a,a,a,a,a,a,a,a];%锯齿信号s4=rand(1,N);%随机噪声S=[s1;s2;s3;s4];%信号组成4*NA=rand(4,4);X=A*S;%观察信号 %源信号波形图figure(1);subplot(4,1,1);plot(s1);axis([0 N -5,5]);title('源信号');subplot(4,1,2);plot(s2);axis([0 N -5,5]);subplot(4,1,3);plot(s3);axis([0 N -5,5]);subplot(4,1,4);plot(s4);xlabel('Time/ms');%观察信号（混合信号）波形图figure(2);subplot(4,1,1);plot(X(1,:));title('观察信号（混合信号）');subplot(4,1,2);plot(X(2,:));subplot(4,1,3);plot(X(3,:));subplot(4,1,4);plot(X(4,:)); Z=ICA(X); figure(3);subplot(4,1,1);plot(Z(1,:));title('解混后的信号');subplot(4,1,2);plot(Z(2,:));subplot(4,1,3);plot(Z(3,:));subplot(4,1,4);plot(Z(4,:));xlabel('Time/ms');

五、在图像处理中的用途

这里先讲ICA用于提取图像特征的用法，看到有关于ICA提取人脸特征，进行人脸识别的代码。在这里，ICA算法与

PCA类似，先通过fastica算法计算出w，然后用训练集和测试集分别与w相乘（提取特征），最后通过分类器比较提取的

特征，从而完成识别和分类的过程。但要注意的是，形式上是与PCA类似的，但理论分析上，貌似ICA要比PCA高级一点，

因为主成分分析和奇异值分解是基于信号二阶统计特征的分析方法，而ICA是基于信号告诫统计特性的分析方法，经过ICA

分解出的各信号分量之间是相互独立的。