本文摘要：人工智能机器学习有关算法内容，请求参看公众号“科技优化生活”之前涉及文章。人工智能之机器学习主要有三大类:1)分类;2)重返;3)聚类。 今天我们重点探究一下ICA算法。^_^ICA独立国家成分分析是近年来经常出现的一种强有力的数据分析工具（HyvarinenA,KarhunenJ,OjaE,2001;RobertsSJ,EversonR,2001）。

人工智能机器学习有关算法内容，请求参看公众号“科技优化生活”之前涉及文章。人工智能之机器学习主要有三大类:1)分类;2)重返;3)聚类。

今天我们重点探究一下ICA算法。^_^ICA独立国家成分分析是近年来经常出现的一种强有力的数据分析工具（HyvarinenA,KarhunenJ,OjaE,2001;RobertsSJ,EversonR,2001）。

1994年由Comon得出了ICA的一个更为严苛的数学定义，其思想最先是由Heranlt和Jutten于1986年明确提出来的。ICA从经常出现到现在虽然时间不宽，然而无论从理论上还是应用于上，它于是以受到更加多的注目，沦为国内外研究的一个热点。ICA独立国家成分分析是一种用来从多变量（多维）统计数据里寻找说明了的因素或成分的方法，被指出是PCA主成分分析(请求参看人工智能（46）)和FA因子分析的一种拓展。

对于盲源分离出来问题，ICA是所指在只告诉混合信号，而不告诉源信号、噪声以及混合机制的情况下，分离出来或近似于地分离出源信号的一种分析过程。ICA算法概念：ICA（IndependentComponentAnalysis）独立国家成分分析是一门统计资料技术，用作找到不存在于随机变量下的隐性因素。ICA为给观测数据定义了一个分解模型。

在这个模型中，其指出数据变量是由隐性变量，经一个混合系统线性混合而出，这个混合系统不得而知。并且假设潜在因素归属于非高斯分布、并且互相独立国家，称作可观测数据的独立国家成分。ICA与PCA涉及，但它在找到潜在因素方面效果较好。

它可以应用于在数字图像、档文数据库、经济指标、心里测量等。ICA算法本质：ICA是找到包含信号的互相独立国家部分(不必须向量)，对应高阶统计资料量分析。ICA理论指出用来观测的混合数据阵X是由独立国家元S经过A线性权重取得。

ICA理论的目标就是通过X求出一个分离出来矩阵W，使得W起到在X上所取得的信号Y是独立国家源S的最优逼近，该关系可以通过下式回应：Y=WX=WAS，A=inv(W)ICA比起与PCA更加能刻画变量的随机统计资料特性，且能诱导高斯噪声。从线性代数的角度去解读，PCA和ICA都是要寻找一组恩，这组基张成一个特征空间，数据的处置就都必须同构到新的空间中去。ICA理论基础：ICA理论基础如下：1）标准向量基2）白化3）梯度上升ICA目标函数:ICA的目标函数如下：样本数据x经过参数矩阵W线性变换后的结果的L1范数，实质上也就是叙述样本数据的特征。

重新加入标准向量性约束（orthonormalityconstraint）后，ICA独立国家成分分析相等于解法如下优化问题：这就是标准向量ICA的目标函数。与深度自学中的一般来说情况一样，这个问题没非常简单的解析解法，因此必须用于梯度上升来解法，而由于标准向量性约束，又必须每次梯度上升递归之后，将新的恩同构返向量恩空间中，以此确保向量性约束。ICA优化参数:针对ICA的目标函数和约束条件，可以用于梯度上升法，并在梯度上升的每一步中减少投影（projection）步骤，以符合标准向量约束。过程如下：ICA算法流程：未知信号为S，经混合矩阵转换后的信号为：X=AS。

对交错信号X，解法混合矩阵B，使Y=WX各分量尽可能互相独立国家。解法W的过程不一定是近似于A的逆矩阵，Y也不是信号S的近似于，而是为了使Y分量之间互相独立国家。

目的就是指仅有的观测数据X抵达找寻一个解法混合矩阵。少见的方法：InfoMax方法（用神经网络使信息最大化），FastICA方法（固定点算法，谋求X分量在W上投影（W^t）*X）的非高斯最大化。主要算法流程如下：1、预处理部分：1）对X零均值处置2）球化分解成（白化）乘球化矩阵S，使Z=SX各行向量归一，即ZZ’=I2、核心算法部分：谋求解混矩阵U，使Y=UZ，Y各道数据尽量独立国家（独立国家状态方程函数G）。1)、由于Y独立国家，各行无以向量。

且一般来说所取U维持Y各行方差为1，故U是正交变换。2)、所有算法预处理部分完全相同，以后都另设输出的为球化数据z，找寻正交矩阵U，使Y=Uz独立国家。

由于独立国家状态方程函数G的有所不同，以及步骤有所不同，有有所不同的独立国家分量分析法。3、FastICA算法思路：思路：归属于探查性投影跟踪目的：输出球化数据z，经过向量阵U处置，输入Y=Uz1）输出球化数据z，经过向量阵某一行向量ui处置（投影），萃取出有某一独立国家分量yi。2）将此分量除去，按次序依序萃取下去，获得所有的yi，以及ui。3）获得独立国家的基向量UU＝WXFastICA算法程序如下：function[Out1,Out2,Out3]=fastica(mixedsig,varargin)%FASTICA(mixedsig)estimatestheindependentcomponentsfromgiven%multidimensionalsignals.Eachrowofmatrixmixedsigisone%observedsignal.%=FASTICA(mixedsig);therowsoficasigcontainthe%estimatedindependentcomponents.%=FASTICA(mixedsig);outputstheestimatedseparating%matrixWandthecorrespondingmixingmatrixA.mixedsig为输出向量，icasig为解法的基向量。

A即为混合矩阵，可以检验mixedsig=A×icasig。W即为解混矩阵，可以检验icasig=W×mixedsig。

ICA算法优点：1）发散速度快。2）分段和产于计算出来，拒绝内存小，更容易用于。

3）能通过用于一个非线性函数g之后能必要找到任何非高斯分布的独立国家分量。4）需要通过自由选择一个必要的非线性函数g而使其超过最佳化。尤其是能获得大于方差的算法。

5）仅有必须估算几个（不是全部）独立国家分量，能很大地增大计算出来量。ICA算法缺点：1)特征矩阵W的特征数量（即基向量数量）小于原始数据维度不会产生优化方面的艰难，并造成训练时间过长；2)ICA模型的目标函数是一个L1范数，在0点处不能微，影响了梯度方法的应用于。

录：尽管可以通过其他非梯度上升方法避免缺点2），也可以通过用于近似值“光滑”L1范数的方法来解决问题，即用于(x2+ε)1/2替换|x|，对L1范数展开光滑，其中ε是“光滑参数”（smoothingparameter）。ICA与PCA区别：1）PCA是将原始数据降维并萃取出有不相关的属性，而ICA是将原始数据降维并萃取出有互相独立国家的属性。

2）PCA目的是寻找这样一组分量回应，使得重构误差大于，即最能代表原事物的特征。ICA的目的是寻找这样一组分量回应，使得每个分量最大化独立国家，需要找到一些隐蔽因素。由此可见，ICA的条件比PCA更加强劲些。

3）ICA拒绝寻找仅次于独立国家的方向，各个成分是独立国家的；PCA拒绝寻找仅次于方差的方向，各个成分是向量的。4）ICA指出观测信号是若干个统计资料独立国家的分量的线性组合，ICA要做到的是一个解混过程。而PCA是一个信息提取的过程，将原始数据降维，现沦为ICA将数据标准化的预处理步骤。ICA算法应用于：从应用于看作，ICA应用领域与应用于前景都是非常广阔的，目前主要应用于盲源分离出来、图像处理、语言识别、通信、生物医学信号处理、脑功能光学研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。

结语:ICA是一种常用的数据分析方法，是聋信号分析领域的一个强有力方法，也是求非高斯分布数据说明了因子的方法。从样本-特征看作，用于ICA的前提条件是，指出样本数据由独立国家非高斯分布的说明了因子产生，说明了因子个数相等特征数，拒绝的是说明了因子。ICA算法早已被普遍应用于盲源分离出来、图像处理、语言识别、通信、生物医学信号处理、脑功能光学研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域。

本文来源：333体育官网平台-www.theshadesofgrace.com