1、目录目录目录v问题的提出问题的提出一、信号与随机变量间的关系一、信号与随机变量间的关系二、独立分量分析法二、独立分量分析法(ICA)的基本问题的基本问题三、独立分量分析法三、独立分量分析法(ICA)的历史与应用的历史与应用v数学准备v独立分量法具体算法问题的提出问题的提出：1、信号与随机变量间的关系、信号与随机变量间的关系一、信号与随机变量间的关系问题：随机变量X在实际中的体现？答：独立重复试验，得到试验样本集Xi。 由这组数据样本点可以估计出随机变量的各阶矩，近而估计出pdf（probability distribution function)等全部统计信息。问题的提出问题的提出：1、信号与
2、随机变量间的关系、信号与随机变量间的关系对一个信号X(t)：独立重复试验 抽样ti， i=1,2, N样本集 X(ti)因而信号X(t)可以看成是一个随机变量, 并可估算它的各阶矩，以及谈论它的pdf，独立、相关等统计特性。例如： 00.20.40.60.811.21.41.61.82-1-0.500.51Ni=11E=( )NiX(t)X tN2i=11D=( )E)NiX(t)X tX(t)问题的提出问题的提出：2、独立分量分析法的基本问题、独立分量分析法的基本问题v 假设源信号若干个统计上相互独立的信号组成的，它们在空间中形成交叠，独立分量分析(Independent Component
3、 Analysis，ICA)是借助于多个信道同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。信号源1( )s t2( )s t3( )s t( )Mst混合系统A观察信号1( )x t2( )x t3( )x t( )Mxt解混矩阵B估计信号1( )y t2( )y t3( )y t( )Myt1信 道2信 道3信 道n信 道(t)S(t)X(t)Yv 简化假设：1、A是线性系统，可用矩阵表示. (实际仿真时是随机阵)2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)信号源1( )s t2( )s t3( )s t( )Mst混合矩阵A观察信号1( )
4、x t2( )x t3( )x t( )Mxt解混矩阵B估计信号1( )y t2( )y t3( )y t( )Myt1信 道2信 道3信 道n信 道( )( )ttXAS( )( )ttYBXN点采样M NM MM NXASM NM MM NYBX问题的提出问题的提出：2、独立分量分析法的基本问题、独立分量分析法的基本问题问题的提出问题的提出：2、独立分量分析法的基本问题、独立分量分析法的基本问题信号的分离图像的分离图像的分离v 源图像v 混合后的图像v 分离后的图像 问题的提出问题的提出：3、独立分量分析法的基本问题、独立分量分析法的基本问题v几点说明：v1、解出来的Y只要求各分量独立，因
5、而解不是唯一的，可以有相移、次序颠倒、幅值变化等v2、要解出Y，需要对Y各分量是否独立进行判断。确切地说，需要找到某种判断函数G，使Y个分量独立时G(Y)达到最大或最小值。v3、由于独立判据函数G的不同，以及求解Y的步骤不同，有不同的独立分量分析法。问题的提出问题的提出：4、独立分量分析法的历史与应用、独立分量分析法的历史与应用v历史：v是盲信号处理的一种，是90年代后期发展起来的vICA是盲信号处理的一个组成部分，20世纪90年代后期(1986、1991)发展起来的一项新处理方法，最早是针对“鸡尾酒会问题”这一声学问题发展起来的v鸡尾酒会问题：从酒会的嘈杂的声音中，如何分辨出所关心的声音(
6、)S tH( )X t信道问题的提出问题的提出：4、独立分量分析法的历史与应用、独立分量分析法的历史与应用v 应用：盲分离问题的研究在短短的二十年时间里，已经取得显著的成效，也正因为信号盲分离技术具有如此广阔的应用前景，促使国内外广大的科研工作者迅速投身这一领域的研究，盲分离技术也因此获得了飞速的发展。然而，这一领域的研究工作还远不能满足工程的需要，特别在单路混叠信号的盲分离与应用方面，是一个基本的、极富挑战性的研究课题。 v 信号处理码分多址通信，雷达信号分选等v 生物医学心电图(胎儿)，脑电图等v 图像处理图像压缩，数字识别，图像融合等v 其他地震勘探、遥感遥测等，总之包含了信息、通讯、生
7、命、材料、电力、机械、化学等各个学科模型与假定模型与假定v 设某个混合系统由个k传感器和m个信号源组成，其混合模型可以表述如下：v v 为了保证上式的可分解性。需有如下的假设限制（约束条件） ：v 1.每个源信号之间是统计独立的，其联合概率密度函数可分解为边缘密度的乘积。v 2.混合矩阵 ,为列满秩的矩阵，即rank( )= 。v 3.在 的分量中，服从高斯分布的分量不超过一个。v 分离结果的不确定性：分离结果的不确定性：v 1：幅值的不确定性；2：排列次序的不确定性12 ( ), ( ), ( )Tks t s ts ts12 ( ), ( ), ( )Tks t s ts ts12 ( )
8、,( ),( )Tmx t x tx tx(t)=(t)xAs121122( ,.,)( )().()nnnP s ssp s p sp sm nARm nARA Ak( )s t目录目录目录v问题的提出v预备知识预备知识一、统计数学知识一、统计数学知识二、信息论基本知识二、信息论基本知识三、三、概率密度函数的展开概率密度函数的展开四、信号通过线性系统信息特征的变化四、信号通过线性系统信息特征的变化v独立分量法介绍v总结与展望预备知识：一、统计数学知识预备知识：一、统计数学知识v1、特征函数v2、第二特征函数 各分量独立时：( )( )j xj xp x edxE e ( )log ( )ss
9、( )( )TTjjpedE e x xxxsj( ) s( )s替换( )log ( )ss单变量多变量单变量多变量=1( )=( )Miiss=1( )=( )Miiss预备知识：一、统计数学知识预备知识：一、统计数学知识3、矩 n阶矩：v4、累计量 n阶累计量：0( )()nnnsndsmE xds0( )nnsndskds11km2221kmm33321132kmm mm24423134kmmm m24211126m mm期望方差单变量多变量121212,012( ),MMMnnnnsssnnnMMssss1Mnnn单变量121212,012( ),MMMnnnnsssnnnMKsss
10、s1Mnnn（联合矩）多变量（联合累计量）预备知识：一、统计数学知识预备知识：一、统计数学知识v 当各分量独立时：只有 中一个非零，其他皆为零时，不为零。即互累计量为零。(可作为检验独立的一个判据)121212,012( ),MMMnnnnsssnnnMKssss1Mnnn12,Mn nn12,MnnnK预备知识：二、信息论基本知识预备知识：二、信息论基本知识1、熵 信号中平均所含有的信息量。随机信号 单变量： 多变量： 联合熵： 各分量独立时：在协方差矩阵相同的概率密度函数中，高斯分布的熵最大。( )( )log( )(log( )H xp xp x dxEp x ( )( )log( )(
11、log( )HppdEp xxxxx1( )( )NiiHH xxxx预备知识：二、信息论基本知识预备知识：二、信息论基本知识2、Kullback-Leibler散度 两个概率密度函数间相似程度的度量。概率密度函数：p(x),q(x) 单变量： 多变量： 特点：( ) ( ), ( )( )log( )p xKL p x q xp xdxq x( ) ( ), ( )( )log( )pKL pqpdqxxxxxx ( ), ( )0KL p x q x( )( )KLp xq x=0,0KL ( ), ( )KL ( ), ( )pqpqyBx Byyxx预备知识：二、信息论基本知识预备知识
12、：二、信息论基本知识3、互信息 可见 ，当仅但当各分量独立时， 互信息是各分量独立程度的最直接的量度！ =1( ) ( ),( )NiiIKL pp xxx( )0Ix( )0Ix预备知识：二、信息论基本知识预备知识：二、信息论基本知识4、负熵 任意概率密度函数p(x)pG(x): 与p(x) 其具有相同协方差阵的高斯分布因为在协方差矩阵相同的概率密度函数中，高斯分布的熵最大，所以负熵非负。负熵用来度量p(x)的非高斯程度。非高斯性另一种衡量方法：四阶累计量k4,峰度(kurtosis)，单变量。 |k4| 高斯信号k4 =0 k4 0,超高斯 k4 0,亚高斯 ( )=KL ( ),( )(
13、 )( )GGJ p xp x pxHxH x11()()()log2detiNiixxxiVI pJ pJ pVV是协方差阵预备知识预备知识：三、：三、概率密度函数的展开概率密度函数的展开v高阶统计量形式：设x零均值，方差1（白化数据）vEdgeworth展开vGram-Charlier展开3434( )1( )( )( )3!4!Gp xkkHxHxpx ( ),nH x Hermite多项式2232344341 ( )47648J p xkkkk k2242343341 ( )431848J p xkkkk k缺点：大值野点会引起较大误差预备知识预备知识：三、：三、概率密度函数的展开概率
14、密度函数的展开v非多项式函数的加权和形式：文献提到，当 与标准高斯分布 相差不太大时， 可用若干个非多项式函数 的加权和来逼近： 需要满足以下条件：(1)、正交归一性(2)、矩消失性( )p y( )Gpy( )p y(i)( )(1)Fy iN( )1( )( )1( )NiGiip ypycFy(i)( )Fy( )( )( )0,0,1,2kiGpy y Fy dyk( )( )( )( )( )ijGijpy Fy Fy dy探查性投影追踪探查性投影追踪为了使近似性能较好，F(y)除了上述性质外，最好能有以下性质： (1)、统计特性EF(y)不难求得(2)、当y增大时，F(y)的增长速
15、度不能快于 ，以使EF(y)对野点不太敏感。通常N取1或2。有以下函数形式可用：2y(1)( ):Fy1logcoshaya2(/2)yye12,1aa通常取(2)( ):Fy2(/2)yey预备知识：四、信号通过线性系统信息特征的变化预备知识：四、信号通过线性系统信息特征的变化v信号通过线性系统v熵关系： |B|=1，即系统正交归一时，熵不变vKL散度关系： |B|=1，即系统正交归一时，KL散度为0( ) txB( )( )ttyBx线性系统( )( )logHHyxB ( ), ( )logKL ppxyB预备知识：四、信号通过线性系统信息特征的变化预备知识：四、信号通过线性系统信息特征
16、的变化v互信息关系：v负熵关系： ( )= ( )J pJ pyx11( )( )log( )( )NNiiiiI yI xH yH xB( , )( )()( )()I x yH yH y xH xH x y目录目录目录v问题的提出v数学准备v独立分量法具体算法独立分量法具体算法一、主要步骤一、主要步骤二、各类二、各类ICA算法简介算法简介三、三、Fast ICA算法算法v总结与展望目录：独立分量法具体算法目录：独立分量法具体算法v独立分量法具体算法一、主要步骤一、主要步骤二、各类ICA算法简介三、Fast ICA算法独立分量法具体算法独立分量法具体算法：一、：一、主要步骤主要步骤v独立分量
17、分析： 对交叠信号X，求解混矩阵B，使Y=BX各分量尽量相互独立。独立判据函数G。主要步骤：v预处理部分（简化计算）v核心算法部分独立分量法具体算法独立分量法具体算法：一、：一、主要步骤主要步骤v预处理部分：v1、对X零均值处理 v2、球化分解（白化）即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ=I意义：消除原始各道数据间二阶相关(?)，以后只需要考虑高阶矩量(因为独立时各阶互累积量为0)，使很多运算过程简化。注意：各道数据间不相关，不一定独立，除非是高斯信号独立分量法具体算法独立分量法具体算法: 一、一、主要步骤主要步骤主成分分析与球化主成分分析与球化协方差矩阵：特征值分解： U:特征向
18、量矩阵，正交归一，每一列称为一特征向量:特征值对角矩阵，可排序：特征值代表分量功率大小。P中各行正交，称为X的主分量，且可见各行能量从大到小排列可以选择能量大的主分量代表X，此即为主成份分析的由来。TXCXX12,M DiagT UU120M12 ,MUu uu=iiiXC uuT1MiiiiXCu uTPU XTPP独立分量法具体算法独立分量法具体算法: 一、一、主要步骤主要步骤主成分分析与球化主成分分析与球化取球化阵：可见：满足球化条件！1/2T1/2ZSXU XP1/2TSUT1/2TT1/21/2TT1/2ZZU X X UU UU UICompanyLOGO精品课件精品课件！CompanyLOGO精品课件精品课件！作业作业v完成对一段信号（录制自己的语言信号） 的去均值、预白化处理。vload X wavread Xvfeatures=X；vr,c= size(features);v%对数据进行预白化，使之为0均值vfeatures = features - mean(features)*ones(1,c);vE, D= eig(cov(features,1);vV= E*inv(sqrtm(D)*E;vz = V*features;
