ICA（1）

前提背景：

几天前，一位和蔼可亲的老师给了我一份ICA资料，事情是这样的……

当时正纠结于信号去噪的问题，导师让我写一篇与此相关的论文，我没按时完成任务，这不，一直在纠结呢，然后最近在翻译一些书，然后一次偶然的机会，我就向一位老师问起这个问题了：小波变换用于去噪有一个常规思路就是，

信号->小波变换->挑选系数

挑选系数：区分哪些是信号，哪些是噪声，用信号小波分解系数来重构，从而达到去噪的目的。

然后经过讨论，老师提到到ICA。我如发现宝藏一般，两眼放光。然后估计老师看我求知若渴，就直接给我一份资料。

主要内容：

ICA主要是针对几个问题提出来的，这几个问题中最让我难忘的就是鸡尾酒会问题，其实归根结底是盲源分离。

ICA最根本的思想就是把一个混合物，看成是一个个纯净物组合而成，但注意，这里不是化合物不发生化学反应哈……

然后揭示了一个纯净物组合成混合物的方法，整体信号：Y=AX;单个信号点：yi=Aixi整体信号：Y=AX;单个信号点：y^i=A^ix^i，这个表示有没有觉得很熟悉？对的！和稀疏表示好相似！

然后开始推倒这个A的求法，用的是最大似然的思想。由于高斯分布的信号是不能用ICA方法进行分离，而日常生活中所碰到的大部分信号都有自己稳定的信号分布规则，不般不呈现高斯分布。

理由：若为高斯分布，令 R是正交阵 。如果将 A替换成 A’。y分布没变，因此 x仍然是均值为 0，协方差E(x′(x′))=E(A′yyT(A′)T)=E(ARyyT(AR)T)=AATE(x'(x'))=E(A'yy^T(A')^T)=E(ARyy^T(AR)^T)=AA^T

因此，不管混合矩阵是 A还是 A’，x的分布情况是一样， 那么就无法确定混合矩阵也

所以可以通过这一点来判别信号，然后延伸到了衡量信号是否为高斯分布的问题上，有这样一些判别方法，峭度系数(正态分布的峭度为3)，还有最大熵（正态分布具有最大熵）。

kurtosis：kurt(y)=E(y4)−3(E(y2))2kurt(y)=E(y^4)-3(E(y^2))^2

负熵：J(y)=H(ygauss)−p(x)logp(x)J(y) = H(y_{gauss})-p(x)logp(x)

然后假设信号服从sigmod分布

g(s)=11+e−sg(s)=\frac1{1+e^{-s}}推导了一些公式，

1）从p(y)推导p(x);Fx(x)=P(X≤x)=P(Ay≤x)=P(y≤Wx)=Fy(Wx)p(x)=F′x(x)=F′y(Wx)=|W|P(y)=|W|∏i=1TP(yi)F_x(x)=P(X\le x)=P(Ay\le x)=P(y\le Wx)=F_y(Wx)\\p(x) = F'_x(x)=F'_y(Wx)=|W|P(y)=|W|\prod_{i=1}^TP(y^i)

2)由p(x)代入负熵的公式得似然函数；l(w)=∑i=1m(∑j=1nlog′(wTjxi)+log|w|)l(w)=\sum_{i=1}^m(\sum_{j=1}^nlog'(w_j^Tx^i)+log|w|)

3）似然函数求导得目标函数；⎛⎝⎜⎜⎜⎜⎜1−2g(WT1X(i))1−2g(WT2X(i))⋮1−2g(WTnX(i))⎞⎠⎟⎟⎟⎟⎟+(WT)−1\begin{pmatrix}
1-2g(W_1^TX^{(i)})\\
1-2g(W_2^TX^{(i)})\\
\vdots\\
1-2g(W_n^TX^{(i)})
\end{pmatrix}+(W^T)^{-1}

最后最大化目标函数，这就是最大似然函数方法的基本思路，但到了这里，我遇到一个问题，就是迭代，原文公式如下；W：=W+α⎛⎝⎜⎜⎜⎜⎜⎛⎝⎜⎜⎜⎜⎜1−2g(WT1X(i))1−2g(WT2X(i))⋮1−2g(WTnX(i))⎞⎠⎟⎟⎟⎟⎟+(WT)−1⎞⎠⎟⎟⎟⎟⎟W：=W+\alpha
\left( \begin{pmatrix}
1-2g(W_1^TX^{(i)})\\
1-2g(W_2^TX^{(i)})\\
\vdots\\
1-2g(W_n^TX^{(i)})
\end{pmatrix}+(W^T)^{-1}\right)

解释是后面的w是上次的结果，前面的w是更新后的结果。w需要赋初值。稍微有点糊涂。因为一般情况难道不是，用EM算法对上面的目标函数最大化么？然后这个迭代的过程放到这里，我反而有点晕了，后来给自己的解释是，这个式子相当于告诉我们如何获取最优值，就好像说，是类似于EM的核心。

最后感谢z老师，感谢您给的资料~

学习的过程中，我再次感到数学知识的不足，遇到了一个矩阵求导，不明不白，越看越晕。这个局面我要在未来一年内打破！

shsf！