机器学习——特征工程之独立成分分析ICA

一、简介

1、独立成分分析(ICA)的起源

独立成分分析（Independent Component Analysis），最早应用于盲源信号分离（Blind Source Separation，BBS）。起源于“鸡尾酒会问题”，描述如下：在嘈杂的鸡尾酒会上，许多人在同时交谈，可能还有背景音乐，但人耳却能准确而清晰的听到对方的话语。这种可以从混合声音中选择自己感兴趣的声音而忽略其他声音的现象称为“鸡尾酒会效应”。

2、独立成分分析是从盲源分离技术发展而来的一种数据驱动的信号处理方法, 是基于高阶统计特性的分析方法。

二、ICA的概念

1、独立成分分析目标是实现在海量数据中学习完备的单位正交基，即从线性混合信号中恢复基本源信号。

    a) ICA模型： 

 （表示被观测信号由独立的源信号通过混合矩阵A混合而成）

    b) 估计混合矩阵A和独立源信号s： 


2、假设条件

    a) 成分是统计独立的

    b) 独立成分是非高斯分布（高斯分布的独立等同于不相关，最多有且仅有一个高斯分布，即随机噪声）

    c) 未知的混合矩阵A是方阵

    d) 一般假设被观测到的信号数量不小于源信号的数量（噪声过大时，可作为独立源信号进行分析）

3、估计方法

    a) 非高斯最大化（负熵、高阶累积量——常用四阶累积量）

    b) 互信息最小化

    c) 最大似然估计

    d) KL散度

4、ICA的不确定性

    a) 幅值不确定性

    b) 分离信号的排列不确定性

三、ICA算法

1、假定每个

有概率密度

，给定时刻原信号的联合分布为 


2、求解 

 ： 


3、假定s的累积分布函数为sigmoid函数 


4、求导后 


5、采样后的训练样本 

 ，样本对数似然估计如下



6、似然函数对W求偏导，得梯度