深度学习算法：CD算法（Contrastive Divergence）

From： http://blog.csdn.net/qian2729/article/details/50542764

尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(Contrastive Divergence)。与Gibbs采样不同，Hinton指出，当使用训练数据初始化v0时，我们仅需要使用k（通常k＝1）步Gibbs采样就可以得到足够好的近似。在CD算法一开始，可见单元的状态被设置成一个训练样本，并利用以下公式计算隐藏层单元的二值状态，在所有隐藏单元状态确定了之后，根据下面公式2来确定每个可见单元取值为1的概率。进而得到可见层的一个重构。然后将重构的可见层作为真实的模型带入RBM的Δ中，就可以进行梯度下降算法了。
p(hi=1|v)=sigmoid(ci+Wiv)
p(vj=1|h)=sigmoid(bj+W′jh)RBM基于CD的快速学习算法主要步骤如下#输入：一个训练样本x0;隐藏层单元个数m,学习速率alpha,最大训练周期T#输出：链接权重矩阵W,可见层的偏置向量a
,隐藏层的偏置向量b#训练阶段：初始化可见层单元的状态为v1 = x0;W,a,b为随机的较小的数值
for t = 1:T for j = 1:m #对所有隐藏单元
P(h1j=1|v1)=sigmoid(bj + sum_i(v1i * Wij));
for i = 1:n#对于所有可见单元
p(v2i=1|h1)=sigmoid(ai + sum_j(Wij * h1j)
for j = 1:m #对所有隐藏单元
P(h2j=1|v2)=sigmoid(bj+sum_j(v2i*Wij))
W = W + alpha * (P(h1=1|v1)*v1 - P(h2=1|v2)*v2)
a = a + alpha * (v1 - v2)
b = b + alpha*(P(h1=1|v1) - P(h2=1|v2))

Code：http://blog.csdn.net/liugan5371375/article/details/51279490