自回归模型的LMS学习曲线-神经网络与机器学习笔记3

对于自回归模型x(n)=ax(n−1)+ϵ(n)

a=0.99, σ2ϵ=0.02,σ2x=0.995

利用这个模型参数一组标准数据，然后使用LMS方法求解这个模型中的参数a

为了得到LMS学习曲线，我们将求解过程重复100次，并且每次产生不同的标准数据用于求解，得到100次学习后第n步的平均最小方差∑100i=1e2/100 ,来画学习曲线。

python代码如下：

import numpy as np
import matplotlib.pyplot as plt;
plt.close('all');
N=10000;#递归5000次
#生成方差为0.02，期望为0的噪音
var=0.02
eta = 0.001
sigma=np.sqrt(var)
#sigma=var;
E=[]
W=[]
ERR=[]
n=100 #外部迭代100次
for iter in range(0, n):
#产生随机数
np.random.seed(iter)
e=np.random.normal(0,sigma,N)
xi=[0]
for i in range(0,N):
xi.append(0.99*xi[i]+e[i])

#LMS学习过程
ee = []
xi0=0;k=0;M=5000; xi=xi[5000:N]
x0=k*xi0;
ee.append(xi[0]-x0)
k+=eta*ee[0]*x0;
for i in range(1, M):
xp=xi[i-1]*k;
ee.append(xi[i]-xp)
k+=eta*xi[i-1]*ee[i];

W.append(k)
E.append([eei**2 for eei in ee])
print iter
for p in range(0,len(E[0])):
sum=0
for q in range(0,len(E)):
sum+=E[q][p]
sum/=len(E)
ERR.append(sum)

plt.figure()
plt.semilogy(ERR)
plt.show()

运行结果如下：