时间序列分析1.基本数学概念

本文主要介绍时间序列分析中会用到的一些数学知识。

1.均值、方差、协方差、相关系数

1.1 期望

1.1.1 期望的定义

令X具有概率密度函数f(x),并且令(X,Y)对具有联合概率密度函数f(x,y)。

定义X的期望值为：E(X)=∫−∞∞xf(x)dx。

1.1.2 期望的性质

E(aX+bY+c)=aE(X)+bE(Y)+c

当X和Y相互独立时，E(XY)=E(X)E(Y)

1.2 方差

1.2.1 方差的定义

随机变量X的方差定义为：D(X)=E{[X−E(X)]2}，方差通常还记为Var(X)、μ2。

若X是离散型随机变量，则D(X)=∑∞k=1[xk−E(x)]2pk.

若X是连续型随机变量，则D(X)=∫∞−∞[x−E(x)]2f(x)dx

D(X)=E{[X−E(X)]2

=E{X2−2XE(X)+[E(X)]2}

=E(X2)−2E(X)E(X)+[E(x)]2

=E(X2)−[E(X)]2

1.2.2 方差的性质

D(aX+b)=a2D(X)

若X与Y相互独立，则D(X±Y)=D(X)+D(Y)

若X与Y不独立，则D(X±Y)=D(X)+D(Y)±2Cov(X,Y)

1.3 协方差

1.3.1 协方差的定义

Cov(X,Y)=E{(X−E(X))(Y−E(Y))}=E(XY)−E(X)E(Y)

1.3.2 协方差的性质

Cov(a+bX,c+dY)=bdCov(X,Y)

Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)

Cov(X,X)=D(X)

Cov(X,Y)=Cov(Y,X)

若X与Y相互独立，那么Cov(X,Y)=0

1.4 相关系数

1.4.1 相关系数的定义

X与Y的相关系数用Corr(X,Y)或者ρ表示，定义如下：

ρ=Corr(X,Y)=Cov(X,Y)Var(X)Var(Y))−−−−−−−−−−−−−√

1.4.2 相关系数的性质

−1≤Corr(X,Y)≤1

Corr(X,Y)=±1的充要条件是，存在常数a和b，使得Pr(Y=aX+b)=1.

相关系数如果为正号，则表示正相关，如果为负号，则表示负相关。通俗点说，正相关就是变量会与参照数同方向变动，负相关就是变量与参照数反向变动；

取值为0，这是极端，表示不相关。取值接近±1时说明线性相关程度强。

1.5 时间序列与随机过程

对于随机变量序列{Yt:t=0,1,2,3,...}称为一个随机过程，并以之作为观测时间序列的模型。

1.5.1 自协方差函数

γt,s=Cov(Yt,Ys),t,s=0,1,2,3,...

其中Cov(Yt,Ys)=E[(Yt−μt)(Ys−μs)]。

1.5.2 自相关函数

ρt,s=Cov(Yt,Ys),t,s=0,1,2,3,...

其中：

Corr(Yt,Ys)=Cov(Yt,Ys)Var(Yt)Var(Ys)−−−−−−−−−−−−−√=γt,sγt,tγs,s−−−−−√

1.5.3 重要结论

在研究不同时间序列的模型协方差的性质时，反复用到如下结论：如果c1,c2,c3,...cm和d1,d2,d3,...dn表示常数，t1,t2,t3,...tm和s1,s2,s3,...sn表示时间点，则有：

Cov[∑i=1mciYti,∑j=1ndiYsj]=∑i=1m∑j=1ncidjCov(Yti,Ysj)

2.平稳性

平稳性的基本思想是，决定过程特性的统计规律不随着时间的变化而变化。

2.1 严平稳

如果对于一切时间间隔k和时间点t1,t2,t3,...,tn，都有Yt1,Yt2,...,Ytn与Yt1−k,Yt2−k,...,Ytn−k的联合分布相同，则称过程{Yt}为严平稳。

2.2 弱平稳

2.2.1 弱平稳时间序列的条件

1.E(Yt)=μ，序列的均值应该是一个常数，而不是随时间变化的函数。下图中左图满足要求，而右图的均值是随时间而变化的。



2.Var(Yt)=γ，序列的方差为一个常数，而不随时间的变化。



3.Cov(Yt,Yt+k)=γ0,k,序列协方差的值只与时间间隔k有关，与时间t无关。



以上的三个条件必须全部满足，才能被称为弱平稳的时间序列。我们建立时间序列模型时必须要求时间序列是平稳的，这是因为我们用时间序列做预测时，我们的随机变量的基本特性必须能在包括未来阶段的一个长时期里维持不变，否则，基于历史和现状来预测未来的思路便是错误的。所以在时间序列建模时第一步就是要将不平稳的序列平稳化，可以采用差分等方法。

2.2.2 弱平稳时间序列的自相关系数

弱平稳序列的自相关系数：

ρk=Cov(xt,xt,k)Var(xt)Var(xt−k)−−−−−−−−−−−−−−√=Cov(xt,xt−k)Var(xt)=γkγ0

2.3 随机游动

令e1,e2,e3,...为均值为0，方差是σ2e的独立同分布的随机变量序列，观测时间序列Yt:t=1,2,3,...构造如下：

Y1=e1

Y2=e1+e2

...

Yt=e1+e2+e3

也可以写成：

Yt=Yt−1+et

其初始条件为Y1=e1，e指沿数轴（前向或后向）方向游动的步长大小，Yt是在时刻t，“漫步者”到达的位置。

对于所有的t:

均值：μt=0

方差：D(Yt)=tσ2e

自协方差：γt,s=tσ2e

自相关系数：ρt,s=γt,sγt,tγs,s√=ts−−√,1≤t≤s

可以看到，随机游动的方差、自协方差均是随时间线性增长的，所以随机游动不是平稳序列。

2.4 白噪声

如果序列{Yt}的所有观测值都是独立同分布的，而且他的均值μ和方差σ2都是有穷的常数，则该序列称为白噪声(white noise)或纯随机过程(purely random process)。

白噪声的三个条件：

1. 有限均值

2. 有限方差

3. 独立同分布

如果白噪声的分布是均值为0的正态分布，则{Yt}也称为高斯白噪声。

Pr(et1≤x1,et2≤x2,...,etn≤xn)

=Pr(et1≤x1)Pr(et2≤x2)...Pr(etn≤xn)(根据独立性)

=Pr(et1−k≤x1)Pr(et2−k≤x2)...Pr(etn−k≤xn)(同分布)

=Pr(et1−k≤x1,et2−k≤x2,...,etn−k≤xn)(根据独立性)

根据定义要求，显然白噪声是严平稳的。

参考资料

<Time Series Analysis with Applications in R>