Markov Chain（bate）

定义：由连续的随机移动组成的路径，在数学上称为随机游走。马尔可夫链是随机游走中比较有代表性的一种。它是一个具有马尔科夫特性的随机过程，也就是说，无记忆性，即下一步移动只和当前状态有关，和历史状态或者移动无关。

每个移动又被称之为转移。所有状态组成状态空间。

不可约：一个马尔可夫链如果是一个单独的通信类，或者说从任何状态都有可能到达另一个状态，那么称该马尔可夫链为不可约的。

周期性：k=gcd{n>0:Pr(Xn=i|X0=i)}k=\text{gcd}\left\{n>0: Pr(X_n=i|X_0=i)\right\}gcd表示求最大公约数。\text{gcd}表示求最大公约数。

状态ii如果是暂态，即回不到状态ii的概率非0，否则称为循坏态（recurrent）。

如果一个不可约马尔科夫链是各态历经的，即它的每一个状态都是aperiodic的。

参考文献

markov chain （Wiki）