转移概率

马尔可夫链中的重要概念

转移概率是马尔可夫链中的重要概念，若马氏链分为m个状态组成，历史资料转化为由这m个状态所组成的序列。从任意一个状态出发，经过任意一次转移，必然出现状态1、2、……，m中的一个，这种状态之间的转移称为转移概率。

定义

给定马氏链于某时刻处于一状态,再经若干时间将到达另一状态的条件概率。设{Xn,n≥0}为离散时间马尔可夫链。对任何m≥0,n≥1,i,j∈E,令

(m,m+n)=P {Xm+n=j|Xm=i}

称pij(m,m+n) 为链于m时在i,再经n步转移到j的转移概率,简称n步转移概率。特别,一步转移概率为pij(m,m+1)。如果以pij(m,m+n) 作为矩阵P (m,m+n)的第i行第j列元素,则P (m,m+n)称为马氏链的n步转移阵。当E的有限集时,它是一个普遍方阵; 当E为可列无穷集时,它是一个有可列无穷多个行及列的矩阵。

转移概率有如下基本性质:

2. 对一切m,n, i有 pij(m, m+n)=1。

一步转移概率

对于马氏链，描述其概率性质的最重要的概念是它在时刻m的一步转移概率．

1)定义称条件概率P{X(m+1)=j∣X(m)=i}(i，j∈I，I为状态空间)为马氏链{X(n)，n≥o}在时刻m从状态i到状态j的一步转移概率，记为

Pij(m)，即有

2)转移概率矩阵和随机矩阵

定义若I={0，1，2，......},称矩阵

为转移概率矩阵。

一步转移概率Pij(m)表示在时刻m及X(m)取值i的条件下，在下一时刻

m+l，X(m+1)取值转移到j的概率．

显然，Pij(m)满足以下两个性质：

①o≤Pij(m)≤l，i∈I．

② Pij(m)≤l，i∈I．

转移概率矩阵P(m)是一个具有非负元素的方阵，并且其各行元素之和都等

于1．凡是满足上述两个条件的矩阵，统称为随机矩阵或马尔可夫矩阵．

k步转移概率

一般地，还可以定义时刻m的k步转移概率．

定义:条件概率

称为马氏链{X(n)}在时刻m的k步转移概率。称矩阵

为k步转移概率矩阵。

k步转移概率 (m)表示在时刻m及X(m)处于状态i的条件下，经过k(k≥1)步到达状态j的转移概率．显然 (m)也是一个随机矩阵．

当k=1时，有 (m)= (m)， (m)=P(m)．

通常规定

应用举例

例1 在只传输数字0和1的串联系统中(一般称0-1传输系统)，设每一级的传真率(输出与输人数字相同的概率称为系统的传真率，相反情况称为误码率)为p，误码率为q=1一p，并设一个单位传输一级：是第一级的输入，是第n级的输出(n≥1)，那么{ ，n=0，1．2，…)是一个随机过程，状态空间I={0，1}，且当 =i(i∈I为已知时，所处状态的概率分布只与 =i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，它的一步转移概率和一步转移概率矩阵分别为

例2 带一维不可越壁的随机游动和带吸收壁的随机游动，设线段[1，5]上有一个质点，假定它只能停留在1，2，3，4，5点，并且只能在t1，t2，…时刻发生随机移动．移动规则是：移动前若在2，3，4点，则均以1/3的概率向左或向右移动一格或停留原处；若移动前在l点上，则以概率1移到2点；若移动前在5点上，则以概率1移到4点．以X(n)=i(i=1，2，3，4,5)表示质点在时刻位于i点，则质点位置{X(n)}是一个马氏链，状态空间I={1，2，3，4,5)．其转移概率如图1所示．

转移概率矩阵为

注意：状态空间有多大，其转移概率矩阵的阶数就有多大．在本例游动问题中，质点不能越过1和5点，称为带一维不可越壁的随机游动．改变游动的概率法则(即转移概率)，就有不同类型的随机游动过程．

例如，在上述的随机游动中，质点一旦到达1或5就不动了，而其余的游动规则不变，则称为带吸收壁的随机游动．它也是一个马氏链，其转移概率矩阵为

其第1行是(1，0，0，0，0)，第5行是(0，0，0，0，1)，这是吸收壁的特征．对于具有吸收壁的随机游动，当质点处于吸收壁时，称过程处于吸收状态，而称其余状态过程处于非吸收状态．

注意：i为吸收状态，当且仅当对于任意n，有Pij(n)=1．

例3 (排队模型)设服务系统由一个服务员和只可以容纳2个人的等待室组成，服务规则是先到先服务(FCFS)，后来者需在等待室依次排队，假定一个需要服务的顾客到达系统时发现系统内已有3个顾客(一个正在接受服务，二个在等候室排队)，则该顾客即离去(损失制)．设时间间隔Δt有一个顾客进入系统的概率为q，一个原来被服务的顾客离开系统(即服务完毕)的概率为p，又设当Δt充分小时，在这段时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的，现用马氏链来描述这个服务系统．

设 =X(nΔt)表示时刻nΔtt时系统内的顾客数即系统的状态，{ ，n=0，1，2，…)是一随机过程，状态空间I={0，1，2，3}，仿前分析，它是一个马氏链．现计算此马氏链的一步转移概率．

为在系统内没有顾客的条件下，经△t后仍没有顾客的概率(此处是条件概率，以下同)， =1一q．

为系统内没有顾客的条件下，经△t以后进入一个顾客的概率， =q．

为系统内恰有一个顾客正在接受服务的条件下，经△t后系统内无人的概率，它等于在△t间隔内顾客因服务完毕而离去，且无人进入系统的概率， =p(1一q)．

为系统内恰有一个顾客的条件下，在△t间隔内因服务完毕而离去，而另一个顾客进入系统；或者正在接受服务的顾客继续要求服务，且无人进入系统的概率， =pq+(1-p)(1-q).

为正在接受服务的顾客继续要求服务，且△t间隔内另一个顾客进入系统的概率， =(1一p)q．

为正在接受服务的顾客继续要求服务，且在△t间隔内有2个顾客进入系统的概率，由假设可知，后者实际上是不可能发生的，故有 =0．

类似地，有

= =p(1一q)，

=pq+(1一p)(1一q)，

=q(1一p)， =0(|i﹣j∣≥2)．

为一个顾客因服务完毕离去且另一个顾客进入系统，或者无人离开系统的概率， =pq+(1一p)．