马尔可夫链中两次转移的概率

Question

我已经掌握了马尔可夫模型的转移矩阵，但我仍然不太清楚如何进行一系列转移。考虑页面底部的马尔可夫链，其中 S = Sunny，C = Cloudy，R = Rainy。

我已经在 MATLAB 中设置了这个转换矩阵

A = [0.1 0.2 0.7; 0.4 0.3 0.3; 0.2 0.6 0.2]

    0.1000    0.2000    0.7000
    0.4000    0.3000    0.3000
    0.2000    0.6000    0.2000

现在为了查看转换的概率，为了方便起见，我做了以下变量

>> S = 1
>> R = 2
>> C = 3

您只需从 table 中查找即可找到单个转换的概率，例如从今天的雨天到明天的晴天就是

>> A(R,S)
ans = 0.4000

问题

我很难理解如何进行一系列转换。例如，如果今天是晴天，那么两天后多云的概率是多少？（所以基本上是两个过渡）我在想

>> A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C)
ans = 0.2700

基本上我找到了所有可能从晴天到多云的过渡。虽然麻烦，但这是正确的做法吗？

Answer 1

您的代码 A(S,S)*A(S,C) + A(S,R)*A(R,C) + A(S,C)*A(C,C)（即对所有可能的中间状态求和，或 Chapman-Kolmogorov equation）只是矩阵乘法：

A(S,:)*A(:,C)

通常，A2 = A^2 给出了所有此类双转换的概率，An = A^n 是 n 阶转换的概率（参见示例 here） .所以 A2(S,C) 是如果今天是晴天的话，今天后两天是多云的概率。

Probability of two transitions in Markov Chain