给定 5 个状态的马尔可夫链的转移矩阵，找到第一次通过时间和重复时间
Given transition matrix for Markov chain of 5 states, find first passage time and recurrence time
马尔可夫链的转移矩阵：
0.5 0.3 0.0 0.0 0.2
0.0 0.5 0.0 0.0 0.5
0.0 0.4 0.4 0.2 0.0
0.3 0.0 0.2 0.0 0.5
0.5 0.2 0.0 0.0 0.3
这是一个状态为 {1,2,3,4,5} 的转移矩阵。状态 {1,2,5} 是反复出现的，状态 {3,4} 是短暂的。我怎么能（不使用基本矩阵技巧）：
- 计算首先return到状态 1 所需的预期步数，条件是从状态 1 开始
- 计算首次到达任何状态所需的预期步数
{1,2,5}，条件是从状态 3 开始。
如果你不想使用基础矩阵，你可以做两件事：
- 创建一个模拟马尔可夫链的函数，直到满足停止条件并且 returns 步数。取大量运行的平均值以获得期望值。
- 在过渡矩阵中引入虚拟吸收状态并重复计算
p = Pp，其中 p 是一个向量，起始状态的索引为 1，其他位置为 0。通过一些会计，您可以获得所需的预期值。
马尔可夫链的转移矩阵：
0.5 0.3 0.0 0.0 0.2
0.0 0.5 0.0 0.0 0.5
0.0 0.4 0.4 0.2 0.0
0.3 0.0 0.2 0.0 0.5
0.5 0.2 0.0 0.0 0.3
这是一个状态为 {1,2,3,4,5} 的转移矩阵。状态 {1,2,5} 是反复出现的，状态 {3,4} 是短暂的。我怎么能（不使用基本矩阵技巧）：
- 计算首先return到状态 1 所需的预期步数，条件是从状态 1 开始
- 计算首次到达任何状态所需的预期步数
{1,2,5}，条件是从状态 3 开始。
如果你不想使用基础矩阵，你可以做两件事：
- 创建一个模拟马尔可夫链的函数，直到满足停止条件并且 returns 步数。取大量运行的平均值以获得期望值。
- 在过渡矩阵中引入虚拟吸收状态并重复计算
p = Pp，其中p是一个向量，起始状态的索引为 1，其他位置为 0。通过一些会计，您可以获得所需的预期值。