如何求解具有无限状态的二维马尔可夫链 Space

Question

我有二维马尔可夫链，我想计算稳态概率，然后计算基本性能测量值，例如预期客户数量、预期等待时间等。您可以查看下面的转换率图 link :

http://tinypic.com/view.php?pic=2n063dd&s=8

当我搜索解决方法时，出现了矩阵几何和谱展开方法。我尝试了矩阵几何方法，但是由于我的马尔可夫链不重复，所以它没有用。

我读了一些论文（例如 class 马尔可夫模型的谱展开解：应用和与矩阵几何方法的比较），但我无法弄清楚如何创建矩阵以及什么是稳态概率。

1. 谱展开法是否像矩阵几何法那样需要"repetitive process"？如果没有，如何应用到我的问题？
2. 还有其他计算方法吗？

感谢您的帮助！

阿里

Answer 1

首先，双向无限格子带没有稳定的求解方法。至少一个变量应该被赋能。 其次，以下是半无限或有限状态的二维马尔可夫链最著名的求解方法 space:

• 光谱扩展法
• 矩阵几何法
• 分块高斯-赛德尔法
• Seelen 的方法

所有方法都需要大量的计算工作。实验研究表明，对于半无限格子条，当容量变量超过 50 时，解可能不可信。超出该阈值也存在状态爆炸问题。为了克服状态爆炸问题，使用了迭代方法，例如Gauss-Seidel和Seelen的方法。

关于我的问题，我确定了两个变量的容量。查阅文献后，block Gauss-Seidel Iterative method 似乎是最适合应用我的问题的方法。

谢谢。