为马尔可夫过程生成 Kolmogorov-Chapman 方程

Generate Kolmogorov-Chapman equations for Markov processes

我正在寻找一种方法来为 MathCad 生成 Kolmogorov-Chapman 方程来解决马尔可夫链问题。 问题是找出系统处于其中一种状态的概率。系统有 N 个组件。 我有一个包含 2^N 个节点(状态)和 2*N 个参数的图表:N a 是第 N 个组件分解的概率,N b 是损坏的组件恢复健康的概率。

N 可以接近 10,这意味着至少会有 1024 个方程,所以我正在寻找一种生成这些方程的方法。

Mathcad 不是必需的,任何其他数学引擎都可以(即使 Python if then 可以用 scipy 之类的东西解决)

Problem is to find probability of the system being in one of the states.

由于您的随机过程是 N 独立 马尔可夫链的组合,因此通过分别求解每个链的方程比求解 2[整个过程=32=]2*N个方程

单个链的转移矩阵是:

所以,Kolmogorov-Chapman 方程是:

如果您仍然需要整个系统的方程式: