$$ \pi_{ij} := \lim_{n \to \infty} \frac{1}{n} \sum_{t = 0}^{n - 1} \Pr(X_t = j \mid X_0 = i) $$
| 상태 i | 상태 j | $i \to j$ reachable? | $\pi_{ij}$ 값 | 수식 또는 설명 |
|---|---|---|---|---|
| Recurrent | Recurrent | O | $\displaystyle \frac{1}{\mathbb{E}_j[T_j]}$ | 무한히 자주 방문됨 |
| Recurrent | Recurrent | X | 0 | 도달 불가 → 방문 안 함 |
| Recurrent | Transient | - | 0 | transient 상태는 유한 번만 방문 |
| Transient | Recurrent | O | $\displaystyle \frac{1}{\mathbb{E}_j[T_j]} \cdot \Pr_i(T_j < \infty)$ | eventually recurrent class로 들어감 |
| Transient | Recurrent | X | 0 | 도달하지 못하면 방문 없음 |
| Transient | Transient | - | 0 | transient → 유한 번만 방문 |